[Big Data] СУБД «Яндекс ClickHouse» внедрили в российскую систему предиктивной аналитики «ПРАНА»
Автор
Сообщение
news_bot ®
Стаж: 6 лет 9 месяцев
Сообщений: 27286
На Хабре время от времени пишут про предиктивную аналитику. Это весьма перспективная технология, которая позволяет, например, промышленным предприятиям избежать длительных простоев из-за поломки оборудования. Работает это следующим образом — система умных датчиков отслеживает режим работы как системы, так и отдельных ее элементов. Если режим хотя бы немного отклоняется от стандартного, что-то идет не так — отклонение температуры / давления, меняется скорость и т.п., данные с датчиков поступают в Систему и анализируются ее математическим аппаратом, отслеживаются неочевидные взаимосвязи между ними и выдается прогноз когда и в каком узле вскоре может произойти проблема. То есть оператору станции подается сигнал для того, чтобы были приняты меры по недопущению развития отклонения и, тем более, аварии. Т.е. проблемный узел обслуживается или меняется еще до того, как из-за его поломки выходит из строя вся система, после чего нужен дорогостоящий ремонт.
Подобные системы развиваются в РФ и мире, в России самая известная и распространенная — система предиктивной аналитики «ПРАНА». К ней сейчас подключены промышленные системы многих компаний, включая, например, «Русгидро». Для этой компании «ПРАНА» отслеживает и прогнозирует техническое состояние газотурбинных установок General Electric LM 6000 PF DF, турбогенераторов Brush, котлов-утилизаторов КУВ-38,1-185 и прочего оборудования. Ну а для того, чтобы эффективно все это отслеживать, нужно оперативно обрабатывать поступающую с систем информацию. В итоге «ПРАНА» перешла на СУБД «Яндекс ClickHouse».
Сейчас «ПРАНА» получает около 30 тысяч параметров в секунду от самых разных систем управления промышленным оборудованием. Архив данных превышает 50 ТБ.
ClickHouse — это колоночная аналитическая СУБД с открытым кодом, позволяющая выполнять аналитические запросы в режиме реального времени на структурированных больших данных, разрабатываемая компанией Яндекс. Эта платформа не только быстро обрабатывает данные, но и является устойчивой к внешним факторам. Сервисы «Яндекс ClickHouse» спроектированы таким образом, что даже при аварийном отключении одного из дата-центров все работает. Подобная схема крайне важна в условиях промышленных предприятий, где данные поступают в режиме реального времени. На данный момент «ПРАНА» отслеживает техническое состояние около 130 единиц сложнейшего промышленного оборудования, общая стоимость которого составляет $5 млрд.
К слову, системы, подобные «ПРАНА», способны выявлять дефекты в работе промышленного оборудования за 2-3 месяца до возможной неполадки. Эта система объединяет методы статистического анализа и физического моделирования, инструменты работы с большими данными и технологии машинного обучения.
«Скорость и отказоустойчивость «Яндекс ClickHouse» помогут программного-аппаратному комплексу «ПРАНА» обеспечить дополнительную безопасность работы оборудования критической инфраструктуры. Мы не можем допустить сбои ни в программной, ни в «железной» части системы прогностики, на которую рассчитывают основные энергетические компании России. «Яндекс ClickHouse» полностью закрывает наши потребности по скорости работы основного хранилища данных и прекрасно подходит для наших аналитических потребностей, а его пригодность к масштабируемости в любых объемах без увеличения времени обработки данных – это именно то, что нам нужно при дальнейшем распространении нашей системы прогностики на новые отрасли промышленности», – отметил директор департамента разработки ПО системы «ПРАНА» Игорь Трудоношин.
===========
Источник:
habr.com
===========
Похожие новости:
- [Python, Big Data, GitHub] Я спарсил больше 1000 топовых Github-профилей по машинному обучению и вот что я узнал (перевод)
- [Поисковые технологии, Законодательство в IT, IT-компании] ФАС возбудила дело против «Яндекса» из-за рекламы сайтов по продаже выписок из ЕГРН
- [Поисковые технологии, Открытые данные, Визуализация данных, Научно-популярное, Будущее здесь] Google Books Ngram Viewer как инструмент для ретроспективных исследований
- [Информационная безопасность, Open source, Распределённые системы, Социальные сети и сообщества, Криптовалюты] aSocial — полностью распределенная социальная сеть
- [Открытые данные, Визуализация данных, Венчурные инвестиции, Статистика в IT, Финансы в IT] На фондовом рынке США сформировался пузырь небывалых размеров
- [Веб-аналитика, Интернет-маркетинг, Управление продуктом, Криптовалюты] Кейс: увеличение капитализации DeFi-стартапа на 300%
- [Python, Программирование, Django] Конвертеры маршрутов в Django 2.0+ (path converters)
- [Информационная безопасность, Тестирование мобильных приложений, Транспорт, Урбанизм, IT-компании] Как молодой девушке уехать на Яндекс.Такси в лес и пропасть без вести
- [PHP, Анализ и проектирование систем, NoSQL] Паспортный контроль, или Как сжать полтора гигабайта до 42 мегабайт
- [SQL, Big Data, Google Cloud Platform] Работа с Google BigQuery. Считаем деньги
Теги для поиска: #_big_data, #_prana (прана), #_jandeks (яндекс), #_analitika (аналитика), #_dannye (данные), #_big_data
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 22-Ноя 11:52
Часовой пояс: UTC + 5
| Автор | Сообщение |
|---|---|
|
news_bot ®
Стаж: 6 лет 9 месяцев |
|
 На Хабре время от времени пишут про предиктивную аналитику. Это весьма перспективная технология, которая позволяет, например, промышленным предприятиям избежать длительных простоев из-за поломки оборудования. Работает это следующим образом — система умных датчиков отслеживает режим работы как системы, так и отдельных ее элементов. Если режим хотя бы немного отклоняется от стандартного, что-то идет не так — отклонение температуры / давления, меняется скорость и т.п., данные с датчиков поступают в Систему и анализируются ее математическим аппаратом, отслеживаются неочевидные взаимосвязи между ними и выдается прогноз когда и в каком узле вскоре может произойти проблема. То есть оператору станции подается сигнал для того, чтобы были приняты меры по недопущению развития отклонения и, тем более, аварии. Т.е. проблемный узел обслуживается или меняется еще до того, как из-за его поломки выходит из строя вся система, после чего нужен дорогостоящий ремонт. Подобные системы развиваются в РФ и мире, в России самая известная и распространенная — система предиктивной аналитики «ПРАНА». К ней сейчас подключены промышленные системы многих компаний, включая, например, «Русгидро». Для этой компании «ПРАНА» отслеживает и прогнозирует техническое состояние газотурбинных установок General Electric LM 6000 PF DF, турбогенераторов Brush, котлов-утилизаторов КУВ-38,1-185 и прочего оборудования. Ну а для того, чтобы эффективно все это отслеживать, нужно оперативно обрабатывать поступающую с систем информацию. В итоге «ПРАНА» перешла на СУБД «Яндекс ClickHouse». Сейчас «ПРАНА» получает около 30 тысяч параметров в секунду от самых разных систем управления промышленным оборудованием. Архив данных превышает 50 ТБ. ClickHouse — это колоночная аналитическая СУБД с открытым кодом, позволяющая выполнять аналитические запросы в режиме реального времени на структурированных больших данных, разрабатываемая компанией Яндекс. Эта платформа не только быстро обрабатывает данные, но и является устойчивой к внешним факторам. Сервисы «Яндекс ClickHouse» спроектированы таким образом, что даже при аварийном отключении одного из дата-центров все работает. Подобная схема крайне важна в условиях промышленных предприятий, где данные поступают в режиме реального времени. На данный момент «ПРАНА» отслеживает техническое состояние около 130 единиц сложнейшего промышленного оборудования, общая стоимость которого составляет $5 млрд.  К слову, системы, подобные «ПРАНА», способны выявлять дефекты в работе промышленного оборудования за 2-3 месяца до возможной неполадки. Эта система объединяет методы статистического анализа и физического моделирования, инструменты работы с большими данными и технологии машинного обучения. «Скорость и отказоустойчивость «Яндекс ClickHouse» помогут программного-аппаратному комплексу «ПРАНА» обеспечить дополнительную безопасность работы оборудования критической инфраструктуры. Мы не можем допустить сбои ни в программной, ни в «железной» части системы прогностики, на которую рассчитывают основные энергетические компании России. «Яндекс ClickHouse» полностью закрывает наши потребности по скорости работы основного хранилища данных и прекрасно подходит для наших аналитических потребностей, а его пригодность к масштабируемости в любых объемах без увеличения времени обработки данных – это именно то, что нам нужно при дальнейшем распространении нашей системы прогностики на новые отрасли промышленности», – отметил директор департамента разработки ПО системы «ПРАНА» Игорь Трудоношин. =========== Источник: habr.com =========== Похожие новости:
|
|
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 22-Ноя 11:52
Часовой пояс: UTC + 5