[Big Data, Хранилища данных, Data Engineering] Как мы провели встречи по NiFi. Видео и впечатления

Ответить на тему

Автор

Сообщение

news_bot ^®

Стаж: 6 лет 9 месяцев
Сообщений: 27286

news_bot ^® написал(а)
27-Авг-2020 12:34

Цитировать

Приветствую!
Все чаще я встречаю упоминания такого замечательного продукта, как Apache NiFi. Даже на Хабре за этот год появилось несколько статей об этом достаточно нишевом продукте.
Мы в Тинькофф уже более двух лет используем Apache NiFi и поэтому посвятили ему митап (сразу признаемся, что на проведение мероприятия нас подвигло сообщество телеграм-канала @nifiusers). Событие мы разбили на две части, которые проходили два четверга подряд.

Дмитрий Быстриков, «Софт Инжиниринг»
Его доклад — о способах автоматизации доставки flow между средами, а также об инструментарии, который создан в Apache NiFi и около него.
Дмитрий рассказал, с чем придется столкнуться на пути создания CI/CD. В докладе он рассмотрел инструменты:

NiFi Registry — его используют для хранения и версионирования потоков;
NiFi CLI — для управления из командной строки;
NiFi Rest API — для взаимодействия через веб из приложений;
NiPyAPI — python-модуль для упрощения взаимодействия с Rest API.

Доклад будет полезен тем, кто начинает свой путь в NiFi и ищет возможность упростить доставку потоков до промышленной среды.
Извините, данный ресурс не поддреживается. :(
Бронислав Житников, «Тинькофф»
Этот доклад готовил я сам, в нем я рассказал о практиках организации потока в NiFi, обеспечивающих удобство чтения потоков при ревью и доработке, а также простоту их сопровождения. Об организации процесса доставки данных от источника к получателю, о способах контроля активности источника, о выделении ошибок и их обработке и о работе с архивом сырых данных.
Также в докладе есть пара советов по визуальному оформлению потока. Они упрощают чтение потока специалистами, которым придется с ним работать после разработки.
Извините, данный ресурс не поддреживается. :(
Илья Ковалев, «Тинькофф»
Доклад был не очень простой и касался внутреннего устройства NiFi. Илья постарался рассказать о компонентах, которые можно расширить для достижения целей пользователей, о структуре этих компонентов, о важных элементах, про которые не стоит забывать, когда вносишь изменения или создаешь новые объекты в NiFi.
Также Илья затронул вопросы поддержки внесенных изменений при переходе на новые версии NiFi. Доклад очень интересный, хотя требует от слушателей определенного опыта как в самом инструменте, так и в Java.
Извините, данный ресурс не поддреживается. :(
Андрей Тренин, Сбербанк
В докладе говорится о том, как Apache NiFi пришел в Сбербанк, как его презентовали бизнес-пользователям и какую роль играет инструмент в Data Platform Сбербанка. Андрей коснулся практических ситуаций и сложностей, которые возникают при внедрении инструмента, о его положительных сторонах и недостатках. Удалось поговорить и о будущем инструмента в Сбербанке.
Выступление пропитано практическим опытом и будет интересно не только новичкам, но и, возможно, откроет что-то новое и тем, кто давно работает с NiFi.
Извините, данный ресурс не поддреживается. :(
Надеюсь, нам удастся почаще проводить мероприятия, посвященные Apache NiFi. А пока, в ожидании новых событий, приглашаем всех в телеграм-канал @nifiusers, где мы с коллегами из других компаний активно обмениваемся информацией и помогаем друг другу решать проблемы, возникающие при работе с Apache NiFi.
===========
Источник:
habr.com
===========
Похожие новости:

Теги для поиска: #_big_data, #_hranilischa_dannyh (Хранилища данных), #_data_engineering, #_nifi, #_etl, #_etlprotsessy (etl-процессы), #_dwh, #_hranilische_dannyh (хранилище данных), #_blog_kompanii_tinkoff (
Блог компании Tinkoff
), #_big_data, #_hranilischa_dannyh (
Хранилища данных
), #_data_engineering

Профиль ЛС

Ответить на тему

Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы

Текущее время: 22-Ноя 18:35
Часовой пояс: UTC + 5