Регистрация

[Конференции, Data Engineering] SmartData 2020: конференция про data engineering

Ответить на тему
Автор Сообщение
news_bot ®

Стаж: 6 лет 9 месяцев
Сообщений: 27286

Создавать темы news_bot ® написал(а)
22-Сен-2020 15:40
Цитировать


Если ваша должность — data engineer, то вы могли сталкиваться с обидным информационным перекосом. Тему data science освещают активно, по ней много полезных материалов. А вы работаете в смежной области, где тоже возникает много важных вопросов, но об этих вопросах говорят заметно меньше.
Мы решили, что стоит закрыть этот пробел, поэтому 9-12 декабря проведём конференцию SmartData. Она рассчитана на дата-инженеров и не только: разработчики и data scientists, которые сталкиваются с задачами дата-инженерии или хотят перейти в эту сферу, тоже извлекут пользу.
Кто-то вспомнит, что конференция с таким названием уже была, но тогда её формат отличался. Под катом написали и о том, почему она переродилась, и о том, чего именно ждать от новой.
Предыстория
Старожилы Хабра могут помнить, как в 2017-м мы представили «конференцию по большим и умным данным SmartData», а в 2018-м отменили вторую SmartData. И про перспективы возрождения тогда написали: «сейчас не станем ничего обещать, но думаем, как можно сделать лучше». Спустя два года сообщаем: подумали!
Когда мы впервые запускали конференцию, пытались объять всё сразу и сделать мероприятие для всех, кто работает с данными. Но оказалось, что такой универсальный формат плохо работает, разным специалистам нужно слишком разное. И после отмены второй конференции, где мы собирались уделить много внимания data science, получили фидбек вроде такого:

Теперь вместо того, чтобы гнаться за двумя зайцами, решили сосредоточиться на конкретном формате, который недополучает внимания. Как раз таком, какой обозначен в этом комментарии: «про то, как весь зоопарк технологий запускать и тюнить, какие есть проблемы, с чем лучше работать в каких-то определённых задачах…»
Темы
Что всё это значит на практике, о каких вещах можно будет услышать на SmartData 2020? Программа пока что в процессе формирования, но очерчен круг тем, которые мы считаем интересными для конференции. И по этому списку можно понять, чего в принципе стоит ждать:
Streaming
— Flink
— Spark
— Kafka
СУБД и хранилища для больших данных
Использование классических реляционных, колоночных, noSQL, SMP/MPP-хранилищ для построения DWH:
— Hive, Impala, Presto, Vertica, ClickHouse, Cassandra
— Teradata, Redshift, GreenPlum, exadata
— MSSQL, PostgreSQL
— MongoDB, DynamoDB
— S3, ADLS, GCS, HDFS
Архитектура DWH
— Моделирование данных
— Примеры построения корпоративных хранилищ данных
— Оперативная аналитика
— Ad-hoc reporting
— Hadoop
Data governance
— Data security
— Data quality
— Metadata и catalog management
— Master data management
— Миграция данных
Технологии построения ETL
— Spark
— Hadoop MapReduce
— Sqoop
— Performance analysis and optimization
— и так далее
Оркестрация и MLOps
— Airflow, NiFi, Luigi, Azkaban, Oozie etc
— MLflow
— и так далее
Другое
— Коробочные облачные решения
— Дата-инженерия для тех, кто не data engineer
— CI/CD для пайплайнов данных
— Тестирование

Виталий Худобахшов из программного комитета SmartData
Формат
Как и другие наши конференции этого сезона, SmartData пройдёт в онлайне — так что подходить на стойку регистрации за бейджиком в этот раз не придётся. А как всё будет выглядеть?
  • Понятно, что доклады важны, но для нас «онлайн-конференция» не означает «просто видеопоток». Это и чаты для обсуждения конкретных докладов, и видеосозвон после каждого доклада с возможностью задать вопрос спикеру, и активности от партнёров, и общий конференционный чат. Очень рекомендуем всем этим пользоваться: тогда ощущаешь, что ты не просто смотришь видео, а участвуешь в событии.
  • Чтобы зрителям было как можно удобнее, для проведения конференций мы используем не чужое софтовое решение, а разработали своё собственное. О нём уже писали на Хабре подробно.
  • Расписание отличается от того, к которому все привыкли по офлайн-конференциям. В офлайне на пару дней выпадаешь из обычной жизни целиком. В онлайне иначе: конференция растянется на четыре дня, но будет идти по 3-4 часа в день. Это позволяет не выпадать полностью из обычной жизни, совмещая конференцию и обычную жизнь.
  • Но советуем донести до работодателя, что если на офлайн-конференцию он отпускал вас с работы, то и в онлайне эти 3-4 часа в день вам действительно нужны: смотреть хардкорные технические доклады всегда требует сосредоточения. Впрочем, если из-за важного созвона не получилось посмотреть интересный доклад «вживую», он сразу же доступен в записи (с офлайн-конференциями так не работает). Если немного опоздал к началу доклада, то с помощью ускоренного воспроизведения записи можно даже успеть «догнать» других зрителей, чтобы задавать вопросы спикеру вместе со всеми!

Call to action
Что в итоге? Есть три главных вещи:
  • Если конференция вас заинтересовала — стоит перейти на её сайт. Там всегда размещается наиболее актуальная информация (например, будет постепенно появляться список докладов), и там же можно приобрести билет.
  • Если вы ощущаете, что хотели бы сами выступить с докладом — сейчас самое время подавать заявку, это делается тоже на сайте.
  • А если для вас важны и другие области IT, обратите внимание: у нас есть билеты «full pass», дающие доступ и к SmartData, и к 7 другим нашим конференциям нового сезона. Подробнее об этом можно узнать на отдельном сайте.

Увидимся на SmartData!

 ===========
 Источник:
habr.com
===========
Похожие новости: Теги для поиска: #_konferentsii (Конференции), #_data_engineering, #_data_engineering, #_data_science, #_smartdata, #_blog_kompanii_jug_ru_group (
Блог компании JUG Ru Group
), #_konferentsii (
Конференции
), #_data_engineering
Профиль  ЛС 
Показать сообщения:     
Ответить на тему

Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы

Текущее время: 22-Ноя 18:03
Часовой пояс: UTC + 5