[Apache, Big Data, DevOps, Kubernetes] Вебинар «Разворачиваем приложение на Spark в Kubernetes» 4 февраля от Mail.ru Group

Ответить на тему

Автор

Сообщение

news_bot ^®

Стаж: 6 лет 3 месяца
Сообщений: 27286

news_bot ^® написал(а)
20-Янв-2021 21:31

Цитировать

Для частого запуска приложений на Spark, особенно в промышленной эксплуатации, необходимо максимально упростить сам процесс регулярного запуска Spark-задач, а также уметь гибко настраивать их конфигурации. В этом поможет современный DevOps-подход к работе со Spark, связанный с использованием Kubernetes.
4 февраля (четверг) приглашаем вас принять участие в вебинаре «Разворачиваем приложение на Apache Spark в Kubernetes. Пошаговый рецепт», где даже начинающие научатся обрабатывать данные с помощью Spark в облаке. Присоединяйтесь!
Подробнее о вебинаре
Spark на Kubernetes позволяет решать задачи изоляции рабочих сред, гибкого управления ресурсами и масштабирования.
Популярные материалы останавливаются на запуске тестового приложения в K8s, которое считает число пи. Мы же на вебинаре пойдем дальше: соберем свой образ со своим кодом, добавим необходимые библиотеки, креды для доступа к S3-хранилищу, научимся читать из S3 и записывать в него.
На вебинаре мы:

Развернем Kubernetes-кластер в облаке Mail.ru Cloud Solutions
Установим Kubernetes Operator for Apache Spark (Spark Operator)
Запустим тестовый пример Spark-задачи/приложения
Соберем свой Docker-образ со Spark и кастомным приложением
Протестируем Docker-образ в работе, получим доступ из Spark к сервисам облака (S3-хранилищу)
В процессе познакомимся с дебагом Spark в Kubernetes ;)

По итогам вебинара вы получите готовый репозиторий в Github с инструкцией, всеми командами, примерами кода, готовыми приложения — и сможете самостоятельно повторить все действия, которые будут продемонстрированы спикером в рамках вебинара.
На все ваши вопросы в прямом эфире ответит его ведущий: Александр Волынский, архитектор Mail.ru Cloud Solutions

Вебинар «Разворачиваем приложение на Apache Spark в Kubernetes. Пошаговый рецепт»
Дата проведения: 4 февраля (четверг).
Начало программы: 17:00 (Москва UTC +3).
Регистрация обязательна, после неё мы сразу пришлём ссылку для подключения.
Stay tuned
О новых вебинарах и других мероприятиях Mail.ru Cloud Solutions мы сообщаем в нашем канале в Telegram: t.me/mcsnews
===========
Источник:
habr.com
===========
Похожие новости:

Теги для поиска: #_apache, #_big_data, #_devops, #_kubernetes, #_mail.ru_cloud_solutions, #_mail.ru_group, #_anonsy (анонсы), #_vebinary (вебинары), #_devops, #_kubernetes, #_big_data, #_spark, #_blog_kompanii_mail.ru_group (
Блог компании Mail.ru Group
), #_apache, #_big_data, #_devops, #_kubernetes

Профиль ЛС

Ответить на тему

Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы

Текущее время: 19-Май 11:01
Часовой пояс: UTC + 5