[IT-инфраструктура, Amazon Web Services, DevOps, Облачные сервисы] AWS re:Invent 2020 Keynotes — Machine Learning
Автор
Сообщение
news_bot ®
Стаж: 6 лет 9 месяцев
Сообщений: 27286
Стартовала вторая неделя AWS re:Invent. И снова много новинок и улучшений, теперь в области машинного обучения. Самые важные — в нашем обзоре. Сегодня их будут активно обсуждать в русскоязычном twitch-стриме эксперты AWS, которые что-то уже поюзали и теперь делятся впечатлениями от новинок. Ссылка на twitch — в конце статьи.
Distributed training on Amazon SageMaker
Теперь на Amazon SageMaker проще и быстрее обучать большие модели и обрабатывать большой объем данных. Новый продукт Distributed training on Amazon SageMaker позволяет производить распределенное обучение и поддерживает параллелизм как по данным, так и по моделям. Изменения в коде для этого требуются минимальные. Теперь можно легко разбить данные на части и производить обучение на разных GPU. Также можно разбить саму модель так, чтобы для обучения использовалось несколько GPU. Это полезно для больших моделей, которым одного GPU не достаточно.
Подробнее тут
Amazon SageMaker Clarify
Модели машинного обучения часто представляют собой черный ящик. Трудно понять почему модель выдала тот или иной результат. Amazon SageMaker Clarify поможет понять работу моделей и факторы, повлиявшие на каждый конкретный результат. Это особенно важно для аудита моделей.
Кроме того, данные могут быть не сбалансированы. Исторические данные, на которых обучаются ML модели, неполны и часто предвзяты. Например, если раньше люди в определенном возрасте брали мало ипотечных кредитов, то модель, обученная на таких данных, может и в будущем отказывать людям этого возраста в ипотеке. Что только подкрепит предвзятость. Amazon SageMaker Clarify позволяет определять такого рода несбалансированность и предвзятость в данных. Благодаря этому модели начинают работать лучше для всех.
Подробнее тут
Amazon SageMaker Debugger
Amazon SageMaker Debugger — удобный инструмент для отладки и профилирования моделей, сбора и анализа данных об обучении, создания отчетов и визуализации метрик. В этом году SageMaker Debugger получил множество обновлений, а также полностью переработанный пользовательский интерфейс.
Детали тут
Amazon SageMaker JumpStart
Amazon SageMaker JumpStart позволяет быстро развернуть готовое решение или ML модель. Уже доступно 15 решений для таких задач как распознавание рукописного текста, предсказание спроса, определение мошенничества и злонамеренных пользователей, а также многого другого. Кроме того, SageMaker JumpStart позволяет в несколько кликов развернуть одну из 150 ML моделей с открытым исходным кодом из TensorFlow Hub и PyTorch Hub.
Подробности тут
Amazon SageMaker Edge Manager
Набор инструментов (MLOps) для превращения ваших умных устройств в edge smart devices, которые смогут запускать модели, обученные в облаке, собирать телеметрию и отправлять примеры данных обратно в облако для переобучения. Также Amazon SageMaker Edge Manager поможет отслеживать состояния вашего флота устройств и производить обновление моделей, оптимизированных с помощью SageMaker Neo.
SageMaker Edge Agent — это небольшой рантайм, размещающийся на устройстве и умеющий запускать модели, собирать телеметрию и отсылать примеры данных обратно в облако.
SageMaker Neo — это инструмент оптимизирующий ваши модели для маломощных устройств, уже включен в рантайм агента.
SageMaker Edge Dashboards помогут контролировать состояния ваших устройств, дрифтинг моделей.
Подробнее тут
Amazon Redshift ML
Теперь тренировать модели и делать inference можно прямо в SQL запросах к Redshift, благодаря интеграции с SageMaker AutoPilot, который подготовит данные и выберет наиболее подходящий алгоритм. А все дальнейшие предсказания уже можно делать, используя ресурсы кластера RedShift не выгружая данные из него.
Это облегчает процесс работы с данными для разработчика или аналитика и убирает такие шаги, как выгрузка данные в промежуточное хранилище, запуск процесса обучения, хостинг модели и процесс предсказаний.
Подробнее
Amazon Neptune ML
Amazon Neptune ML — это новая функция для управляемых баз данных на базе графов — Amazon Neptune. Построенная с использованиемDeep Graph Library, она помогает улучшить точность вплоть до 50% по сравнению с другими библиотеками и алгоритмами, которые не специализируются на источниках данных в виде графов.
Amazon Neptune ML умеет предсказывать как на уровне вершин (missing nodes, classification node) так и на уровне ребер (weight regression).
Amazon Lookout for Metrics
Новый сервис, автоматически определяющий аномалии в ваших бизнес-метриках и не требующий навыков в разработке и машинном обучении. Сервис умеет подключаться к таким источникам данных, как: Salesforce, Marketo, Google Analytics, Slack, Zendesk и многим другим.
Он может быть использован для мониторинга, нахождения и оповещения об аномалиях, а также способен показывать потенциальную причину аномалии на таких данных, как: просмотры веб страниц, скорость оттока клиентов, активные пользователи за день (DAU), транзакции, установки мобильных приложений и многих других.
Компания Plarix уже получила доступ к preview и опробовала данные сервис для анализа своих данных.
“We experimented with our user acquisition data to understand how the service works and it quickly identified and grouped anomalies enabling us to work faster and better,” — Михаил Артюгин, Технический Директор в Playrix.
Подробнее тут
Русскоязычная Twitch-сессия
Сегодня пройдет очередной русскоязычный twitch-стрим, теперь по новинкам в области машинного обучения. Напоминаем, что проходят стримы в ключевые дни AWS re:Invent. Стримы готовят и проводят ведущие solution архитекторы AWS, которые выбирают все самое интересное и полезное из новинок и анонсов многочасовой конференции. Для тех, кто еще не подключался — ссылка на регистрацию.
Предыдущие анонсы новинок AWS re:Invent можно почитать здесьи здесь
===========
Источник:
habr.com
===========
Похожие новости:
- [Производство и разработка электроники, Компьютерное железо, Процессоры, Будущее здесь] Войны из-за чипов. Кто будет контролировать производство микросхем в 21 веке?
- [Python, DevOps, Микросервисы] Конфигурируем сервис с помощью Vault и Pydantic
- [Информационная безопасность, Сетевые технологии, DNS] Cloudflare, Apple и Fastly объявили о создании нового протокола DNS
- [Программирование, Хранилища данных, DevOps] The Rules for Data Processing Pipeline Builders
- [Системное администрирование, DevOps] Очередная встреча сообщества MonHouse состоится завтра, 09.12.2020, в 19:00
- [Разработка под e-commerce, Хакатоны] RAIFHACK: История про хакатон, который смог
- [Информационная безопасность, Системное администрирование, Сетевые технологии, Облачные сервисы, Сетевое оборудование] Избавляемся от головной боли или зачем нужна система хранения USB-ключей в условиях пандемии
- [Amazon Web Services, DevOps, Kubernetes] Приглашаем на DINS DevOps EVENING (online): теги в AWS и namespace в Kubernetes
- [Системное администрирование, IT-инфраструктура, Серверное администрирование, DevOps] Prometheus и VictoriaMetrics: отказоустойчивая инфраструктура для хранения метрик (перевод)
- [Системное администрирование, Серверное администрирование, DevOps, Kubernetes] Docker is deprecated — и как теперь быть?
Теги для поиска: #_itinfrastruktura (IT-инфраструктура), #_amazon_web_services, #_devops, #_oblachnye_servisy (Облачные сервисы), #_softline, #_aws, #_re:invent, #_mashinnoe_obuchenie (машинное обучение), #_ml, #_ai, #_data_science, #_devops, #_cloud, #_blog_kompanii_softline (
Блог компании Softline
), #_itinfrastruktura (
IT-инфраструктура
), #_amazon_web_services, #_devops, #_oblachnye_servisy (
Облачные сервисы
)
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 22-Ноя 13:20
Часовой пояс: UTC + 5
| Автор | Сообщение |
|---|---|
|
news_bot ®
Стаж: 6 лет 9 месяцев |
|
|
Стартовала вторая неделя AWS re:Invent. И снова много новинок и улучшений, теперь в области машинного обучения. Самые важные — в нашем обзоре. Сегодня их будут активно обсуждать в русскоязычном twitch-стриме эксперты AWS, которые что-то уже поюзали и теперь делятся впечатлениями от новинок. Ссылка на twitch — в конце статьи.  Distributed training on Amazon SageMaker Теперь на Amazon SageMaker проще и быстрее обучать большие модели и обрабатывать большой объем данных. Новый продукт Distributed training on Amazon SageMaker позволяет производить распределенное обучение и поддерживает параллелизм как по данным, так и по моделям. Изменения в коде для этого требуются минимальные. Теперь можно легко разбить данные на части и производить обучение на разных GPU. Также можно разбить саму модель так, чтобы для обучения использовалось несколько GPU. Это полезно для больших моделей, которым одного GPU не достаточно.  Подробнее тут Amazon SageMaker Clarify Модели машинного обучения часто представляют собой черный ящик. Трудно понять почему модель выдала тот или иной результат. Amazon SageMaker Clarify поможет понять работу моделей и факторы, повлиявшие на каждый конкретный результат. Это особенно важно для аудита моделей. Кроме того, данные могут быть не сбалансированы. Исторические данные, на которых обучаются ML модели, неполны и часто предвзяты. Например, если раньше люди в определенном возрасте брали мало ипотечных кредитов, то модель, обученная на таких данных, может и в будущем отказывать людям этого возраста в ипотеке. Что только подкрепит предвзятость. Amazon SageMaker Clarify позволяет определять такого рода несбалансированность и предвзятость в данных. Благодаря этому модели начинают работать лучше для всех.  Подробнее тут Amazon SageMaker Debugger Amazon SageMaker Debugger — удобный инструмент для отладки и профилирования моделей, сбора и анализа данных об обучении, создания отчетов и визуализации метрик. В этом году SageMaker Debugger получил множество обновлений, а также полностью переработанный пользовательский интерфейс.  Детали тут Amazon SageMaker JumpStart Amazon SageMaker JumpStart позволяет быстро развернуть готовое решение или ML модель. Уже доступно 15 решений для таких задач как распознавание рукописного текста, предсказание спроса, определение мошенничества и злонамеренных пользователей, а также многого другого. Кроме того, SageMaker JumpStart позволяет в несколько кликов развернуть одну из 150 ML моделей с открытым исходным кодом из TensorFlow Hub и PyTorch Hub.  Подробности тут Amazon SageMaker Edge Manager Набор инструментов (MLOps) для превращения ваших умных устройств в edge smart devices, которые смогут запускать модели, обученные в облаке, собирать телеметрию и отправлять примеры данных обратно в облако для переобучения. Также Amazon SageMaker Edge Manager поможет отслеживать состояния вашего флота устройств и производить обновление моделей, оптимизированных с помощью SageMaker Neo. SageMaker Edge Agent — это небольшой рантайм, размещающийся на устройстве и умеющий запускать модели, собирать телеметрию и отсылать примеры данных обратно в облако. SageMaker Neo — это инструмент оптимизирующий ваши модели для маломощных устройств, уже включен в рантайм агента. SageMaker Edge Dashboards помогут контролировать состояния ваших устройств, дрифтинг моделей.  Подробнее тут Amazon Redshift ML Теперь тренировать модели и делать inference можно прямо в SQL запросах к Redshift, благодаря интеграции с SageMaker AutoPilot, который подготовит данные и выберет наиболее подходящий алгоритм. А все дальнейшие предсказания уже можно делать, используя ресурсы кластера RedShift не выгружая данные из него. Это облегчает процесс работы с данными для разработчика или аналитика и убирает такие шаги, как выгрузка данные в промежуточное хранилище, запуск процесса обучения, хостинг модели и процесс предсказаний.  Подробнее Amazon Neptune ML Amazon Neptune ML — это новая функция для управляемых баз данных на базе графов — Amazon Neptune. Построенная с использованиемDeep Graph Library, она помогает улучшить точность вплоть до 50% по сравнению с другими библиотеками и алгоритмами, которые не специализируются на источниках данных в виде графов. Amazon Neptune ML умеет предсказывать как на уровне вершин (missing nodes, classification node) так и на уровне ребер (weight regression).  Amazon Lookout for Metrics Новый сервис, автоматически определяющий аномалии в ваших бизнес-метриках и не требующий навыков в разработке и машинном обучении. Сервис умеет подключаться к таким источникам данных, как: Salesforce, Marketo, Google Analytics, Slack, Zendesk и многим другим. Он может быть использован для мониторинга, нахождения и оповещения об аномалиях, а также способен показывать потенциальную причину аномалии на таких данных, как: просмотры веб страниц, скорость оттока клиентов, активные пользователи за день (DAU), транзакции, установки мобильных приложений и многих других. Компания Plarix уже получила доступ к preview и опробовала данные сервис для анализа своих данных. “We experimented with our user acquisition data to understand how the service works and it quickly identified and grouped anomalies enabling us to work faster and better,” — Михаил Артюгин, Технический Директор в Playrix.  Подробнее тут Русскоязычная Twitch-сессия Сегодня пройдет очередной русскоязычный twitch-стрим, теперь по новинкам в области машинного обучения. Напоминаем, что проходят стримы в ключевые дни AWS re:Invent. Стримы готовят и проводят ведущие solution архитекторы AWS, которые выбирают все самое интересное и полезное из новинок и анонсов многочасовой конференции. Для тех, кто еще не подключался — ссылка на регистрацию. Предыдущие анонсы новинок AWS re:Invent можно почитать здесьи здесь =========== Источник: habr.com =========== Похожие новости:
Блог компании Softline ), #_itinfrastruktura ( IT-инфраструктура ), #_amazon_web_services, #_devops, #_oblachnye_servisy ( Облачные сервисы ) |
|
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 22-Ноя 13:20
Часовой пояс: UTC + 5