[Машинное обучение, Google Cloud Platform] Google запустила Vertex AI — объединеную платформу для машинного обучения
Автор
Сообщение
news_bot ®
Стаж: 6 лет 9 месяцев
Сообщений: 27286
На прошлой неделе Google анонсировал запуск новой облачной платформы для машинного обучения — Vertex AI.
Главная особенность новой платформы в её амбициозном масштабе и интеграции с Google Cloud. Vertex AI вобрала в себя все облачные инструменты Google для подготовки наборов данных и обучения ML моделей.
По замыслу разработчиков Google, команды смогут полностью перенести все ML процессы на Vertex AI: дата-инженеры ищут данные в Google BigQuery, аннотаторы размечают данные с помощью встроенных инструментов, дата-сайентисты настраивают алгоритмы обучения в AutoML и автоматически подбирают оптимальные гиперпараметры. Обученную и протестированную ML модель можно подключить к рабочему приложению в пару кликов — либо загрузить на специально подготовленный сервер в Google Cloud, либо экспортировать в один из популярных форматов.
После запуска модели Vertex AI поможет с наблюдением и сбором статистики. Данные о предсказаниях и ошибках позволят дата-инженерам и дата-сайентистам найти недочеты модели, скорректировать обучающий набор, обучить новую версию модели, провести А-Б тестирование, и запустить её в приложение.
Для некоторых частей этого круговорота предусмотрены средства автоматизации. Например инструмент для аннотирования данных может самостоятельно предлагать варианты разметки, что ускорит работу аннотаторов. Система мониторинга имеет возможность автоматически дополнять обучающий набор новыми данными, например теми на которых модель ошиблась при реальном использовании приложения. В совокупности это позволяет настраивать автоматические процедуры обучения новых версий модели, создавая само-совершенствующийся сервис.
Несмотря на всеобъемлемость платформы, разработчики предусмотрели возможность замены любой ее части на самописные решения. Например в этом туториале показывается как написать свой алгоритм обучения модели, запаковать его в Docker контейнер и встроить его в процесс обучения модели. Использование Docker контейнеров позволяет писать код на любом языке программирования и использовать любые библиотеки. Официально поддержаны клиентские обвязки для Python, Java и Node.js. Контейнеры ни в чем не ограничены, в частности они имеют доступ к интернету и Google Storage, что позволяет скачивать любые данные необходимые для обучения модели. Подобный механизм действует и для кода самой ML модели, которую тоже можно создать на произвольной технологии, упаковать в контейнер и загрузить на Vertex AI.
Если захотите познакомится с Vertex AI глубже, будте осторожны со стоимостью ресурсов облака, необходимых для обучения моделей. Я рекомендую установить небольшой бюджет в настройках Google Cloud и обращать внимание на приблизительную стоимость выполнения туториала в долларах (USD) которая иногда указывается.
Официальный пост о запуске Vertex AI можно прочесть здесь.
Видео демонстрации возможностей Vertex AI (на английском):
Интерактивные туториалы от Google (на английском):
- Vertex AI:Training and serving a custom model: ~30 минут, ~$1
- Building a financial ML model with the What-If Tool and Vertex AI: обучение на табличных данных с использованием What-if Tool, ~ 60 минут, ~$1
- Build an AutoML Forecasting Model with Vertex AI: ~90 минут, ~$25
===========
Источник:
habr.com
===========
Похожие новости:
- [Программирование, Машинное обучение] Автоматизация машинного обучения
- [Машинное обучение, Искусственный интеллект] Deepfake. Реализация технологии замены лиц в видео. Часть 1
- [Искусственный интеллект, Здоровье] Разработка Computer Vision в онкологии: почему всегда нужно еще больше сил, времени и денег
- [Сетевые технологии, Машинное обучение, Natural Language Processing] Как новая модель глубокого обучения делает возможной сегментацию изображений на пограничных устройствах (перевод)
- [Программирование, Машинное обучение] Простой граф знаний на текстовых данных
- [Open source, Big Data, Машинное обучение, Kotlin] KotlinDL 0.2: Functional API, зоопарк моделей c ResNet и MobileNet, DSL для обработки изображений
- [Python, Программирование, Открытые данные, Машинное обучение] Датасет о мобильных приложениях
- [Машинное обучение, Исследования и прогнозы в IT, Учебный процесс в IT, IT-компании] Яндекс вручил премию им. Ильи Сегаловича молодым учёным и научным руководителям
- [Машинное обучение] Как AutoML помогает создавать модели композитного ИИ — говорим о структурном обучении и фреймворке FEDOT
- [Машинное обучение] Построение моделей Трансформера для больших последовательностей с помощью методов разреженного внимания (перевод)
Теги для поиска: #_mashinnoe_obuchenie (Машинное обучение), #_google_cloud_platform, #_vertex_ai, #_google_cloud, #_mashinnoe_obuchenie (машинное обучение), #_sbor_dannyh (сбор данных), #_mashinnoe_obuchenie (
Машинное обучение
), #_google_cloud_platform
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 16-Ноя 09:19
Часовой пояс: UTC + 5
| Автор | Сообщение |
|---|---|
|
news_bot ®
Стаж: 6 лет 9 месяцев |
|
|
На прошлой неделе Google анонсировал запуск новой облачной платформы для машинного обучения — Vertex AI. Главная особенность новой платформы в её амбициозном масштабе и интеграции с Google Cloud. Vertex AI вобрала в себя все облачные инструменты Google для подготовки наборов данных и обучения ML моделей.  По замыслу разработчиков Google, команды смогут полностью перенести все ML процессы на Vertex AI: дата-инженеры ищут данные в Google BigQuery, аннотаторы размечают данные с помощью встроенных инструментов, дата-сайентисты настраивают алгоритмы обучения в AutoML и автоматически подбирают оптимальные гиперпараметры. Обученную и протестированную ML модель можно подключить к рабочему приложению в пару кликов — либо загрузить на специально подготовленный сервер в Google Cloud, либо экспортировать в один из популярных форматов. После запуска модели Vertex AI поможет с наблюдением и сбором статистики. Данные о предсказаниях и ошибках позволят дата-инженерам и дата-сайентистам найти недочеты модели, скорректировать обучающий набор, обучить новую версию модели, провести А-Б тестирование, и запустить её в приложение. Для некоторых частей этого круговорота предусмотрены средства автоматизации. Например инструмент для аннотирования данных может самостоятельно предлагать варианты разметки, что ускорит работу аннотаторов. Система мониторинга имеет возможность автоматически дополнять обучающий набор новыми данными, например теми на которых модель ошиблась при реальном использовании приложения. В совокупности это позволяет настраивать автоматические процедуры обучения новых версий модели, создавая само-совершенствующийся сервис.  Несмотря на всеобъемлемость платформы, разработчики предусмотрели возможность замены любой ее части на самописные решения. Например в этом туториале показывается как написать свой алгоритм обучения модели, запаковать его в Docker контейнер и встроить его в процесс обучения модели. Использование Docker контейнеров позволяет писать код на любом языке программирования и использовать любые библиотеки. Официально поддержаны клиентские обвязки для Python, Java и Node.js. Контейнеры ни в чем не ограничены, в частности они имеют доступ к интернету и Google Storage, что позволяет скачивать любые данные необходимые для обучения модели. Подобный механизм действует и для кода самой ML модели, которую тоже можно создать на произвольной технологии, упаковать в контейнер и загрузить на Vertex AI. Если захотите познакомится с Vertex AI глубже, будте осторожны со стоимостью ресурсов облака, необходимых для обучения моделей. Я рекомендую установить небольшой бюджет в настройках Google Cloud и обращать внимание на приблизительную стоимость выполнения туториала в долларах (USD) которая иногда указывается. Официальный пост о запуске Vertex AI можно прочесть здесь. Видео демонстрации возможностей Vertex AI (на английском): Интерактивные туториалы от Google (на английском):
=========== Источник: habr.com =========== Похожие новости:
Машинное обучение ), #_google_cloud_platform |
|
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 16-Ноя 09:19
Часовой пояс: UTC + 5