[GPGPU, Высокая производительность, Машинное обучение] Microsoft выпустила новую версию DeepSpeed+ZeRO для тренировки нейросетей
Автор
Сообщение
news_bot ®
Стаж: 6 лет 9 месяцев
Сообщений: 27286
Компания Microsoft выпустила в свет новую версию библиотеки для тренировки нейросетей DeepSpeed+ZeRO, о чем свидетельствуют обновления соответствующего репозитория на GitHub. Теперь библиотека способна работать по 1 трлн параметров против 100 млрд, заявленных в первой версии DeepSpeed+ZeRO.
Ранняя версия библиотеки была представлена публике еще в феврале этого года и позиционировалась как инструмент, который значительно расширяет возможности по тренировке нейросетей по большому спектру параметров.
Высокая производительность библиотеки достигается за счет модуля ZeRO — технологии оптимизации потребления памяти во время крупномасштабного глубинного обучения. Именно ZeRO высвобождает необходимые для эффективных расчетов мощности, без привлечения дополнительного оборудования.
В плане количества параметров DeepSpeed превосходит в десятки раз OpenAI GPT-2, NVIDIA Megatron-LM и Google T5, которые используют 1,5, 8,3 и 11 миллиардов параметров соответственно.
Важно то, что ZeRO совместима с другими библиотеками, например, с Megatron-LM от NVIDIA и может ускорить, согласно заявлению в официальном блоге Microsoft, ее работу до четырех раз за счет оптимизации потребления ресурсов.
Основную область применения DeepSpeed Microsoft видит в сфере обучения языковых моделей, которые содержат миллиарды параметров. Так, по заверениям представителей компании, кластер из сотни видеокарт Nvidia архитектуры TensorCore модели Tesla V100 способен обучить языковую модель с 13 млрд параметров за 100 дней.
Для сравнения, на тот же период обучения с помощью более новых карт Nvidia модели А100, потребуется 4000 устройств. То есть, Microsoft заявляет о софтверном ускорении обучения языковых моделей в 40 раз. Также представители компании заявляют, что, технически, обучить нейросеть можно будет даже на одном ускорителе V100, просто это займет неприемлемо больше времени.
Подобная софтверная оптимизация ресурсов на миллиардных моделях открывает в сегмент дверь для энтузиастов и малых компаний, которые не могут позволить себе выкупить целый дата-центр для экспериментов. Так, одна Nvidia Tesla V100 сейчас стоит в рознице около $6700, а доступная пока только на закрытых тестах Nvidia A100, по разным оценкам, будет стоить в диапазоне от $10 до $14 тысяч. Мини-кластер высокой производительности и стоимостью от $10-15 тысяч — вполне подъемная цена для малого и среднего бизнеса. А это говорит о том, что в ближайшие годы мы можем столкнуться с качественным рывком продуктов на базе обучаемых нейросетей, в первую очередь, в области голосовых помощников, переводчиков и прочих продуктов, связанных с лингвистикой.
===========
Источник:
habr.com
===========
Похожие новости:
- [IT-компании, Социальные сети и сообщества] Microsoft выходит из гонки. Oracle выкупит часть активов TikTok в США
- [Системное администрирование, Разработка под Linux, DevOps, Разработка под Windows] Нужен ли еще один курс по Git?
- [Гаджеты, Смартфоны] iFixit очень низко оценила ремонтопригодность Microsoft Surface Duo
- [Искусственный интеллект] World Models — обучение в воображении
- [Big Data, Алгоритмы, Карьера в IT-индустрии, Машинное обучение] Подбор скважин-кандидатов для гидравлического разрыва пласта с использованием методов машинного обучения
- [Расширения для браузеров] Конструктор интерактивных туров
- [Разработка веб-сайтов, Python, Программирование, C++] Разработка python module, чтобы продакшн радовал
- [Microsoft SQL Server, SQL, Администрирование баз данных] Введение в графовые базы данных SQL Server 2017 (перевод)
- [Microsoft Azure, Open source, Разработка для Office 365, Софт] На GitHub опубликован код фреймворка Fluid от Microsoft
- [Машинное обучение] Нейросети для предсказания возраста и пола
Теги для поиска: #_gpgpu, #_vysokaja_proizvoditelnost (Высокая производительность), #_mashinnoe_obuchenie (Машинное обучение), #_itsumma, #_deepspeed, #_deepspeed+zero, #_microsoft, #_nejroseti (нейросети), #_nvidia_tesla_v100, #_nvidia_tesla_a100, #_ampere, #_obuchenie (обучение), #_vysokaja_proizvoditelnost (высокая производительность), #_blog_kompanii_itsumma (
Блог компании ITSumma
), #_gpgpu, #_vysokaja_proizvoditelnost (
Высокая производительность
), #_mashinnoe_obuchenie (
Машинное обучение
)
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 22-Ноя 13:42
Часовой пояс: UTC + 5
| Автор | Сообщение |
|---|---|
|
news_bot ®
Стаж: 6 лет 9 месяцев |
|
 Компания Microsoft выпустила в свет новую версию библиотеки для тренировки нейросетей DeepSpeed+ZeRO, о чем свидетельствуют обновления соответствующего репозитория на GitHub. Теперь библиотека способна работать по 1 трлн параметров против 100 млрд, заявленных в первой версии DeepSpeed+ZeRO. Ранняя версия библиотеки была представлена публике еще в феврале этого года и позиционировалась как инструмент, который значительно расширяет возможности по тренировке нейросетей по большому спектру параметров. Высокая производительность библиотеки достигается за счет модуля ZeRO — технологии оптимизации потребления памяти во время крупномасштабного глубинного обучения. Именно ZeRO высвобождает необходимые для эффективных расчетов мощности, без привлечения дополнительного оборудования.  В плане количества параметров DeepSpeed превосходит в десятки раз OpenAI GPT-2, NVIDIA Megatron-LM и Google T5, которые используют 1,5, 8,3 и 11 миллиардов параметров соответственно. Важно то, что ZeRO совместима с другими библиотеками, например, с Megatron-LM от NVIDIA и может ускорить, согласно заявлению в официальном блоге Microsoft, ее работу до четырех раз за счет оптимизации потребления ресурсов. Основную область применения DeepSpeed Microsoft видит в сфере обучения языковых моделей, которые содержат миллиарды параметров. Так, по заверениям представителей компании, кластер из сотни видеокарт Nvidia архитектуры TensorCore модели Tesla V100 способен обучить языковую модель с 13 млрд параметров за 100 дней.  Для сравнения, на тот же период обучения с помощью более новых карт Nvidia модели А100, потребуется 4000 устройств. То есть, Microsoft заявляет о софтверном ускорении обучения языковых моделей в 40 раз. Также представители компании заявляют, что, технически, обучить нейросеть можно будет даже на одном ускорителе V100, просто это займет неприемлемо больше времени. Подобная софтверная оптимизация ресурсов на миллиардных моделях открывает в сегмент дверь для энтузиастов и малых компаний, которые не могут позволить себе выкупить целый дата-центр для экспериментов. Так, одна Nvidia Tesla V100 сейчас стоит в рознице около $6700, а доступная пока только на закрытых тестах Nvidia A100, по разным оценкам, будет стоить в диапазоне от $10 до $14 тысяч. Мини-кластер высокой производительности и стоимостью от $10-15 тысяч — вполне подъемная цена для малого и среднего бизнеса. А это говорит о том, что в ближайшие годы мы можем столкнуться с качественным рывком продуктов на базе обучаемых нейросетей, в первую очередь, в области голосовых помощников, переводчиков и прочих продуктов, связанных с лингвистикой. =========== Источник: habr.com =========== Похожие новости:
Блог компании ITSumma ), #_gpgpu, #_vysokaja_proizvoditelnost ( Высокая производительность ), #_mashinnoe_obuchenie ( Машинное обучение ) |
|
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 22-Ноя 13:42
Часовой пояс: UTC + 5