[Высокая производительность, Алгоритмы, Машинное обучение, Искусственный интеллект, Процессоры] Новый ML-алгоритм работает до 15 раз быстрее на центральном процессоре, чем на видеоускорителе
Автор
Сообщение
news_bot ®
Стаж: 6 лет 9 месяцев
Сообщений: 27286
Ученые из Университета Райса продемонстрировали программное обеспечение, которое работает на обычных процессорах и обучает глубокие нейронные сети в 15 раз быстрее, чем платформы на основе графических процессоров. 
Автор разработки, доцент кафедры информатики в инженерной школе Райс Аншумали ШриваставаПо словам исследователей, стоимость обучения нейросетей остается серьезным препятствием в развитии технологии, а компании тратят миллионы долларов в неделю на настройку рабочих нагрузок на ИИ. Обучение глубоких нейросетей обычно представляет собой серию операций умножения матриц. Подобного рода рабочие нагрузки идеальны для графических процессоров, но последние стоят примерно в три раза больше, чем центральные процессоры общего назначения. По словам разработчиков, сейчас отрасль сосредоточена на ускорении матричного умножения, однако они решили поработать с самим алгоритмом. Исследователи преобразовали обучение глубоких нейросетей в поисковую задачу, которую можно решить с помощью хеш-таблиц. Их «сублинейный механизм глубокого обучения» (SLIDE) специально разработан для работы на стандартных процессорах. Как утверждают разработчики, он может превзойти обучение на основе графического процессора в 4-15 раз по скорости. Так, обучение с использованием SLIDE на 44-ядерном ЦП оказалось более чем в 3,5 раза (1 час против 3,5 часов) быстрее, чем обучение с использованием Tensorflow на Tesla V100 при любом заданном уровне точности. На том же аппаратном обеспечении ЦП SLIDE работает более чем в 10 раз быстрее, чем Tensorflow.В настоящее время исследователи работают над тем, чтобы улучшить производительность SLIDE с помощью ускорителей векторизации и оптимизации памяти в современных процессорах.Код разработчиков доступен на GitHub.Как отмечается в обсуждении, данный алгоритм предназначается именно для широких нейросетей, но не для сверточных.
===========
Источник:
habr.com
===========
Похожие новости:
- [Разработка игр, Машинное обучение, Искусственный интеллект] Преобразуем графику Fortnite в PUBG новым более быстрым подходом (перевод)
- [Математика, Машинное обучение, История IT, Искусственный интеллект, Мозг] Мозг, смысл и конец света
- [Мозг, Здоровье] Депрессия меняет ДНК и приводит к аномально быстрому старению
- [Машинное обучение, Научно-популярное, Искусственный интеллект] Как машины учатся эмоциональному поведению
- [Информационная безопасность, Open source, GitHub, Машинное обучение, IT-компании] Microsoft представила симулятор кибератак с машинным обучением
- [Искусственный интеллект, Криптовалюты] Децентрализованный Искусственный интеллект
- [Высокая производительность, Big Data, Хранение данных, Hadoop] Новая схватка двух якодзун или Scylla vs Aerospike (+ HBase для массовки)
- [Высокая производительность, Суперкомпьютеры] Обновление списка Top50: курс на рост
- [Программирование, Алгоритмы, Big Data] Пирамидальная сортировка, сортировка слиянием и выпуклая оболочка (перевод)
- [Программирование, Алгоритмы, Учебный процесс в IT] Вебинар «Ускорение на простых типах данных и битовые операции»
Теги для поиска: #_vysokaja_proizvoditelnost (Высокая производительность), #_algoritmy (Алгоритмы), #_mashinnoe_obuchenie (Машинное обучение), #_iskusstvennyj_intellekt (Искусственный интеллект), #_protsessory (Процессоры), #_algoritm (алгоритм), #_mashinnoe_obuchenie (машинное обучение), #_glubokie_nejroseti (глубокие нейросети), #_tsentralnyj_protsessor (центральный процессор), #_graficheskij_protsessor (графический процессор), #_vysokaja_proizvoditelnost (
Высокая производительность
), #_algoritmy (
Алгоритмы
), #_mashinnoe_obuchenie (
Машинное обучение
), #_iskusstvennyj_intellekt (
Искусственный интеллект
), #_protsessory (
Процессоры
)
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 22-Ноя 20:16
Часовой пояс: UTC + 5
| Автор | Сообщение |
|---|---|
|
news_bot ®
Стаж: 6 лет 9 месяцев |
|
|
Ученые из Университета Райса продемонстрировали программное обеспечение, которое работает на обычных процессорах и обучает глубокие нейронные сети в 15 раз быстрее, чем платформы на основе графических процессоров.  Автор разработки, доцент кафедры информатики в инженерной школе Райс Аншумали ШриваставаПо словам исследователей, стоимость обучения нейросетей остается серьезным препятствием в развитии технологии, а компании тратят миллионы долларов в неделю на настройку рабочих нагрузок на ИИ. Обучение глубоких нейросетей обычно представляет собой серию операций умножения матриц. Подобного рода рабочие нагрузки идеальны для графических процессоров, но последние стоят примерно в три раза больше, чем центральные процессоры общего назначения. По словам разработчиков, сейчас отрасль сосредоточена на ускорении матричного умножения, однако они решили поработать с самим алгоритмом. Исследователи преобразовали обучение глубоких нейросетей в поисковую задачу, которую можно решить с помощью хеш-таблиц. Их «сублинейный механизм глубокого обучения» (SLIDE) специально разработан для работы на стандартных процессорах. Как утверждают разработчики, он может превзойти обучение на основе графического процессора в 4-15 раз по скорости. Так, обучение с использованием SLIDE на 44-ядерном ЦП оказалось более чем в 3,5 раза (1 час против 3,5 часов) быстрее, чем обучение с использованием Tensorflow на Tesla V100 при любом заданном уровне точности. На том же аппаратном обеспечении ЦП SLIDE работает более чем в 10 раз быстрее, чем Tensorflow.В настоящее время исследователи работают над тем, чтобы улучшить производительность SLIDE с помощью ускорителей векторизации и оптимизации памяти в современных процессорах.Код разработчиков доступен на GitHub.Как отмечается в обсуждении, данный алгоритм предназначается именно для широких нейросетей, но не для сверточных. =========== Источник: habr.com =========== Похожие новости:
Высокая производительность ), #_algoritmy ( Алгоритмы ), #_mashinnoe_obuchenie ( Машинное обучение ), #_iskusstvennyj_intellekt ( Искусственный интеллект ), #_protsessory ( Процессоры ) |
|
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 22-Ноя 20:16
Часовой пояс: UTC + 5