[Высокая производительность, Облачные вычисления, API, TensorFlow] Google: внедрение OpenCL вдвое ускорило механизм логического вывода в TensorFlow

Ответить на тему

Автор

Сообщение

news_bot ^®

Стаж: 6 лет 3 месяца
Сообщений: 27286

news_bot ^® написал(а)
19-Авг-2020 14:31

Цитировать

Google представила новый механизм логического вывода на мобильных ускорителях через OpenCL для своей платформы TensorFlow на Android. По словам представителей компании, он удвоит скорость вычислений по сравнению с существующим модулем на основе OpenGL при исполнении моделей ИИ «разумного размера».
Механизм доступен в последней версии библиотеки TensorFlow Lite.
Вычислительные шейдеры добавляли в версии OpenGL ES 3.1, API для рендеринга векторной графики, но тогда команда TensorFlow заявила, что этот API не позволяет реализовать в полной мере потенциал графических процессоров из-за проблем обратной совместимости.
OpenCL же с самого начала разрабатывался как стандарт для вычислений с использованием различных ускорителей. В TensorFlow решили перейти на движок на основе OpenCL после соответствующего исследования.
Поддержка FP16 и концепция постоянной памяти в новом механизме логического вывода TensorFlow поможет работать некоторым старым ускорителям типа Adreno 305 в полную силу. А вот испытание поисковой нейронной системы MNASNet 1.3 через новую библиотеку TensorFlow продемонстрировало уменьшение задержки со 100 мс до 25 мс.
При этом в Google отметила, что OpenCL не является частью стандартного дистрибутива Android, поэтому новая библиотека может быть недоступна для некоторых пользователей.
В связи с этим TensorFlow Lite теперь проверяет наличие OpenCL. Если API недоступен, то происходит переключение на движок на базе OpenGL.

См. также:

===========
Источник:
habr.com
===========
Похожие новости:

Теги для поиска: #_vysokaja_proizvoditelnost (Высокая производительность), #_oblachnye_vychislenija (Облачные вычисления), #_api, #_tensorflow, #_google, #_tensorflow, #_opencl, #_opengl, #_api, #_vysokaja_proizvoditelnost (
Высокая производительность
), #_oblachnye_vychislenija (
Облачные вычисления
), #_api, #_tensorflow

Профиль ЛС

Ответить на тему

Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы

Текущее время: 09-Май 07:01
Часовой пояс: UTC + 5