[Big Data, Машинное обучение] Google выпускает MLP-Mixer: MLP архитектуру для компьютерного зрения
Автор
Сообщение
news_bot ®
Стаж: 6 лет 9 месяцев
Сообщений: 27286
Материал переведен. Ссылка на оригиналДля обработки изображений возвращаемся к MLP, просто, но эффективно (с конкурентоспособными результатами). Обработка изображений — одна из самых интересных областей машинного обучения. Все началось с многослойных перцептронов (MLP), затем были свертки, потом механизм слоев self-attention (трансформеры), а теперь эта статья снова возвращает нас к MLP. Если вы думаете также как и я, то первый вопрос, который вы себе зададите — как MLP может достичь почти тех же результатов, что трансформеры и CNN? Именно на это мы и ответим в этой статье. Новый предлагаемый "MLP-Mixer" достигает результатов, очень близких к результатам моделей SOTA, которые обучались на массах данных, с почти 3-кратной скоростью. В статье также представлена интересная метрика (изображений / ядро / сек).Предложенный MLP-Mixer не использует ни сверток, ни self-attention слоев, и, тем не менее, достигает почти SOTA результатов, что наводит на размышления.Архитектура MLP-MixerПрежде чем обсуждать принцип работы сети, давайте начнем с изучения ее компонентов, а затем соберем их все вместе (как если бы мы разобрали двигатель автомобиля и исследовали его отдельные части).
Мы представляем MLP-Mixer, архитектуру, основанную исключительно на многослойных перцептронах (MLP). MLP-Mixer содержит два типа слоев: один с MLP, применяемыми независимо к фрагментам (patches) изображения (т.е. "смешивающими" характеристики отдельных фрагментов), и другой с MLP, применяемыми ко всем фрагментам (т.е. "смешивающими" пространственную информацию).Источник: MLP-Mixer на arxiv
Первое, что необходимо отметить, это то, как "моделируется/представляется" входное изображение; оно моделируется в виде патчей (как оно было разделено) x каналов. Первый тип слоя (будем называть его channel-mixing layer [1]), работает на независимых патчах изображения и допускает связь между их каналами (отсюда channel-mixing) во время обучения. Второй тип (будем называть его patch-mixing) работает аналогично, но для патчей (позволяет общаться между разными патчами).Основная идея современных сетей обработки изображений заключается в том, чтобы смешивать фичи в определенном месте или смешивать их между различными местами [1]. CNN выполняют оба этих типа смешивания с помощью сверток, ядер и операций объединения (pooling), в то время как трансформеры компьютерного зрения выполняют их с помощью механизма self-attention. Однако MLP-Mixer пытается сделать и то, и другое на основе более "раздельного" подхода (объяснение ниже), причем только с использованием MLP. Основным преимуществом использования только MLP (которые в основном представляют собой матричные умножения) является простота архитектуры и скорость вычислений.Как это работает?Это самая интересная часть, где мы должны обсудить, как входной сигнал становится выходным, и что происходит с изображением во время прохождения через сеть.
Источник: MLP-Mixer на arxiv - Изображение сначала разбивается на непересекающиеся фрагменты, затем отправляется в сеть.Первый полностью связанный слой проецирует неперекрывающиеся патчи в нужное скрытое измерение (в зависимости от размера слоя). Тип этого слоя — "слой смешивания патчей (patch-mixing)", что вполне логично. Вы можете представлять это как кодирование изображения, поскольку данный прием широко используется в нейронных сетях (как автоэнкодеры) для уменьшения размерности изображения и сохранения только наиболее важных характеристик. После этого строится "таблица" со значениями патчей изображения в сравнении со значениями скрытого измерения.Слой смешивания патчей выполняет свои матричные операции (например, транспонирование) над столбцами таблицы, в то время как слой смешивания каналов (channel-mixing) выполняет свои матричные операции над строками таблицы (выше это представлено как "слой смешивания (Mixer Layer)"). После этого применяется нелинейная функция активации [1]. Это может показаться немного запутанным, но интуитивно можно понять, что микшер пытается найти наилучший способ смешивания и кодирования каналов и фрагментов изображения в конструктивный результат.Здесь важно отметить, что размер скрытого представления неперекрывающихся фрагментов не зависит от количества входных патчей. Чтобы доказать это, потребуется гораздо больше времени, чем мне хотелось бы, поэтому не смущайтесь, если захотите проверить это на практике. В сущности, это дает очень важное различие в производительности между MLP-Mixer и другими архитектурами, которое заключается в следующем:
Вычислительная сложность MLP-Mixer линейна в зависимости от количества входных патчей, в отличие от ViT, чья сложность квадратична.Источник: MLP-Mixer на arxiv
MLP-Mixer также имеет несколько преимуществ, которые обеспечивают существенную простоту его архитектуры:
- Слои имеют одинаковый размер
- Каждый слой состоит только из 2 блоков MLP
- Каждый слой принимает входные данные одинакового размера
- Все фрагменты изображения проецируются линейно с одной и той же матрицей проекции
Это делает аргументацию в пользу этой сети и работу с ней немного проще по сравнению с CNN, которые обычно имеют пирамидальную структуру [1]. Помню, когда я впервые пытался спроектировать CNN, то понять, когда нужно уменьшить масштаб изображения, а когда увеличить, и на какую степень увеличивать/уменьшать масштаб, было довольно сложно. В данной архитектуре эти проблемы отсутствуют.Следует отметить, что в модели также пропускают связи и используют регуляризацию, но я не думаю, что нам нужно обсуждать эти концепции, поскольку они широко используются и объясняются другими ресурсами.Заключительные мысли
Источник: MLP-Mixer на arxivЧто касается результатов, то существует несколько таблиц, и в них описывается, что производительность Mixer довольно схожа с другими архитектурами, тем не менее, он значительно быстрее. Его "пропускная способность" составляет 105 изображений/сек/ядро по сравнению с 32 для трансформера компьютерного зрения (Vision transformer). Справедливости ради следует отметить, что это может выглядеть довольно странной метрикой, и порой создается впечатление, что исследователи ML пытаются найти одну метрику, чтобы казалось, что их сети намного лучше других. Однако, полагаю, можно объективно согласиться с тем, что достижение такого же уровня производительности с помощью только MLP-блоков все равно впечатляет.Надеюсь, я представил вам низкоуровневые и высокоуровневые детали без большой путаницы. Дайте мне знать в комментариях, если что-то вам было непонятно, и я сделаю все возможное, чтобы объяснить это подробнее.
Перевод материала подготовлен в рамках курса«Промышленный ML на больших данных».
Всех желающих приглашаем на двухдневный онлайн-интенсив «Как вывести модель в продакшн с помошью AWS? Теория и подготовка». На занятиях вы узнаете, как использовать lambda и нюансы работы с IoT данными. Также научитесь выводить модель в продакшн без сложных настроек системы. • РЕГИСТРАЦИЯ •
Материал переведен. Ссылка на оригинал
===========
Источник:
habr.com
===========
Похожие новости:
- [Cisco, Сетевое оборудование] Как добавить коммутатор в стек Cisco C2960X и ничего не сломать
- [Информационная безопасность, Работа с видео, Машинное обучение, Искусственный интеллект] Бельгийский политический активист научил систему машинного зрения помечать на видео политиков, не слушающих заседание
- [Математика, Машинное обучение, Научно-популярное, Физика] Как ИИ превосходит человека в разработке квантовых экспериментов и причём здесь графы (перевод)
- [] 10 ловушек, связанных с требованиями, которых следует избегать (перевод)
- [Законодательство в IT, Облачные сервисы, IT-компании] Министерство обороны США аннулировало контракт JEDI Cloud на $10 млрд из-за вражды Microsoft и Amazon
- [Облачные вычисления, Big Data, Хранение данных, Data Engineering] Следующий этап: построение конвейера данных от периферии до аналитики
- [Облачные вычисления, Big Data, Kubernetes] Как и зачем «Ашан» построил платформу для работы с Big Data в публичном облаке
- [Python, Программирование, Машинное обучение] Аннотирование текстов при помощи BERT
- [Open source, Разработка игр] Amazon анонсировала движок Open 3D Engine с открытым исходным кодом по лицензии Apache 2.0 license
- [Big Data, Законодательство в IT, Социальные сети и сообщества, IT-компании] Суд запретил Double Data использовать данные пользователей «ВКонтакте»
Теги для поиска: #_big_data, #_mashinnoe_obuchenie (Машинное обучение), #_machine_learning, #_data_science, #_big_data, #_aws, #_lambda, #_iot_dannye (iot данные), #_promyshlennyj_ml (промышленный ml), #_blog_kompanii_otus (
Блог компании OTUS
), #_big_data, #_mashinnoe_obuchenie (
Машинное обучение
)
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 22-Ноя 09:24
Часовой пояс: UTC + 5
| Автор | Сообщение |
|---|---|
|
news_bot ®
Стаж: 6 лет 9 месяцев |
|
 Материал переведен. Ссылка на оригиналДля обработки изображений возвращаемся к MLP, просто, но эффективно (с конкурентоспособными результатами). Обработка изображений — одна из самых интересных областей машинного обучения. Все началось с многослойных перцептронов (MLP), затем были свертки, потом механизм слоев self-attention (трансформеры), а теперь эта статья снова возвращает нас к MLP. Если вы думаете также как и я, то первый вопрос, который вы себе зададите — как MLP может достичь почти тех же результатов, что трансформеры и CNN? Именно на это мы и ответим в этой статье. Новый предлагаемый "MLP-Mixer" достигает результатов, очень близких к результатам моделей SOTA, которые обучались на массах данных, с почти 3-кратной скоростью. В статье также представлена интересная метрика (изображений / ядро / сек).Предложенный MLP-Mixer не использует ни сверток, ни self-attention слоев, и, тем не менее, достигает почти SOTA результатов, что наводит на размышления.Архитектура MLP-MixerПрежде чем обсуждать принцип работы сети, давайте начнем с изучения ее компонентов, а затем соберем их все вместе (как если бы мы разобрали двигатель автомобиля и исследовали его отдельные части). Мы представляем MLP-Mixer, архитектуру, основанную исключительно на многослойных перцептронах (MLP). MLP-Mixer содержит два типа слоев: один с MLP, применяемыми независимо к фрагментам (patches) изображения (т.е. "смешивающими" характеристики отдельных фрагментов), и другой с MLP, применяемыми ко всем фрагментам (т.е. "смешивающими" пространственную информацию).Источник: MLP-Mixer на arxiv
 Источник: MLP-Mixer на arxiv - Изображение сначала разбивается на непересекающиеся фрагменты, затем отправляется в сеть.Первый полностью связанный слой проецирует неперекрывающиеся патчи в нужное скрытое измерение (в зависимости от размера слоя). Тип этого слоя — "слой смешивания патчей (patch-mixing)", что вполне логично. Вы можете представлять это как кодирование изображения, поскольку данный прием широко используется в нейронных сетях (как автоэнкодеры) для уменьшения размерности изображения и сохранения только наиболее важных характеристик. После этого строится "таблица" со значениями патчей изображения в сравнении со значениями скрытого измерения.Слой смешивания патчей выполняет свои матричные операции (например, транспонирование) над столбцами таблицы, в то время как слой смешивания каналов (channel-mixing) выполняет свои матричные операции над строками таблицы (выше это представлено как "слой смешивания (Mixer Layer)"). После этого применяется нелинейная функция активации [1]. Это может показаться немного запутанным, но интуитивно можно понять, что микшер пытается найти наилучший способ смешивания и кодирования каналов и фрагментов изображения в конструктивный результат.Здесь важно отметить, что размер скрытого представления неперекрывающихся фрагментов не зависит от количества входных патчей. Чтобы доказать это, потребуется гораздо больше времени, чем мне хотелось бы, поэтому не смущайтесь, если захотите проверить это на практике. В сущности, это дает очень важное различие в производительности между MLP-Mixer и другими архитектурами, которое заключается в следующем: Вычислительная сложность MLP-Mixer линейна в зависимости от количества входных патчей, в отличие от ViT, чья сложность квадратична.Источник: MLP-Mixer на arxiv
 Источник: MLP-Mixer на arxivЧто касается результатов, то существует несколько таблиц, и в них описывается, что производительность Mixer довольно схожа с другими архитектурами, тем не менее, он значительно быстрее. Его "пропускная способность" составляет 105 изображений/сек/ядро по сравнению с 32 для трансформера компьютерного зрения (Vision transformer). Справедливости ради следует отметить, что это может выглядеть довольно странной метрикой, и порой создается впечатление, что исследователи ML пытаются найти одну метрику, чтобы казалось, что их сети намного лучше других. Однако, полагаю, можно объективно согласиться с тем, что достижение такого же уровня производительности с помощью только MLP-блоков все равно впечатляет.Надеюсь, я представил вам низкоуровневые и высокоуровневые детали без большой путаницы. Дайте мне знать в комментариях, если что-то вам было непонятно, и я сделаю все возможное, чтобы объяснить это подробнее. Перевод материала подготовлен в рамках курса«Промышленный ML на больших данных».
Всех желающих приглашаем на двухдневный онлайн-интенсив «Как вывести модель в продакшн с помошью AWS? Теория и подготовка». На занятиях вы узнаете, как использовать lambda и нюансы работы с IoT данными. Также научитесь выводить модель в продакшн без сложных настроек системы. • РЕГИСТРАЦИЯ • =========== Источник: habr.com =========== Похожие новости:
Блог компании OTUS ), #_big_data, #_mashinnoe_obuchenie ( Машинное обучение ) |
|
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 22-Ноя 09:24
Часовой пояс: UTC + 5