[Машинное обучение, Искусственный интеллект] Исследователи выяснили, что системы ИИ не различают предложения с перемешанными словами
Автор
Сообщение
news_bot ®
Стаж: 6 лет 9 месяцев
Сообщений: 27286
Исследователи из Обернского университета пришли к выводу, что многие ИИ, предназначенные для обработки естественного языка (Natural Language Processing, NLP), не замечают, когда слова в предложении перемешиваются, а его значение меняется. Это показывает, что ИИ на самом деле не понимают язык, и создает проблемы в обучении систем NLP.Исследователи из Обернского университета в Алабаме совместно со специалистами компании Adobe Research попытались заставить систему NLP объяснить, почему разные предложения означают одно и то же. Они поняли, что перетасовка слов в предложении не влияла на объяснения. «Это общая проблема для всех моделей NLP», — считает руководитель исследования Ан Нгуен.Команда изучила несколько современных систем NLP, основанных на разработанной Google языковой модели BERT. Все эти системы показывают лучшие результаты, чем люди, в тестах GLUE (General Language Understanding Evaluation) — стандартных тестах, предназначенных для проверки понимания языка, и включающих такие задачи, как выявление перефразирований, определение того, выражает предложение положительный или отрицательный настрой, и задачи на вербальное мышление.Ученые обнаружили, что ИИ-системы не могут определить, когда слова в предложении перемешаны, даже если новый порядок слов изменил значение предложения или сделал его бессмысленным. Например, системы правильно определили, что предложения «Вызывает ли марихуана рак?» и «Курение марихуаны может вызвать рак легких?» означали одно и то же, хоть и были перефразированы. Однако системы были уверены в том, что у предложений «Вы курите рак, как может дать легкое марихуаны?» и «Легкие могут дать курение марихуаны, как вы рак?» такой же смысл. Системы также решили, что предложения с противоположным значением — например, «Вызывает ли марихуана рак?» и «Вызывает ли рак марихуану?» — были одинаковыми по смыслу. Ответы тестируемых систем не изменились при перемешивании слов в от 75% до 90% случаев.Как указывает журнал MIT Technology Review, модели улавливают несколько ключевых слов в предложении, в каком бы порядке они ни были. Они не понимают язык так, как люди. Кроме того, исследование показывает, что тест GLUE неспособен оценить понимание языка. Многие исследователи уже начали использовать более сложный набор тестов под названием SuperGLUE, но Нгуен подозревает, что и у него будут аналогичные недостатки.Проблему непонимания машинами естественного языка подтвердил также ученый Йошуа Бенжио, специализирующийся на нейросетях и глубоком обучении. Он и его коллеги обнаружили, что изменение порядка слов в разговоре не всегда меняет ответы чат-ботов. Исправить ситуацию можно, если принуждать модель сосредотачивать внимание на порядке слов — обучать ее выполнять задачи, для которых порядок слов имеет значение (например, обнаруживать грамматические ошибки). Тем не менее, как указывает Ан Нгуен, исследование его команды подчеркивает, насколько сложно создать ИИ, которые понимают и рассуждают как люди.
===========
Источник:
habr.com
===========
Похожие новости:
- [Алгоритмы, Математика, Машинное обучение, Искусственный интеллект] Алгоритм обучения нейронных сетей с помощью нового вида чисел
- [Машинное обучение, Экология] Глубокое обучение в экологии: прогнозирование вспышек численности жука-короеда (перевод)
- [Программирование, Машинное обучение] Введение: Соревнование от финансовой группы HOME CREDIT по определеню риска дефолта заемщика
- [Python, Программирование, Машинное обучение, DIY или Сделай сам] Пора избавляться от мышки или Hand Pose Estimation на базе LiDAR за 30 минут
- [Машинное обучение, GTD] Прогрессивное конспектирование III: Чем быстрее забываешь, тем быстрее учишься (перевод)
- [Робототехника, Искусственный интеллект] Исследователи Колумбийского университета встроили в робота основы эмпатии
- [Программирование, Java, Машинное обучение, Искусственный интеллект] Заменят ли роботы программистов?
- [Python, Программирование, Визуализация данных, Научно-популярное, Natural Language Processing] Стилометрия, или как отличить Акунина от Булгакова с помощью 20 строк кода?
- [Робототехника, Искусственный интеллект] Samsung представила Bot Handy — робота-манипулятора для домашней автоматизации
- [Python, Машинное обучение, Искусственный интеллект, TensorFlow] Подборка статей о машинном обучении: кейсы, гайды и исследования за декабрь 2020
Теги для поиска: #_mashinnoe_obuchenie (Машинное обучение), #_iskusstvennyj_intellekt (Искусственный интеллект), #_nlp, #_natural_language_processing, #_obrabotka_jazyka (обработка языка), #_iskusstvennyj_intellekt (искусственный интеллект), #_mashinnoe_obuchenie (
Машинное обучение
), #_iskusstvennyj_intellekt (
Искусственный интеллект
)
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 22-Ноя 22:18
Часовой пояс: UTC + 5
| Автор | Сообщение |
|---|---|
|
news_bot ®
Стаж: 6 лет 9 месяцев |
|
 Исследователи из Обернского университета пришли к выводу, что многие ИИ, предназначенные для обработки естественного языка (Natural Language Processing, NLP), не замечают, когда слова в предложении перемешиваются, а его значение меняется. Это показывает, что ИИ на самом деле не понимают язык, и создает проблемы в обучении систем NLP.Исследователи из Обернского университета в Алабаме совместно со специалистами компании Adobe Research попытались заставить систему NLP объяснить, почему разные предложения означают одно и то же. Они поняли, что перетасовка слов в предложении не влияла на объяснения. «Это общая проблема для всех моделей NLP», — считает руководитель исследования Ан Нгуен.Команда изучила несколько современных систем NLP, основанных на разработанной Google языковой модели BERT. Все эти системы показывают лучшие результаты, чем люди, в тестах GLUE (General Language Understanding Evaluation) — стандартных тестах, предназначенных для проверки понимания языка, и включающих такие задачи, как выявление перефразирований, определение того, выражает предложение положительный или отрицательный настрой, и задачи на вербальное мышление.Ученые обнаружили, что ИИ-системы не могут определить, когда слова в предложении перемешаны, даже если новый порядок слов изменил значение предложения или сделал его бессмысленным. Например, системы правильно определили, что предложения «Вызывает ли марихуана рак?» и «Курение марихуаны может вызвать рак легких?» означали одно и то же, хоть и были перефразированы. Однако системы были уверены в том, что у предложений «Вы курите рак, как может дать легкое марихуаны?» и «Легкие могут дать курение марихуаны, как вы рак?» такой же смысл. Системы также решили, что предложения с противоположным значением — например, «Вызывает ли марихуана рак?» и «Вызывает ли рак марихуану?» — были одинаковыми по смыслу. Ответы тестируемых систем не изменились при перемешивании слов в от 75% до 90% случаев.Как указывает журнал MIT Technology Review, модели улавливают несколько ключевых слов в предложении, в каком бы порядке они ни были. Они не понимают язык так, как люди. Кроме того, исследование показывает, что тест GLUE неспособен оценить понимание языка. Многие исследователи уже начали использовать более сложный набор тестов под названием SuperGLUE, но Нгуен подозревает, что и у него будут аналогичные недостатки.Проблему непонимания машинами естественного языка подтвердил также ученый Йошуа Бенжио, специализирующийся на нейросетях и глубоком обучении. Он и его коллеги обнаружили, что изменение порядка слов в разговоре не всегда меняет ответы чат-ботов. Исправить ситуацию можно, если принуждать модель сосредотачивать внимание на порядке слов — обучать ее выполнять задачи, для которых порядок слов имеет значение (например, обнаруживать грамматические ошибки). Тем не менее, как указывает Ан Нгуен, исследование его команды подчеркивает, насколько сложно создать ИИ, которые понимают и рассуждают как люди. =========== Источник: habr.com =========== Похожие новости:
Машинное обучение ), #_iskusstvennyj_intellekt ( Искусственный интеллект ) |
|
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 22-Ноя 22:18
Часовой пояс: UTC + 5