[Машинное обучение, IT-компании] Как датасеты аккумулируют в себе расизм и сексизм (перевод)

Ответить на тему

Автор

Сообщение

news_bot ^®

Стаж: 6 лет 9 месяцев
Сообщений: 27286

news_bot ^® написал(а)
11-Фев-2021 20:32

Цитировать

Алгоритмы машинного обучения, работающие с изображениями и текстом регулярно демонстрируют расовые и сексисткие предрассудки. Недавний пример — блокировка южнокорейского Facebook-бота Lee Luda, который «ненавидит» представителей сексуальных меньшинств и афроамериканцев. Проблема здесь глубже, чем кажется. При создании наборов данных для машинного обучения люди (осознанно или нет) транслируют в них множество собственных предрассудков, которыми впоследствии и руководствуются алгоритмы.

Запрограммированный расизм
Данные с фотографиями лиц — основа для работы систем компьютерного зрения. Эти наборы часто имеют метки в соответствии с расой лиц в конкретном датасете (наборе данных). Однако, на деле раса — абстрактное и размытое понятие. При создании категорий мало внимания уделяется обоснованности, структурированию и стабильности этой информации. А значит, у людей, формирующих датасеты, появляется возможность для сознательного или бессознательного проявления расизма при формировании наборов данных.
Исследователи Северо-Восточного университета Массачусетса Заид Хан и Юн Фу изучили метки лиц в датасетах в контексте расовых категорий. Ученые утверждают, что тэги ненадежны, потому что систематически кодируют расовые стереотипы. В ряде наборов данных используются слишком размытые характеристики, например «Индия/Южная Азия» или «люди с предками из стран Африки, Индии, Бангладеша, Бутана и других стран». А иногда используются ярлыки, которые могут трактоваться как оскорбительные — например, «монголоид».
Исследователи пишут, что часто используемый стандартный набор расовых категорий («азиат», «чернокожий», «белый») не способен представить значительное число людей. Например, эта схема исключает коренные народы Америки. Неясно, какую метку ставить для сотен миллионов людей, живущих на Ближнем Востоке или в Северной Африке. Еще одна обнаруженная проблема — люди по-разному воспринимают расовую принадлежность тех или иных лиц. Так, в одном из наборов данных корейцы считались более азиатским этносом, чем филиппинцы.
Теоретически можно расширить число расовых категорий, но они будут неспособны описать, например, метисов. Можно использовать национальное или этническое происхождение, но границы стран — это часто результат исторических обстоятельств, который не отражает различий во внешности. Кроме того, многие страны расово неоднородны.
Исследователи предупреждают, что предрассудки в отношении рас могут быть многократно воспроизведены и усилены, если оставить их без внимания. Алгоритмы распознавания лиц восприимчивы к различным предвзятостям. Наборы данных должны иметь как можно большее число корректно описанных рас, чтобы избежать какой-либо дискриминации. В цифровом мире должны быть представлены все этнические группы, как бы малочисленны они не были.
Запрограммированный сексизм
Что касается алгоритмов генерации текстов и изображений, они тоже могут транслировать некорректные убеждения. В каком-то смысле они — олицетворение коллективного бессознательного интернета. Негативные идеи нормализуются в рамках обучения алгоритмов.
Исследователи Райан Стид и Айлин Калискан провели эксперимент — загрузили фотографии лиц мужчин и женщин на сервисы, которые дорисовывают кадрированные снимки. В 43 % случаев мужчинам алгоритм предлагал деловой костюм. Женщинами в 53 % случаев алгоритм генерировал топ или костюм с глубоким декольте.
В 2019 году исследователь Кейт Кроуфорд и художник Тревор Паглен обнаружили, что тэги в ImageNet, самом большом датасете для обучения моделей компьютерного зрения содержат оскорбительные слова. Например, «slut» и некорректные названия рас. Проблема в том, что основой для этих датасетов служат данные из интернета, где циркулирует множество стереотипов о людях и явлениях.
Исследователи подчеркивают, что изображения — это очень нечеткие данные, отягощенные множеством неоднозначных смыслов, неразрешимыми вопросами и противоречиями. И перед разработчиками алгоритмов машинного обучения стоит задача изучить все нюансы неустойчивой взаимосвязи между образами и значениями.
Нужно больше фотографий
Исследователи Дебора Раджи и Женевьева Фрид изучили 130 датасетов лиц (FairFace, BFW, RFW и LAOFIW), собранные за 43 года. Как выяснилось, из-за того, что данных становилось все больше, у людей постепенно перестали спрашивать согласие на использование их изображений для использования в наборах данных.
Это привело к тому, что в наборы данных включены фото несовершеннолетних, фото с расистскими и сексистскими описаниями, а также изображения низкого качества. Эта тенденция может объяснить причину, почему полицейские регулярно ошибочно арестовывают людей на основе данных систем распознавания лиц.
Сначала люди очень осторожно относились к сбору, документированию и проверке данных о лицах, но на сегодня это больше никого не волнует. «Вы просто не можете отследить миллион лиц. После определенного момента вы даже не можете притвориться, что у вас есть контроль. Мы собираем приватную информацию, как минимум о десятках тысяч людей, что само по себе основание для причинения вреда. А потом мы накапливаем всю эту информацию, которую вы не можете контролировать, чтобы построить что-то, что, скорее всего, будет функционировать так, как вы даже не можете предсказать», — говорит Дебора Раджи.
Таким образом, не стоит воспринимать алгоритмы машинного обучения и данные, как сущности, которые объективно и научно классифицируют мир. Они так же подвержены политическим, идеологическим, расовым предрассудкам, субъективной оценке. И судя по состоянию крупных и популярных датасетов, это правило, а не исключение.
Блог ITGLOBAL.COM — Managed IT, частные облака, IaaS, услуги ИБ для бизнеса:

===========
Источник:
habr.com
===========
===========
Автор оригинала: Kyle Wiggers
===========Похожие новости:

Теги для поиска: #_mashinnoe_obuchenie (Машинное обучение), #_itkompanii (IT-компании), #_mashinnoe_obuchenie (машинное обучение), #_ii (ии), #_iskusstvennyj_intellekt (искусственный интеллект), #_machine_learning, #_blog_kompanii_itglobal.com (
Блог компании ITGLOBAL.COM
), #_mashinnoe_obuchenie (
Машинное обучение
), #_itkompanii (
IT-компании
)

Профиль ЛС

Ответить на тему

Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы

Текущее время: 24-Ноя 23:35
Часовой пояс: UTC + 5