[Машинное обучение, Искусственный интеллект, Будущее здесь] Как bias может повлиять на мир вообще и людей-пользователей в частности?
Автор
Сообщение
news_bot ®
Стаж: 6 лет 9 месяцев
Сообщений: 27286
В прошлом посте, посвященном ошибкам искусственного интеллекта, мы обсудили причины возникновения смещений данных и привели несколько примеров, по поводу которых велась оживленная дискуссия в профессиональных кругах. Сегодня продолжаем тему. Александра Царева, дата сайнтист "Инфосистемы Джет", раскроет тему возможного влияния bias на мир.
«Предвзятость» (многие лучше знакомы с коротким английским термином bias), ведущая к получению искаженных выводов, свойственна искусственному интеллектутак же, как и его «естественному» собрату.
Думаю, что мои ровесники — те, кому сейчас около 30–40 лет — взрослели в удивительное время, когда искусственного интеллекта вокруг них становилось все больше. Приложения и алгоритмы, делающие нашу жизнь удобнее, постоянно появляются и сейчас. Всегда интересовало: нельзя ли сделать так, чтобы «угнетение роботами», которое нам обещали фантасты и на которое жалуются сейчас люди, с обеспокоенностью смотрящие в будущее, происходило еще лучше и качественнее, чем сейчас? Чтобы умный дом лучше разбирался в моих повседневных привычках и меньше нуждался в настройке, чтобы рекомендации рекомендательных систем были более точными и не советовали мне то, что может не понравиться…Тем не менее, у этого возрастающего удобства и приспособленности мира лично к твоим нуждам на основании решений алгоритмов и рекомендательных систем есть и темная сторона: чем лучше «роботы» знают, что нам нужно, тем больше они закрепляют определенное положение вещей.
То, что по сравнению с миром прошлого мы все больше опираемся на то, что нам посоветуют системы, созданные дата-сайнтистами, довольно специфическим образом меняет наше восприятие мира.
Идеальный пример — новостные ленты. В целом и до того, как появился интернет и новостные паблики, уже было известно, что люди склонны искать подтверждение своему мнению и формировать круг того, что они читают, и тех, с кем они общаются, исходя из близости их взглядов к своим. В ранних исследованиях эффект назывался «эхо-комнатами», сейчас более привычным термином стал «информационный пузырь». Повсеместное внедрение рекомендательных систем закрепило и развило этот давно хорошо известный эффект, приводящий к смещению восприятия и приверженности такой когнитивной ошибке, как предвзятость подтверждения.Вчера человек выписывал газеты определенной направленности — сегодня подборку новостей делает алгоритм на главной странице поисковика или социальной сети. Вчера мы подбирали друзей по интересам — сегодня всегда можно найти в социальных сетях сообщество, разделяющее даже самые экзотичные воззрения (вплоть до теории плоской земли). Раньше шансы выйти за пределы своего информационного пузыря были невелики, его поддерживали наши привычки и круг общения. Сегодня эти шансы практически нулевые для всех, кто не делает для этого специальных усилий.
Мир, в котором рекомендации становятся все лучше, сужает наш угол обзора и в некотором смысле начинает формировать нашу повестку самостоятельно.
В придачу к этому — тут мы начинаем подходить к вопросу буквального смещения данных — есть такая проблема, что модели, которые мы обучаем, обучаются не в вакууме, а уже в некоторой среде, где у людей были определенные когнитивные искажения и они тоже отпечатались в наборе данных.Например, в США используется система, рассчитывающая вероятность повторного правонарушения и рекомендующая судьям более или менее строгое наказание. Казалось бы, хорошая идея — так судья будет избавлен от личных симпатий или антипатий к правонарушителю. На деле оказалось, что точно так же, как судьи бывают предубеждены против людей с определенным набором характеристик, была предубеждена в этом и система. Почему? Разработчики утверждают, что расовые характеристики при разработке не использовались. Тем не менее, есть множество косвенных признаков, которые позволяют вывести, к какой группе населения относится человек — место проживания, состав семьи, образование, сфера занятости и т.п.Это довольно интересный кейс: мы ведь понимаем на бытовом уровне, почему какие-то категории людей более подвержены тому, чтобы совершить правонарушение и оказаться в тюрьме. При этом, если мы это понимание автоматизируем, предоставив те же факты, на которых мы пришли к этому выводу, системе искусственного интеллекта, то получается, что мы закрепляем неравноправие, возникшее на основании неучтенных искусственным интеллектом фактов. И продолжаем воспроизводить однажды возникшую ситуацию — в некоем дистопическом будущем уже, возможно, даже не рефлексируя о том, почему мы считаем одних людей более вероятными преступниками, чем других. Поэтому важна работа аналитиков уже после внедрения аналитических систем: у живого человека есть некоторый люфт, в пределах которого он может задуматься о своей правоте, сделать какую-то личную оценку, приобрести новый опыт, учесть неожиданные изменения, произошедшие в системе.
Опыт, который был приобретен искусственным интеллектом, основан на прошлом: алгоритм знает, как было хорошо, и что делать, чтобы было хорошо и дальше.
Кто понесет ответственность за ошибки искусственного интеллекта?Это сложный этический вопрос, и однозначного ответа на него еще нет (как и на многие другие вопросы выше). Посмотрим, например, на разработку управляемых искусственным интеллектом автомобилей. С одной стороны, они всё более самостоятельны, с другой стороны, как правило, разработчики требуют, чтобы за рулём был человек, готовый перехватить управление. И ученые, и простые люди продолжают дискутировать о том, в чью пользу должен быть выбор машины, которую ведет искусственный интеллект, если перед ней возникает угроза сбить пешехода — в пользу человека, которого она везет, или в пользу пешехода? В зависимости от выбранной точки зрения можно спорить дальше: если машина должна прежде всего отвечать за безопасность тех, кто внутри машины, то почему? Пешеход же ни в чем не виноват, он просто мимо проходил. А если она должна совершать выбор в пользу пешехода против безопасности тех, кто сидит в машине, то почему? Они же в ней сидят, и, казалось бы, искусственный интеллект должен позаботиться о тех, кто ему доверился. И ситуаций, куда нельзя применить что-то вроде «трех законов робототехники», немало. Возьмем классическую дилемму вагонетки (где нужно выбрать, кто пострадает — один человек или много), или ее вариацию про толстяка, которого нужно столкнуть/не столкнуть на рельсы, чтоб не допустить/допустить большее число жертв, — как должен поступать хороший робот? Классические задачи на этику, использовавшиеся в экспериментах психологов, вовсю обсуждаются и с точки зрения действий искусственного интеллекта в такой ситуации.На данный момент принято, что от искусственного интеллекта, который должен будет принять решение, ценой которого могут быть жизни людей (а не какая-то экономическая упущенная выгода), конечное решение передается к человеку. Алгоритмы не решают, они советуют специалисту. Пока такие перспективные проекты, как искусственный интеллект-доктор, ставящий диагноз, все еще остаются нереализованными и действующими в лучшем случае в пилотной роли советчика. Ведь если искусственный интеллект ставит некий диагноз и на его основании дает врачебные рекомендации, на кого должна быть переложена ответственность за его ошибку? Если ошибся доктор-человек — существуют давно разработанные механизмы, а вот как поступать в случае, если ошибся алгоритм, дав неверную или опасную рекомендацию — непонятно. Так что, несмотря на то, что в медицине довольно много перспектив по передаче внешне тривиальных случаев в руки искусственного интеллекта, такого перехода пока не произошло.Как крупные компании борются с проблемами? Разумеется, смещения данных — не тайна, и крупные компании прекрасно об этом знают. Существуют разные методы борьбы в зависимости от того, что вызывает само смещение (изначальная неполнота относительно моделируемой области; изменения, обусловленные изменением моделируемой области в связи с обновлением процессов или просто во времени; контроль качества за изменением поведения акторов после того, как модель на них повлияла и т.п.).Мне доводилось слышать, что у некоторых уже есть специальные отделы мониторинга data quality (качества данных), которые занимаются непосредственно тем, что ищут неучтенные аномалии, какое-то странное поведение модели, а также контролируют, чтобы ее качество было равномерным на всех типах объектов. В общем, это такие профильные специалисты, которые следят, чтобы в дата-сайнтистской операционной было чисто.Нo, насколько я знаю по общению с коллегами, как правило, занимаются этими вопросами те же дата-сайнтисты, которые разрабатывали изначальные модели, просто потому, что они профильные специалисты в изучении данных и всего, что происходит на стороне систем машинного обучения. Если у вас есть другой опыт — будет интересно узнать о нем в комментариях.
===========
Источник:
habr.com
===========
Похожие новости:
- [Научно-популярное, Социальные сети и сообщества, Будущее здесь, Удалённая работа] В чешских зоопарках приматам устроили видеозвонки, чтобы они не скучали
- [Энергия и элементы питания, Транспорт, Химия, Будущее здесь] Развитие аккумуляторов происходит по их собственному «закону Мура» (перевод)
- Runj - OCI-совместимый инструментарий для управления контейнерами на базе FreeBSD jail
- [Python, Программирование, Машинное обучение] NLP: ВЫДЕЛЯЕМ ФАКТЫ ИЗ ТЕКСТОВ С ПОМОЩЬЮ ТОМИТА-ПАРСЕРА
- [Data Mining, Data Engineering] How to Recover Data From a Hikvision DVR
- [Машинное обучение, Конференции, Искусственный интеллект] Круглый стол «Искусственный Интеллект – Machine Learning – Deep Learning: наше будущее или временный тренд»
- [Машинное обучение, Научно-популярное, Здоровье] Метод машинного обучения позволит быстрее проверять новые препараты на эффективность
- [] Россельхозбанк подключит искусственный интеллект к обслуживанию крупного бизнеса
- [Законодательство в IT, Искусственный интеллект, Здоровье, Транспорт, IT-компании] МТС и Яндекс получат особый правовой режим для некоторых IT-проектов
- [Разработка мобильных приложений, Функциональное программирование, Карьера в IT-индустрии, Конференции] Этот поезд в окне: анонс TechTrain 2021 Spring
Теги для поиска: #_mashinnoe_obuchenie (Машинное обучение), #_iskusstvennyj_intellekt (Искусственный интеллект), #_buduschee_zdes (Будущее здесь), #_mashinnoe_obuchenie (машинное обучение), #_iskusstvennyj_intellekt (искусственный интеллект), #_iskusstvennyj_razum (искусственный разум), #_ai, #_jib, #_buduschee (будущее), #_futurologija (футурология), #_bias, #_filosofija (философия), #_blog_kompanii_infosistemy_dzhet (
Блог компании Инфосистемы Джет
), #_mashinnoe_obuchenie (
Машинное обучение
), #_iskusstvennyj_intellekt (
Искусственный интеллект
), #_buduschee_zdes (
Будущее здесь
)
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 22-Ноя 19:20
Часовой пояс: UTC + 5
| Автор | Сообщение |
|---|---|
|
news_bot ®
Стаж: 6 лет 9 месяцев |
|
 В прошлом посте, посвященном ошибкам искусственного интеллекта, мы обсудили причины возникновения смещений данных и привели несколько примеров, по поводу которых велась оживленная дискуссия в профессиональных кругах. Сегодня продолжаем тему. Александра Царева, дата сайнтист "Инфосистемы Джет", раскроет тему возможного влияния bias на мир. «Предвзятость» (многие лучше знакомы с коротким английским термином bias), ведущая к получению искаженных выводов, свойственна искусственному интеллектутак же, как и его «естественному» собрату.
То, что по сравнению с миром прошлого мы все больше опираемся на то, что нам посоветуют системы, созданные дата-сайнтистами, довольно специфическим образом меняет наше восприятие мира.
Мир, в котором рекомендации становятся все лучше, сужает наш угол обзора и в некотором смысле начинает формировать нашу повестку самостоятельно.
Опыт, который был приобретен искусственным интеллектом, основан на прошлом: алгоритм знает, как было хорошо, и что делать, чтобы было хорошо и дальше.
 Кто понесет ответственность за ошибки искусственного интеллекта?Это сложный этический вопрос, и однозначного ответа на него еще нет (как и на многие другие вопросы выше). Посмотрим, например, на разработку управляемых искусственным интеллектом автомобилей. С одной стороны, они всё более самостоятельны, с другой стороны, как правило, разработчики требуют, чтобы за рулём был человек, готовый перехватить управление. И ученые, и простые люди продолжают дискутировать о том, в чью пользу должен быть выбор машины, которую ведет искусственный интеллект, если перед ней возникает угроза сбить пешехода — в пользу человека, которого она везет, или в пользу пешехода? В зависимости от выбранной точки зрения можно спорить дальше: если машина должна прежде всего отвечать за безопасность тех, кто внутри машины, то почему? Пешеход же ни в чем не виноват, он просто мимо проходил. А если она должна совершать выбор в пользу пешехода против безопасности тех, кто сидит в машине, то почему? Они же в ней сидят, и, казалось бы, искусственный интеллект должен позаботиться о тех, кто ему доверился. И ситуаций, куда нельзя применить что-то вроде «трех законов робототехники», немало. Возьмем классическую дилемму вагонетки (где нужно выбрать, кто пострадает — один человек или много), или ее вариацию про толстяка, которого нужно столкнуть/не столкнуть на рельсы, чтоб не допустить/допустить большее число жертв, — как должен поступать хороший робот? Классические задачи на этику, использовавшиеся в экспериментах психологов, вовсю обсуждаются и с точки зрения действий искусственного интеллекта в такой ситуации.На данный момент принято, что от искусственного интеллекта, который должен будет принять решение, ценой которого могут быть жизни людей (а не какая-то экономическая упущенная выгода), конечное решение передается к человеку. Алгоритмы не решают, они советуют специалисту. Пока такие перспективные проекты, как искусственный интеллект-доктор, ставящий диагноз, все еще остаются нереализованными и действующими в лучшем случае в пилотной роли советчика. Ведь если искусственный интеллект ставит некий диагноз и на его основании дает врачебные рекомендации, на кого должна быть переложена ответственность за его ошибку? Если ошибся доктор-человек — существуют давно разработанные механизмы, а вот как поступать в случае, если ошибся алгоритм, дав неверную или опасную рекомендацию — непонятно. Так что, несмотря на то, что в медицине довольно много перспектив по передаче внешне тривиальных случаев в руки искусственного интеллекта, такого перехода пока не произошло.Как крупные компании борются с проблемами? Разумеется, смещения данных — не тайна, и крупные компании прекрасно об этом знают. Существуют разные методы борьбы в зависимости от того, что вызывает само смещение (изначальная неполнота относительно моделируемой области; изменения, обусловленные изменением моделируемой области в связи с обновлением процессов или просто во времени; контроль качества за изменением поведения акторов после того, как модель на них повлияла и т.п.).Мне доводилось слышать, что у некоторых уже есть специальные отделы мониторинга data quality (качества данных), которые занимаются непосредственно тем, что ищут неучтенные аномалии, какое-то странное поведение модели, а также контролируют, чтобы ее качество было равномерным на всех типах объектов. В общем, это такие профильные специалисты, которые следят, чтобы в дата-сайнтистской операционной было чисто.Нo, насколько я знаю по общению с коллегами, как правило, занимаются этими вопросами те же дата-сайнтисты, которые разрабатывали изначальные модели, просто потому, что они профильные специалисты в изучении данных и всего, что происходит на стороне систем машинного обучения. Если у вас есть другой опыт — будет интересно узнать о нем в комментариях. =========== Источник: habr.com =========== Похожие новости:
Блог компании Инфосистемы Джет ), #_mashinnoe_obuchenie ( Машинное обучение ), #_iskusstvennyj_intellekt ( Искусственный интеллект ), #_buduschee_zdes ( Будущее здесь ) |
|
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 22-Ноя 19:20
Часовой пояс: UTC + 5