Алгоритм MD5 представляет собой 128-битный алгоритм хеширования. Это значит, что он вычисляет 128-битный хеш для произвольного набора данных, поступающих на его вход. 
Детальное описание алгоритма можно найти на Хабре. Нам важно знать, что он был разработан и предназначался для создания и проверки отпечатков сообщений произвольной длины — например, пользовательских паролей или контактов.
Алгоритм MD5 создали в далеком 1991 году, и до 1993 он точно считался криптостойким. Именно тогда исследователи Берт ден Боер и Антон Боссиларис предположили, что в алгоритме возможны псевдоколлизии. Дальше было проведено несколько научных работ на эту тему, которые показали возможность «взлома» MD5. Практическая же реализация была продемонстрирована в 2008 году.

Как работают радужные таблицы

SPL
Шаг 3. Сопоставление данных
Нет ни малейших сомнений в том, что Яндекс хранит данные в зашифрованном виде. Условно говоря, у поисковика есть профиль каждого зарегистрированного пользователя, где помимо прочего указаны адреса его электронной почты и номер телефона. Такие данные легко хэшируются и, при необходимости (как мы уже убедились выше) — дехешируются.
Далее, получив от рекламодателей в любом виде список контактов, Яндексу не составляет труда сопоставить их со своей внутренней базой, которая содержит эти же идентификаторы. Говоря проще, Яндекс делает кросс-матчинг идентификатора из профиля своего пользователя на соответствие запрашиваемым данным рекламодателя. Это и позволяет таргетированно показывать рекламу конкретному пользователю при заходе на страницу того или иного сервиса Яндекса.
Однозначная идентификация пользователей
Ни о каком обезличенном обмене данными при работе по такой схеме и речи идти не может. Все стороны однозначно идентифицируют конкретного пользователя в процессе оказания услуг. С кредитными бюро, судя по комментариям и описанию, применяется ровно эта же схема. И по всей видимости, на стороне Яндекса используется решение, подозрительно похожее на платформу Крипта.
Однако Яндекс публично никогда не заявлял о возможности сопоставления таких профилей с номерами мобильных телефонов или e-mail своих пользователей. Но, как нам стало известно из материалов СМИ, Яндекс именно это и делает как минимум при работе с Объединенным Кредитным Бюро.
Почему об этом честно не сказать своим клиентам, ведь все и так лежит на поверхности? Вместо этого спикеры Яндекса стыдливо говорят об отсутствии “личной информации" и приводят прочие выдуманные термины, которые отсутствуют в законодательстве РФ и позволяют обойти некоторые вопросы оборота и защиты данных граждан.
Немного практики: Яндекс, я нашел у тебя нарушение 152-ФЗ!
Солит ли Яндекс хэши? Я не могу однозначно ответить на этот вопрос, в конце концов, я не работаю в этой компании и не знаю внутренней кухни. Однако я могу сделать два допущения:

• серверные мощности Яндекса позволяют довольно быстро провести дехэширование несоленых MD5-хэшей;
  
• для работы с солеными хэшами обе стороны должны знать соль.

Очевидно, что в случае с сервисом для рекламодателей применяются несоленые хэши. Иначе в интерфейсе для рекламодателей должно было бы присутствовать поле для указания соли. А его там нет! Давайте внимательно посмотрим на скриншот в описании Яндекс.Аудитории:

Обратите внимание на вопросительный знак у чекбокса «Хэшированные данные». Давайте перейдем в сам сервис и подведем указатель мыши к этому вопросу.

Видим три хэша: a31259d185ad013e0a663437c60b5d0, 78ee6d68f49d2c90397d9fbffc3814d1 и 702e8494aeb560dff987e623e71bccf8. Причем, в первом явно чего-то не хватает: там всего 31 символ, а должно быть 32! Поэтому, этот хэш отбросим сразу.
Расшифровать вторые два хэша через ранее созданную радужную таблицу я тоже не смог. Но решил попробовать пройтись по ним брутфорсом. Для этого мне потребовалось перенастроить майнинг-ферму из 6 видеокарт класса GeForce GTX1060 с добычи эфира на работу с программой hashcat.

Я указал программе поиск по маске из 11 цифр (см на верхнюю стрелку на скриншоте). В результате, моя вполне обычная ферма произвела дехэширование номера телефона в одном из хэшей всего за 22 секунды. Просто представьте, с какой скоростью можно брутфорсить хэши на мощностях Яндекса!
Теперь давайте определим кому принадлежит этот номер, просто пробьем его через мобильное приложение Numbuster:

Теперь идем в поисковик, и за считанные мгновения получаем всю нужную нам информацию:

Шах и мат, Яндекс, благодаря открытой информации с твоего же сайта, я только что в пару кликов мышью узнал, кто именно делал твой сервис! Надо ли говорить, что такое же действие может легко повторить любой из тех, кто сейчас читает эту статью? За что же вы так с Ярославом-то поступили?
Какие данные могут быть в профиле каждого пользователя
Для использования сервисов Яндекса необходимо указать номер мобильного телефона и электронной почты. Через свои приложения и сервисы Яндекс знает обо мне практически все: от сайтов, которые я посещаю (где стоит Яндекс.Метрика, а таковых в Рунете более 54%), до номера телефона, который я указываю в приложениях. Ему известны мои маршруты из супераппа Яндекс.Go, мои заболевания, предпочтения в музыке. Яндекс знает, в какие театры я хожу, какие фильмы смотрю, какие товары покупаю в магазине и какую еду заказываю.
Эта информация, как утверждают в компании, «используется, в основном, для собственных нужд и размещения таргетированной рекламы за счет знаний о клиентских предпочтениях». Ключевое здесь – «в основном». Раньше считалось, что Яндекс – инновационная компания, которая предоставляет пользователям бесплатные сервисы и зарабатывает на рекламе в Интернете. Но как мы знаем из СМИ, теперь Яндекс как минимум продает данные через Бюро Кредитных Историй — работу самого механизма трансфера данных я покажу чуть ниже. Разумно предположить, что желающих купить у интернет-гиганта информацию о пользователях в привязке к номерам телефонов и адресам электронной почты, будет довольно много.
Другими словами — теперь банки, страховые и юридические компании, медицинские центры, застройщики могут получить номер человека, который заходил на определенный сайт или искал определенный товар, и звонить ему в своих рекламных целях. Или отказать в выдаче страховки или банковского кредита.
Кому Бюро Кредитных Историй продает данные
Не требуется быть особым аналитиком, чтобы понять, что БКИ консолидирует данные о конкретных людях не только для банков. На сайте той структуры, с которой работает Яндекс, можно увидеть, что кроме банковского скоринга клиентам также доступны и другие сервисы:
Сервис «Триггеры Бюро»
В Банки и Страховые компании передается информация о ваших действиях в триггерном режиме:

Обратите внимание на логику работы этого сервиса — вы ставите на мониторинг номера телефонов ваших клиентов, и как только они делают какое-либо действие, которое вас интересует, вы получаете об этом уведомление. При этом данные о конкретных действиях клиента не передаются. Просто факт целевого действия – подача или оформление полиса автострахования, заказ такси и прочее.
Удобно, правда? Особенно с точки зрения объяснения позиции «данные о клиентах не передаются и обрабатываются в Яндексе»? Ведь информацию о действии в виде захода на конкретный web-сайт, можно сообщить, просто передав захэшированный мобильный номер, без каких-либо данных о посещении сайта. А хэш, о чем я говорил выше, можно элементарно сопоставить с хэшами базы пользователей. Можно даже, для упрощения, взять базу всех возможных комбинаций мобильных номеров в России — она доступна на сайте Федерального агентства связи.
Опять получается, что «зашифрованные», «хэшированные», «обезличенные» данные в терминах Яндекса таковыми не очень-то и являются. И уж точно описанная Яндексом схема не мешает продавать эти данные в рамках рассмотренных сервисов кредитных бюро, которые как раз и могут быть тем самым источником спам-звонков на мой телефон.

Страховые компании, получив доступ к данным из картографических сервисов Яндекса и его шедеврального супераппа Яндекс.Go, могут определять:

• где я живу и работаю;
  
• как часто езжу на автомобиле;
  
• по каким маршрутам я езжу;
  
• с какой скоростью я езжу;
  
• какой у меня стиль вождения – резко я торможу, лихачу или езжу плавно.

И это не домыслы, факт сбора этих данных Яндексом стал известен в 2019 году, благодаря вводу в действие Европейского законодательства о защите данных граждан, так называемого GDPR. По нему любая компания обязана предоставлять гражданам Евросоюза информацию о том, какие данные она собирает и анализирует о нем.
Законом о GDPR воспользовались журналисты издания Meduza, которые из Литвы запросили данные по одному из своих сотрудников.
В статье Meduza говорится, что журналист получил от сотрудников Яндекса архив, в котором помимо прочего был файл со всей историей перемещений. Информация отслеживалась в тот момент, когда приложение было запущено на смартфоне, в том числе в фоновом режиме. Журналист это называет «историей запуска приложения «Карт» на айфоне с точными координатами, где это происходило» (файл traffic_sessions.csv).
Интересно, что гражданам РФ такая информация компанией Яндекс не предоставляется. Более того, до сего момента Яндекса даже не представил сервис, который позволил бы понять, кто и когда запрашивал накопленные данные о пользователе. Такой сервис есть даже у Facebook — и сам пользователь может запросить и просмотреть всю информацию о себе.
Какую персональную информацию точно собирает Яндекс?
Обратимся к правовым документам на сайте Яндекса. Из пункта 4 мы узнаем, что интернет-гигант может собирать следующие категории персональной информации пользователей во время использования сайтов и сервисов Яндекса:

• Персональная информация: имя, номер телефона, адрес и возраст;
  
• электронные данные (HTTP-заголовки, IP-адрес, файлы cookie, веб-маяки/пиксельные теги, данные об идентификаторе браузера, информация об аппаратном и программном обеспечении);
  
• дата и время осуществления доступа к сайтам и/или сервисам;
  
• информация об активности пользователя во время использования сайтов и/или сервисов: история поисковых запросов; адреса электронной почты тех, с кем пользователь ведёт переписку; содержание электронной почты и вложения, а также файлы, хранящиеся в системах Яндекса;
  
• информация о геолокации;
  
• иная информация о пользователях, необходимая для обработки в соответствии с условиями, регулирующими использование конкретных сайтов или сервисов Яндекса;
  
• информация, которую Яндекс получает от Партнеров в соответствии с условиями соглашений — заключенных между Яндексом и Партнером.

С какой целью Яндекс собирает все эти данные?
Ответ на этот вопрос можно найти в том же документе, внимательно смотрим пункт №5. Помимо понятных целей, таких как:
предоставление пользователям результатов поиска по поисковым запросам;
соблюдения установленных законодательством обязательств;
чтобы лучше понимать, как пользователи взаимодействуют с сайтами и сервисами,
Яндекс отдельно отмечает, что сбор персональных данных необходим для того, чтобы чтобы предлагать вам другие продукты и сервисы Яндекса или других компаний, которые, по нашему мнению, могут Вас заинтересовать (подпункт пункт «с» пункта 5).
Однако закон «О персональных данных» (№152-ФЗ) категоричен: статья 15 гласит, что «обработка персональных данных в целях продвижения товаров, работ, услуг на рынке путем осуществления прямых контактов с потенциальным потребителем допускается только при условии предварительного согласия субъекта персональных данных». На стороне пользователей контролирующие органы – ФАС, Роспотребнадзор и Роскомнадзор.
При этом интернет-гигант свободно передает другим компаниям базы данных с якобы обезличенными персональными идентификаторами, которые по мнению интернет-гиганта перестали быть персональными данными. И Яндекс обеспечил себе это право «делиться» за счет малозаметной строчки во внушительном тексте собственной политики конфиденциальности.
Вместо заключения
Законно ли всё это? Ведь я не давал права Яндексу разглашать информацию обо мне кому-либо. Знакомые юристы говорят, интернет-данные и интернет идентификаторы – это «серое» поле нашего законодательства и привлечь Яндекс к ответственности за продажу таких данных о вас невозможно.
И насколько справедливо, что Яндекс зарабатывает на моих данных, не объясняя мне как именно это происходит и за счет чего формируется этот заработок, ведь это уже давно не только пресловутая реклама утюгов, которая после поиска «утюга» догоняет тебя еще 2 недели на всех сайтах. Это и прямое влияние на качество моей жизни и доступность социальных сервисов и услуг – таких как кредитование, страховки, медицинская помощь.
Согласитесь, оценка меня как заемщика или страхователя на основе информации о моем поведении в интернете, которая к тому же происходит «в темную» и опирается только на завуалированные термины и оферты, скрытые в подвалах – выглядит абсолютно неэтично и непрозрачно. Это очень напрягает.
Несмотря на GDPR и ужесточение законов по использованию персональных данных граждан в России, интернет-гигант продолжает монетизировать информацию о нас и абсолютно открыто следит за всеми нашими действиями через свои сервисы. Пусть даже и прикрываясь социально важной темой информирования населения и властей о соблюдении режима изоляции, как в случае с коронавирусом. Возникает разумный вопрос – а кто ещё использует наши данные помимо Яндекса и его коммерческих клиентов?
===========
Источник:
habr.com
===========
Похожие новости:

• [Управление персоналом, Карьера в IT-индустрии, IT-компании] Теория поколений и мотивация. Есть ли различия между X-Y-Z на самом деле?
  
• [Процессоры, IT-компании] Серверные процессоры AMD EPYC залочены на вендора. Менять их между производителями нельзя по соображениям безопасности
  
• [Исследования и прогнозы в IT, Социальные сети и сообщества] Facebook заплатит некоторым пользователям по $120 за то, что они откажутся сидеть в соцсети до выборов в США
  
• [IT-компании, Карьера в IT-индустрии, Промышленное программирование, Учебный процесс в IT] Всесезонная стажировка в Яндексе — новый набор и подробности
  
• [Интернет-маркетинг, Контекстная реклама, Медийная реклама, Повышение конверсии] Как конкуренты «отжимают» ваш брендовый трафик на поиске: 10 примеров объявлений
  
• [Интернет-маркетинг, Исследования и прогнозы в IT, Статистика в IT] Цифровизация кризисом
  
• [GitHub, Microsoft Azure, Visual Studio, Облачные сервисы] Visual Studio Codespace прекращает работу. Microsoft предлагает мигрировать на GitHub Codespace
  
• [Исследования и прогнозы в IT, Бизнес-модели, Социальные сети и сообщества, IT-компании] Индия, платформы Jio и четвертый интернет (перевод)
  
• [SaaS / S+S, Веб-аналитика, Интернет-маркетинг, Облачные сервисы] 25 лучших сервисов для мониторинга цен конкурентов: плюсы и минусы
  
• [IT-компании, Законодательство в IT, Игры и игровые приставки, Разработка под iOS] Apple подала встречный иск к Epic Games за нарушение контракта

Теги для поиска: #_issledovanija_i_prognozy_v_it (Исследования и прогнозы в IT), #_internetmarketing (Интернет-маркетинг), #_biznesmodeli (Бизнес-модели), #_oblachnye_servisy (Облачные сервисы), #_itkompanii (IT-компании), #_internetrazvedka (интернет-разведка), #_internetmarketing (интернет-маркетинг), #_personalnye_dannye (персональные данные), #_internetkomanii (интернет-комании), #_gdpr, #_152fz (152-фз), #_obezlichennye_dannye (обезличенные данные), #_slezhka_za_polzovateljami (слежка за пользователями), #_issledovanija_i_prognozy_v_it (
Исследования и прогнозы в IT
), #_internetmarketing (
Интернет-маркетинг
), #_biznesmodeli (
Бизнес-модели
), #_oblachnye_servisy (
Облачные сервисы
), #_itkompanii (
IT-компании
)