[Информационная безопасность, Поисковые технологии] 51.143.124.155
Автор
Сообщение
news_bot ®
Стаж: 6 лет 9 месяцев
Сообщений: 27286
Необычная активность bing-ботов наблюдается со вчерашнего дня. И, казалось бы, в сканировании сайтов поисковыми системами (и даже bing'ом) нет ничего плохого, но только до тех пор, пока они соблюдают собственные правила идентификации.
В разборе дальше будет упомянут только 51.143.124.155, хотя в логах также мелькали
52.250.62.82,
52.250.19.204,
52.250.119.153,
но они ведут себя более культурно.
Как выглядит проблема на примере выборки bing ботов из вчерашнего лога одного сайта:
$ cat ./20201026* | grep -F bingbot | awk '{print $1}' | sort | uniq -c | sort -rn | head -10
404582 51.143.124.155
10449 157.55.39.174
10037 207.46.13.162
10036 207.46.13.86
10008 157.55.39.152
6638 207.46.13.207
4993 207.46.13.238
4113 157.55.39.200
3897 157.55.39.205
2995 157.55.39.166
Как выглядит типичный «старый» bing-бот:
$ whois 157.55.39.174 | grep -i "org[-]*name"
OrgName: Microsoft Corporation
$ host 157.55.39.174
174.39.55.157.in-addr.arpa domain name pointer msnbot-157-55-39-174.search.msn.com.
Они базируются в сетях
157.56.0.0/14,
157.54.0.0/15,
157.60.0.0/16,
207.46.0.0/16
и успешно проходят проверку на www.bing.com/toolbox/verify-bingbot-verdict:
Как выглядят «новые» боты:
$ whois 51.143.124.155 | grep -i "org[-]*name"
org-name: Microsoft Limited
$ host 51.143.124.155
Host 155.124.143.51.in-addr.arpa not found: 3(NXDOMAIN)
$ host 52.250.62.82
Host 82.62.250.52.in-addr.arpa not found: 3(NXDOMAIN)
$ host 52.250.19.204
Host 204.19.250.52.in-addr.arpa not found: 3(NXDOMAIN)
$ host 52.250.119.153
Host 153.119.250.52.in-addr.arpa not found: 3(NXDOMAIN)
И соответственно:
При этом почерк, активность сразу на всех сайтах, а также сообщения коллег, о том, что после блокировки этих «новых» ip поступают уведомления Bing Webmaster Tools о недоступности сайта позволяют сделать заключение, о том, что эти боты действительно являются делом рук microsoft.
Запросы в саппорт и абузы, разумеется, игнорируются.
В общем не бейте сразу ботов из сетей 51.140.0.0/14, 52.224.0.0/11. Вероятно, они являются полезными (или хотя бы безобидными) бифидобактериями.
===========
Источник:
habr.com
===========
Похожие новости:
- [Информационная безопасность, Мессенджеры, Исследования и прогнозы в IT] Исследование: превью ссылок в мессенджерах выдает личные данные и угрожает безопасности
- [Информационная безопасность, Go, GitHub] GitHub: библиотека для сбора SSL-сертификатов
- [Информационная безопасность, Habr, Accessibility, Гаджеты, DIY или Сделай сам] Xакерский мерч | Мантия невидимка
- [Информационная безопасность, Конференции] Онлайн-встреча по информационной безопасности Digital Security ON AIR
- [Информационная безопасность] Security Week 44: серьезная уязвимость в GeForce Experience
- [Браузеры, Тестирование веб-сервисов, Microsoft Edge, Разработка под Linux, Софт] Тесты Microsoft Edge на Linux показали хорошие результаты
- [Информационная безопасность, Законодательство в IT, IT-компании] Яндекс впервые опубликовал отчет прозрачности о взаимодействии с властями
- [Информационная безопасность, IT-инфраструктура, IT-стандарты, Управление персоналом] Защита удаленного доступа (ЗУД) с мобильных устройств
- [Информационная безопасность, Исследования и прогнозы в IT, Статистика в IT] 5 самых интересных инцидентов в области ИБ за сентябрь 2020
- [Информационная безопасность, Законодательство в IT] Как развивается ситуация вокруг возможного ввода ограничений на end-to-end шифрование: обзор событий
Теги для поиска: #_informatsionnaja_bezopasnost (Информационная безопасность), #_poiskovye_tehnologii (Поисковые технологии), #_bing, #_microsoft, #_informatsionnaja_bezopasnost (
Информационная безопасность
), #_poiskovye_tehnologii (
Поисковые технологии
)
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 22-Ноя 15:54
Часовой пояс: UTC + 5
| Автор | Сообщение |
|---|---|
|
news_bot ®
Стаж: 6 лет 9 месяцев |
|
|
Необычная активность bing-ботов наблюдается со вчерашнего дня. И, казалось бы, в сканировании сайтов поисковыми системами (и даже bing'ом) нет ничего плохого, но только до тех пор, пока они соблюдают собственные правила идентификации. В разборе дальше будет упомянут только 51.143.124.155, хотя в логах также мелькали 52.250.62.82, 52.250.19.204, 52.250.119.153, но они ведут себя более культурно. Как выглядит проблема на примере выборки bing ботов из вчерашнего лога одного сайта: $ cat ./20201026* | grep -F bingbot | awk '{print $1}' | sort | uniq -c | sort -rn | head -10
404582 51.143.124.155 10449 157.55.39.174 10037 207.46.13.162 10036 207.46.13.86 10008 157.55.39.152 6638 207.46.13.207 4993 207.46.13.238 4113 157.55.39.200 3897 157.55.39.205 2995 157.55.39.166 Как выглядит типичный «старый» bing-бот: $ whois 157.55.39.174 | grep -i "org[-]*name"
OrgName: Microsoft Corporation $ host 157.55.39.174 174.39.55.157.in-addr.arpa domain name pointer msnbot-157-55-39-174.search.msn.com. Они базируются в сетях 157.56.0.0/14, 157.54.0.0/15, 157.60.0.0/16, 207.46.0.0/16 и успешно проходят проверку на www.bing.com/toolbox/verify-bingbot-verdict:  Как выглядят «новые» боты: $ whois 51.143.124.155 | grep -i "org[-]*name"
org-name: Microsoft Limited $ host 51.143.124.155 Host 155.124.143.51.in-addr.arpa not found: 3(NXDOMAIN) $ host 52.250.62.82 Host 82.62.250.52.in-addr.arpa not found: 3(NXDOMAIN) $ host 52.250.19.204 Host 204.19.250.52.in-addr.arpa not found: 3(NXDOMAIN) $ host 52.250.119.153 Host 153.119.250.52.in-addr.arpa not found: 3(NXDOMAIN) И соответственно:  При этом почерк, активность сразу на всех сайтах, а также сообщения коллег, о том, что после блокировки этих «новых» ip поступают уведомления Bing Webmaster Tools о недоступности сайта позволяют сделать заключение, о том, что эти боты действительно являются делом рук microsoft. Запросы в саппорт и абузы, разумеется, игнорируются. В общем не бейте сразу ботов из сетей 51.140.0.0/14, 52.224.0.0/11. Вероятно, они являются полезными (или хотя бы безобидными) бифидобактериями. =========== Источник: habr.com =========== Похожие новости:
Информационная безопасность ), #_poiskovye_tehnologii ( Поисковые технологии ) |
|
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 22-Ноя 15:54
Часовой пояс: UTC + 5