[Высокая производительность, Разработка веб-сайтов, MySQL, Go, Big Data] Как мы весь интернет сканировали
Автор
Сообщение
news_bot ®
Стаж: 6 лет 9 месяцев
Сообщений: 27286
Всем привет! Меня зовут Александр и я пишу код для 2ip.ru. За добрую половину сервисов можно пинать меня, готов отбиваться. Cегодня я хочу немного рассказать про переделку одного нашего старого сервиса. Это конечно не "big data", но всё равно довольно большие объемы информации, поэтому думаю будет интересно. Речь пойдет про Сайты на одном IP, который как вы уже догадались, позволяет узнать все домены зарегистрированные на одном IP. Довольно удобно посмотреть кто присосался к вашему серверу (да, есть и такие), ну или чужому (например shared хостинг).Как это всегда работало? Мы ходили в Bing с большого пула адресов и парсили выдачу по специальному запросу. Да, решение так себе, но что было то было. Было, потому что бинг прикрутил гайки и мы решили всё это сделать по человечески.Своя базаЧто если взять и спарсить весь интернет? В общем то не проблема, но мы не Google и больших ресурсов для кролинга не имеем. Или имеем?Есть сервер с 12 ядрами и 64 гигами памяти, а в арсенале MySQL, PHP, golang и куча всяких фреймворков. Очевидно, что благодаря горутинам можно достичь неплохих результатов. Golang быстр и требует минимум ресурсов. По базе вопросы, потянет ли это все обычный MySQL?Пробуем.Делаем прототипСобирать все домены дело неблагодарное, поэтому мы купили базу доменов размером в 260 миллионов записей. Сервисов, которые предоставляют свои услуги довольно много и стоит это копейки. Итак на моем диске CSV файл размером 5 ГБ, дело за малым, написать масс ресолвер, который будет читать строку за строкой, а на выход в STDOUT, отдавать пару "домен - IP адрес"Вопрос только в производительности, нужно делать это очень и очень быстро, мы не можем ждать результата месяц.Несколько часов работы и мой демон на гоу готов. Мэйн получился примерно такой:
func main() {
file, err := os.Open("domains.txt")
if err != nil {
log.Fatal(err)
}
defer file.Close()
maxGoroutines := 500
guard := make(chan struct{}, maxGoroutines)
scanner := bufio.NewScanner(file)
for scanner.Scan() {
guard <- struct{}{}
host := scanner.Text()
go func(host string) {
resolve(host)
<-guard
}(host)
}
if err := scanner.Err(); err != nil {
log.Fatal(err)
}
}
Суть в том, что мы можем набрать пул в 500 горутинов и непрерывно обрабатывать большое количество данных в единицу времени, подгружая равномерно все 12 ядер сервера.Функция resolve опущена, но кратко — это обычный ресолвер IP с выдачей результата в STDOUT. Обращаемся к DNS, получаем A записи, выдаем результат.DNSПрогуглив немного я понял, что большие DNS особо не лимитируют количество запросов с одного IP, но кто знает. Поэтому было принято решение поднять undbound из Docker.В несколько кликов я получил рекурсивный DNS, попробовал запустить и разочаровался. Так как DNS рекурсивный и кеша у него никакого нет, обращения сначала идут к корневым, а дальше разбегаются по зонам. Происходит это очень и очень медленно, порядка десятка доменов в секунду.Второй вариант Google DNS, тот который четыре восьмерки, оказался гораздо быстрее. У меня были опасения по лимитам в 500 запросов в секунду — но по факту их нет.Тестируем в localhost и на продеНельзя сказать что на тестовом ноутбуке граббер работал быстро. 500 горутинов машина не потянула, процесс падал через несколько секунд. Зато все кардинально поменялось на боевом сервере.1000 горутинов упали на 12 ядрах, а вот 500 практически не грузили проц и работали стабильно. Мощность получилась на уровне ~2000 доменов в секунду. Это приемлемо, при таком раскладе всю базу можно спарсить за пару суток. На практике все оказалось немного хуже, очень сильно тупит TLD .bar, о которой вероятно нормальный человек и не слышал.В конечном счёте я оставил процесс в tmux и через трое суток получил CSV размером 10 Гб. Идём дальше.Ура! Переходим к следующему шагу.База данныхЯ создал таблицу domain_ip, в которой всего два столбца — домен и IP. Оба не уникальны, на один домен может приходиться несколько IP адресов.IP - это обычный BIGINT domain - VARCHAR 255ИндексыОчевидно, что выборка из 260 млн записей это довольно большая работа. Поэтому без индексов не обойтись, поиск у нас по IP адресу, значит его и индексируем. 20 минут импорта на тестовой машине и я понял что это фиаско, выборка работает медленно несмотря на индексы. 260 млн записей это очень много. Переходим к плану Б.ПартиципированиеЭто метод разделения больших таблиц на мелкие и в дальнейшем уже обращение по нужному адресу сразу к конкретной таблице.Я разделил весь пул IP адресов на 20 таблиц с шагом 200 млн. Получилось примерно так:
ALTER TABLE domain_ip PARTITION BY RANGE COLUMNS (ip) (
PARTITION p0 VALUES LESS THAN (200000000),
PARTITION p1 VALUES LESS THAN (400000000),
PARTITION p2 VALUES LESS THAN (600000000),
PARTITION p3 VALUES LESS THAN (800000000),
PARTITION p4 VALUES LESS THAN (1000000000),
PARTITION p5 VALUES LESS THAN (1200000000),
PARTITION p6 VALUES LESS THAN (1400000000),
PARTITION p7 VALUES LESS THAN (1600000000),
PARTITION p8 VALUES LESS THAN (1800000000),
PARTITION p9 VALUES LESS THAN (2000000000),
PARTITION p10 VALUES LESS THAN (2200000000),
PARTITION p11 VALUES LESS THAN (2400000000),
PARTITION p12 VALUES LESS THAN (2600000000),
PARTITION p13 VALUES LESS THAN (2800000000),
PARTITION p14 VALUES LESS THAN (3000000000),
PARTITION p15 VALUES LESS THAN (3200000000),
PARTITION p16 VALUES LESS THAN (3400000000),
PARTITION p17 VALUES LESS THAN (3600000000),
PARTITION p18 VALUES LESS THAN (3800000000),
PARTITION p19 VALUES LESS THAN (4000000000),
PARTITION p20 VALUES LESS THAN (MAXVALUE)
);
И как вы поняли это сработало, иначе зачем эта статья? :)ИмпортКто работал с MySQL знает, что вливать большие дампы данных это довольно долгая операция. За долгие годы работы я не нашел ничего лучше, чем импорт данных из CSV. Выглядит это примерно так:
LOAD DATA INFILE '/tmp/domains.csv' IGNORE
INTO TABLE domain_ip
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n'
Машина переваривает CSV размером ~10 Гб за 30 минут.ФиналКак результат получился вот такой милый сервис. Выборка из ~300 миллионов записей происходит мгновенно на довольно скромном по нынешним меркам сервере. Оперативной памяти нужно под это всё порядка 8 Гб.Теперь можно узнать например, что к IP 8.8.8.8 человечество прицепило 8194 домена, ну или придумайте сами ... ;-)Спасибо за внимание.
===========
Источник:
habr.com
===========
Похожие новости:
- [Разработка под Android, Геоинформационные сервисы] Google разрабатывает поиск утерянных Android-смартфонов по аналогии с Find My
- Уязвимость в ядре Linux, затрагивающая сетевой протокол CAN BCM
- Релиз дистрибутива Network Security Toolkit 34
- [Agile] Мы решили внедрить Agile-Lean принципы в процесс разработки “на ходу” и вот что из этого получилось
- [Высокая производительность, Тестирование IT-систем, IT-компании] Следствие вели: пропажа FC-линков HBA Emulex на сервере Atos BullSequana S1600
- [Разработка веб-сайтов, Программирование, Haskell, Функциональное программирование] Создаем веб-приложение на Haskell с использованием Reflex. Часть 4
- [Open source, Программирование, Системное программирование, Компиляторы, Rust] Rust 1.53.0: IntoIterator для массивов, "|" в шаблонах, Unicode-идентификаторы, поддержка имени HEAD-ветки в Cargo (перевод)
- [] RamblerMeetup&Usermodel
- [Разработка веб-сайтов, HTML] Пробелы бывают разные: ≠ C2A0 (перевод)
- [Монетизация мобильных приложений, Бизнес-модели, Продвижение игр, Социальные сети и сообщества, IT-компании] Вслед за Apple и Google комиссию магазина приложений снизила Amazon
Теги для поиска: #_vysokaja_proizvoditelnost (Высокая производительность), #_razrabotka_vebsajtov (Разработка веб-сайтов), #_mysql, #_go, #_big_data, #_go, #_mysql, #_linux, #_partitsionirovanie (партиционирование), #_bigdata, #_krauling (краулинг), #_2ip.ru, #_vysokaja_proizvoditelnost (
Высокая производительность
), #_razrabotka_vebsajtov (
Разработка веб-сайтов
), #_mysql, #_go, #_big_data
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 22-Ноя 09:04
Часовой пояс: UTC + 5
Автор | Сообщение |
---|---|
news_bot ®
Стаж: 6 лет 9 месяцев |
|
Всем привет! Меня зовут Александр и я пишу код для 2ip.ru. За добрую половину сервисов можно пинать меня, готов отбиваться. Cегодня я хочу немного рассказать про переделку одного нашего старого сервиса. Это конечно не "big data", но всё равно довольно большие объемы информации, поэтому думаю будет интересно. Речь пойдет про Сайты на одном IP, который как вы уже догадались, позволяет узнать все домены зарегистрированные на одном IP. Довольно удобно посмотреть кто присосался к вашему серверу (да, есть и такие), ну или чужому (например shared хостинг).Как это всегда работало? Мы ходили в Bing с большого пула адресов и парсили выдачу по специальному запросу. Да, решение так себе, но что было то было. Было, потому что бинг прикрутил гайки и мы решили всё это сделать по человечески.Своя базаЧто если взять и спарсить весь интернет? В общем то не проблема, но мы не Google и больших ресурсов для кролинга не имеем. Или имеем?Есть сервер с 12 ядрами и 64 гигами памяти, а в арсенале MySQL, PHP, golang и куча всяких фреймворков. Очевидно, что благодаря горутинам можно достичь неплохих результатов. Golang быстр и требует минимум ресурсов. По базе вопросы, потянет ли это все обычный MySQL?Пробуем.Делаем прототипСобирать все домены дело неблагодарное, поэтому мы купили базу доменов размером в 260 миллионов записей. Сервисов, которые предоставляют свои услуги довольно много и стоит это копейки. Итак на моем диске CSV файл размером 5 ГБ, дело за малым, написать масс ресолвер, который будет читать строку за строкой, а на выход в STDOUT, отдавать пару "домен - IP адрес"Вопрос только в производительности, нужно делать это очень и очень быстро, мы не можем ждать результата месяц.Несколько часов работы и мой демон на гоу готов. Мэйн получился примерно такой: func main() {
file, err := os.Open("domains.txt") if err != nil { log.Fatal(err) } defer file.Close() maxGoroutines := 500 guard := make(chan struct{}, maxGoroutines) scanner := bufio.NewScanner(file) for scanner.Scan() { guard <- struct{}{} host := scanner.Text() go func(host string) { resolve(host) <-guard }(host) } if err := scanner.Err(); err != nil { log.Fatal(err) } } ALTER TABLE domain_ip PARTITION BY RANGE COLUMNS (ip) (
PARTITION p0 VALUES LESS THAN (200000000), PARTITION p1 VALUES LESS THAN (400000000), PARTITION p2 VALUES LESS THAN (600000000), PARTITION p3 VALUES LESS THAN (800000000), PARTITION p4 VALUES LESS THAN (1000000000), PARTITION p5 VALUES LESS THAN (1200000000), PARTITION p6 VALUES LESS THAN (1400000000), PARTITION p7 VALUES LESS THAN (1600000000), PARTITION p8 VALUES LESS THAN (1800000000), PARTITION p9 VALUES LESS THAN (2000000000), PARTITION p10 VALUES LESS THAN (2200000000), PARTITION p11 VALUES LESS THAN (2400000000), PARTITION p12 VALUES LESS THAN (2600000000), PARTITION p13 VALUES LESS THAN (2800000000), PARTITION p14 VALUES LESS THAN (3000000000), PARTITION p15 VALUES LESS THAN (3200000000), PARTITION p16 VALUES LESS THAN (3400000000), PARTITION p17 VALUES LESS THAN (3600000000), PARTITION p18 VALUES LESS THAN (3800000000), PARTITION p19 VALUES LESS THAN (4000000000), PARTITION p20 VALUES LESS THAN (MAXVALUE) ); LOAD DATA INFILE '/tmp/domains.csv' IGNORE
INTO TABLE domain_ip FIELDS TERMINATED BY ',' LINES TERMINATED BY '\n' =========== Источник: habr.com =========== Похожие новости:
Высокая производительность ), #_razrabotka_vebsajtov ( Разработка веб-сайтов ), #_mysql, #_go, #_big_data |
|
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 22-Ноя 09:04
Часовой пояс: UTC + 5