[Высокая производительность, PostgreSQL, Администрирование баз данных, Конференции] Что нового полезно знать про базы данных?
Автор
Сообщение
news_bot ®
Стаж: 6 лет 3 месяца
Сообщений: 27286
В СУБД растут объемы данных и нагрузки. А это значит, что нужно держать нос по ветру и узнавать больше об инструментах и методах взаимодействия с базами данных. Чтобы этого добиться, лучше всего сходить на профильную конференцию (было бы странно, если бы мы не дали вам этот совет, правда?), или хотя бы почитать о самых актуальных проблемах области. Какие тренды последних лет усиливаются в PostgreSQL прямо сейчас? Как не устроить highload на ровном месте? Где почитать про мифы и реальность СУБД в облаках? Об этом и многом другом мы поговорили с Николаем Самохваловым. Николай — член программного комитета конференции HighLoad++, куратор секции Базы данных, а также основатель Postgres.ai и #RuPostgres.
— Чем ты занимаешься? В чем заключается твоя работа?— Живу в Калифорнии, где развиваю свой очередной стартап — компанию Postgres.ai. Мы помогаем оптимизировать и масштабировать проекты, которые используют PostgreSQL. Среди известных клиентов: Miro.com, GitLab.com, Chewy.com — это сверхбыстро растущие бизнесы-единороги (оценка более $1 млрд). Есть компании и поменьше. Наша фишка в том, что мы не просто помогаем разово, а налаживаем автоматизированные и масштабируемые процессы. Грубо говоря, чтобы команды могли далее сами расти, используя инструменты, которые мы разработали. И центральный среди них сейчас — Database Lab. С помощью него можно клонировать базы любого размера за секунды и без траты дополнительных ресурсов: это так называемое «тонкое клонирование», основанное на CoW (copy-on-write). Оно открывает просто удивительные возможности по независимой разработке, тестированию и оптимизации SQL.
— Как давно и почему присоединился к программному комитету HighLoad++— В ПК я очень давно — практически с самого начала. Кажется, это был 2007 год— я помню еще первые встречи, на которых зарождался Highload и РИТ. Основная мотивация для меня менялась со временем. Сначала это был «фан» от общения с такими людьми как Олег Бунин или, например, Игорь Сысоев и Алексей Рыбак. После 2010-х интерес стал более прикладным: участие в ПК дает хорошее представление о том, кто, где и что делает на рынке в плане технологий. И наш долгий, нудный и въедливый процесс отбора докладов в Программном комитете на удивление помогает быть в курсе трендов.— Каковы особенности программы конференции? Есть ли интересные фишки, которые ждут ее участников?— Мы уже несколько раз перетрясали программу: из-за событий 2020 конференция откладывалась неоднократно. Можно сказать, что подготовке программы этой конференции уже уделено максимальное количество усилий и человеко-часов за всю историю существования серии. И наша подготовка все еще продолжается — так что программа будет еще насыщеннее, а доклады — более зрелыми.
Поделюсь личным опытом: у меня заявлен доклад «Распространенные ошибки изменения схемы базы данных PostgreSQL». Подал заявку на него я еще год назад. И если на момент подачи это был совсем свежий материал, то теперь они дозрел — я его обкатал на онлайн-митапах и зарубежных конференциях, расширил и дополнил. Как правило, программный комитет дополнительно оценивает новизну материала, и раньше мы не раз просили докладчика доработать свое выступление. И если активные докладчики уже успели обкатать свой доклад на онлайн-событиях — при условии разных аудиторий с конференцией — это только на пользу выступлению. Надо сказать, по теме моего доклада прошедший год принес много нового опыта: некоторые компании пережили кратный рост нагрузок всего за несколько месяцев.Что касается содержания в целом, сейчас конференция расширяет свою область внимания — подключаются новые и расширяются молодые сферы. Например, был произведен донабор докладов с дополнительным фокусом на такие темы как агротех и финтехВсе больше включаются докладчики из крупных компаний. Появляются ситуации, когда доклады про коммерческие решения и закрытые системы приобретают новый смысл. Приведу пример из моей родной области, СУБД. Десять лет назад мы в ПК отчетливо видели, что доклады про Oracle и SQL Server регулярно получают почти пустые залы, а докладчики не могут предложить интересный разговор про технику, выдавая то, что слушатели окрестили «marketing bu**it». Но несколько лет назад я отметил, что теперь мы находимся в другой реальности: приходят технические эксперты, готовые грамотно рассказывать про тот же Oracle. Да так, что и тем, кто его не использует, очень интересно. Справедливости ради стоит отметить, что и открытые системы — я, конечно, прежде всего, о Postgres — повзрослели, стали очень активно использоваться в крупных компаниях. И изучение опыта эксплуатации Оракла и SQL Server приобретает новый смысл. Исследуя этот опыт, мы понимаем как можно было сделать еще, каких инструментов не хватает в Postgres-экосистеме, куда двигаться.— Многие россияне уже переболели коронавирусом. Как себя чувствуют докладчики? Многие от из них переболели/привились? Или все так устали от онлайн-форматов, что не думают об этом?— Не могу говорить за других. Я не болел, много летал (более десяти полетов с начала года), пока не прививался, но планирую в самое ближайшее время.От онлайна я лично совсем не устал. Он с нами навсегда — его надо полюбить и развивать. В 2007-2008 годах, когда рождались РИТ и Highload, я начал развивать PostgreSQL-сообщества в России. Мы стали регулярно собираться лично и делиться опытом. К 2014-2015 это движение — сейчас оно носит название #RuPostgres — сильно выросло, на митапы приходило до двух сотен людей. Это очень круто, собираться вживую на такие крупные события как Highload, но мы должны использовать и онлайн. Сейчас очевидно, что русскоязычные эксперты живут в разных уголках мира. Я в США, мой напарник по #RuPostgres, Илья Космодемьянский, — в Германии, а само сообщество представлено в десятках стран и сотнях городов. Поэтому мы трансформировали #RuPostgres еще до коронавируса — это сейчас, прежде всего, канал в YouTube и Постгрес-вторники в Zoom+YouTube.Думаю, для традиционных конференций будущее за гибридным подходом. Нельзя терять возможность общаться с теми, кто не может приехать. Но и кулуарное общение, как показал 2020 год, сложно чем-то заменить. Я очень надеюсь, что история с онлайном получит продолжение в гибридном формате конференций Highload++.— Расскажи о заездах конференции. Кого ждать этой весной?— Отмечу парочку, и они не из области Postgres. Первый — это Алексей Миловидов из Яндекса. Он расскажет об интересных случаях оптимизации, с которыми встретился при разработке ClickHouse. А Петр Зайцев, CEO Percona, покажет, как анализировать запросы MySQL 8 в PMM (Percona Monitoring and Management), инструменте мониторинга, который разрабатывают в его компании.— Какие самые интересные доклады ты можешь перечислить? Чем они будут полезны гостям конференции? Есть ли среди них те, которые решат давно назревшие проблемы?— Подавляющее число докладов описывают решение актуальных проблем — конференция практическая мы специально делаем акцент на этом при отборе докладов. Успех Highload++ можно объяснить именно практической пользой докладов.
Если оставить за скобками тему баз данных (ее обсудим ниже), то я лично обратил внимание на два доклада про нагрузочное тестирование: Александр Кузменков и Максим Куприянов, спикеры из Яндекса, будут интересны широкому кругу и поделятся секретами.В первом, «Сегодня я помержил в ClickHouse 30 пул-реквестов, а он все еще не тормозит: автотесты производительности», рассказывается, как в Яндексе тестируют производительность каждого коммита в ClickHouse. К тестам есть три основных требования: они должны измерять правильную величину, результаты должны быть воспроизводимы, и тесты должны давать достаточно информации, чтобы их можно было интерпретировать и исправить или улучшить результат. Александр обсудит, как эти требования реализуются на практике: какие данные и запросы используются для тестирования, как строятся эксперименты, обрабатываются результаты и как используются встроенные в ClickHouse инструменты интроспекции, такие как профайлер запросов.Во втором докладе, «Использование непрерывного нагрузочного тестирования для оценки емкости и планирования ресурсов высоконагруженного сервиса», говорится о методике online-оценки емкости сервиса и планирования ресурсов, применяемой в Яндекс.Маркете. Высоконагруженные сервисы потребляют большой объем вычислительных ресурсов. Эти ресурсы дороги и должны выделяться в том количестве, чтобы приложения с одной стороны исправно работали и не падали под потоком запросов пользователей, а с другой — не грели понапрасну воздух за счет владельца. Кроме этого, «Как правильно и надежно убить MySQL» (Владимир Федорков, ECOMMPAY IT) — рассказ типа «как устроить highload на ровном месте» всегда вызывает высокий интерес у аудитории.— Расскажи о своей секции. В чем ее особенности, и что необычного ждет ее участников в этом году. — Растут объемы данных и нагрузки. В секции о БД — усиление трендов, наметившихся в предыдущие пару лет. С одной стороны, строители облаков и сервисов управления СУБД в них (в России это, прежде всего, Яндекс.Облако, хотя и другие подтягиваются) делятся ценнейшим опытом управлениями мириадами узлов БД. С другой, подрастают, учатся или уже научились «готовить» «БД в кубе» создатели и пользователи различных Kubernetes-операторов для Postgres, MySQL и т.д. В обозримом будущем, это идеологические конкуренты первой группе. К докладам от «строителей облаков» относятся:
- «Подводные камни высокодоступных инсталляций OLTP СУБД», Андрей Бородин, Yandex.Cloud — учитывая масштаб Я.Облака и глубину знаний докладчика, послушать его будет точно полезно.
- «Надежные и быстрые бэкапы PostgreSQL», Даниил Захлыстов, Yandex.Cloud — речь про WAL-G, который давно уже не только Постгрес бэкапит, но и MySQL, Монгу. Кроме того, поддерживает разные облачные объектные хранилища, алгоритмы сжатия.
- «Консенсус на пальцах, или Как договориться в распределенной системе», Владимир Протасов, Yandex.Cloud — доклад из соседней конференции, «Архитектура, масштабируемость». Он интересен тем, кто интересуется темой надежной реализации autofailover.
Ко второму типу – докладам от тех, кто не уже не боится эксплуатировать БД «в кубе», относятся:
- «Прокрустово ложе или «испанский сапог» — мифы и реальность СУБД в Облаках», Александр Зайцев, Altinity. Он расскажет о том, что требуется от СУБД, чтобы она чувствовала себя удобно и комфортно в Облаке. Это включает в себя разделение вычисления и хранения, интеграция с сетевыми системами хранения, другая модель репликации и т.д. Конечно, это в контексте использования Kubernetes.
- «Анатомия Kubernetes Operator для базы данных», Петр Зайцев, Percona. В своем выступлении он поделится опытом о том, как Kubernetes Operator для управления базой данных может быть устроен внутри и чему научились внутри его компании, создавая операторы для MySQL и MongoDB.
- Коллеги Петра по Percona Николай Маржан и Сергей Пронин представят доклад «Comparison of Kubernetes Operators for MySQL».
Помимо этого, я бы сходил послушать Ивана Панченко. который расскажет про новое в Postgres 14 и Ивана Фролкова с докладом о runtime-ошибках в Постгресе. Оба из ПостгресПро.И я точно планирую заглянуть на эти два доклада:
- «Распространенные ошибки изменения схемы базы данных PostgreSQL», Николай Самохвалов, Postgres.ai
- «Database Performance at Gitlab.com, Jose Finotto», GitLab & Nikolay Samokhvalov, Postgres.ai
— Да уж, пожалуй, на последних докладах без тебя никак не обойтись! Как ты думаешь, почему нужно посетить конференцию именно этой весной, после перерыва в прошлом году?— Пора подниматься после сбоя.
Конференция HighLoad++ 2021 пройдет уже 17 и 18 мая в Москве, в Крокус-экспо. У нас готово расписание, и вы уже сегодня можете запланировать активности!Билеты можно купить здесь. С 30 апреля цена на них станет выше. Хотите бесплатно получить материалы конференции мини-конференции Saint HighLoad++ 2020? Подписывайтесь на нашу рассылку.
===========
Источник:
habr.com
===========
Похожие новости:
- [PostgreSQL, SQL, Microsoft SQL Server] Как быстрее всего передавать данные с PostgreSQL на MS SQL
- [Программирование, Конференции] Современный фронтенд без ошибок и костылей. 8 полезных докладов конференции DUMP
- [Тестирование IT-систем, Тестирование веб-сервисов, Конференции] Приглашаем на DINS QA EVENING: работа с логами и функциональные возможности инструментов на базе CDP
- [Разработка веб-сайтов, JavaScript, Конференции, Микросервисы] Frontend Meetup 20/04
- [Разработка веб-сайтов, PHP, Symfony, Конференции] Говорим, как структурировать код
- [Хакатоны, Конференции] Digital-мероприятия в Москве c 19 по 25 апреля
- [Системное администрирование, PostgreSQL, Администрирование баз данных] Noisia — генератор аварийных и нештатных ситуаций в PostgreSQL
- [Хакатоны, Конференции] Что там в Университете ИТМО — антистресс от разработчика, аксионы, кристаллы времени и хакатоны
- [Информационная безопасность, Разработка веб-сайтов, PHP, Программирование] Слабые места PHP: думай как хакер
- [Высокая производительность, Информационная безопасность, Программирование, Будущее здесь] Безопасность в масштабе HighLoad — магия или realtime?
Теги для поиска: #_vysokaja_proizvoditelnost (Высокая производительность), #_postgresql, #_administrirovanie_baz_dannyh (Администрирование баз данных), #_konferentsii (Конференции), #_konferentsii (конференции), #_highload++, #_bazy_dannyh (базы данных), #_postgres, #_mysql, #_postgresql, #_blog_kompanii_konferentsii_olega_bunina_(ontiko) (
Блог компании Конференции Олега Бунина (Онтико)
), #_vysokaja_proizvoditelnost (
Высокая производительность
), #_postgresql, #_administrirovanie_baz_dannyh (
Администрирование баз данных
), #_konferentsii (
Конференции
)
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 20-Май 22:29
Часовой пояс: UTC + 5
| Автор | Сообщение |
|---|---|
|
news_bot ®
Стаж: 6 лет 3 месяца |
|
|
В СУБД растут объемы данных и нагрузки. А это значит, что нужно держать нос по ветру и узнавать больше об инструментах и методах взаимодействия с базами данных. Чтобы этого добиться, лучше всего сходить на профильную конференцию (было бы странно, если бы мы не дали вам этот совет, правда?), или хотя бы почитать о самых актуальных проблемах области. Какие тренды последних лет усиливаются в PostgreSQL прямо сейчас? Как не устроить highload на ровном месте? Где почитать про мифы и реальность СУБД в облаках? Об этом и многом другом мы поговорили с Николаем Самохваловым. Николай — член программного комитета конференции HighLoad++, куратор секции Базы данных, а также основатель Postgres.ai и #RuPostgres.  — Чем ты занимаешься? В чем заключается твоя работа?— Живу в Калифорнии, где развиваю свой очередной стартап — компанию Postgres.ai. Мы помогаем оптимизировать и масштабировать проекты, которые используют PostgreSQL. Среди известных клиентов: Miro.com, GitLab.com, Chewy.com — это сверхбыстро растущие бизнесы-единороги (оценка более $1 млрд). Есть компании и поменьше. Наша фишка в том, что мы не просто помогаем разово, а налаживаем автоматизированные и масштабируемые процессы. Грубо говоря, чтобы команды могли далее сами расти, используя инструменты, которые мы разработали. И центральный среди них сейчас — Database Lab. С помощью него можно клонировать базы любого размера за секунды и без траты дополнительных ресурсов: это так называемое «тонкое клонирование», основанное на CoW (copy-on-write). Оно открывает просто удивительные возможности по независимой разработке, тестированию и оптимизации SQL.  — Как давно и почему присоединился к программному комитету HighLoad++— В ПК я очень давно — практически с самого начала. Кажется, это был 2007 год— я помню еще первые встречи, на которых зарождался Highload и РИТ. Основная мотивация для меня менялась со временем. Сначала это был «фан» от общения с такими людьми как Олег Бунин или, например, Игорь Сысоев и Алексей Рыбак. После 2010-х интерес стал более прикладным: участие в ПК дает хорошее представление о том, кто, где и что делает на рынке в плане технологий. И наш долгий, нудный и въедливый процесс отбора докладов в Программном комитете на удивление помогает быть в курсе трендов.— Каковы особенности программы конференции? Есть ли интересные фишки, которые ждут ее участников?— Мы уже несколько раз перетрясали программу: из-за событий 2020 конференция откладывалась неоднократно. Можно сказать, что подготовке программы этой конференции уже уделено максимальное количество усилий и человеко-часов за всю историю существования серии. И наша подготовка все еще продолжается — так что программа будет еще насыщеннее, а доклады — более зрелыми.  Поделюсь личным опытом: у меня заявлен доклад «Распространенные ошибки изменения схемы базы данных PostgreSQL». Подал заявку на него я еще год назад. И если на момент подачи это был совсем свежий материал, то теперь они дозрел — я его обкатал на онлайн-митапах и зарубежных конференциях, расширил и дополнил. Как правило, программный комитет дополнительно оценивает новизну материала, и раньше мы не раз просили докладчика доработать свое выступление. И если активные докладчики уже успели обкатать свой доклад на онлайн-событиях — при условии разных аудиторий с конференцией — это только на пользу выступлению. Надо сказать, по теме моего доклада прошедший год принес много нового опыта: некоторые компании пережили кратный рост нагрузок всего за несколько месяцев.Что касается содержания в целом, сейчас конференция расширяет свою область внимания — подключаются новые и расширяются молодые сферы. Например, был произведен донабор докладов с дополнительным фокусом на такие темы как агротех и финтехВсе больше включаются докладчики из крупных компаний. Появляются ситуации, когда доклады про коммерческие решения и закрытые системы приобретают новый смысл. Приведу пример из моей родной области, СУБД. Десять лет назад мы в ПК отчетливо видели, что доклады про Oracle и SQL Server регулярно получают почти пустые залы, а докладчики не могут предложить интересный разговор про технику, выдавая то, что слушатели окрестили «marketing bu**it». Но несколько лет назад я отметил, что теперь мы находимся в другой реальности: приходят технические эксперты, готовые грамотно рассказывать про тот же Oracle. Да так, что и тем, кто его не использует, очень интересно. Справедливости ради стоит отметить, что и открытые системы — я, конечно, прежде всего, о Postgres — повзрослели, стали очень активно использоваться в крупных компаниях. И изучение опыта эксплуатации Оракла и SQL Server приобретает новый смысл. Исследуя этот опыт, мы понимаем как можно было сделать еще, каких инструментов не хватает в Postgres-экосистеме, куда двигаться.— Многие россияне уже переболели коронавирусом. Как себя чувствуют докладчики? Многие от из них переболели/привились? Или все так устали от онлайн-форматов, что не думают об этом?— Не могу говорить за других. Я не болел, много летал (более десяти полетов с начала года), пока не прививался, но планирую в самое ближайшее время.От онлайна я лично совсем не устал. Он с нами навсегда — его надо полюбить и развивать. В 2007-2008 годах, когда рождались РИТ и Highload, я начал развивать PostgreSQL-сообщества в России. Мы стали регулярно собираться лично и делиться опытом. К 2014-2015 это движение — сейчас оно носит название #RuPostgres — сильно выросло, на митапы приходило до двух сотен людей. Это очень круто, собираться вживую на такие крупные события как Highload, но мы должны использовать и онлайн. Сейчас очевидно, что русскоязычные эксперты живут в разных уголках мира. Я в США, мой напарник по #RuPostgres, Илья Космодемьянский, — в Германии, а само сообщество представлено в десятках стран и сотнях городов. Поэтому мы трансформировали #RuPostgres еще до коронавируса — это сейчас, прежде всего, канал в YouTube и Постгрес-вторники в Zoom+YouTube.Думаю, для традиционных конференций будущее за гибридным подходом. Нельзя терять возможность общаться с теми, кто не может приехать. Но и кулуарное общение, как показал 2020 год, сложно чем-то заменить. Я очень надеюсь, что история с онлайном получит продолжение в гибридном формате конференций Highload++.— Расскажи о заездах конференции. Кого ждать этой весной?— Отмечу парочку, и они не из области Postgres. Первый — это Алексей Миловидов из Яндекса. Он расскажет об интересных случаях оптимизации, с которыми встретился при разработке ClickHouse. А Петр Зайцев, CEO Percona, покажет, как анализировать запросы MySQL 8 в PMM (Percona Monitoring and Management), инструменте мониторинга, который разрабатывают в его компании.— Какие самые интересные доклады ты можешь перечислить? Чем они будут полезны гостям конференции? Есть ли среди них те, которые решат давно назревшие проблемы?— Подавляющее число докладов описывают решение актуальных проблем — конференция практическая мы специально делаем акцент на этом при отборе докладов. Успех Highload++ можно объяснить именно практической пользой докладов.  Если оставить за скобками тему баз данных (ее обсудим ниже), то я лично обратил внимание на два доклада про нагрузочное тестирование: Александр Кузменков и Максим Куприянов, спикеры из Яндекса, будут интересны широкому кругу и поделятся секретами.В первом, «Сегодня я помержил в ClickHouse 30 пул-реквестов, а он все еще не тормозит: автотесты производительности», рассказывается, как в Яндексе тестируют производительность каждого коммита в ClickHouse. К тестам есть три основных требования: они должны измерять правильную величину, результаты должны быть воспроизводимы, и тесты должны давать достаточно информации, чтобы их можно было интерпретировать и исправить или улучшить результат. Александр обсудит, как эти требования реализуются на практике: какие данные и запросы используются для тестирования, как строятся эксперименты, обрабатываются результаты и как используются встроенные в ClickHouse инструменты интроспекции, такие как профайлер запросов.Во втором докладе, «Использование непрерывного нагрузочного тестирования для оценки емкости и планирования ресурсов высоконагруженного сервиса», говорится о методике online-оценки емкости сервиса и планирования ресурсов, применяемой в Яндекс.Маркете. Высоконагруженные сервисы потребляют большой объем вычислительных ресурсов. Эти ресурсы дороги и должны выделяться в том количестве, чтобы приложения с одной стороны исправно работали и не падали под потоком запросов пользователей, а с другой — не грели понапрасну воздух за счет владельца. Кроме этого, «Как правильно и надежно убить MySQL» (Владимир Федорков, ECOMMPAY IT) — рассказ типа «как устроить highload на ровном месте» всегда вызывает высокий интерес у аудитории.— Расскажи о своей секции. В чем ее особенности, и что необычного ждет ее участников в этом году. — Растут объемы данных и нагрузки. В секции о БД — усиление трендов, наметившихся в предыдущие пару лет. С одной стороны, строители облаков и сервисов управления СУБД в них (в России это, прежде всего, Яндекс.Облако, хотя и другие подтягиваются) делятся ценнейшим опытом управлениями мириадами узлов БД. С другой, подрастают, учатся или уже научились «готовить» «БД в кубе» создатели и пользователи различных Kubernetes-операторов для Postgres, MySQL и т.д. В обозримом будущем, это идеологические конкуренты первой группе. К докладам от «строителей облаков» относятся:
Конференция HighLoad++ 2021 пройдет уже 17 и 18 мая в Москве, в Крокус-экспо. У нас готово расписание, и вы уже сегодня можете запланировать активности!Билеты можно купить здесь. С 30 апреля цена на них станет выше. Хотите бесплатно получить материалы конференции мини-конференции Saint HighLoad++ 2020? Подписывайтесь на нашу рассылку.
=========== Источник: habr.com =========== Похожие новости:
Блог компании Конференции Олега Бунина (Онтико) ), #_vysokaja_proizvoditelnost ( Высокая производительность ), #_postgresql, #_administrirovanie_baz_dannyh ( Администрирование баз данных ), #_konferentsii ( Конференции ) |
|
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 20-Май 22:29
Часовой пояс: UTC + 5