[IT-инфраструктура, Google API, Google Cloud Platform, Облачные сервисы] В Google объяснили причину глобального сбоя сервисов
Автор
Сообщение
news_bot ®
Стаж: 6 лет 9 месяцев
Сообщений: 27286
Google опубликовала разъяснение по поводу масштабного сбоя, который наблюдался на YouTube, в Gmail и Google Docs 14 декабря. Проблема действительно скрывалась в работе службы аутентификации. Ранее стало известно, что она связана с переполнением хранилища.
Компания объяснила, что служба идентификации пользователей Google поддерживает уникальный идентификатор для каждой учетной записи и обрабатывает учетные данные аутентификации для токенов OAuth и файлов cookie. Она хранит данные учетной записи в распределенной базе данных, которая использует протоколы Paxos для координации обновлений. В целях безопасности эта служба отклоняет запросы при обнаружении устаревших данных.
Google использует постоянно обновляемый набор инструментов автоматизации для управления квотами различных ресурсов, выделяемых для служб. В октябре службу User ID Service начали переводить на новую систему квот, но с частичным сохранением прежней системы. Тогда возник первый сбой. Дело в том, что в системе присутствуют старые компоненты, которые ошибочно использовались при отправке запросов, а затем возвращались с ошибкой «о нулевом использовании».
Когда льготный период для принудительного применения новых квот истек, возник новый, более масштабный сбой. Существующая система проверки безопасности не выявила, что старая система выдавала сценарий нулевой заявленной нагрузки. В итоге это привело к изменению квоты для большого количества пользователей, снижению квоты ниже уровня использования, поскольку заявленное было ошибочно указано как ноль, чрезмерное сокращение квоты для систем хранения.
Масштабы проблемы стали очевидны сразу после вступления в силу действия новых квот. Начали поступать автоматические предупреждения о пределах емкости хранилищ и об ошибках службы User ID. Примененные исправления привели к отключению принудительного использования квоты в центрах обработки данных.
Компания еще раз извинилась перед своими пользователями. Там пообещали работать над улучшением производительности и доступности платформы. В частности, автоматизация управления квотами будет проверяться, чтобы предотвратить быстрое внедрение глобальных изменений. Мониторинг и оповещения улучшатся для оперативного выявления неправильных конфигураций. Базу данных службы User ID сделают более устойчивой к сбоям записи, равно как и повысят устойчивость сервисов GCP.
Google отмечает, что во время сбоя были затронуты примерно 15% запросов к Google Cloud Storage, особенно, запросы с использованием OAuth, HMAC или аутентификации по электронной почте. Длительное воздействие сбоя испытали на себе менее 1% клиентов.
Во время сбоя были также затронуты внутренние инструменты службы поддержки Cloud, из-за чего компания не смогла поделиться информацией о происходящем с клиентами на Google Cloud Platform и Google Workspace Status Dashboards.
См. также: «В работе Gmail произошел масштабный сбой»
===========
Источник:
habr.com
===========
Похожие новости:
- [IT-инфраструктура, Стандарты связи, Сетевое оборудование, Сотовая связь] Open RAN
- [Информационная безопасность, Браузеры, Законодательство в IT, IT-компании] Apple, Google, Microsoft, Mozilla и Opera заблокировали в своих браузерах MITM-сертификат Казахстана
- [Тестирование IT-систем, Разработка мобильных приложений, IT-инфраструктура, Разработка под Android, DevOps] VirtualBox — Запуск Android эмулятора в виртуальной среде для тестирования Android проекта
- [Законодательство в IT, Гаджеты, IT-компании] Евросоюз разрешил Google купить Fitbit, но запретил использовать данные с фитнес-трекеров для рекламы
- [Поисковые технологии, Контекстная реклама, Законодательство в IT, Поисковая оптимизация, IT-компании] В США 38 штатов подали новый антимонопольный иск против Google
- [Мессенджеры, Облачные сервисы, Социальные сети и сообщества] Свой сервис отложенного постинга и почти без кода
- [Бизнес-модели, Искусственный интеллект, Финансы в IT] Google списала $1,5 млрд долгов своему подразделению DeepMind
- [IT-инфраструктура, Хранение данных, Хранилища данных, Data Engineering] Мультиоблачная стратегия: управление сложной структурой в большом масштабе
- [IT-инфраструктура, Сетевые технологии, Разработка под e-commerce, Сетевое оборудование] WSJ: Высокочастотные трейдеры внедряют полое оптоволокно, чтобы приблизиться к скорости света при передаче данных
- [Разработка веб-сайтов, CSS, API, Браузеры] До свидания, Google Fonts. Последний аргумент
Теги для поиска: #_itinfrastruktura (IT-инфраструктура), #_google_api, #_google_cloud_platform, #_oblachnye_servisy (Облачные сервисы), #_google, #_oauth, #_user_identification, #_sboj (сбой), #_autentifikatsija_polzovatelej (аутентификация пользователей), #_kvoty (квоты), #_google_cloud_storage, #_itinfrastruktura (
IT-инфраструктура
), #_google_api, #_google_cloud_platform, #_oblachnye_servisy (
Облачные сервисы
)
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 22-Ноя 15:53
Часовой пояс: UTC + 5
| Автор | Сообщение |
|---|---|
|
news_bot ®
Стаж: 6 лет 9 месяцев |
|
 Google опубликовала разъяснение по поводу масштабного сбоя, который наблюдался на YouTube, в Gmail и Google Docs 14 декабря. Проблема действительно скрывалась в работе службы аутентификации. Ранее стало известно, что она связана с переполнением хранилища. Компания объяснила, что служба идентификации пользователей Google поддерживает уникальный идентификатор для каждой учетной записи и обрабатывает учетные данные аутентификации для токенов OAuth и файлов cookie. Она хранит данные учетной записи в распределенной базе данных, которая использует протоколы Paxos для координации обновлений. В целях безопасности эта служба отклоняет запросы при обнаружении устаревших данных. Google использует постоянно обновляемый набор инструментов автоматизации для управления квотами различных ресурсов, выделяемых для служб. В октябре службу User ID Service начали переводить на новую систему квот, но с частичным сохранением прежней системы. Тогда возник первый сбой. Дело в том, что в системе присутствуют старые компоненты, которые ошибочно использовались при отправке запросов, а затем возвращались с ошибкой «о нулевом использовании». Когда льготный период для принудительного применения новых квот истек, возник новый, более масштабный сбой. Существующая система проверки безопасности не выявила, что старая система выдавала сценарий нулевой заявленной нагрузки. В итоге это привело к изменению квоты для большого количества пользователей, снижению квоты ниже уровня использования, поскольку заявленное было ошибочно указано как ноль, чрезмерное сокращение квоты для систем хранения. Масштабы проблемы стали очевидны сразу после вступления в силу действия новых квот. Начали поступать автоматические предупреждения о пределах емкости хранилищ и об ошибках службы User ID. Примененные исправления привели к отключению принудительного использования квоты в центрах обработки данных. Компания еще раз извинилась перед своими пользователями. Там пообещали работать над улучшением производительности и доступности платформы. В частности, автоматизация управления квотами будет проверяться, чтобы предотвратить быстрое внедрение глобальных изменений. Мониторинг и оповещения улучшатся для оперативного выявления неправильных конфигураций. Базу данных службы User ID сделают более устойчивой к сбоям записи, равно как и повысят устойчивость сервисов GCP. Google отмечает, что во время сбоя были затронуты примерно 15% запросов к Google Cloud Storage, особенно, запросы с использованием OAuth, HMAC или аутентификации по электронной почте. Длительное воздействие сбоя испытали на себе менее 1% клиентов. Во время сбоя были также затронуты внутренние инструменты службы поддержки Cloud, из-за чего компания не смогла поделиться информацией о происходящем с клиентами на Google Cloud Platform и Google Workspace Status Dashboards. См. также: «В работе Gmail произошел масштабный сбой»
=========== Источник: habr.com =========== Похожие новости:
IT-инфраструктура ), #_google_api, #_google_cloud_platform, #_oblachnye_servisy ( Облачные сервисы ) |
|
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 22-Ноя 15:53
Часовой пояс: UTC + 5