Выпуск rqlite 6.0, распределённой отказоустойчивой СУБД на основе SQLite
Автор
Сообщение
news_bot ®
Стаж: 6 лет 9 месяцев
Сообщений: 27286
Представлен релиз распределённой СУБД rqlite 6.0, которая использует SQLite в качестве движка хранения и позволяет организовать работу кластера из синхронизированных между собой хранилищ. Из особенностей rqlite отмечается простота установки, развёртывания и сопровождения распределённого отказоустойчивого хранилища, чем-то похожего на etcd и Consul, но использующего реляционную модель работы с данными вместо формата ключ/значения. Код проекта написан на языке Go и распространяется под лицензией MIT.
Для поддержания всех узлов в синхронизированном состояния используется алгоритм достижения консенсуса Raft. Rqlite использует оригинальную библиотеку SQLite и и штатный драйвер go-sqlite3, поверх которых запускается прослойка обрабатывающая запросы клиентов, выполняющая репликацию на другие узлы и отслеживающая достижение консенсуса по выбору лидирующего узла.
Изменения в БД могут вносится только узлом, который выбран в качестве лидирующего, но соединения с операциями записи могут направляться и к другим узлам кластера, которые вернут адрес лидера для повторения запроса (в следующей версии обещают добавить автоматический проброс обращения к лидеру). Главный упор делается на отказоустойчивость, поэтому СУБД масштабируется только по операциям чтения, а операции записи являются узким местом. Возможно запустить кластер rqlite из одного узла и такое решение может использоваться для организации доступа к SQLite поверх HTTP без предоставления отказоустойчивости.
Данные SQLite на каждом узле хранятся не в файле, а в памяти. На уровне слоя с реализацией протокола Raft ведётся лог всех команд SQLite, приводящих к изменению БД. Данный лог используется при репликации (репликация на уровне воспроизведения запросов на других узлах), запуске нового узла или восстановления после потери связности. Для сокращения размера лога применяется автоматическая упаковка, которая запускается после заданного числа изменений и приводит к фиксации на диске снапшота, относительно которого начинает вестись новый лог (состояние БД в памяти идентично снапшоту + накопившемуся логу изменений).
Особенности rqlite:
- Простота развёртывания кластера, без необходимости отдельной установки SQLite.
- Возможность быстро получить реплицированное SQL-хранилище.
- Готовность для использования в рабочих проектах (Production-grade).
- Наличие HTTP(S) API, позволяющего обновлять данные в пакетном режиме и определять лидирующий узел кластера. Также предоставляется интерфейс командной строки и возможность использования различных клиентских библиотек, созданных для SQLite.
- Наличие сервиса для определения других узлов, позволяющего создавать кластеры динамически.
- Поддержка шифрования обмена данных между узлами.
- Возможность настройки уровня проверки актуальности и согласованности данных при чтении.
- Опциональная возможность подключения узлов в режиме только для чтения, не принимающих участие в определении консенсуса и используемых для увеличения масштабируемости кластера по операциям чтения.
- Поддержка собственной формы транзакций на базе объединения команд в одном запросе (транзакции на базе BEGIN, COMMIT, ROLLBACK, SAVEPOINT и RELEASE не поддерживаются).
- Поддержка создания горячих резервных копий.
В новом выпуске внесены значительные архитектурные изменения, направленные на повышения надёжности кластера за счёт улучшения процесса направления запросов на чтения и запись к корректным узлам кластера. Узлы rqlite теперь могут мультиплексировать между собой несколько логических соединений, используя TCP-соединения, установленные между узлами протоколом Raft. Если запрос требует полномочий лидирующего узла, но отправлен вторичному узлу, вторичный узел может определить адрес лидера и передать его клиенту, без выполнения расчёта консенсуса по протоколу Raft.
Изменение также позволило избавиться от отдельного компонента для синхронизации метаданных и исключить отдельную обработку состояния Raft и метаданных. Вторичные узлы теперь направляют запросы к узлу-лидеру только по необходимости, когда нужно узнать адрес лидирующего узла. В API предоставлена возможность получения информации о состоянии других узлов в кластере. В интерфейс командной строки добавлена команда ".sysdump".
===========
Источник:
OpenNet.RU
===========
Похожие новости
- Главная ссылка к новости (https://www.philipotoole.com/r...)
- OpenNews: Доступен Dqlite 1.0, распределённый вариант SQLite от компании Canonical
- OpenNews: В рамках проекта LiteTree развивается вариант SQLite с поддержкой ветвления БД
- OpenNews: Уязвимость в SQLite, позволяющая удалённо атаковать Chrome через WebSQL
- OpenNews: Проект DuckDB развивает вариант SQLite для аналитических запросов
- OpenNews: Выпуск СУБД SQLite 3.35
Похожие новости:
- [*nix, DNS, C, SQLite] The Implementation of a Custom Domain Name Server by Using С Sockets
- [Python, Программирование, SQL, Микросервисы, Flask] Чтобы первый блин не вышел комом. Советы начинающему разработчику сервиса
- [Python, SQL, Big Data, Визуализация данных, Data Engineering] Первые шаги в BI-аналитике. Роль Data Engineering
- [Python, API, SQLite] Подключаем Sqlite3 к Telegram боту
- [PostgreSQL, SQL, SQLite, Kotlin] Kotlite и Kotgres: генераторы SQL и JDBC кода на Kotlin для Sqlite и Postgresql
- Выпуск СУБД SQLite 3.35
- [Программирование, SQL, SQLite] SQLite — не игрушка
- [Python, SQL, Big Data, SQLite, Data Engineering] PySpark. Решаем задачу на поиск сессий
- [SQL, SQLite] Что ждет нас в SQLite 3.35
- [Программирование, SQL, Go] SQLite с использованием Go и Python (перевод)
Теги для поиска: #_rqlite, #_sqlite
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 22-Ноя 13:14
Часовой пояс: UTC + 5
| Автор | Сообщение |
|---|---|
|
news_bot ®
Стаж: 6 лет 9 месяцев |
|
|
Представлен релиз распределённой СУБД rqlite 6.0, которая использует SQLite в качестве движка хранения и позволяет организовать работу кластера из синхронизированных между собой хранилищ. Из особенностей rqlite отмечается простота установки, развёртывания и сопровождения распределённого отказоустойчивого хранилища, чем-то похожего на etcd и Consul, но использующего реляционную модель работы с данными вместо формата ключ/значения. Код проекта написан на языке Go и распространяется под лицензией MIT. Для поддержания всех узлов в синхронизированном состояния используется алгоритм достижения консенсуса Raft. Rqlite использует оригинальную библиотеку SQLite и и штатный драйвер go-sqlite3, поверх которых запускается прослойка обрабатывающая запросы клиентов, выполняющая репликацию на другие узлы и отслеживающая достижение консенсуса по выбору лидирующего узла. Изменения в БД могут вносится только узлом, который выбран в качестве лидирующего, но соединения с операциями записи могут направляться и к другим узлам кластера, которые вернут адрес лидера для повторения запроса (в следующей версии обещают добавить автоматический проброс обращения к лидеру). Главный упор делается на отказоустойчивость, поэтому СУБД масштабируется только по операциям чтения, а операции записи являются узким местом. Возможно запустить кластер rqlite из одного узла и такое решение может использоваться для организации доступа к SQLite поверх HTTP без предоставления отказоустойчивости. Данные SQLite на каждом узле хранятся не в файле, а в памяти. На уровне слоя с реализацией протокола Raft ведётся лог всех команд SQLite, приводящих к изменению БД. Данный лог используется при репликации (репликация на уровне воспроизведения запросов на других узлах), запуске нового узла или восстановления после потери связности. Для сокращения размера лога применяется автоматическая упаковка, которая запускается после заданного числа изменений и приводит к фиксации на диске снапшота, относительно которого начинает вестись новый лог (состояние БД в памяти идентично снапшоту + накопившемуся логу изменений). Особенности rqlite:
Изменение также позволило избавиться от отдельного компонента для синхронизации метаданных и исключить отдельную обработку состояния Raft и метаданных. Вторичные узлы теперь направляют запросы к узлу-лидеру только по необходимости, когда нужно узнать адрес лидирующего узла. В API предоставлена возможность получения информации о состоянии других узлов в кластере. В интерфейс командной строки добавлена команда ".sysdump". =========== Источник: OpenNet.RU =========== Похожие новости
|
|
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 22-Ноя 13:14
Часовой пояс: UTC + 5