[Системное администрирование, IT-инфраструктура, Хранение данных, Хранилища данных] Эльбрус VS Intel. Сравниваем производительность систем хранения Аэродиск Восток и Engine
Автор
Сообщение
news_bot ®
Стаж: 6 лет 9 месяцев
Сообщений: 27286
Всем привет. Мы продолжаем знакомить вас с системой хранения данных Аэродиск ВОСТОК, выполненной на базе российского процессора Эльбрус 8C.
В этой статье мы (как и обещали) детально разберем одну из популярнейших и интереснейших тем, связанной с Эльбрусами, а именно – производительность. На тему производительности Эльбруса есть достаточно много спекуляций, причем абсолютно полярных. Пессимисты говорят, что производительность Эльбруса сейчас «никакая», и чтобы догнать «топовых» производителей потребуются десятилетия (т.е. в условиях нынешней реальности — никогда). С другой стороны, оптимисты говорят, что уже сейчас Эльбрус 8C показывает хорошие результаты, а в ближайшие пару лет с выходом новых версий процессоров (Эльбрус 16С и 32С) мы сможем «догнать и перегнать» ведущих мировых производителей процессоров.
Мы в Аэродиске люди практичные, поэтому пошли самым простым и понятным (для нас) путем: протестировать, зафиксировать результаты и только потом делать выводы. В итоге мы провели довольно большое количество тестов и обнаружили ряд особенностей работы Эльбруса 8С архитектуры e2k (в том числе, и приятных) и, конечно же, сравнили это с аналогичными СХД на процессорах Intel Xeon архитектуры amd64.
Кстати, более подробно о тестах, результатах и о будущем развитии СХД на Эльбрусах мы поговорим на нашем очередном вебинаре "ОколоИТ" 15.10.2020 в 15 00. Зарегистрироваться можно по ссылке ниже.
РЕГИСТРАЦИЯ НА ВЕБИНАР
Тестовый стенд
Мы создали два стенда. Оба стенда состоят из сервера с Linux-ом, подключенного через 16G FC-коммутаторы к двум котроллерам СХД, в которой установлено 12 SAS SSD 960 ГБ дисков (11,5 ТБ «сырой емкости» или 5,7 ТБ «полезной» емкости, если используем RAID-10).
Схематично стенд выглядит следующим образом.
Стенд №1 e2k (Эльбрус)
Конфигурация оборудования следующая:
- Linux-сервер (2xIntel Xeon E5-2603 v4 (6 cores, 1,70Ghz), 64 GB DDR4, 2xFC-адаптер 16G 2 порта) – 1шт.
- Коммутатор FC 16 G – 2 шт.
- СХД Аэродиск Восток 2-Э12 (2xЭльбрус 8С (8 cores, 1,20Ghz), 32 GB DDR3, 2xFE FC-adaptor 16G 2 port, 12xSAS SSD 960 GB) — 1 шт
Стенд №2 amd64 (Intel)
Для сравнения с аналогичной конфигурации на e2k использовалась похожая конфигурация СХД с похожим процессором по характеристикам на amd64:
- Linux-сервер (2xIntel Xeon E5-2603 v4 (6 cores, 1,70Ghz), 64 GB DDR4, 2xFC-адаптер 16G 2 порта) – 1шт.
- Коммутатор FC 16 G – 2 шт.
- СХД Aerodisk Engine N2 (2xIntel Xeon E5-2603 v4 (6 cores, 1,70Ghz), 32 GB DDR4, 2xFE FC-adaptor 16G 2 port, 12xSAS SSD 960 GB) — 1 шт
Важное замечание: используемые в тесте процессоры Эльбрус 8С поддерживают оперативную память только DDR3, это конечно «плохо, но не долго». Эльбрус 8СВ (в наличие его у нас пока нет, но скоро будет) поддерживает DDR4.
Методика тестирования
Для генерации нагрузки мы использовали популярную и проверенную временем программу Flexible IO (FIO).
Обе СХД сконфигурированы согласно нашим же рекомендациям по настройке, исходя из требований к высокой производительности на блочном доступе, поэтому используем дисковые пулы DDP (Dynamic Disk Pool). Чтобы не искажать результаты тестирования, на обеих СХД отключаем, компрессию, дедупликацию и RAM-кэш.
Созданы 8 D-LUN-ов в RAID-10 по 500 ГБ, каждый, суммарный полезный объём составляет 4 ТБ (т.е. примерно 70% от возможной полезной емкости данной конфигурации).
Выполняться будут основные и популярные сценарии использования СХД, в частности:
первые два теста эмулируют работу транзакционной СУБД. В этой группе тестов нам интересны IOPS-ы и задержка.
1) Случайное чтение маленькими блоками 4k
a. Размер блока = 4k
b. Чтение/запись = 100%/0%
c. Количество работ = 8
d. Глубина очереди = 32
e. Характер нагрузки = Full Random
2) Случайная запись маленькими блоками 4k
a. Размер блока = 4k
b. Чтение/запись = 0%/100%
c. Количество работ = 8
d. Глубина очереди = 32
e. Характер нагрузки = Full Random
вторые два теста эмулируют работу аналитической части СУБД. В этой группе тестов нам также интересны IOPS-ы и задержка.
3) Последовательное чтение маленькими блоками 4k
a. Размер блока = 4k
b. Чтение/запись = 100%/0%
c. Количество работ = 8
d. Глубина очереди = 32
e. Характер нагрузки = Sequential
4) Последовательная запись маленькими блоками 4k
a. Размер блока = 4k
b. Чтение/запись = 0%/100%
c. Количество работ = 8
d. Глубина очереди = 32
e. Характер нагрузки = Sequential
третья группа тестов эмулирует работу потокового чтения (пример – онлайн трансляции, восстановление резервных копий) и потоковой записи (пример – видеонаблюдение, запись резервных копий). В этой группе тестов нам уже интересны не IOPS-ы, а MB/s и также задержка.
5) Последовательное чтение большими блоками 128k
a. Размер блока = 128k
b. Чтение/запись = 0%/100%
c. Количество работ = 8
d. Глубина очереди = 32
e. Характер нагрузки = Sequential
6) Последовательная запись большими блоками 128k
a. Размер блока = 128k
b. Чтение/запись = 0%/100%
c. Количество работ = 8
d. Глубина очереди = 32
e. Характер нагрузки = Sequential
Каждый тест будет длиться один час без учета времени прогрева массива в 7 минут.
Результаты тестов
Результаты тестов сведены в две таблицы.
Эльбрус 8С (СХД Аэродиск Восток 2-Э12)
Intel Xeon E5-2603 v4 (СХД Аэродиск Engine N2)
Результаты получились крайне интересные. В обоих случаях мы хорошо утилизировали процессорные мощности СХД (70-90% утилизации), и при таком раскладе явно бросаются в глаза плюсы и минусы обоих процессоров.
В обеих таблицах зеленым цветом выделены тесты, где процессоры «чувствуют себя уверенно» и показывают хорошие результаты, ну а оранжевым цветом выделены ситуации, которые процессоры «не любят».
Если говорить о случайной нагрузке небольшими блоками, то:
- с точки зрения случайного чтения Intel, безусловно, впереди Эльбруса, разница в 2 раза;
- с точки зрения случайной записи однозначно ничья, оба процессора показали примерно равные и достойные результаты.
В последовательной нагрузке небольшими блоками картина другая:
- и при чтении, и при записи Intel существенно (в 2 раза) опережает Эльбрус. При этом, если у Эльбруса показатель IOPS ниже чем у Intel, но выглядит достойно (200-300 тысяч), то с задержками явная проблема (они в три раза выше чем у Intel). Вывод, текущая версия Эльбруса 8С очень «не любит» последовательные нагрузки небольшими блоками. Явно есть над чем работать.
А вот в последовательной нагрузке большими блоками картина прямо противоположная:
- оба процессора показали примерно равный результат в MB/s, но есть одно НО…. Показатели задержек у Эльбруса в 10 (в десять, Карл!!!) раз лучше (т.е. ниже), чем у аналогичного процессора от Intel (0,4/0,5 ms против 5,1/6,5 ms). Вначале мы подумали, что это глюк, поэтому мы перепроверили результаты, сделали повторный тест, но повторный тест показал ту же картину. Это серьезное преимущество Эльбруса (и архитектуры e2k в целом) перед Intel (и, соответственно, архитектуры amd64). Будем надеяться, что этот успех получит дальнейшее развитие.
Есть ещё одна интересная особенность Эльбруса, на которую внимательный читатель может обратить внимание, посмотрев на таблицу. Если взглянуть на разницу показателей чтения и записи у Intel, то во всех тестах чтение опережает запись в среднем примерно на 50%+. Это норма, к которой все (в том числе и мы) привыкли. Если посмотреть на Эльбрус, то показатели записи значительно ближе к показателям чтения, чтение опережает запись, как правило, на 10 – 30%, не более.
О чем это говорит? О том, что Эльбрус «очень любит» запись, а это, в свою очередь, говорит о том, что этот процессор будет очень полезен в задачах, где запись явно преобладает над чтением (кто сказал закон Яровой?), что также является несомненным преимуществом архитектуры e2k, и это преимущество нужно развивать.
Выводы и ближайшее будущее
Сравнительные тесты процессоров среднего уровня Эльбрус и Intel для задач хранения данных показали примерно равные и одинаково достойные результаты, при этом каждый процессор показал свои интересные особенности.
Intel сильно превзошел Эльбрус в случайном чтении небольшими блоками, а также в последовательном чтении и записи небольшими блоками.
При случайной записи небольшими блоками оба процессора показывают равные результаты.
По показателям задержки Эльбрус выглядит значительно лучше Intel-а в потоковой нагрузке, т.е. в последовательном чтении и записи большими блоками.
Кроме того, Эльбрус в отличии от Intel, одинаково хорошо справляется как с нагрузками чтения, так и с нагрузками записи, в то время как у Intel чтение всегда значительно лучше записи.
Исходя из полученных результатов можно сделать вывод о применимости систем хранения данных Аэродиск Восток на процессоре Эльбрус 8С в следующих задачах:
- информационные системы с преобладанием операций записи;
- файловый доступ;
- онлайн-трансляции;
- видеонаблюдение;
- резервное копирование;
- медиа-контент.
Коллективу МЦСТ есть ещё над чем работать, но результат их работы виден уже сейчас, что, конечно, не может не радовать.
Данные тесты проводились на ядре Linux для e2k версии 4.19, на текущий момент в бета-тестах (в МЦСТ, в Базальт СПО, а также у нас, в Аэродиске) находится ядро Linux 5.4-e2k, в котором, кроме всего прочего, серьезно переработан планировщик и много оптимизаций под скоростные твердотельные накопители. Также специально для ядер ветки 5.х.х АО «МЦСТ» выпускает новый компилятор LCC версии 1.25. По предварительным результатам, на том же процессоре Эльбрус 8С, собранное новым компилятором новое же ядро, окружение ядра, системные утилиты и библиотеки и, собственно, ПО Аэродиск ВОСТОК позволит получить ещё более значительный прирост производительности. И это без замены оборудования — на том же процессоре и с теми же частотами.
Мы ожидаем выхода версии Аэродиск ВОСТОК на базе ядра 5.4 ближе к концу года, и как только работа над новой версией будет завершена, мы обновим результаты тестирования и также опубликуем их здесь.
Если теперь вернуться к началу статьи и ответить на вопрос, кто же прав: пессимисты, которые говорят, что Эльбрус «никакой» и никогда не догонит ведущих производителей процессоров, или все-таки оптимисты, которые говорят, что «уже почти догнали и скоро перегоним»? Если исходить не из стереотипов и религиозных предубеждений, а из реальных тестов, то, однозначно, правы оптимисты.
Эльбрус уже сейчас показывает хорошие результаты, если сравнивать его с процессорами amd64 среднего уровня. До верхних в линейке моделей серверных процессоров Intel или AMD 8-ке Эльбруса, конечно, далеко, но она туда и не целилась, для этого будут выпущены процессоры 16С и 32С. Вот тогда и поговорим.
Мы понимаем, что после этой статьи вопросов про Эльбрус станет ещё больше, поэтому мы решили организовать ещё один онлайн-вебинар «ОколоИТ», чтобы в прямом эфире на эти вопросы дать ответы.
В этот раз у нас в гостях будет заместитель генерального директора компании МЦСТ, Константин Трушкин. Записаться на вебинар можно по ссылке ниже.
РЕГИСТРАЦИЯ НА ВЕБИНАР
Всем спасибо, как обычно ждем конструктивной критики и интересных вопросов.
===========
Источник:
habr.com
===========
Похожие новости:
- [IPv6, Сетевые технологии, Системное администрирование] Прогресс внедрения IPv6 за 10 лет
- [DevOps, Kubernetes, Серверное администрирование, Системное администрирование] Как масштабируется бизнес Docker для обслуживания миллионов разработчиков, часть 2: Исходящие данные (перевод)
- [Тестирование IT-систем, Виртуализация, Разработка под Linux] Автоматизация системных тестов на базе QEMU (Часть 2/2)
- [*nix, Open source] FOSS News №35 – дайджест новостей и других материалов о свободном и открытом ПО за 21-27 сентября 2020 года
- [API, Анализ и проектирование систем] Контрольный список для ревью кода в распределенных системах (перевод)
- [IT-инфраструктура] Конфигурация корпоративного мобильного приложения с помощью AppConfig
- [Информационная безопасность, Системное администрирование, Cisco, Сетевые технологии] Cisco ISE: Создание пользователей, добавление LDAP серверов, интеграция с AD. Часть 2
- [Системное администрирование, Софт, IT-компании] Microsoft выпустит в следующем году новую версию Office без подписки
- [Настройка Linux, Софт, Ноутбуки, IT-компании] Lenovo и Canonical объявили о том, что теперь ThinkPad и ThinkStation будут продаваться в варианте с Ubuntu
- [IT-инфраструктура, NoSQL, Серверное администрирование] Дружим ELK и Exchange. Часть 2
Теги для поиска: #_sistemnoe_administrirovanie (Системное администрирование), #_itinfrastruktura (IT-инфраструктура), #_hranenie_dannyh (Хранение данных), #_hranilischa_dannyh (Хранилища данных), #_shd (СХД), #_aerodisk, #_importozameschenie (импортозамещение), #_elbrus (эльбрус), #_e2k, #_mtsst (мцст), #_altlinuks (Альт-линукс), #_altlinux, #_norsitrans (норси-транс), #_rossijskoe_oborudovanie (российское оборудование), #_san, #_storage, #_sistema_hranenija_dannyh (система хранения данных), #_linux, #_vostok (восток), #_blog_kompanii_aerodisk (
Блог компании AERODISK
), #_sistemnoe_administrirovanie (
Системное администрирование
), #_itinfrastruktura (
IT-инфраструктура
), #_hranenie_dannyh (
Хранение данных
), #_hranilischa_dannyh (
Хранилища данных
)
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 25-Ноя 20:46
Часовой пояс: UTC + 5
| Автор | Сообщение |
|---|---|
|
news_bot ®
Стаж: 6 лет 9 месяцев |
|
 Всем привет. Мы продолжаем знакомить вас с системой хранения данных Аэродиск ВОСТОК, выполненной на базе российского процессора Эльбрус 8C. В этой статье мы (как и обещали) детально разберем одну из популярнейших и интереснейших тем, связанной с Эльбрусами, а именно – производительность. На тему производительности Эльбруса есть достаточно много спекуляций, причем абсолютно полярных. Пессимисты говорят, что производительность Эльбруса сейчас «никакая», и чтобы догнать «топовых» производителей потребуются десятилетия (т.е. в условиях нынешней реальности — никогда). С другой стороны, оптимисты говорят, что уже сейчас Эльбрус 8C показывает хорошие результаты, а в ближайшие пару лет с выходом новых версий процессоров (Эльбрус 16С и 32С) мы сможем «догнать и перегнать» ведущих мировых производителей процессоров. Мы в Аэродиске люди практичные, поэтому пошли самым простым и понятным (для нас) путем: протестировать, зафиксировать результаты и только потом делать выводы. В итоге мы провели довольно большое количество тестов и обнаружили ряд особенностей работы Эльбруса 8С архитектуры e2k (в том числе, и приятных) и, конечно же, сравнили это с аналогичными СХД на процессорах Intel Xeon архитектуры amd64. Кстати, более подробно о тестах, результатах и о будущем развитии СХД на Эльбрусах мы поговорим на нашем очередном вебинаре "ОколоИТ" 15.10.2020 в 15 00. Зарегистрироваться можно по ссылке ниже. РЕГИСТРАЦИЯ НА ВЕБИНАР Тестовый стенд Мы создали два стенда. Оба стенда состоят из сервера с Linux-ом, подключенного через 16G FC-коммутаторы к двум котроллерам СХД, в которой установлено 12 SAS SSD 960 ГБ дисков (11,5 ТБ «сырой емкости» или 5,7 ТБ «полезной» емкости, если используем RAID-10). Схематично стенд выглядит следующим образом.  Стенд №1 e2k (Эльбрус) Конфигурация оборудования следующая:
Стенд №2 amd64 (Intel) Для сравнения с аналогичной конфигурации на e2k использовалась похожая конфигурация СХД с похожим процессором по характеристикам на amd64:
Важное замечание: используемые в тесте процессоры Эльбрус 8С поддерживают оперативную память только DDR3, это конечно «плохо, но не долго». Эльбрус 8СВ (в наличие его у нас пока нет, но скоро будет) поддерживает DDR4. Методика тестирования Для генерации нагрузки мы использовали популярную и проверенную временем программу Flexible IO (FIO). Обе СХД сконфигурированы согласно нашим же рекомендациям по настройке, исходя из требований к высокой производительности на блочном доступе, поэтому используем дисковые пулы DDP (Dynamic Disk Pool). Чтобы не искажать результаты тестирования, на обеих СХД отключаем, компрессию, дедупликацию и RAM-кэш. Созданы 8 D-LUN-ов в RAID-10 по 500 ГБ, каждый, суммарный полезный объём составляет 4 ТБ (т.е. примерно 70% от возможной полезной емкости данной конфигурации). Выполняться будут основные и популярные сценарии использования СХД, в частности: первые два теста эмулируют работу транзакционной СУБД. В этой группе тестов нам интересны IOPS-ы и задержка. 1) Случайное чтение маленькими блоками 4k a. Размер блока = 4k b. Чтение/запись = 100%/0% c. Количество работ = 8 d. Глубина очереди = 32 e. Характер нагрузки = Full Random 2) Случайная запись маленькими блоками 4k a. Размер блока = 4k b. Чтение/запись = 0%/100% c. Количество работ = 8 d. Глубина очереди = 32 e. Характер нагрузки = Full Random вторые два теста эмулируют работу аналитической части СУБД. В этой группе тестов нам также интересны IOPS-ы и задержка. 3) Последовательное чтение маленькими блоками 4k a. Размер блока = 4k b. Чтение/запись = 100%/0% c. Количество работ = 8 d. Глубина очереди = 32 e. Характер нагрузки = Sequential 4) Последовательная запись маленькими блоками 4k a. Размер блока = 4k b. Чтение/запись = 0%/100% c. Количество работ = 8 d. Глубина очереди = 32 e. Характер нагрузки = Sequential третья группа тестов эмулирует работу потокового чтения (пример – онлайн трансляции, восстановление резервных копий) и потоковой записи (пример – видеонаблюдение, запись резервных копий). В этой группе тестов нам уже интересны не IOPS-ы, а MB/s и также задержка. 5) Последовательное чтение большими блоками 128k a. Размер блока = 128k b. Чтение/запись = 0%/100% c. Количество работ = 8 d. Глубина очереди = 32 e. Характер нагрузки = Sequential 6) Последовательная запись большими блоками 128k a. Размер блока = 128k b. Чтение/запись = 0%/100% c. Количество работ = 8 d. Глубина очереди = 32 e. Характер нагрузки = Sequential Каждый тест будет длиться один час без учета времени прогрева массива в 7 минут. Результаты тестов Результаты тестов сведены в две таблицы. Эльбрус 8С (СХД Аэродиск Восток 2-Э12)  Intel Xeon E5-2603 v4 (СХД Аэродиск Engine N2)  Результаты получились крайне интересные. В обоих случаях мы хорошо утилизировали процессорные мощности СХД (70-90% утилизации), и при таком раскладе явно бросаются в глаза плюсы и минусы обоих процессоров. В обеих таблицах зеленым цветом выделены тесты, где процессоры «чувствуют себя уверенно» и показывают хорошие результаты, ну а оранжевым цветом выделены ситуации, которые процессоры «не любят». Если говорить о случайной нагрузке небольшими блоками, то:
В последовательной нагрузке небольшими блоками картина другая:
А вот в последовательной нагрузке большими блоками картина прямо противоположная:
Есть ещё одна интересная особенность Эльбруса, на которую внимательный читатель может обратить внимание, посмотрев на таблицу. Если взглянуть на разницу показателей чтения и записи у Intel, то во всех тестах чтение опережает запись в среднем примерно на 50%+. Это норма, к которой все (в том числе и мы) привыкли. Если посмотреть на Эльбрус, то показатели записи значительно ближе к показателям чтения, чтение опережает запись, как правило, на 10 – 30%, не более. О чем это говорит? О том, что Эльбрус «очень любит» запись, а это, в свою очередь, говорит о том, что этот процессор будет очень полезен в задачах, где запись явно преобладает над чтением (кто сказал закон Яровой?), что также является несомненным преимуществом архитектуры e2k, и это преимущество нужно развивать. Выводы и ближайшее будущее Сравнительные тесты процессоров среднего уровня Эльбрус и Intel для задач хранения данных показали примерно равные и одинаково достойные результаты, при этом каждый процессор показал свои интересные особенности. Intel сильно превзошел Эльбрус в случайном чтении небольшими блоками, а также в последовательном чтении и записи небольшими блоками. При случайной записи небольшими блоками оба процессора показывают равные результаты. По показателям задержки Эльбрус выглядит значительно лучше Intel-а в потоковой нагрузке, т.е. в последовательном чтении и записи большими блоками. Кроме того, Эльбрус в отличии от Intel, одинаково хорошо справляется как с нагрузками чтения, так и с нагрузками записи, в то время как у Intel чтение всегда значительно лучше записи. Исходя из полученных результатов можно сделать вывод о применимости систем хранения данных Аэродиск Восток на процессоре Эльбрус 8С в следующих задачах:
Коллективу МЦСТ есть ещё над чем работать, но результат их работы виден уже сейчас, что, конечно, не может не радовать. Данные тесты проводились на ядре Linux для e2k версии 4.19, на текущий момент в бета-тестах (в МЦСТ, в Базальт СПО, а также у нас, в Аэродиске) находится ядро Linux 5.4-e2k, в котором, кроме всего прочего, серьезно переработан планировщик и много оптимизаций под скоростные твердотельные накопители. Также специально для ядер ветки 5.х.х АО «МЦСТ» выпускает новый компилятор LCC версии 1.25. По предварительным результатам, на том же процессоре Эльбрус 8С, собранное новым компилятором новое же ядро, окружение ядра, системные утилиты и библиотеки и, собственно, ПО Аэродиск ВОСТОК позволит получить ещё более значительный прирост производительности. И это без замены оборудования — на том же процессоре и с теми же частотами. Мы ожидаем выхода версии Аэродиск ВОСТОК на базе ядра 5.4 ближе к концу года, и как только работа над новой версией будет завершена, мы обновим результаты тестирования и также опубликуем их здесь. Если теперь вернуться к началу статьи и ответить на вопрос, кто же прав: пессимисты, которые говорят, что Эльбрус «никакой» и никогда не догонит ведущих производителей процессоров, или все-таки оптимисты, которые говорят, что «уже почти догнали и скоро перегоним»? Если исходить не из стереотипов и религиозных предубеждений, а из реальных тестов, то, однозначно, правы оптимисты. Эльбрус уже сейчас показывает хорошие результаты, если сравнивать его с процессорами amd64 среднего уровня. До верхних в линейке моделей серверных процессоров Intel или AMD 8-ке Эльбруса, конечно, далеко, но она туда и не целилась, для этого будут выпущены процессоры 16С и 32С. Вот тогда и поговорим. Мы понимаем, что после этой статьи вопросов про Эльбрус станет ещё больше, поэтому мы решили организовать ещё один онлайн-вебинар «ОколоИТ», чтобы в прямом эфире на эти вопросы дать ответы. В этот раз у нас в гостях будет заместитель генерального директора компании МЦСТ, Константин Трушкин. Записаться на вебинар можно по ссылке ниже. РЕГИСТРАЦИЯ НА ВЕБИНАР Всем спасибо, как обычно ждем конструктивной критики и интересных вопросов. =========== Источник: habr.com =========== Похожие новости:
Блог компании AERODISK ), #_sistemnoe_administrirovanie ( Системное администрирование ), #_itinfrastruktura ( IT-инфраструктура ), #_hranenie_dannyh ( Хранение данных ), #_hranilischa_dannyh ( Хранилища данных ) |
|
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 25-Ноя 20:46
Часовой пояс: UTC + 5