[Высокая производительность, Apache, Софт] Apache Software Foundation опубликовала релиз платформы Apache Hadoop 3.3.0
Автор
Сообщение
news_bot ®
Стаж: 6 лет 9 месяцев
Сообщений: 27286
Apache Software Foundation выпустила свежий релиз своей платформы — Apache Hadoop 3.3.0. С момента последнего обновления прошло полтора года. Сама платформа представляет собой инструмент для организации распределенной обработки больших объемов данных с использованием MapReduce. Hadoop включает в себя набор утилит, библиотек и фреймворков для разработки и выполнения распределенных программ, которые способны работать на кластерах из тысяч узлов.
Для Hadoop создана специализированная файловая система Hadoop Distributed File System (HDFS), которая обеспечивает резервирование данных и оптимизацию работы MapReduce-приложений. HDFS предназначена для хранения файлов больших размеров, распределенных между отдельными узлами вычислительного кластера. Благодаря своим возможностям Hadoop используется крупнейшими компаниями и организациями. Google даже предоставила Hadoop право на использование технологий, которые затрагивают патенты, связанные с методом MapReduce.
В общем, встречаем Apache Hadoop 3.3.0.
Вот список самых важных изменений в новой версии:
- Поддержка платформ на основе ARM-архитектуры (кстати, у Selectel есть ARM-серверы; вот ссылка, если захотите попробовать).
- Версия формата Protobuf (Protocol buffers) обновлена до 3.7.1. Protobuf используется для сериализации структурированных данных.
- Для коннектора S3A добавлена функция Delegation Token (аутентификация), улучшена поддержка кэширования ответов с кодом 404, плюс увеличена производительность S3guard и общая надежность работы.
- Разработчики заявили о решении проблем с автоматическим тюнингом в файловой системе ABFS.
- Добавлена поддержка Java 11.
- Появилась поддержка файловой системы Tencent Cloud COS, что необходимо для доступа к объектному хранилищу COS.
- Добавлен сервис DNS Resolution, что дает возможность клиентам определять серверы через DNS по именам узлов. Соответственно, в настройках нет необходимости добавлять все хосты.
- Появился каталог приложений YARN (Yet Another Resource Negotiator) с возможностью поиска.
- Добавлена поддержка планирования запуска OPPORTUNISTIC-контейнеров через Resource Manager.
Благодаря тому, что Hadoop активно развивается, рынок решений на его основе быстро растет. Если в 2019 году объем рынка составлял около $1,7 млрд, то, по прогнозам экспертов, к 2024 году он достигнет $9,4 млрд.
Сейчас Hadoop занимает первое место среди репозиториев Apache по числу вносимых изменений. Размер кодовой базы платформы составляет около 4 млн строк. Наиболее крупные хранилища — Netflix, Twitter, Facebook.
===========
Источник:
habr.com
===========
Похожие новости:
- [Геоинформационные сервисы, Визуализация данных, Машинное обучение, Экология] Как машинное обучение спасает деревья в Екатеринбурге
- [Информационная безопасность, Исследования и прогнозы в IT] Сколько стоит взломать почту: небольшой анализ рынка хакеров по найму
- [Разработка под Linux, Разработка на Raspberry Pi, Компьютерное железо, Интернет вещей, DIY или Сделай сам] Встраиваемый компьютер AntexGate + 3G-модем. Полезные настройки для более стабильного интернет-соединения
- [Программирование, Геоинформационные сервисы, Математика, Визуализация данных, Научно-популярное] Гидродинамическое моделирование (CFD) на рельефе с помощью MantaFlow и визуализация результатов в ParaView
- [Будущее здесь, Космонавтика, Научно-популярное] Прототип Starship успешно прошел огневые испытания
- Релиз платформы для распределённой обработки данных Apache Hadoop 3.3
- [IT-компании, Системное администрирование, Софт] Пользователи жалуются, что их ПК на Windows 10 стали медленнее работать после установки обновления KB4559309
- [Open source, Виртуализация, Софт] Bitdefender открыла код технологии интроспекции гипервизора HVI
- [Софт] Учет рабочего времени с расчетом баланса
- [Анализ и проектирование систем, Высокая производительность, Компиляторы, Программирование] Как реализованы JIT-компиляторы (перевод)
Теги для поиска: #_vysokaja_proizvoditelnost (Высокая производительность), #_apache, #_soft (Софт), #_hadoop, #_vysokaja_proizvoditelnost (высокая производительность), #_servisy (сервисы), #_oborudovanie (оборудование), #_blog_kompanii_selectel (
Блог компании Selectel
), #_vysokaja_proizvoditelnost (
Высокая производительность
), #_apache, #_soft (
Софт
)
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 22-Ноя 18:32
Часовой пояс: UTC + 5
| Автор | Сообщение |
|---|---|
|
news_bot ®
Стаж: 6 лет 9 месяцев |
|
 Apache Software Foundation выпустила свежий релиз своей платформы — Apache Hadoop 3.3.0. С момента последнего обновления прошло полтора года. Сама платформа представляет собой инструмент для организации распределенной обработки больших объемов данных с использованием MapReduce. Hadoop включает в себя набор утилит, библиотек и фреймворков для разработки и выполнения распределенных программ, которые способны работать на кластерах из тысяч узлов. Для Hadoop создана специализированная файловая система Hadoop Distributed File System (HDFS), которая обеспечивает резервирование данных и оптимизацию работы MapReduce-приложений. HDFS предназначена для хранения файлов больших размеров, распределенных между отдельными узлами вычислительного кластера. Благодаря своим возможностям Hadoop используется крупнейшими компаниями и организациями. Google даже предоставила Hadoop право на использование технологий, которые затрагивают патенты, связанные с методом MapReduce. В общем, встречаем Apache Hadoop 3.3.0.  Вот список самых важных изменений в новой версии:
Благодаря тому, что Hadoop активно развивается, рынок решений на его основе быстро растет. Если в 2019 году объем рынка составлял около $1,7 млрд, то, по прогнозам экспертов, к 2024 году он достигнет $9,4 млрд. Сейчас Hadoop занимает первое место среди репозиториев Apache по числу вносимых изменений. Размер кодовой базы платформы составляет около 4 млн строк. Наиболее крупные хранилища — Netflix, Twitter, Facebook. =========== Источник: habr.com =========== Похожие новости:
Блог компании Selectel ), #_vysokaja_proizvoditelnost ( Высокая производительность ), #_apache, #_soft ( Софт ) |
|
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 22-Ноя 18:32
Часовой пояс: UTC + 5