[IT-инфраструктура, Amazon Web Services, DevOps, Облачные сервисы] AWS re:Invent 2020, Keynotes — Analytics + Networking
Автор
Сообщение
news_bot ®
Стаж: 6 лет 9 месяцев
Сообщений: 27286
Очередная порция анонсов и новинок с ежегодной масштабной облачной конференции AWS re:Invent 2020. В этот раз в области аналитики и сетевой инфраструктуры. Многие возможности уже доступны для предварительного ознакомления, какие именно — читайте ниже. Подробнее новинки обсудят архитекторы AWS в русскоязычном твитче, который они регулярно проводят в дни re:Invent. Ссылка на twitch-стрим в конце материала.
Analytics
AWS Lake Formation новый функционал (предварительное ознакомление)
Новый функционал AWS Lake Formation: транзакции, безопасность на уровне строк и улучшение производительности доступны для предварительного ознакомления. Функционал работает через новые, открытые и общедоступные API-интерфейсы обновления и доступа к озерам данных.
Транзакции реализованы с помощью “governed tables” нового типа таблиц на основе Amazon S3, который поддерживает ACID транзакции. Транзакции позволяют упростить скрипты преобразования данных (ETL) и дают возможность разным пользователям одновременно и гарантированно добавлять, удалять и модифицировать записи в различных управляемых таблицах.
AWS Lake Formation автоматически сжимает и оптимизирует хранилище управляемых таблиц в фоновом режиме для улучшения производительности при запросах данных.
Подробнее тут
Redshift
RA3.xlplus ноды и дополнительные анонсы для Amazon Redshift
RA3.xlplus — третий и самый малый тип нод семейства RA3. RA3 позволяет масштабировать вычислительные мощности и хранилище раздельно, что расширяет выбор вычислительных мощностей для кластеров Amazon Redshift.
Подробнее тут
Возможность перемещать кластер между зонами доступности (AZ)
Функция перемещения кластера переносит кластер в другую AZ за один шаг без необходимости внесения изменений в приложение. Когда кластер перемещается в другую AZ, новый кластер будет иметь тот же самый endpoint, чтобы приложения могли продолжать работу без изменений. Функция бесплатна и доступна для RA3 кластеров.
Подробнее тут
Автоматическая оптимизация таблиц
Автоматическая оптимизация таблиц постоянно следит, как запросы взаимодействуют с таблицами, и использует машинное обучение для выбора наилучших ключей сортировки и дистрибуции, чтобы оптимизировать производительность запросов в кластере.
Подробнее тут
Обмен данными между кластерами Amazon Redshift (предварительное ознакомление)
Доступна для пробного ознакомления новая функция совместного доступа к данным в Amazon Redshift, которая позволяет безопасно и легко обмениваться данными между кластерами Redshift в реальном времени. Совместное использование данных позволяет упростить их обработку, повысить производительность и уменьшить затраты — все то, к чему вы привыкли в рамках одного кластера Redshift, теперь доступно и в нескольких кластерах при одновременной работе над данными.
Благодаря использованию управляемого хранилища данных, отделенного от вычислительных узлов семейства RA3, появилась возможность получить мгновенный и высокопроизводительный доступ к данным из нескольких кластеров без необходимости их копирования или перемещения. Также исключается чтение устаревших данных — все кластеры работают над единственной, всегда актуальной копией данных, со всеми последними изменениями. Использование совместного доступа к данным в кластерах Amazon Redshift не требует дополнительных затрат.
Подробнее тут
Amazon Redshift и базы данных Amazon RDS для MySQL и Amazon Aurora MySQL для федеративных запросов (предварительный доступ)
Федеративные запросы Amazon Redshift позволяют подключать данные из транзакционных баз данных для BI и приложений отчетов для операционной аналитики. Оптимизатор Amazon Redshift передает и распределяет часть вычислений на удаленные базы данных для ускорения производительности путем уменьшения переносимого по сети трафика. Сегодня мы расширяем возможности федеративных запросов на Amazon RDS для MySQL и Amazon Aurora для MySQL. Функция доступна для предварительного ознакомления.
Встроенная поддержка JSON (предварительный доступ)
Сегодня мы представляем для предварительного ознакомления встроенную поддержку JSON и слабоструктурированных данных в Amazon Redshift. Для хранения используется новый тип данных ‘SUPER’ который позволяет хранить слабоструктурированные данные в таблицах Redshift. Также добавлена поддержка языка запросов PartiQLдля запросов и обработки таких данных.
Подробнее тут
Amazon EMR Studio (предварительное ознакомление)
Анонсирована Amazon EMR Studio — интегрированная среда разработки на базе Jupyter. Она поддерживает аутентификацию с помощью корпоративных SSO провайдеров и позволяет аналитикам и дата инженерам разрабатывать аналитические приложения и системы обработки данных на R, Python, Scala и PySpark. Также доступны Spark UI и YARN Timeline Service для облегчения дебага. Ноутбуки EMR Studio будут работать на существующих кластерах EMR, или запускать новые с помощью готовых шаблонов CloudFormation для EMR.
Детали тут
Amazon EMR на Amazon EKS
С помощью нового способа развертывания EMR (Amazon EMR on Amazon EKS), клиенты могут автоматизировать создание и управление фреймворков для больших данных на основе открытого кода на базе Amazon EKS. Теперь клиенты могут запускать Spark приложения совместно с другими типами приложений в рамках одного EKS кластера и получить улучшения по утилизации ресурсов и простоту управления инфраструктурой.
Amazon EMR автоматически упаковывает приложение в контейнер с big-data фреймворком и предоставляет готовые коннекторы для интеграции с другими сервисами AWS. Затем, EMR развертывает приложение на кластере EKS и управляет логированием и мониторингом. Используя EMR на EKS, вы можете получать в 3 раза более высокую производительность, используя оптимизированную по производительности среду исполнения Spark, включенную в EMR по сравнению со стандартным Apache Spark на EKS.
Подробнее тут
Networking
VPC Reachability Analyzer
Новый сервис VPC Reachability Analyzer позволяет диагностировать сетевую доступность между двумя точками трафика (endpoints) без необходимости отправки сетевых пакетов. Сервис считывает конфигурацию всех ресурсов в VPC и использует автоматический анализ (reasoning) для определения доступных сетевых путей прохождения трафика. Он анализирует все возможные пути прохождения трафика внутри сети без отправки сетевых пакетов. Чтобы узнать больше о работе алгоритмов автоматического анализа, смотрите re:Invent сессию или читайте этот документ.
Подробнее тут
AWS Transit Gateway Connect
Оверлейные SD-WANs (Software Defined Wide Area Networks) используются для соединения офисов или датацентров через публичный Интернет. К этим же сетям сейчас требуется подключать и облачную инфраструктуру. Сервис AWS Transit Gateway часто используется на границе сети, чтобы подключить свои сети к бекбону AWS.
А с добавлением функциональности AWS Transit Gateway Connect появился простой способ расширить свою SD-WAN инфраструктуру в облако AWS. Вместо нескольких IPsec VPN туннелей между Transit Gateway и сетевыми устройствами SD-WAN, Transit Gateway Connect использует GRE туннели. Также он поддерживает динамическую маршрутизацию BGP, интегрируется с сервисом мониторинга AWS Transit Gateway Network Manager и набором партнерских решений.
Все это упрощает дизайн сети, улучшает производительность и облегчает расширение в AWS сетей SD-WAN.
Подробнее тут
Поддержка IGMP в AWS Transit Gateway
В AWS Transit Gateway появилась поддержка Internet Group Management Protocol (IGMP), благодаря чему стало проще управлять приложениями, использующими IP multicast.
Клиенты и ранее использовали AWS Transit Gateway для запуска мультикаст приложений в облаке. Теперь с поддержкой IGMP их стало проще масштабировать и управлять членством в мультикаст-группах. Больше не нужно конфигурировать статические мультикаст группы, источники и приемники, Transit Gateway автоматически добавляет и удаляет членов групп, используя протокол IGMP.
IGMP — это открытый стандарт, и многие мультикаст приложения на него полагаются. Теперь стало проще мигрировать их в облако.
Подробнее тут
Русскоязычная Twitch-сессия
Все новинки в области аналитики и сетевой инфраструктуры сегодня будут обсуждаться в русскоязычном twitch-стриме. Ведущие solution архитекторы AWS выбрали все самое интересное, многое уже поюзали и теперь обменяются впечатлениями от новинок и ответят на все ваши вопросы. Если вы еще не подключались к стримам — ссылка на регистрацию. Кстати, в твитче можно посмотреть записи предыдущих русскоязычных стримов, если вы их пропустили.
Предыдущие новинки AWS re:Invent 2020:
AWS re:Invent. Главные анонсы первого дня (Andy Jassy, Business Applications)
AWS re:Invent. Главные анонсы первого дня (Storage)
AWS re:Invent 2020 Keynotes — Machine Learning
===========
Источник:
habr.com
===========
Похожие новости:
- [Системное администрирование, Серверное администрирование, Хранилища данных, DevOps] Эксплуатация Ceph: флаги для управления естественными состояниями OSD
- [Облачные вычисления, Исследования и прогнозы в IT, Читальный зал, Облачные сервисы] 5 трендов в области облачных вычислений в 2021 году
- [Облачные сервисы, Финансы в IT] Опрос: 82% музыкантов получают от стриминга меньше 200 фунтов в год
- [Системное администрирование, Виртуализация, Облачные вычисления, Облачные сервисы] Вебинар «Как построить современную сетевую инфраструктуру» 17 декабря от Mail.ru Group
- [Open source, Git, Системы управления версиями, DevOps] Вышел релиз GitLab 13.6 с автоматическим развёртыванием в EC2 и статистикой использования для инстанса
- [IT-инфраструктура, Управление проектами, Управление персоналом, Бизнес-модели, Удалённая работа] Внедрение проектного управления на 350 пользователей. Кейс Восточной горнорудной компании
- [Системное администрирование, Серверное администрирование, DevOps, Kubernetes] Kubernetes 1.20 — и что же слома.../починили на этот раз?
- [Системное администрирование, IT-инфраструктура, DevOps] DevOps-дайджест от «Рексофт»
- [IT-инфраструктура, Amazon Web Services, DevOps, Облачные сервисы] AWS re:Invent 2020 Keynotes — Machine Learning
- [Python, DevOps, Микросервисы] Конфигурируем сервис с помощью Vault и Pydantic
Теги для поиска: #_itinfrastruktura (IT-инфраструктура), #_amazon_web_services, #_devops, #_oblachnye_servisy (Облачные сервисы), #_softline, #_aws, #_re:invent, #_devops, #_networking, #_analytics, #_infrastructure, #_blog_kompanii_softline (
Блог компании Softline
), #_itinfrastruktura (
IT-инфраструктура
), #_amazon_web_services, #_devops, #_oblachnye_servisy (
Облачные сервисы
)
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 22-Ноя 01:49
Часовой пояс: UTC + 5
| Автор | Сообщение |
|---|---|
|
news_bot ®
Стаж: 6 лет 9 месяцев |
|
|
Очередная порция анонсов и новинок с ежегодной масштабной облачной конференции AWS re:Invent 2020. В этот раз в области аналитики и сетевой инфраструктуры. Многие возможности уже доступны для предварительного ознакомления, какие именно — читайте ниже. Подробнее новинки обсудят архитекторы AWS в русскоязычном твитче, который они регулярно проводят в дни re:Invent. Ссылка на twitch-стрим в конце материала.  Analytics AWS Lake Formation новый функционал (предварительное ознакомление) Новый функционал AWS Lake Formation: транзакции, безопасность на уровне строк и улучшение производительности доступны для предварительного ознакомления. Функционал работает через новые, открытые и общедоступные API-интерфейсы обновления и доступа к озерам данных. Транзакции реализованы с помощью “governed tables” нового типа таблиц на основе Amazon S3, который поддерживает ACID транзакции. Транзакции позволяют упростить скрипты преобразования данных (ETL) и дают возможность разным пользователям одновременно и гарантированно добавлять, удалять и модифицировать записи в различных управляемых таблицах. AWS Lake Formation автоматически сжимает и оптимизирует хранилище управляемых таблиц в фоновом режиме для улучшения производительности при запросах данных. Подробнее тут Redshift RA3.xlplus ноды и дополнительные анонсы для Amazon Redshift RA3.xlplus — третий и самый малый тип нод семейства RA3. RA3 позволяет масштабировать вычислительные мощности и хранилище раздельно, что расширяет выбор вычислительных мощностей для кластеров Amazon Redshift.  Подробнее тут Возможность перемещать кластер между зонами доступности (AZ) Функция перемещения кластера переносит кластер в другую AZ за один шаг без необходимости внесения изменений в приложение. Когда кластер перемещается в другую AZ, новый кластер будет иметь тот же самый endpoint, чтобы приложения могли продолжать работу без изменений. Функция бесплатна и доступна для RA3 кластеров. Подробнее тут Автоматическая оптимизация таблиц Автоматическая оптимизация таблиц постоянно следит, как запросы взаимодействуют с таблицами, и использует машинное обучение для выбора наилучших ключей сортировки и дистрибуции, чтобы оптимизировать производительность запросов в кластере. Подробнее тут Обмен данными между кластерами Amazon Redshift (предварительное ознакомление) Доступна для пробного ознакомления новая функция совместного доступа к данным в Amazon Redshift, которая позволяет безопасно и легко обмениваться данными между кластерами Redshift в реальном времени. Совместное использование данных позволяет упростить их обработку, повысить производительность и уменьшить затраты — все то, к чему вы привыкли в рамках одного кластера Redshift, теперь доступно и в нескольких кластерах при одновременной работе над данными. Благодаря использованию управляемого хранилища данных, отделенного от вычислительных узлов семейства RA3, появилась возможность получить мгновенный и высокопроизводительный доступ к данным из нескольких кластеров без необходимости их копирования или перемещения. Также исключается чтение устаревших данных — все кластеры работают над единственной, всегда актуальной копией данных, со всеми последними изменениями. Использование совместного доступа к данным в кластерах Amazon Redshift не требует дополнительных затрат.  Подробнее тут Amazon Redshift и базы данных Amazon RDS для MySQL и Amazon Aurora MySQL для федеративных запросов (предварительный доступ) Федеративные запросы Amazon Redshift позволяют подключать данные из транзакционных баз данных для BI и приложений отчетов для операционной аналитики. Оптимизатор Amazon Redshift передает и распределяет часть вычислений на удаленные базы данных для ускорения производительности путем уменьшения переносимого по сети трафика. Сегодня мы расширяем возможности федеративных запросов на Amazon RDS для MySQL и Amazon Aurora для MySQL. Функция доступна для предварительного ознакомления. Встроенная поддержка JSON (предварительный доступ) Сегодня мы представляем для предварительного ознакомления встроенную поддержку JSON и слабоструктурированных данных в Amazon Redshift. Для хранения используется новый тип данных ‘SUPER’ который позволяет хранить слабоструктурированные данные в таблицах Redshift. Также добавлена поддержка языка запросов PartiQLдля запросов и обработки таких данных. Подробнее тут Amazon EMR Studio (предварительное ознакомление) Анонсирована Amazon EMR Studio — интегрированная среда разработки на базе Jupyter. Она поддерживает аутентификацию с помощью корпоративных SSO провайдеров и позволяет аналитикам и дата инженерам разрабатывать аналитические приложения и системы обработки данных на R, Python, Scala и PySpark. Также доступны Spark UI и YARN Timeline Service для облегчения дебага. Ноутбуки EMR Studio будут работать на существующих кластерах EMR, или запускать новые с помощью готовых шаблонов CloudFormation для EMR. Детали тут Amazon EMR на Amazon EKS  С помощью нового способа развертывания EMR (Amazon EMR on Amazon EKS), клиенты могут автоматизировать создание и управление фреймворков для больших данных на основе открытого кода на базе Amazon EKS. Теперь клиенты могут запускать Spark приложения совместно с другими типами приложений в рамках одного EKS кластера и получить улучшения по утилизации ресурсов и простоту управления инфраструктурой. Amazon EMR автоматически упаковывает приложение в контейнер с big-data фреймворком и предоставляет готовые коннекторы для интеграции с другими сервисами AWS. Затем, EMR развертывает приложение на кластере EKS и управляет логированием и мониторингом. Используя EMR на EKS, вы можете получать в 3 раза более высокую производительность, используя оптимизированную по производительности среду исполнения Spark, включенную в EMR по сравнению со стандартным Apache Spark на EKS. Подробнее тут Networking VPC Reachability Analyzer Новый сервис VPC Reachability Analyzer позволяет диагностировать сетевую доступность между двумя точками трафика (endpoints) без необходимости отправки сетевых пакетов. Сервис считывает конфигурацию всех ресурсов в VPC и использует автоматический анализ (reasoning) для определения доступных сетевых путей прохождения трафика. Он анализирует все возможные пути прохождения трафика внутри сети без отправки сетевых пакетов. Чтобы узнать больше о работе алгоритмов автоматического анализа, смотрите re:Invent сессию или читайте этот документ.  Подробнее тут AWS Transit Gateway Connect Оверлейные SD-WANs (Software Defined Wide Area Networks) используются для соединения офисов или датацентров через публичный Интернет. К этим же сетям сейчас требуется подключать и облачную инфраструктуру. Сервис AWS Transit Gateway часто используется на границе сети, чтобы подключить свои сети к бекбону AWS. А с добавлением функциональности AWS Transit Gateway Connect появился простой способ расширить свою SD-WAN инфраструктуру в облако AWS. Вместо нескольких IPsec VPN туннелей между Transit Gateway и сетевыми устройствами SD-WAN, Transit Gateway Connect использует GRE туннели. Также он поддерживает динамическую маршрутизацию BGP, интегрируется с сервисом мониторинга AWS Transit Gateway Network Manager и набором партнерских решений. Все это упрощает дизайн сети, улучшает производительность и облегчает расширение в AWS сетей SD-WAN.  Подробнее тут Поддержка IGMP в AWS Transit Gateway В AWS Transit Gateway появилась поддержка Internet Group Management Protocol (IGMP), благодаря чему стало проще управлять приложениями, использующими IP multicast. Клиенты и ранее использовали AWS Transit Gateway для запуска мультикаст приложений в облаке. Теперь с поддержкой IGMP их стало проще масштабировать и управлять членством в мультикаст-группах. Больше не нужно конфигурировать статические мультикаст группы, источники и приемники, Transit Gateway автоматически добавляет и удаляет членов групп, используя протокол IGMP. IGMP — это открытый стандарт, и многие мультикаст приложения на него полагаются. Теперь стало проще мигрировать их в облако. Подробнее тут Русскоязычная Twitch-сессия Все новинки в области аналитики и сетевой инфраструктуры сегодня будут обсуждаться в русскоязычном twitch-стриме. Ведущие solution архитекторы AWS выбрали все самое интересное, многое уже поюзали и теперь обменяются впечатлениями от новинок и ответят на все ваши вопросы. Если вы еще не подключались к стримам — ссылка на регистрацию. Кстати, в твитче можно посмотреть записи предыдущих русскоязычных стримов, если вы их пропустили. Предыдущие новинки AWS re:Invent 2020: AWS re:Invent. Главные анонсы первого дня (Andy Jassy, Business Applications) AWS re:Invent. Главные анонсы первого дня (Storage) AWS re:Invent 2020 Keynotes — Machine Learning =========== Источник: habr.com =========== Похожие новости:
Блог компании Softline ), #_itinfrastruktura ( IT-инфраструктура ), #_amazon_web_services, #_devops, #_oblachnye_servisy ( Облачные сервисы ) |
|
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 22-Ноя 01:49
Часовой пояс: UTC + 5