[IT-инфраструктура, Хранение данных, Хранилища данных, Data Engineering] Мультиоблачная стратегия: управление сложной структурой в большом масштабе
Автор
Сообщение
news_bot ®
Стаж: 6 лет 9 месяцев
Сообщений: 27286
Вряд ли у кого вызывает сомнение, что современную экономику можно назвать экономикой данных, поскольку данные превратились в валюту, товар и новый природный ресурс, своего рода топливо для инноваций. Однако объем данных безудержно растет. Данные содержат в себе огромную ценность, они все чаще нужны нам в небывало больших объемах и на высокой скорости. Как нам кажется, организациям следует меньше беспокоиться о затратах на управление данными и больше думать о новых возможностях, которые дает это управление. Как лучше всего раскрыть потенциал этих возможностей?Наша статья посвящена компонуемой архитектуре данных на основе мультиоблака, которая будет расти вместе с бизнесом и автоматически доставлять данные туда, где они принесут больше всего пользы. Она позволит достичь главной цели мультиоблака — создать комбинированную среду с упрощенным управлением с одной стороны и доставкой сервисов по требованию — с другой.Как преуспеть в экономике данных?Современную экономику можно назвать экономикой данных, поскольку данные превратились в валюту, товар и новый природный ресурс, своего рода топливо для инноваций. Питер Норвиг, директор по исследованиям в Google, однажды так объяснил успех своей организации: «Наши алгоритмы не лучше, чем у других. Просто у нас больше данных».Однако объем данных безудержно растет. В основном это созданные машинами, неструктурированные, хаотичные и разрозненные данные, которые используются недостаточно продуктивно — или не используются вовсе. При этом они все чаще нужны нам в небывало больших объемах и на высокой скорости.Как добиться успеха в экономике данных? Как нам кажется, достаточно соблюдать три правила:
- Собирайте все данные.
- Эффективно управляйте тем, что собрали.
- Используйте потенциал данных.
Данные содержат в себе огромную ценность, которую теперь можно эффективно реализовать с помощью новых решений, поэтому организациям следует меньше беспокоиться о затратах на управление данными и больше думать о новых возможностях, которые дает это управление.Как воспользоваться этими возможностями? Один из вариантов, который мы сегодня рассмотрим, это мультиоблачная среда, содержащая в себе огромный потенциал. Но сначала следует разобраться в ее запутанной структуре и понять, как использовать преимущества ее компонентов.Корпоративная экономика данных — это глобальная цифровая экосистема, в которой разные подразделения собирают, упорядочивают, отправляют и получают данные, чтобы извлекать пользу из совокупного объема информации.Данные поступают из всевозможных источников: традиционные бизнес-приложения, социальные сети, веб-сайты, кассовые аппараты, платежные системы, вендоры SaaS и многочисленные устройства Интернета вещей.Данные, собранные в рамках корпоративной экономики данных, необходимо безопасно хранить в выделенных и физически распределенных системах, которые представляют собой комбинацию локальных и удаленных центров обработки данных: корпоративные ЦОД, ЦОД по модели colocation, частные облака, публичные облака, гибридные облака — и мультиоблака.Причем данные должны находиться в активном состоянии, то есть должны быть доступны для использования и обмена, должны перемещаться между разными ЦОД, регионами, приложениями и подразделениями.И здесь следует ввести понятие архитектуры данных — стратегической структуры разнообразных хранилищ и потоков данных между ними. Цель такой архитектуры — обеспечить оптимальную организацию данных, то есть создать максимально эффективную инфраструктуру для сбора полезных данных и их доставки в нужное место. Затем их можно будет проанализировать и использовать для получения конкурентного преимущества.Поскольку мультиоблачная среда имеет сложную структуру, для начала мы сравним разные типы облаков.Сравнение облаков разных типов
Облака обычно делят на несколько типов: публичные, частные, гибридные и мультиоблака.Публичные облака предлагают мультитенантные решения для вычислений и хранения по требованию за пределами локальной среды. В эту категорию входят, например, Amazon AWS и Microsoft Azure.Частное облако создается для клиента и используется только им. Оно предоставляет больше контроля над приложениями, использованием ресурсов и безопасностью.Гибридные архитектуры представляют собой сочетание публичных и частных облаков. Организации могут использовать основные преимущества двух категорий, например, балансировку нагрузки, как в публичном облаке, и надежность хранения данных, как в частном.В мультиоблачных архитектурах используется не менее двух облаков любого типа. Несмотря на схожесть с гибридным облаком, есть одно важное различие: в гибридных средах процессы осуществляются последовательно, публичные и частные сервисы перемежаются, чтобы достичь определенного результата, тогда как мультиоблачные решения работают параллельно, и каждый облачный сервис выполняется независимо от других.У каждого подхода есть свои преимущества и недостатки, которые мы рассмотрим ниже.Публичное облакоГлавное преимущество публичного облака заключается в том, что управление ресурсами и защита данных не требуют капитальных затрат, а оплачиваются в зависимости от потребления. В публичном облаке, например, провайдеры сами занимаются обслуживанием серверного оборудования, обновлением программного обеспечения и исправлением проблем с безопасностью.Но есть и серьезные недостатки. Если у организации используется большое количество данных, то тем больше времени нужно для их передачи из локальной среды на облачные серверы и обратно. Что часто усугубляется низкой скоростью, поскольку облачные провайдеры строго контролируют пропускную способность. На перенос архивов могут уйти годы, а пользователи, тем временем, не смогут быстро передавать приоритетные данные в облако для анализа. В некоторых районах мало точек обмена трафиком, а это усугубляет проблемы со скоростью и затратами для отраслей с большим объемом данных в отдаленных местах. Например, добыча шельфовой нефти, обслуживание промышленных ферм на Ближнем Востоке или съемки фильмов о дикой природе в амазонских джунглях.Следующий недостаток — сомнения в безопасности и проблема доверия. Бытует мнение, что публичные облака не так хорошо защищены от злоумышленников и фишинговых схем. Что особенно тревожно, если там хранятся персональные или критически важные данные. Недоверие усиливается в тех отраслях, где провайдеры облачных сервисов планируют развивать собственный бизнес. Компании не хотят, чтобы их данные попали к потенциально крупным конкурентам.Наконец, публичное облако характеризуется непредсказуемостью расходов. Сокращение совокупной стоимости владения — это главная причина переноса данных в облако, но сэкономить получается не всегда. В публичном облаке клиенты платят за используемую пропускную способность — чем больше данных или перемещений, тем выше расходы. Организации, которые не уверены в своих будущих потребностях и объемах использования данных, выбирают публичные облака за гибкость, и только получив счета, понимают, во что эта гибкость может обойтись.Частное облако Главное преимущество частного облака заключается в полном контроле за процессами и затратами на локальном уровне — ИТ-отделы могут настраивать разрешения, доступ и мониторинг в облаке. На практике это означает развертывание таких решений, как инструменты управления идентификацией и доступом (IAM) и настройка периметра безопасности для дополнительной защиты локальных данных.В чем же недостатки частного облака? Если требуется анализировать все больше данных для принятия стратегических решений, частное облако недостаточно быстро увеличивает масштаб. Кроме того, сложно найти баланс между стоимостью и пиковыми нагрузками. Если зарезервировать достаточно ресурсов для пикового спроса, они будут простаивать в спокойные периоды. Можно сэкономить и выделить мало ресурсов, но при этом есть риск не справиться с нагрузками.Наконец, своими силами частное облако создавать весьма сложно. Предприятия не зря выбирают облачный хостинг — они хотят освободить своих ИТ-специалистов от управления аппаратной инфраструктурой и обслуживания программных решений для перемещения и хранения данных. Эти задачи они предпочитают доверить экспертам. К тому же частное облако требует существенных капитальных расходов на оборудование и площади для расширения собственной локальной инфраструктуры.Гибридное облакоКак и можно было ожидать, гибридное облако сочетает преимуществ публичного частного облаков. Так, в гибридных решениях можно объединить публичные сервисы приложений с локальным хранилищем, чтобы повысить производительность.Однако преимущества объединения публичного и частного облака получается использовать не всегда. Например, предприятия сталкиваются с чрезмерной сложностью и проблемами размещения и оркестрации данных. Более того, управляемые услуги недостаточно прозрачны. Dell EMC, IBM Cloud и HPE Cloud предлагают решения по управлению данными для гибридных и даже мультиоблачных архитектур, но в их закрытых экосистемах контролировать затраты так же сложно, как при использовании публичных облаков. Кроме того, они не предоставляют тот же набор приложений, которые помогают организациям увеличить уровень зрелости данных.Наконец, провайдеры в этой сфере обычно предлагают универсальные гиперконвергентные архитектуры. Часто объемы вычислительных ресурсов и емкость SSD непропорционально велики по сравнению с емкостью для хранения больших массивов данных. Для крупных организаций это может означать увеличение расходов на частную половину гибридных облаков.МультиоблакоМультиоблако сочетает облака для хранения больших объемов данных с централизованными вычислительными облаками. Что позволяет оптимизировать экономическую составляющую и управлять данными в любом масштабе. Однако здесь следует учитывать сложную структуру, поскольку ИТ-специалистам приходится управлять взаимодействием нескольких облаков одновременно.Поиск золотой серединыОрганизации выбирают облако, чтобы контролировать свои ресурсы, оптимизировать ИТ-расходы и реализовывать потенциал больших данных. Это разумно, учитывая, что данных становится все больше, при этом даже сейчас 68% из них не используется. Ожидается, что объем данных будет увеличиваться на 42,2% в год, поэтому организациям нужны решения, чтобы управлять ими.С распространением облачных сервисов все заметнее становится, как ограничены модели с одним провайдером. Изначальные преимущества публичных облаков — оплата по мере использования, масштабирование по потребностям и быстрый выход на рынок — теперь перекрываются такими проблемами, как большие задержки, неконтролируемые затраты и недостаток конфиденциальности. Частные облака, с другой стороны, ограничены имеющейся инфраструктурой и требуют все больше затрат на управление.Можно ли считать мультиоблако золотой серединой?Концепция мультиоблака проста: организации привлекают нескольких облачных провайдеров для достижения определенных операционных целей и ROI. Согласно недавним опросам, ИТ-руководители склоняются в сторону мультиоблака: 37% респондентов уже реализуют мультиоблачную стратегию в своей ИТ-инфраструктуре. На практике у мультиоблака есть один существенный недостаток — сложность. 61% организаций беспокоятся, что им будет сложно управлять данными в мультиоблачной среде в следующие два года. Учитывая, как широко и равномерно распределены данные по корпоративным, локальным, облачным и пограничным хранилищам, приходится одновременно управлять множеством рабочих процессов и отдельных инструментов управления, чтобы сгладить конфликты между архитектурами облачных сервисов.Поэтому найти золотую середину — это лишь первый шаг успешной реализации мультиоблачной среды. Второй шаг — разработать стратегию, или манифест, который определяет основные роли и ограничения публичных и частных облаков. Это позволит организациям эффективно использовать все преимущества мультиоблака и управлять его сложной структурой в любом масштабе.Преимущества многоцелевой структурыОблачные провайдеры разрабатывают решения для уникальных бизнес-потребностей: безопасность как услуга (SECaaS), база данных как услуга (DBaaS) и даже рабочий стол как услуга (DaaS). Тем временем, многие компании естественным образом склоняются к многоцелевой облачной архитектуре.Смещение акцента на целевые облака связано с демократизацией облачных сервисов. Организации выбирают не только между частным или публичным облаком — теперь функция становится определяющей характеристикой.В результате образуется многоцелевая коллекция различных сервисов, которые быстро выходят из-под контроля ИТ-отдела. Прежде чем перейти на мультиоблачную архитектуру, организации должны оценить свой уровень в трех категориях:
- Управление. Для успешной реализации многоцелевой стратегии нужно уметь эффективно управлят хранением, перемещением и безопасностью данных в облачных сервисах. 57% организаций уже развивают гибридные среды, поэтому так важно иметь навыки управления разрозненными данными.
- Емкость. Объем данных быстро растет, ведь компании сочетают публичные и частные облачные сервисы, чтобы достичь оптимальных результатов. Поэтому организациям следует разработать стратегию управления емкостью, учитывая текущие и будущие потребности, а также распределение данных между хранилищами в локальной среде и публичном облаке.
- Эффективность. Гибкость — это главная отличительная особенность облака. К сожалению, этого не скажешь об ИТ-стратегиях. Хотя ситуативное внедрение новых решений и сервисов для конкретных потребностей дает временные преимущества, организации должны подумать об эффективности использования данных в большом масштабе, чтобы определить лучший подход к расширению облачных сервисов. Согласно недавнему исследованию Deloitte, почти половина опрошенных компаний признаются, что внедрение облака оказалось сложнее, чем они думали. Поэтому так важно стремиться к эффективности.
Помимо оценки текущего уровня готовности компаниям также следует принять меры, чтобы ограничить бесконтрольный рост, повысить эффективность и взять под контроль свои расходы. Необходимо обдумать несколько аспектов.Начнем с совокупной стоимости владения. Расчет совокупной стоимости владения зависит от конкретной облачной платформы. Если бюджет ограничен, выбор можно сделать в пользу публичного облака, которое обеспечивает минимальное соотношение совокупной стоимости владения и ресурсов. Частные облака могут потребовать больше вложений на начальных этапах, но со временем могут оказаться более выгодными, чем публичные облака с оплатой по мере использования.Многое зависит от типа данных. Чувствительные и контролируемые данные, например, персональные данные или финансовые документы, обычно лучше хранить в частных облаках, тогда как анонимизированные данные могут принести ощутимую пользу, если анализировать их с помощью инструментов, предоставляемых публичным облаком. Кроме типа важно продумать возможности увеличения объема данных. Физическое оборудование частного облака не всегда успевает за растущими требованиями к емкости. Хранилище в публичном облаке поможет восполнить этот пробел.Инструменты анализа данных все чаще включают функции искусственного интеллекта и машинного обучения, поэтому компании репатриируют свои данные — перемещают их из публичного облака в частные стеки для локального анализа по требованию и для получения практических результатов. Этот аспект тоже желательно учитывать.Наконец, потребители и надзорные органы требуют проводить тщательную проверку распорядителя данных. Это требование влияет на выбор варианта архитектуры. Хотя в последние пять лет публичные облака стали значительно безопаснее, невозможно переложить всю ответственность на провайдера — что бы ни было указано в договоре об уровне обслуживания (SLA). Поэтому следует уделять внимание и требованиям к безопасности данных.Эволюция облачной архитектуры
Помимо основных факторов и конкретных применений нужно учитывать тот факт, что облачные решения постоянно развиваются. Если говорить, например, о хранении данных, с быстрым ростом их объема файловые СХД уступают место новым решениям, таким как объектные платформы, которые позволяют быстро передавать большие наборы данных.Архитектура хранения тоже не стоит на месте — появляются новые варианты, например, гиперконвергентные и дезагрегированные компонуемые решения. В гиперконвергентных структурах используется программно-определяемая кластеризация для выделения ресурсов хранения по требованию, а в дезагрегированных компонуемых системах хранилище, сеть и вычисления отделены от физического оборудования и создают общий пул ресурсов, которые можно назначать по отдельности или использовать вместе.Тем временем проекты с открытым исходным кодом меняют саму суть облака. Теперь можно не зависеть от провайдера и использовать открытое ПО для индивидуальной настройки основных функций — или даже перейти на целую архитектуру с открытым исходным кодом. Эта тенденция повлияет на долгосрочные решения о выборе облака.Кроме того, не следует забывать, что данные и вычислительные операции смещаются от центрального облака на границу сети. Граничные вычисления используют все более сложные процессы на подключенных умных устройствах в месте создания данных. Теперь данные не обязательно отправлять в публичное или частное облако для анализа, и это влияет на ценность предложения публичных и частных облачных сервисов, а также предоставляемые ими операционные преимущества. По данным The Enteprisers Project, 30% ИТ-бюджета сейчас выделяется на граничные вычисления, так что организации должны быть готовы к управлению функциями на границе сети.Роль облачных сервисов: построение среды на основе целейУ компаний богатый выбор — публичное облако с удобным масштабированием, частное облако с персонализированными характеристиками, гибридная среда, сочетающая в себе преимущества двух предыдущих категорий, и мультиоблачная архитектура с ее широкими возможностями.Однако по мере добавления в ИТ-среду дополнительных ресурсов хранения и вычисления становится все сложнее подобрать подходящее решение. На первый взгляд может показаться, что компания — идеальный кандидат для публичного облака, а с появлением компонуемой архитектуры или поддержки объектной СХД становится очевидно, что лучшим выбором станет частная среда.Иногда широкий выбор только мешает принятию решений, и организации выбирают сервисы по типу без надежного плана развития. В результате возникают мультиоблачные среды, которые без должного надзора выходят из-под контроля и становятся слишком запутанными и неэффективными. Чтобы построить среду на основе целей, важно тщательно оценить роль каждой облачной платформы.Публичные облака проще всего освоить, поэтому организации обычно начинают с них. Перенеся основные процессы в облако, можно значительно разгрузить локальные среды. Но, как отметил старший вице-президент и генеральный директор Seagate Рави Наик (Ravi Naik) в своей статье на Venture Beat, методы, которые работали для 1 ПБ в публичном облаке, окажутся бесполезными для 100 ПБ — рост объема данных приводит к слишком большим счетам, недостаточной прозрачности и непредсказуемым расходам.Частные облака обеспечивают контроль, поэтому обычно их выбирают организации, которые предпочитают масштабируемость без ущерба для внутренней безопасности. Однако локальное расположение частной архитектуры имеет свои риски, например, угрозы безопасности со стороны персонала или устаревающие образы виртуальных машин. Если пользователи случайно допустят ошибку при использовании внутренних облачных сервисов или ИТ-отдел забудет обновить ПО и параметры безопасности виртуальных машин, будут скомпрометированы критически важные данные.Гибридные облака позволяют достичь баланса. Сочетая публичные и частные сервисы, компании могут оптимизировать операции и упростить выделение ресурсов в большом масштабе, найдя золотую середину между большим количеством ресурсов, доступных в публичном облаке, и строгим контролем, который предлагает его частная альтернатива. Однако гибридные среды часто имеют недостатки с точки зрения комплаенса. Когда публичные и частные сервисы перемешиваются, границы между локальным и сторонним хранилищем размываются, и организации могут случайно раскрыть критически важные данные, отправив их вместе с другими.Мультиоблака появились в результате развития облачных служб в направлении многоцелевого использования. Организации реализуют весь потенциал облачной среды, используя облачные сервисы параллельно для получения конкретных результатов. На практике это означает разделение провайдера и процесса для достижения результатов по требованию. Но главный недостаток мультиоблака — его сложность. Если в гибридной среде компоненты пересекаются только частично, в мультиоблачной архитектуре необходимо наладить полное взаимодействие между облаками.Проблемы управления сложной мультиоблачной структуройКомпании расширяют использование облаков, внедряя публичные, частные и гибридные решения, и по факту переходят на мультиоблачную архитектуру. Это логично, ведь они стремятся использовать конкретные функции, а не разрабатывать расплывчатые организационные структуры. Мультиоблако сочетает в себе лучшие преимущества публичного и частного облака: легко масштабируемые ресурсы для хранения и анализа больших объемов данных с одной стороны и возможности управления критически важными задачами — с другой. Но, как мы неоднократно упоминали выше, растущее многообразие мультиоблачных решений создает серьезную проблему — сложность. Даже несмотря на согласование цели и процесса. Ниже мы рассмотрим основные проблемы, которые встают перед организациями, реализующими мультиоблачную стратегию.Разные облачные процессы могут упростить работу пользователей с помощью специальных инструментов, но при применении подхода на основе приложений каждый процесс использует отдельный рабочий поток. Без эффективного мониторинга и управления в облачных сетях эти процессы начинают смешиваться и конфликтовать, снижая общую эффективность.Многие облачные решения предлагают собственный набор инструментов управления для развертывания ресурсов, настройки разрешений и вызовов к приложениям. Обычно эти инструменты являются разрозненными, они плохо сочетаются друг с другом, так что ИТ-специалисты тратят время на лишние (и мало чем различающиеся между собой) процессы в многочисленных схожих друг с другом облачных приложениях.Мультиоблако связано с потенциальными проблемами безопасности. Поскольку каждое облачное приложение взаимодействует с решениями по сетевой безопасности по-своему и требует отдельного набора разрешений, система безопасности начинает напоминать лоскутное одеяло.Приложения в публичных и частных облаках по-разному хранят и обрабатывают данные, поэтому пользователи сталкиваются с препятствиями при попытке переместить важные наборы данных, то есть экспортировать или импортировать их для анализа или отчетности.Анализ и вычисления все чаще происходят на границе облачной инфраструктуры, поэтому организации должны управлять еще одним облачным расположением — оно выходит за пределы публичных и частных облаков, но имеет критическое значение для получения ценной информации. Важно предусмотреть интеграцию решений для расширяющейся граничной инфраструктуры.Заключение: за компонуемыми архитектурами будущееМультиоблачные среды набирают популярность, ведь организации делают упор на прикладные задачи, выполняемые специализированными облачными решениями в любом масштабе. Теперь уже не так важно, где работают эти решения, — на публичных серверах или в частных стеках. Главное, чтобы они предоставляли ключевые функции по требованию.Такая структура естественным образом усложняется, обрастая многочисленными сервисами с разными инструментами управления, рабочими процессами и средствами безопасности, которые пересекаются и конфликтуют в распределенных корпоративных сетях. Чтобы упростить мультиоблачную архитектуру, нужно для начала признать, что разрозненные системы требуют индивидуального подхода к управлению приложениями и сервисами. Есть и хорошие новости: появилась перспективная технология, способная устранить лишние сложности и повысить операционную эффективность, — компонуемая инфраструктура.Компонуемая инфраструктура схожа со своими альтернативами на основе СХД, поскольку позволяет организациям выбирать облачных провайдеров для конкретных сервисов, а затем отделять ресурсы процессов от требований этих провайдеров. С помощью компонуемого облака организации могут эффективно разворачивать разрозненные решения в любом масштабе без лишних сложностей, связанных с переплетением этих решений.Компонуемая инфраструктура поможет унифицировать инструменты управления и интерфейсы, упростить использование нескольких облачных сред и ускорить масштабное развертывание. Все это позволит достичь главной цели мультиоблака — создать комбинированную среду с упрощенным управлением с одной стороны и доставкой сервисов по требованию — с другой.Переход в облако неизбежен, ведь объемы, разнообразие и скорость создания данных нарастают все быстрее — вместе с потребностью в ценной информации, полученной из интеллектуального анализа новых наборов данных. Чтобы получить операционные преимущества быстро и в нужном масштабе, компаниям следует отказаться от однобоких моделей на основе только публичного или только частного облака и реализовывать гибридные и мультиоблачные структуры, которые дают конкретные и прикладные результаты.Не стоит забывать, что при разрастании мультиоблачных сред проявляется их главный недостаток — сложность. ИТ-отделы вынуждены управлять несколькими облаками для хранения, вычислений, безопасности, доступа и аналитики — и у каждого облака существуют свои структуры рабочих нагрузок, средства управления и параметры безопасности. В этих условиях организациям необходимо приложить усилия, чтобы наладить конструктивное взаимодействие между этими разрозненными каналами.Компонуемые облачные инфраструктуры станут основой многоцелевых облачных платформ. Разделяя функцию и форму, компонуемые решения помогут упростить структуру и управление мультиоблачной средой.Конечная цель — создать гибкую инфраструктуру, состоящую из оборудования, программного обеспечения и сервисов на основе компонуемой архитектуры данных, которая будет расти вместе с бизнесом и автоматически доставлять данные туда, где они принесут больше всего пользы. Такой гибкий подход к инфраструктуре мультиоблака позволит ИТ-специалистам самим делать выбор — покупать, брать в аренду или совместно использовать ресурсы. Можно даже сочетать все три варианта, если этого требует бизнес. Единый уровень управления хранением поможет перемещать данные по необходимости, чтобы реализовать потенциал бизнеса. При этом можно использовать ПО на основе открытого исходного кода, чтобы данные не зависели от сторонних алгоритмов. Такая структура позволит сэкономить средства, чтобы вложить их в расширение емкости хранения или увеличение вычислительных ресурсов для аналитики.Узнать больше о последних решениях корпоративного класса по эффективному управлению данными можно тут:Решения корпоративного классаНакопители корпоративного класса
===========
Источник:
habr.com
===========
Похожие новости:
- [IT-инфраструктура, Сетевые технологии, Разработка под e-commerce, Сетевое оборудование] WSJ: Высокочастотные трейдеры внедряют полое оптоволокно, чтобы приблизиться к скорости света при передаче данных
- [IT-инфраструктура, Google API, Google Cloud Platform, Облачные сервисы] В работе Gmail произошел масштабный сбой
- [Программирование, R, Data Engineering] Логирование выполнения скриптов на языке R, пакет lgr
- [Информационная безопасность, Системное администрирование, IT-инфраструктура, Лайфхаки для гиков] Как не проиграть войну криптолокерам в 2021 году
- [IT-инфраструктура, Машинное обучение, DevOps] Приглашаем на митап «Машинное обучение и инфраструктура вокруг него» 18 декабря в 14:00
- [Python, IT-инфраструктура, Администрирование баз данных, DevOps, Микросервисы] Vault+Pydantic: продолжение саги, локальная разработка
- [IT-инфраструктура, Amazon Web Services, DevOps, Облачные сервисы] Анонс видеокурса «Администрирование и разработка в облачных системах на примере AWS»
- [CSS, JavaScript, IT-инфраструктура, HTML] Больше, больше фронтенда — доклады c ЮMoneyDay
- [IT-инфраструктура, Управление проектами] Как попадает товар в магазины «Леруа Мерлен» с точки зрения математики заказа
- [IT-компании] Власти США обязали крупные интернет-компании раскрыть методы получения и обработки персональных данных
Теги для поиска: #_itinfrastruktura (IT-инфраструктура), #_hranenie_dannyh (Хранение данных), #_hranilischa_dannyh (Хранилища данных), #_data_engineering, #_dannye (данные), #_oblachnye_hranilischa (облачные хранилища), #_hranenie_dannyh (хранение данных), #_seagate, #_oblachnye_tehnologii (облачные технологии), #_multioblako (мультиоблако), #_oblachnaja_infrastruktura (облачная инфраструктура), #_blog_kompanii_seagate (
Блог компании Seagate
), #_itinfrastruktura (
IT-инфраструктура
), #_hranenie_dannyh (
Хранение данных
), #_hranilischa_dannyh (
Хранилища данных
), #_data_engineering
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 22-Ноя 14:48
Часовой пояс: UTC + 5
| Автор | Сообщение |
|---|---|
|
news_bot ®
Стаж: 6 лет 9 месяцев |
|
 Вряд ли у кого вызывает сомнение, что современную экономику можно назвать экономикой данных, поскольку данные превратились в валюту, товар и новый природный ресурс, своего рода топливо для инноваций. Однако объем данных безудержно растет. Данные содержат в себе огромную ценность, они все чаще нужны нам в небывало больших объемах и на высокой скорости. Как нам кажется, организациям следует меньше беспокоиться о затратах на управление данными и больше думать о новых возможностях, которые дает это управление. Как лучше всего раскрыть потенциал этих возможностей?Наша статья посвящена компонуемой архитектуре данных на основе мультиоблака, которая будет расти вместе с бизнесом и автоматически доставлять данные туда, где они принесут больше всего пользы. Она позволит достичь главной цели мультиоблака — создать комбинированную среду с упрощенным управлением с одной стороны и доставкой сервисов по требованию — с другой.Как преуспеть в экономике данных?Современную экономику можно назвать экономикой данных, поскольку данные превратились в валюту, товар и новый природный ресурс, своего рода топливо для инноваций. Питер Норвиг, директор по исследованиям в Google, однажды так объяснил успех своей организации: «Наши алгоритмы не лучше, чем у других. Просто у нас больше данных».Однако объем данных безудержно растет. В основном это созданные машинами, неструктурированные, хаотичные и разрозненные данные, которые используются недостаточно продуктивно — или не используются вовсе. При этом они все чаще нужны нам в небывало больших объемах и на высокой скорости.Как добиться успеха в экономике данных? Как нам кажется, достаточно соблюдать три правила:
 Облака обычно делят на несколько типов: публичные, частные, гибридные и мультиоблака.Публичные облака предлагают мультитенантные решения для вычислений и хранения по требованию за пределами локальной среды. В эту категорию входят, например, Amazon AWS и Microsoft Azure.Частное облако создается для клиента и используется только им. Оно предоставляет больше контроля над приложениями, использованием ресурсов и безопасностью.Гибридные архитектуры представляют собой сочетание публичных и частных облаков. Организации могут использовать основные преимущества двух категорий, например, балансировку нагрузки, как в публичном облаке, и надежность хранения данных, как в частном.В мультиоблачных архитектурах используется не менее двух облаков любого типа. Несмотря на схожесть с гибридным облаком, есть одно важное различие: в гибридных средах процессы осуществляются последовательно, публичные и частные сервисы перемежаются, чтобы достичь определенного результата, тогда как мультиоблачные решения работают параллельно, и каждый облачный сервис выполняется независимо от других.У каждого подхода есть свои преимущества и недостатки, которые мы рассмотрим ниже.Публичное облакоГлавное преимущество публичного облака заключается в том, что управление ресурсами и защита данных не требуют капитальных затрат, а оплачиваются в зависимости от потребления. В публичном облаке, например, провайдеры сами занимаются обслуживанием серверного оборудования, обновлением программного обеспечения и исправлением проблем с безопасностью.Но есть и серьезные недостатки. Если у организации используется большое количество данных, то тем больше времени нужно для их передачи из локальной среды на облачные серверы и обратно. Что часто усугубляется низкой скоростью, поскольку облачные провайдеры строго контролируют пропускную способность. На перенос архивов могут уйти годы, а пользователи, тем временем, не смогут быстро передавать приоритетные данные в облако для анализа. В некоторых районах мало точек обмена трафиком, а это усугубляет проблемы со скоростью и затратами для отраслей с большим объемом данных в отдаленных местах. Например, добыча шельфовой нефти, обслуживание промышленных ферм на Ближнем Востоке или съемки фильмов о дикой природе в амазонских джунглях.Следующий недостаток — сомнения в безопасности и проблема доверия. Бытует мнение, что публичные облака не так хорошо защищены от злоумышленников и фишинговых схем. Что особенно тревожно, если там хранятся персональные или критически важные данные. Недоверие усиливается в тех отраслях, где провайдеры облачных сервисов планируют развивать собственный бизнес. Компании не хотят, чтобы их данные попали к потенциально крупным конкурентам.Наконец, публичное облако характеризуется непредсказуемостью расходов. Сокращение совокупной стоимости владения — это главная причина переноса данных в облако, но сэкономить получается не всегда. В публичном облаке клиенты платят за используемую пропускную способность — чем больше данных или перемещений, тем выше расходы. Организации, которые не уверены в своих будущих потребностях и объемах использования данных, выбирают публичные облака за гибкость, и только получив счета, понимают, во что эта гибкость может обойтись.Частное облако Главное преимущество частного облака заключается в полном контроле за процессами и затратами на локальном уровне — ИТ-отделы могут настраивать разрешения, доступ и мониторинг в облаке. На практике это означает развертывание таких решений, как инструменты управления идентификацией и доступом (IAM) и настройка периметра безопасности для дополнительной защиты локальных данных.В чем же недостатки частного облака? Если требуется анализировать все больше данных для принятия стратегических решений, частное облако недостаточно быстро увеличивает масштаб. Кроме того, сложно найти баланс между стоимостью и пиковыми нагрузками. Если зарезервировать достаточно ресурсов для пикового спроса, они будут простаивать в спокойные периоды. Можно сэкономить и выделить мало ресурсов, но при этом есть риск не справиться с нагрузками.Наконец, своими силами частное облако создавать весьма сложно. Предприятия не зря выбирают облачный хостинг — они хотят освободить своих ИТ-специалистов от управления аппаратной инфраструктурой и обслуживания программных решений для перемещения и хранения данных. Эти задачи они предпочитают доверить экспертам. К тому же частное облако требует существенных капитальных расходов на оборудование и площади для расширения собственной локальной инфраструктуры.Гибридное облакоКак и можно было ожидать, гибридное облако сочетает преимуществ публичного частного облаков. Так, в гибридных решениях можно объединить публичные сервисы приложений с локальным хранилищем, чтобы повысить производительность.Однако преимущества объединения публичного и частного облака получается использовать не всегда. Например, предприятия сталкиваются с чрезмерной сложностью и проблемами размещения и оркестрации данных. Более того, управляемые услуги недостаточно прозрачны. Dell EMC, IBM Cloud и HPE Cloud предлагают решения по управлению данными для гибридных и даже мультиоблачных архитектур, но в их закрытых экосистемах контролировать затраты так же сложно, как при использовании публичных облаков. Кроме того, они не предоставляют тот же набор приложений, которые помогают организациям увеличить уровень зрелости данных.Наконец, провайдеры в этой сфере обычно предлагают универсальные гиперконвергентные архитектуры. Часто объемы вычислительных ресурсов и емкость SSD непропорционально велики по сравнению с емкостью для хранения больших массивов данных. Для крупных организаций это может означать увеличение расходов на частную половину гибридных облаков.МультиоблакоМультиоблако сочетает облака для хранения больших объемов данных с централизованными вычислительными облаками. Что позволяет оптимизировать экономическую составляющую и управлять данными в любом масштабе. Однако здесь следует учитывать сложную структуру, поскольку ИТ-специалистам приходится управлять взаимодействием нескольких облаков одновременно.Поиск золотой серединыОрганизации выбирают облако, чтобы контролировать свои ресурсы, оптимизировать ИТ-расходы и реализовывать потенциал больших данных. Это разумно, учитывая, что данных становится все больше, при этом даже сейчас 68% из них не используется. Ожидается, что объем данных будет увеличиваться на 42,2% в год, поэтому организациям нужны решения, чтобы управлять ими.С распространением облачных сервисов все заметнее становится, как ограничены модели с одним провайдером. Изначальные преимущества публичных облаков — оплата по мере использования, масштабирование по потребностям и быстрый выход на рынок — теперь перекрываются такими проблемами, как большие задержки, неконтролируемые затраты и недостаток конфиденциальности. Частные облака, с другой стороны, ограничены имеющейся инфраструктурой и требуют все больше затрат на управление.Можно ли считать мультиоблако золотой серединой?Концепция мультиоблака проста: организации привлекают нескольких облачных провайдеров для достижения определенных операционных целей и ROI. Согласно недавним опросам, ИТ-руководители склоняются в сторону мультиоблака: 37% респондентов уже реализуют мультиоблачную стратегию в своей ИТ-инфраструктуре. На практике у мультиоблака есть один существенный недостаток — сложность. 61% организаций беспокоятся, что им будет сложно управлять данными в мультиоблачной среде в следующие два года. Учитывая, как широко и равномерно распределены данные по корпоративным, локальным, облачным и пограничным хранилищам, приходится одновременно управлять множеством рабочих процессов и отдельных инструментов управления, чтобы сгладить конфликты между архитектурами облачных сервисов.Поэтому найти золотую середину — это лишь первый шаг успешной реализации мультиоблачной среды. Второй шаг — разработать стратегию, или манифест, который определяет основные роли и ограничения публичных и частных облаков. Это позволит организациям эффективно использовать все преимущества мультиоблака и управлять его сложной структурой в любом масштабе.Преимущества многоцелевой структурыОблачные провайдеры разрабатывают решения для уникальных бизнес-потребностей: безопасность как услуга (SECaaS), база данных как услуга (DBaaS) и даже рабочий стол как услуга (DaaS). Тем временем, многие компании естественным образом склоняются к многоцелевой облачной архитектуре.Смещение акцента на целевые облака связано с демократизацией облачных сервисов. Организации выбирают не только между частным или публичным облаком — теперь функция становится определяющей характеристикой.В результате образуется многоцелевая коллекция различных сервисов, которые быстро выходят из-под контроля ИТ-отдела. Прежде чем перейти на мультиоблачную архитектуру, организации должны оценить свой уровень в трех категориях:
 Помимо основных факторов и конкретных применений нужно учитывать тот факт, что облачные решения постоянно развиваются. Если говорить, например, о хранении данных, с быстрым ростом их объема файловые СХД уступают место новым решениям, таким как объектные платформы, которые позволяют быстро передавать большие наборы данных.Архитектура хранения тоже не стоит на месте — появляются новые варианты, например, гиперконвергентные и дезагрегированные компонуемые решения. В гиперконвергентных структурах используется программно-определяемая кластеризация для выделения ресурсов хранения по требованию, а в дезагрегированных компонуемых системах хранилище, сеть и вычисления отделены от физического оборудования и создают общий пул ресурсов, которые можно назначать по отдельности или использовать вместе.Тем временем проекты с открытым исходным кодом меняют саму суть облака. Теперь можно не зависеть от провайдера и использовать открытое ПО для индивидуальной настройки основных функций — или даже перейти на целую архитектуру с открытым исходным кодом. Эта тенденция повлияет на долгосрочные решения о выборе облака.Кроме того, не следует забывать, что данные и вычислительные операции смещаются от центрального облака на границу сети. Граничные вычисления используют все более сложные процессы на подключенных умных устройствах в месте создания данных. Теперь данные не обязательно отправлять в публичное или частное облако для анализа, и это влияет на ценность предложения публичных и частных облачных сервисов, а также предоставляемые ими операционные преимущества. По данным The Enteprisers Project, 30% ИТ-бюджета сейчас выделяется на граничные вычисления, так что организации должны быть готовы к управлению функциями на границе сети.Роль облачных сервисов: построение среды на основе целейУ компаний богатый выбор — публичное облако с удобным масштабированием, частное облако с персонализированными характеристиками, гибридная среда, сочетающая в себе преимущества двух предыдущих категорий, и мультиоблачная архитектура с ее широкими возможностями.Однако по мере добавления в ИТ-среду дополнительных ресурсов хранения и вычисления становится все сложнее подобрать подходящее решение. На первый взгляд может показаться, что компания — идеальный кандидат для публичного облака, а с появлением компонуемой архитектуры или поддержки объектной СХД становится очевидно, что лучшим выбором станет частная среда.Иногда широкий выбор только мешает принятию решений, и организации выбирают сервисы по типу без надежного плана развития. В результате возникают мультиоблачные среды, которые без должного надзора выходят из-под контроля и становятся слишком запутанными и неэффективными. Чтобы построить среду на основе целей, важно тщательно оценить роль каждой облачной платформы.Публичные облака проще всего освоить, поэтому организации обычно начинают с них. Перенеся основные процессы в облако, можно значительно разгрузить локальные среды. Но, как отметил старший вице-президент и генеральный директор Seagate Рави Наик (Ravi Naik) в своей статье на Venture Beat, методы, которые работали для 1 ПБ в публичном облаке, окажутся бесполезными для 100 ПБ — рост объема данных приводит к слишком большим счетам, недостаточной прозрачности и непредсказуемым расходам.Частные облака обеспечивают контроль, поэтому обычно их выбирают организации, которые предпочитают масштабируемость без ущерба для внутренней безопасности. Однако локальное расположение частной архитектуры имеет свои риски, например, угрозы безопасности со стороны персонала или устаревающие образы виртуальных машин. Если пользователи случайно допустят ошибку при использовании внутренних облачных сервисов или ИТ-отдел забудет обновить ПО и параметры безопасности виртуальных машин, будут скомпрометированы критически важные данные.Гибридные облака позволяют достичь баланса. Сочетая публичные и частные сервисы, компании могут оптимизировать операции и упростить выделение ресурсов в большом масштабе, найдя золотую середину между большим количеством ресурсов, доступных в публичном облаке, и строгим контролем, который предлагает его частная альтернатива. Однако гибридные среды часто имеют недостатки с точки зрения комплаенса. Когда публичные и частные сервисы перемешиваются, границы между локальным и сторонним хранилищем размываются, и организации могут случайно раскрыть критически важные данные, отправив их вместе с другими.Мультиоблака появились в результате развития облачных служб в направлении многоцелевого использования. Организации реализуют весь потенциал облачной среды, используя облачные сервисы параллельно для получения конкретных результатов. На практике это означает разделение провайдера и процесса для достижения результатов по требованию. Но главный недостаток мультиоблака — его сложность. Если в гибридной среде компоненты пересекаются только частично, в мультиоблачной архитектуре необходимо наладить полное взаимодействие между облаками.Проблемы управления сложной мультиоблачной структуройКомпании расширяют использование облаков, внедряя публичные, частные и гибридные решения, и по факту переходят на мультиоблачную архитектуру. Это логично, ведь они стремятся использовать конкретные функции, а не разрабатывать расплывчатые организационные структуры. Мультиоблако сочетает в себе лучшие преимущества публичного и частного облака: легко масштабируемые ресурсы для хранения и анализа больших объемов данных с одной стороны и возможности управления критически важными задачами — с другой. Но, как мы неоднократно упоминали выше, растущее многообразие мультиоблачных решений создает серьезную проблему — сложность. Даже несмотря на согласование цели и процесса. Ниже мы рассмотрим основные проблемы, которые встают перед организациями, реализующими мультиоблачную стратегию.Разные облачные процессы могут упростить работу пользователей с помощью специальных инструментов, но при применении подхода на основе приложений каждый процесс использует отдельный рабочий поток. Без эффективного мониторинга и управления в облачных сетях эти процессы начинают смешиваться и конфликтовать, снижая общую эффективность.Многие облачные решения предлагают собственный набор инструментов управления для развертывания ресурсов, настройки разрешений и вызовов к приложениям. Обычно эти инструменты являются разрозненными, они плохо сочетаются друг с другом, так что ИТ-специалисты тратят время на лишние (и мало чем различающиеся между собой) процессы в многочисленных схожих друг с другом облачных приложениях.Мультиоблако связано с потенциальными проблемами безопасности. Поскольку каждое облачное приложение взаимодействует с решениями по сетевой безопасности по-своему и требует отдельного набора разрешений, система безопасности начинает напоминать лоскутное одеяло.Приложения в публичных и частных облаках по-разному хранят и обрабатывают данные, поэтому пользователи сталкиваются с препятствиями при попытке переместить важные наборы данных, то есть экспортировать или импортировать их для анализа или отчетности.Анализ и вычисления все чаще происходят на границе облачной инфраструктуры, поэтому организации должны управлять еще одним облачным расположением — оно выходит за пределы публичных и частных облаков, но имеет критическое значение для получения ценной информации. Важно предусмотреть интеграцию решений для расширяющейся граничной инфраструктуры.Заключение: за компонуемыми архитектурами будущееМультиоблачные среды набирают популярность, ведь организации делают упор на прикладные задачи, выполняемые специализированными облачными решениями в любом масштабе. Теперь уже не так важно, где работают эти решения, — на публичных серверах или в частных стеках. Главное, чтобы они предоставляли ключевые функции по требованию.Такая структура естественным образом усложняется, обрастая многочисленными сервисами с разными инструментами управления, рабочими процессами и средствами безопасности, которые пересекаются и конфликтуют в распределенных корпоративных сетях. Чтобы упростить мультиоблачную архитектуру, нужно для начала признать, что разрозненные системы требуют индивидуального подхода к управлению приложениями и сервисами. Есть и хорошие новости: появилась перспективная технология, способная устранить лишние сложности и повысить операционную эффективность, — компонуемая инфраструктура.Компонуемая инфраструктура схожа со своими альтернативами на основе СХД, поскольку позволяет организациям выбирать облачных провайдеров для конкретных сервисов, а затем отделять ресурсы процессов от требований этих провайдеров. С помощью компонуемого облака организации могут эффективно разворачивать разрозненные решения в любом масштабе без лишних сложностей, связанных с переплетением этих решений.Компонуемая инфраструктура поможет унифицировать инструменты управления и интерфейсы, упростить использование нескольких облачных сред и ускорить масштабное развертывание. Все это позволит достичь главной цели мультиоблака — создать комбинированную среду с упрощенным управлением с одной стороны и доставкой сервисов по требованию — с другой.Переход в облако неизбежен, ведь объемы, разнообразие и скорость создания данных нарастают все быстрее — вместе с потребностью в ценной информации, полученной из интеллектуального анализа новых наборов данных. Чтобы получить операционные преимущества быстро и в нужном масштабе, компаниям следует отказаться от однобоких моделей на основе только публичного или только частного облака и реализовывать гибридные и мультиоблачные структуры, которые дают конкретные и прикладные результаты.Не стоит забывать, что при разрастании мультиоблачных сред проявляется их главный недостаток — сложность. ИТ-отделы вынуждены управлять несколькими облаками для хранения, вычислений, безопасности, доступа и аналитики — и у каждого облака существуют свои структуры рабочих нагрузок, средства управления и параметры безопасности. В этих условиях организациям необходимо приложить усилия, чтобы наладить конструктивное взаимодействие между этими разрозненными каналами.Компонуемые облачные инфраструктуры станут основой многоцелевых облачных платформ. Разделяя функцию и форму, компонуемые решения помогут упростить структуру и управление мультиоблачной средой.Конечная цель — создать гибкую инфраструктуру, состоящую из оборудования, программного обеспечения и сервисов на основе компонуемой архитектуры данных, которая будет расти вместе с бизнесом и автоматически доставлять данные туда, где они принесут больше всего пользы. Такой гибкий подход к инфраструктуре мультиоблака позволит ИТ-специалистам самим делать выбор — покупать, брать в аренду или совместно использовать ресурсы. Можно даже сочетать все три варианта, если этого требует бизнес. Единый уровень управления хранением поможет перемещать данные по необходимости, чтобы реализовать потенциал бизнеса. При этом можно использовать ПО на основе открытого исходного кода, чтобы данные не зависели от сторонних алгоритмов. Такая структура позволит сэкономить средства, чтобы вложить их в расширение емкости хранения или увеличение вычислительных ресурсов для аналитики.Узнать больше о последних решениях корпоративного класса по эффективному управлению данными можно тут:Решения корпоративного классаНакопители корпоративного класса =========== Источник: habr.com =========== Похожие новости:
Блог компании Seagate ), #_itinfrastruktura ( IT-инфраструктура ), #_hranenie_dannyh ( Хранение данных ), #_hranilischa_dannyh ( Хранилища данных ), #_data_engineering |
|
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 22-Ноя 14:48
Часовой пояс: UTC + 5