[Анализ и проектирование систем, IT-инфраструктура, Визуализация данных, Управление продуктом] Как селф-сервис BI убивает кровавый энтерпрайз
Автор
Сообщение
news_bot ®
Стаж: 6 лет 9 месяцев
Сообщений: 27286
Автор: Шилов Владимир Александрович, Руководитель направления в Департаменте анализа данных РостелекомС чего все началось: реализация решения по анализу используемости BI системВ мае 2019 года я перешел в команду BI Ростелекома и одной из первых задач была реализация отчетности по анализу посещаемости BI-отчетов во всех BI-инструментах, установленных в компании. Решение этой задачи позволило собрать любопытную статистику и сделать выводы о востребованности BI инструментов в такой крупной корпорации, как Ростелеком.В этой статье я хочу поделиться следующими результатами нашего анализа:
- Какие BI системы наиболее востребованы в реалиях крупной компании;
- Какие критерии влияют на внутреннюю популярность решения;
- Какие современные тенденции пользовательского поведения можно наблюдать внутри компании и какие вопросы будут стоять перед ИТ-подразделениями в ближайшее время.
Начну с общего описания ситуации и подходов к сбору информации. У нас в компании целевыми BI-системами являются:
- Oracle BI;
- Microsoft analysis services;
- Microsoft Power BI;
- Qlik Sense;
- Форсайт.
Кроме перечисленных инструментов, у нас на разных уровнях также используются более узкоспециализированные и «экзотические» решения. Но для целей нашей статьи мы опустим эти нюансы, и далее речь пойдет именно о целевых BI-системах (за исключением Форсайта), так как именно они используются в масштабах всей компании, и на наш взгляд их обзор будет более интересен читателям. Для сбора информации об использовании инструментов было разработано специализированное решение, подход к реализации которого можно представить в виде последовательности шагов:
- Провести анализ логов BI-систем по запуску отчетов
- Спроектировать модель витрины данных
- Разработать ETL
- Реализовать отчет в Power BI
Полученное решение были примерно следующим:
Общая схема решенияПримечание: зеленым кружком выделено общее количество инсталляций, а синим кружком количество self-service инсталляций.Очевидно, что любая разработка в крупной забюрократизированной компании превращается в нечто большее чем просто «Возьми и сделай. Ты же мужик.» и выполнение простого алгоритма из 4х шагов. Я довольно сильно погряз в разработку архитектурного решения и согласования его с архитекторами, а также предоставления доступов к логам и ETL. В этой статье описывать свои трудности я детально не буду и сконцентрируюсь на конечном результате. Для начала предлагаю рассмотреть каждый BI-инструмент в отдельности.Oracle BIНа Oracle BI реализовано подавляющее большинство отчетности в виду того, что Oracle BI является самым старым инструментом и у него почти не было альтернативы очень долгое время. Ниже представлены графики динамик по следующим показателям:
- Количество используемых уникальных отчетов за период;
- Количество уникальных пользователей.
На основе графика динамики уникальных пользователей можно сделать вывод, что аудитория данной BI-системы стабилизировалась и сильного роста в 2020 году не наблюдается. Этому есть ряд причин:
- Доступ к отчетности требует согласования, а также прозрачность процесса предоставления доступа очень низкая;
- Новые предметные области появляются очень редко;
- Нет возможности создавать дашборды с аналитикой.
Analysis servicesMicrosoft Analysis services также достаточно распространенный инструмент в компании, что обусловлено во многом удобной для пользователей работой в Excel, именно этот инструмент получил наиболее широкое распространение по всей территории компании и даже более распространен в МРФ (макрорегиональных филиалах), нежели в корпоративном центре. Это можно увидеть на следующей диаграмме по уникальным пользователям в разрезе территорий за последние 12 месяцев:
Ниже также представлены графики динамик по следующим показателям:
- Количество используемых уникальных OLAP-кубов за период;
- Количество уникальных пользователей.
Рост количества используемых OLAP-кубов за последний год не наблюдается, а также рост аудитории в BI-системе очень нестабильный со значительными всплесками. Причины такой статистики, следующие:
- OLAP-кубы в основном дорабатываются и новых OLAP-кубов очень мало;
- BI-система больше предназначена для аналитиков умеющих работать с данными и сложно продается широкой аудитории;
- Доступ к отчетности требует согласования с владельцем OLAP-куба.
Power BIBI-система Power BI от Microsoft появилась самой последней в стеке инструментов компании, но именно к этой системе сейчас приковано самое большое внимание со стороны бизнеса по следующим причинам:
- Базовый набор визуализаций имеет хороший дизайн;
- Лицензирование осуществляется по ядрам на сервере и лицензирование по пользователям отсутствует;
- Скорость разработки самих отчетов довольно высокая, но стоит отметить, что на полный цикл разработки это не сильно влияет.
Ниже представлены динамики показателей аудитории и количество отчетов которые она использует:
Стоит отметить, что при относительно низком росте количества используемой отчетности аудитория продолжает расти. Это связанно в большей степени с тем, что доступ к отчетам предоставляется без выделения лицензий на каждого пользователя и изначально нет никаких ограничений по доступу к отчетности, то есть не надо оформлять заявку на доступ. Уже сейчас наблюдается тенденция перевода отчетов с Qlik sense на Power BI именно по причине того, что подключение новых пользователей осуществляется бесплатно. Qlik senseQlik sense была первой корпоративной BI-системой с возможностью реализации полноценных дашбордов. Именно с Qlik sense связан переход от предоставления табличных данных к графическим визуализациям в компании. Ниже представлены графики динамик по следующим показателям:
- Количество используемых уникальных отчетов за период;
- Количество уникальных пользователей.
Казалось бы, современный BI-инструмент в котором можно делать красивые BI решения на которые есть большой спрос, но сильного роста отчетности относительно Oracle BI и Analysis services не наблюдается. Тут есть несколько причин влияющие на аудиторию и количество новых отчетов:
- Лицензия на одного пользователя стоит существенных денег и бизнес, не имея достаточного бюджета, отказывается заказывать отчетность в Qlik sense;
- Длительный срок реализации отчетов от подготовки данных до реализации отчетов не позволяет быстро перенести все бизнес-процессы на новый инструмент.
Self-service инструменты Qlik sense self-serviceВ ноябре 2019 для бизнеса мы развернули self-service и предложили бизнесу реализовывать свои отчеты на своих источниках самостоятельно. С точки зрения лицензирования было одно изменение, что разработчики лицензируются отдельно. С лицензиями пользователей изменений не было по причине того, что сервера были объединены в один кластер и соответственно лицензии тоже. Графики динамик количества запускаемых отчетов и уникальных пользователей в недельной динамике представлены ниже:
По графикам можно сразу сделать вывод, что первоначальных рост аудитории и количества отчетов остановился в первом квартале 2020 года и дальше наблюдается стагнация количества уникальных пользователей. Стоит отметить, что с появлением новых отчетов в сентябре используемость отчетности вернулась на свой максимум, но роста аудитории не наблюдается. Основной причиной является высокая стоимость лицензий пользователей системы, что не позволяет делать отчеты для большой аудитории. Power BI self-serviceВот мы и дошли к самому вкусному и интересному в статье. Power BI self-service появился примерно в тоже самое время, что и Qlik Sense self-service, но у данных систем есть одно существенное отличие в лицензировании. Для подключения команды разработчиков от бизнеса в Power BI self-service надо разово заплатить за лицензию на 2 ядра, что примерно равняется 35 лицензиям пользователей в Qlik sense, но лимита на пользователей в Power BI нет. То есть бизнес подразделение разово платит за одну лицензию и получает существенные возможности по реализации отчетности для большой аудитории, что несомненно сказалось показателях используемости данной системы, а также стоит отметить, что цена вхождения BI-разработчика в разработку базовых отчетов очень низкая. Ниже представлены динамики показателей аудитории и количество отчетов которые она использует: 
Еще более наглядно все выглядит если показать все рассматриваемые системы вместе:
Какие критерии влияют на развитие отчетности?В части развития отчетности в BI-системах стоит выделить следующие особенности, которые описаны в таблицах:Свойство\BI-системаPower BIQlik senseAnalysis servicesOracle BIЛицензированиеБесплатно для бизнесаЛицензия на каждого пользователяБесплатно для бизнесаБесплатно для бизнесаВид визуализацииДашбордыДашбордыExcel таблицыТабличные отчеты без аналитикиТребования к квалификации BI-разработчикаНизкиеСредниеСредниеВыше среднегоКачество дизайна базовых визуализацийВысокоеСреднееОтсутствуетНизкоеПроцесс подготовки данныхЦентрализованное хранилищеЦентрализованное хранилищеЦентрализованное хранилищеЦентрализованное хранилищеПредоставление доступаВсе отчеты публичныеПо согласованию владельца лицензийПо согласованию владельца кубаПо согласованию владельца области предметной областиСвойство\BI-системаPower BI self-serviceQlik sense self-serviceЛицензированиеЛицензия на 2 ядра на одну команду разработки. Для пользователей бесплатно. Лицензия на каждого пользователя и разработчикаВид визуализацииДашбордыДашбордыТребования к квалификации BI-разработчикаНизкиеСредниеКачество дизайна базовых визуализацийВысокоеСреднееПроцесс подготовки данныхСобственные источникиСобственные источникиПредоставление доступаВсе отчеты публичныеПо согласованию владельца лицензийИсходя из результатов нашего анализа именно критерии, описанные в таблицах, оказали самое большое влияние как на скорость создания новой отчетности, так и на востребованность отчетности пользователями компании. А ключевым фактором успеха Power BI self-service стала политика лицензирования и его условная «бесплатность» для разработчиков на стороне бизнеса.ЗаключениеИз выше сказанного можно сделать вывод, что ключевыми факторами по использованию отчетности в различных BI-системах является по мере уменьшения значения фактора:
- Стоимость подключения новых пользователей, особенно на большой аудитории;
- Длительность полного цикла реализации отчета от подготовки данных до публикации отчета;
- Простота реализации отчетов в BI-системе.
Если бизнесу предоставить возможность самостоятельно заниматься подготовкой данных или предоставить доступ к уже подготовленным данным и дать простой и дешевый инструмент для анализа, то бизнес очень быстро начнет удовлетворять свою потребность в аналитике данных самостоятельно. При таком подходе остается очень много открытых вопросов как «кто будет сопровождать отчеты и данные в них?», «каким отчетам можно доверять?», «как сделать единую систему отчетности с общей навигацией в едином стиле?».Несмотря на то, что у ИТ сейчас нет однозначных ответов на эти вопросы, очевидно, что бизнес уже сделал свой выбор в пользу Self-service инструментов, и на эти вопросы нам придется отвечать. О том, какие решения мы нашли для self-service контура Ростелекома мы расскажем вам в наших следующих статьях.Статья подготовлена командой управления данными «Ростелекома»
===========
Источник:
habr.com
===========
Похожие новости:
- [IT-инфраструктура, Финансы в IT, IT-компании] Пользователи массово жалуются на сбой в приложениях «Тинькофф» и «Тинькофф Инвестиции»
- [Анализ и проектирование систем, Atlassian] Как мы используем Confluence для разработки требований к продукту
- [IT-инфраструктура, Резервное копирование, Облачные сервисы] Вебинар DataLine «Как получить рабочий бэкап: выбираем инструменты резервного копирования» 25 февраля
- [Информационная безопасность, Управление продуктом] LastPass ограничит бесплатное использование менеджера паролей одним типом устройства
- [Разработка мобильных приложений, Дизайн мобильных приложений, Управление продуктом, Изучение языков, Визуальное программирование] Запуск топ-приложения в одиночку, бесплатно и без кодинга (ну почти)
- [Data Mining, Визуализация данных, Машинное обучение, Искусственный интеллект] Обзор современных инструментов дата-аналитика
- [Oracle, IT-инфраструктура, Серверное администрирование, Администрирование баз данных] о провиженинге тестовых баз
- [Анализ и проектирование систем, Управление разработкой, Будущее здесь] Почему стоит обратить внимание на подход low-code/no-code (перевод)
- [SQL, Big Data, Визуализация данных, Хранилища данных] Business Intelligence на очень больших данных: опыт Yota
- [Терминология IT, Управление продуктом, Облачные сервисы] Мультитенантность: как вырастить из одного приложения линейку независимых продуктов
Теги для поиска: #_analiz_i_proektirovanie_sistem (Анализ и проектирование систем), #_itinfrastruktura (IT-инфраструктура), #_vizualizatsija_dannyh (Визуализация данных), #_upravlenie_produktom (Управление продуктом), #_power_bi, #_qlik_sense, #_olapkuby (olap-кубы), #_oracle_bi, #_dashbord (дашборд), #_selfservice_bi, #_upravlenie_dannymi_v_rostelekom (управление данными в ростелеком), #_business_intelligence, #_vizualizatsija_dannyh (визуализация данных), #_analiz_i_proektirovanie_sistem (
Анализ и проектирование систем
), #_itinfrastruktura (
IT-инфраструктура
), #_vizualizatsija_dannyh (
Визуализация данных
), #_upravlenie_produktom (
Управление продуктом
)
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 25-Ноя 11:19
Часовой пояс: UTC + 5
| Автор | Сообщение |
|---|---|
|
news_bot ®
Стаж: 6 лет 9 месяцев |
|
|
Автор: Шилов Владимир Александрович, Руководитель направления в Департаменте анализа данных РостелекомС чего все началось: реализация решения по анализу используемости BI системВ мае 2019 года я перешел в команду BI Ростелекома и одной из первых задач была реализация отчетности по анализу посещаемости BI-отчетов во всех BI-инструментах, установленных в компании. Решение этой задачи позволило собрать любопытную статистику и сделать выводы о востребованности BI инструментов в такой крупной корпорации, как Ростелеком.В этой статье я хочу поделиться следующими результатами нашего анализа:
 Общая схема решенияПримечание: зеленым кружком выделено общее количество инсталляций, а синим кружком количество self-service инсталляций.Очевидно, что любая разработка в крупной забюрократизированной компании превращается в нечто большее чем просто «Возьми и сделай. Ты же мужик.» и выполнение простого алгоритма из 4х шагов. Я довольно сильно погряз в разработку архитектурного решения и согласования его с архитекторами, а также предоставления доступов к логам и ETL. В этой статье описывать свои трудности я детально не буду и сконцентрируюсь на конечном результате. Для начала предлагаю рассмотреть каждый BI-инструмент в отдельности.Oracle BIНа Oracle BI реализовано подавляющее большинство отчетности в виду того, что Oracle BI является самым старым инструментом и у него почти не было альтернативы очень долгое время. Ниже представлены графики динамик по следующим показателям:
  На основе графика динамики уникальных пользователей можно сделать вывод, что аудитория данной BI-системы стабилизировалась и сильного роста в 2020 году не наблюдается. Этому есть ряд причин:
 Ниже также представлены графики динамик по следующим показателям:
  Рост количества используемых OLAP-кубов за последний год не наблюдается, а также рост аудитории в BI-системе очень нестабильный со значительными всплесками. Причины такой статистики, следующие:
  Стоит отметить, что при относительно низком росте количества используемой отчетности аудитория продолжает расти. Это связанно в большей степени с тем, что доступ к отчетам предоставляется без выделения лицензий на каждого пользователя и изначально нет никаких ограничений по доступу к отчетности, то есть не надо оформлять заявку на доступ. Уже сейчас наблюдается тенденция перевода отчетов с Qlik sense на Power BI именно по причине того, что подключение новых пользователей осуществляется бесплатно. Qlik senseQlik sense была первой корпоративной BI-системой с возможностью реализации полноценных дашбордов. Именно с Qlik sense связан переход от предоставления табличных данных к графическим визуализациям в компании. Ниже представлены графики динамик по следующим показателям:
  Казалось бы, современный BI-инструмент в котором можно делать красивые BI решения на которые есть большой спрос, но сильного роста отчетности относительно Oracle BI и Analysis services не наблюдается. Тут есть несколько причин влияющие на аудиторию и количество новых отчетов:
  По графикам можно сразу сделать вывод, что первоначальных рост аудитории и количества отчетов остановился в первом квартале 2020 года и дальше наблюдается стагнация количества уникальных пользователей. Стоит отметить, что с появлением новых отчетов в сентябре используемость отчетности вернулась на свой максимум, но роста аудитории не наблюдается. Основной причиной является высокая стоимость лицензий пользователей системы, что не позволяет делать отчеты для большой аудитории. Power BI self-serviceВот мы и дошли к самому вкусному и интересному в статье. Power BI self-service появился примерно в тоже самое время, что и Qlik Sense self-service, но у данных систем есть одно существенное отличие в лицензировании. Для подключения команды разработчиков от бизнеса в Power BI self-service надо разово заплатить за лицензию на 2 ядра, что примерно равняется 35 лицензиям пользователей в Qlik sense, но лимита на пользователей в Power BI нет. То есть бизнес подразделение разово платит за одну лицензию и получает существенные возможности по реализации отчетности для большой аудитории, что несомненно сказалось показателях используемости данной системы, а также стоит отметить, что цена вхождения BI-разработчика в разработку базовых отчетов очень низкая. Ниже представлены динамики показателей аудитории и количество отчетов которые она использует:   Еще более наглядно все выглядит если показать все рассматриваемые системы вместе:   Какие критерии влияют на развитие отчетности?В части развития отчетности в BI-системах стоит выделить следующие особенности, которые описаны в таблицах:Свойство\BI-системаPower BIQlik senseAnalysis servicesOracle BIЛицензированиеБесплатно для бизнесаЛицензия на каждого пользователяБесплатно для бизнесаБесплатно для бизнесаВид визуализацииДашбордыДашбордыExcel таблицыТабличные отчеты без аналитикиТребования к квалификации BI-разработчикаНизкиеСредниеСредниеВыше среднегоКачество дизайна базовых визуализацийВысокоеСреднееОтсутствуетНизкоеПроцесс подготовки данныхЦентрализованное хранилищеЦентрализованное хранилищеЦентрализованное хранилищеЦентрализованное хранилищеПредоставление доступаВсе отчеты публичныеПо согласованию владельца лицензийПо согласованию владельца кубаПо согласованию владельца области предметной областиСвойство\BI-системаPower BI self-serviceQlik sense self-serviceЛицензированиеЛицензия на 2 ядра на одну команду разработки. Для пользователей бесплатно. Лицензия на каждого пользователя и разработчикаВид визуализацииДашбордыДашбордыТребования к квалификации BI-разработчикаНизкиеСредниеКачество дизайна базовых визуализацийВысокоеСреднееПроцесс подготовки данныхСобственные источникиСобственные источникиПредоставление доступаВсе отчеты публичныеПо согласованию владельца лицензийИсходя из результатов нашего анализа именно критерии, описанные в таблицах, оказали самое большое влияние как на скорость создания новой отчетности, так и на востребованность отчетности пользователями компании. А ключевым фактором успеха Power BI self-service стала политика лицензирования и его условная «бесплатность» для разработчиков на стороне бизнеса.ЗаключениеИз выше сказанного можно сделать вывод, что ключевыми факторами по использованию отчетности в различных BI-системах является по мере уменьшения значения фактора:
=========== Источник: habr.com =========== Похожие новости:
Анализ и проектирование систем ), #_itinfrastruktura ( IT-инфраструктура ), #_vizualizatsija_dannyh ( Визуализация данных ), #_upravlenie_produktom ( Управление продуктом ) |
|
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 25-Ноя 11:19
Часовой пояс: UTC + 5