[Анализ и проектирование систем, Визуализация данных, Управление разработкой] Как селф-сервис BI убивает кровавый энтерпрайз
Автор
Сообщение
news_bot ®
Стаж: 6 лет 9 месяцев
Сообщений: 27286
Привет, меня зовут Владимир Шилов, я руководитель направления в департаменте анализа данных «Ростелекома». В мае 2019 года я пришёл в команду Business Intelligence (BI) и одной из первых задач была реализация отчётности по анализу посещаемости отчетов во всех BI-инструментах, установленных в компании. Решение этой задачи позволило собрать любопытную статистику и сделать выводы о востребованности BI-инструментов в «Ростелекоме». В этой статье я хочу поделиться следующими результатами нашего анализа:
• Какие BI системы наиболее востребованы в реалиях крупной компании;
• Какие критерии влияют на внутреннюю популярность решения;
• Какие современные тенденции пользовательского поведения можно наблюдать внутри компании и какие вопросы будут стоять перед ИТ-подразделениями в ближайшее время.
С чего всё началось: реализация решения по анализу используемости BI систем Начну с общего описания ситуации и подходов к сбору информации. У нас в компании целевыми BI-системами являются:
1. Oracle BI
2. Microsoft analysis services
3. Microsoft Power BI
4. Qlik Sense
5. ФорсайтКроме перечисленных инструментов, у нас на разных уровнях также используются более узкоспециализированные и «экзотические» решения. Но для целей нашей статьи мы опустим эти нюансы, и далее речь пойдет именно о целевых BI-системах (за исключением Форсайта), так как именно они используются в масштабах всей компании, и на наш взгляд их обзор будет более интересен читателям. Для сбора информации об использовании инструментов было разработано специализированное решение, подход к реализации которого можно представить в виде последовательности шагов:
1. Провести анализ логов BI-систем по запуску отчётов;
2. Спроектировать модель витрины данных;
3. Разработать ETL;
4. Реализовать отчет в Power BI;Решение получилось примерно следующим:
Числа в зелёных стикерах обозначают общее количество инсталляций, в синих – количество self-service инсталляций.Очевидно, что любая разработка в крупной компании с некоторой бюрократией превращается в нечто большее, чем просто «Возьми и сделай! Ты же мужик!» и выполнение простого алгоритма из четырёх шагов. Я довольно сильно погряз в разработку архитектурного решения и согласования его с архитекторами, а также предоставления доступов к логам и ETL. В этой статье описывать свои трудности я детально не буду и сконцентрируюсь на конечном результате. Для начала предлагаю рассмотреть каждый BI-инструмент в отдельности.Oracle BIНа Oracle BI реализовано подавляющее большинство отчётности в виду того, что Oracle BI является самым старым инструментом и у него почти не было альтернативы очень долгое время. Ниже представлены графики динамик по следующим показателям:
• Количество используемых уникальных отчётов за период;
• Количество уникальных пользователей.
На основе второго графика динамики уникальных пользователей можно сделать вывод, что аудитория BI-системы стабилизировалась и сильного роста в 2020 году не наблюдается. Этому есть ряд причин:
• Доступ к отчётности требует согласования, а прозрачность процесса предоставления доступа очень низкая;
• Новые предметные области появляются очень редко;
• Нет возможности создавать дашборды с аналитикой.Analysis servicesMicrosoft Analysis services в компании – это тоже достаточно распространённый инструмент, что во многом обусловлено удобной для пользователей работой в Excel. Именно этот инструмент получил наибольшее распространение в компании: он даже более популярен в МРФ (макрорегиональных филиалах), чем в корпоративном центре. Это можно увидеть на следующей диаграмме по уникальным пользователям в разрезе территорий за последние 12 месяцев:
Ниже представлены графики динамик по следующим показателям:
• Количество используемых уникальных OLAP-кубов за период;
• Количество уникальных пользователей.
Рост количества используемых OLAP-кубов за последний год не наблюдается, а рост аудитории в BI-системе нестабильный со значительными всплесками. У такой статистики несколько причин:
• OLAP-кубы в основном дорабатываются, а новые кубы появляются очень редко;
• BI-система больше предназначена для аналитиков, умеющих работать с данными, и она сложно продается широкой аудитории;
• Доступ к отчётности требует согласования с владельцем OLAP-куба.Power BIBI-система Power BI от Microsoft появилась самой последней в стеке инструментов компании, но именно к этой системе сейчас приковано самое большое внимание со стороны бизнеса по следующим причинам:
• Базовый набор визуализаций имеет хороший дизайн;
• Лицензирование осуществляется по ядрам на сервере, отсутствует лицензирование по пользователям;
• Скорость разработки отчётов довольно высокая, но стоит отметить, что на полный цикл разработки это не сильно влияет.Ниже представлены динамики показателей аудитории и количество отчётов, которые она использует:
Стоит отметить, что при относительно низком росте количества используемой отчётности аудитория продолжает расти. Это связанно в большей степени с тем, что доступ к отчётам предоставляется без выделения лицензий на каждого пользователя и изначально нет никаких ограничений по доступу, то есть оформлять заявку не нужно. Уже сейчас наблюдается тенденция перевода отчетов с Qlik sense на Power BI именно потому, что новые пользователи подключаются бесплатно. Qlik senseQlik sense была первой корпоративной BI-системой с возможностью реализации полноценных дашбордов. Именно с Qlik sense связан переход от предоставления табличных данных к графическим визуализациям в компании.
Ниже представлены графики динамик по следующим показателям:
• Количество используемых уникальных отчётов за период;
• Количество уникальных пользователей.
Казалось бы, перед нами современный BI-инструмент с высоким спросом, в котором можно создавать красивые решения, но сильного роста отчётности по сравнению с Oracle BI и Analysis services мы не наблюдаем. Тут есть несколько причин, влияющие на аудиторию и количество новых отчётов:
• Лицензия на одного пользователя стоит существенных денег, и поэтому бизнес отказывается заказывать отчетность в Qlik sense;
• Длительный период реализации отчётов от подготовки данных до реализации не позволяет быстро перенести все бизнес-процессы на новый инструмент.Теперь поговорим про инструменты Self-service. Self-service инструменты Qlik sense self-serviceВ ноябре 2019 для бизнеса мы развернули self-service и предложили бизнесу реализовывать свои отчеты на своих источниках самостоятельно. С точки зрения лицензирования было одно изменение – разработчики лицензируются отдельно. С лицензиями пользователей изменений не было по причине того, что сервера были объединены в один кластер и лицензии, соответственно, тоже.
Графики динамик количества запускаемых отчётов и уникальных пользователей в недельной динамике представлены ниже:
По графикам можно сделать вывод, что первоначальный рост аудитории и количества отчётов остановился в первом квартале 2020 года, а дальше наблюдается стагнация числа уникальных пользователей. Но стоит отметить, что с появлением новых отчётов в сентябре используемость отчётности вернулась на свой максимум, хотя роста аудитории не наблюдается. Основной причиной является высокая стоимость лицензий пользователей системы, что не позволяет делать отчёты для большой аудитории. Power BI self-serviceВот мы и дошли к самому интересному. Power BI self-service появился примерно в то же самое время, что и Qlik Sense self-service, но у данных систем есть одно существенное отличие в лицензировании. Для подключения команды разработчиков от бизнеса в Power BI self-service надо разово заплатить за лицензию на 2 ядра, что примерно равняется 35 лицензиям пользователей в Qlik sense, но лимита на пользователей в Power BI нет. То есть бизнес-подразделение разово платит за одну лицензию и получает существенные возможности по реализации отчётности для большой аудитории. Разумеется это позитивно повляло на показатели используемости данной системы, стоит отметить, что цена вхождения BI-разработчика в разработку базовых отчетов очень низкая.
Ниже представлены динамики показателей аудитории и количество отчётов, которые она использует: 
Ещё более наглядно всё выглядит если показать все рассматриваемые системы вместе:
Какие критерии влияют на развитие отчетности?В части развития отчетности в BI-системах стоит выделить следующие особенности, которые описаны в таблице:Свойство\BI-системаPower BIPower BI self-serviceQlik senseQlik sense self-serviceAnalysis servicesOracle BIЛицензированиеБесплатно для бизнесаЛицензия на 2 ядра на одну команду разработки. Для пользователей бесплатно.Лицензия на каждого пользователяЛицензия на каждого пользователя и разработчикаБесплатно для бизнесаБесплатно для бизнесаВид визуализацииДашбордыДашбордыДашбордыДашбордыExcel таблицыТабличные отчеты без аналитикиТребования к квалификации BI-разработчикаНизкиеНизкиеСредниеСредниеСредниеВыше среднегоКачество дизайна базовых визуализацийВысокоеВысокоеСреднееСреднееОтсутствуетНизкоеПроцесс подготовки данныхЦентрализованное хранилищеСобственные источникиЦентрализованное хранилищеСобственные источникиЦентрализованное хранилищеЦентрализованное хранилищеПредоставление доступаВсе отчеты публичныеВсе отчеты публичныеПо согласованию владельца лицензийПо согласованию владельца лицензийПо согласованию владельца кубаПо согласованию владельца области предметной областиИсходя из результатов нашего анализа именно критерии, описанные в таблице, оказали самое большое влияние как на скорость создания новой отчетности, так и на востребованность отчетности пользователями компании. А ключевым фактором успеха Power BI self-service стала политика лицензирования и его условная «бесплатность» для разработчиков на стороне бизнеса.ЗаключениеИз выше сказанного можно сделать вывод, что ключевыми факторами по использованию отчётности в различных BI-системах являются (расположены по мере уменьшения значимости):
• Стоимость подключения новых пользователей, особенно на большую аудиторию;
• Длительность полного цикла реализации отчёта от подготовки данных до публикации;
• Простота реализации отчётов в BI-системе.Если бизнесу предоставить возможность самостоятельно заниматься подготовкой данных или предоставить доступ к уже подготовленным данным и дать простой и дешевый инструмент для анализа, то бизнес очень быстро начнёт самостоятельно удовлетворять свои потребности в аналитике данных. При таком подходе остаётся много открытых вопросов: «Кто будет сопровождать отчёты и данные в них?», «Каким отчётам можно доверять?», «Как сделать единую систему отчётности с общей навигацией в едином стиле?».Несмотря на то, что у ИТ сейчас нет однозначных ответов на эти вопросы, очевидно, что бизнес уже сделал свой выбор в пользу Self-service инструментов, и на эти вопросы нам придется отвечать. Будем рады присоединиться к обсуждению в комментариях. О том, какие решения мы нашли для self-service контура «Ростелекома» мы расскажем вам в наших будущих статьях. Статья подготовлена командой управления данными «Ростелекома»
===========
Источник:
habr.com
===========
Похожие новости:
- [Программирование, Управление разработкой, Управление проектами, Учебный процесс в IT, Изучение языков] Как прорешать SICP: Отчёт о создании решебника для самого известного в мире задачника по программированию (перевод)
- [Анализ и проектирование систем, Открытые данные, Управление сообществом] Что происходит с молодежной наукой в России?
- [Визуализация данных, Бизнес-модели, Дизайн, Научно-популярное] Карта дизайна организационных систем и бизнес-процессов
- [Анализ и проектирование систем, Подготовка технической документации] Требования от системного аналитика и шаблоны документации
- [Python, Программирование, Совершенный код, Управление разработкой] Код-ревью в Практикуме: как мы делаем его быстрее и эффективнее
- [Программирование, Управление разработкой, Управление проектами] Оценка трудозатрат в веб- и мобильных проектах
- [Анализ и проектирование систем, Go] Telegram на go, часть 2: бинарный протокол
- [SQL, Big Data, Визуализация данных, Data Engineering] SQL для аналитики — рейтинг прикладных задач с решениями
- [PHP, Oracle, Облачные вычисления] Создаём мини PHP SDK для подписи запросов к Oracle Cloud Infrastructure API
- [Анализ и проектирование систем, Интерфейсы, Дизайн мобильных приложений, Аналитика мобильных приложений, Дизайн] Connected! Самое главное о дизайне VPN-приложения
Теги для поиска: #_analiz_i_proektirovanie_sistem (Анализ и проектирование систем), #_vizualizatsija_dannyh (Визуализация данных), #_upravlenie_razrabotkoj (Управление разработкой), #_business_intelligence, #_upravlenie_dannymi_v_rostelekom (управление данными в ростелеком), #_vizualizatsija_dannyh (визуализация данных), #_selfservice_bi, #_dashbord (дашборд), #_oracle, #_otchety (отчеты), #_olapkuby (olap-кубы), #_qlik_sense, #_power_bi, #_blog_kompanii_rostelekom (
Блог компании Ростелеком
), #_analiz_i_proektirovanie_sistem (
Анализ и проектирование систем
), #_vizualizatsija_dannyh (
Визуализация данных
), #_upravlenie_razrabotkoj (
Управление разработкой
)
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 22-Ноя 17:28
Часовой пояс: UTC + 5
| Автор | Сообщение |
|---|---|
|
news_bot ®
Стаж: 6 лет 9 месяцев |
|
|
Привет, меня зовут Владимир Шилов, я руководитель направления в департаменте анализа данных «Ростелекома». В мае 2019 года я пришёл в команду Business Intelligence (BI) и одной из первых задач была реализация отчётности по анализу посещаемости отчетов во всех BI-инструментах, установленных в компании. Решение этой задачи позволило собрать любопытную статистику и сделать выводы о востребованности BI-инструментов в «Ростелекоме». В этой статье я хочу поделиться следующими результатами нашего анализа: • Какие BI системы наиболее востребованы в реалиях крупной компании; • Какие критерии влияют на внутреннюю популярность решения; • Какие современные тенденции пользовательского поведения можно наблюдать внутри компании и какие вопросы будут стоять перед ИТ-подразделениями в ближайшее время.  С чего всё началось: реализация решения по анализу используемости BI систем Начну с общего описания ситуации и подходов к сбору информации. У нас в компании целевыми BI-системами являются: 1. Oracle BI 2. Microsoft analysis services 3. Microsoft Power BI 4. Qlik Sense 5. ФорсайтКроме перечисленных инструментов, у нас на разных уровнях также используются более узкоспециализированные и «экзотические» решения. Но для целей нашей статьи мы опустим эти нюансы, и далее речь пойдет именно о целевых BI-системах (за исключением Форсайта), так как именно они используются в масштабах всей компании, и на наш взгляд их обзор будет более интересен читателям. Для сбора информации об использовании инструментов было разработано специализированное решение, подход к реализации которого можно представить в виде последовательности шагов: 1. Провести анализ логов BI-систем по запуску отчётов; 2. Спроектировать модель витрины данных; 3. Разработать ETL; 4. Реализовать отчет в Power BI;Решение получилось примерно следующим:  Числа в зелёных стикерах обозначают общее количество инсталляций, в синих – количество self-service инсталляций.Очевидно, что любая разработка в крупной компании с некоторой бюрократией превращается в нечто большее, чем просто «Возьми и сделай! Ты же мужик!» и выполнение простого алгоритма из четырёх шагов. Я довольно сильно погряз в разработку архитектурного решения и согласования его с архитекторами, а также предоставления доступов к логам и ETL. В этой статье описывать свои трудности я детально не буду и сконцентрируюсь на конечном результате. Для начала предлагаю рассмотреть каждый BI-инструмент в отдельности.Oracle BIНа Oracle BI реализовано подавляющее большинство отчётности в виду того, что Oracle BI является самым старым инструментом и у него почти не было альтернативы очень долгое время. Ниже представлены графики динамик по следующим показателям: • Количество используемых уникальных отчётов за период; • Количество уникальных пользователей.   На основе второго графика динамики уникальных пользователей можно сделать вывод, что аудитория BI-системы стабилизировалась и сильного роста в 2020 году не наблюдается. Этому есть ряд причин: • Доступ к отчётности требует согласования, а прозрачность процесса предоставления доступа очень низкая; • Новые предметные области появляются очень редко; • Нет возможности создавать дашборды с аналитикой.Analysis servicesMicrosoft Analysis services в компании – это тоже достаточно распространённый инструмент, что во многом обусловлено удобной для пользователей работой в Excel. Именно этот инструмент получил наибольшее распространение в компании: он даже более популярен в МРФ (макрорегиональных филиалах), чем в корпоративном центре. Это можно увидеть на следующей диаграмме по уникальным пользователям в разрезе территорий за последние 12 месяцев:  Ниже представлены графики динамик по следующим показателям: • Количество используемых уникальных OLAP-кубов за период; • Количество уникальных пользователей.   Рост количества используемых OLAP-кубов за последний год не наблюдается, а рост аудитории в BI-системе нестабильный со значительными всплесками. У такой статистики несколько причин: • OLAP-кубы в основном дорабатываются, а новые кубы появляются очень редко; • BI-система больше предназначена для аналитиков, умеющих работать с данными, и она сложно продается широкой аудитории; • Доступ к отчётности требует согласования с владельцем OLAP-куба.Power BIBI-система Power BI от Microsoft появилась самой последней в стеке инструментов компании, но именно к этой системе сейчас приковано самое большое внимание со стороны бизнеса по следующим причинам: • Базовый набор визуализаций имеет хороший дизайн; • Лицензирование осуществляется по ядрам на сервере, отсутствует лицензирование по пользователям; • Скорость разработки отчётов довольно высокая, но стоит отметить, что на полный цикл разработки это не сильно влияет.Ниже представлены динамики показателей аудитории и количество отчётов, которые она использует:   Стоит отметить, что при относительно низком росте количества используемой отчётности аудитория продолжает расти. Это связанно в большей степени с тем, что доступ к отчётам предоставляется без выделения лицензий на каждого пользователя и изначально нет никаких ограничений по доступу, то есть оформлять заявку не нужно. Уже сейчас наблюдается тенденция перевода отчетов с Qlik sense на Power BI именно потому, что новые пользователи подключаются бесплатно. Qlik senseQlik sense была первой корпоративной BI-системой с возможностью реализации полноценных дашбордов. Именно с Qlik sense связан переход от предоставления табличных данных к графическим визуализациям в компании. Ниже представлены графики динамик по следующим показателям: • Количество используемых уникальных отчётов за период; • Количество уникальных пользователей.   Казалось бы, перед нами современный BI-инструмент с высоким спросом, в котором можно создавать красивые решения, но сильного роста отчётности по сравнению с Oracle BI и Analysis services мы не наблюдаем. Тут есть несколько причин, влияющие на аудиторию и количество новых отчётов: • Лицензия на одного пользователя стоит существенных денег, и поэтому бизнес отказывается заказывать отчетность в Qlik sense; • Длительный период реализации отчётов от подготовки данных до реализации не позволяет быстро перенести все бизнес-процессы на новый инструмент.Теперь поговорим про инструменты Self-service. Self-service инструменты Qlik sense self-serviceВ ноябре 2019 для бизнеса мы развернули self-service и предложили бизнесу реализовывать свои отчеты на своих источниках самостоятельно. С точки зрения лицензирования было одно изменение – разработчики лицензируются отдельно. С лицензиями пользователей изменений не было по причине того, что сервера были объединены в один кластер и лицензии, соответственно, тоже. Графики динамик количества запускаемых отчётов и уникальных пользователей в недельной динамике представлены ниже:   По графикам можно сделать вывод, что первоначальный рост аудитории и количества отчётов остановился в первом квартале 2020 года, а дальше наблюдается стагнация числа уникальных пользователей. Но стоит отметить, что с появлением новых отчётов в сентябре используемость отчётности вернулась на свой максимум, хотя роста аудитории не наблюдается. Основной причиной является высокая стоимость лицензий пользователей системы, что не позволяет делать отчёты для большой аудитории. Power BI self-serviceВот мы и дошли к самому интересному. Power BI self-service появился примерно в то же самое время, что и Qlik Sense self-service, но у данных систем есть одно существенное отличие в лицензировании. Для подключения команды разработчиков от бизнеса в Power BI self-service надо разово заплатить за лицензию на 2 ядра, что примерно равняется 35 лицензиям пользователей в Qlik sense, но лимита на пользователей в Power BI нет. То есть бизнес-подразделение разово платит за одну лицензию и получает существенные возможности по реализации отчётности для большой аудитории. Разумеется это позитивно повляло на показатели используемости данной системы, стоит отметить, что цена вхождения BI-разработчика в разработку базовых отчетов очень низкая. Ниже представлены динамики показателей аудитории и количество отчётов, которые она использует:  Ещё более наглядно всё выглядит если показать все рассматриваемые системы вместе:   Какие критерии влияют на развитие отчетности?В части развития отчетности в BI-системах стоит выделить следующие особенности, которые описаны в таблице:Свойство\BI-системаPower BIPower BI self-serviceQlik senseQlik sense self-serviceAnalysis servicesOracle BIЛицензированиеБесплатно для бизнесаЛицензия на 2 ядра на одну команду разработки. Для пользователей бесплатно.Лицензия на каждого пользователяЛицензия на каждого пользователя и разработчикаБесплатно для бизнесаБесплатно для бизнесаВид визуализацииДашбордыДашбордыДашбордыДашбордыExcel таблицыТабличные отчеты без аналитикиТребования к квалификации BI-разработчикаНизкиеНизкиеСредниеСредниеСредниеВыше среднегоКачество дизайна базовых визуализацийВысокоеВысокоеСреднееСреднееОтсутствуетНизкоеПроцесс подготовки данныхЦентрализованное хранилищеСобственные источникиЦентрализованное хранилищеСобственные источникиЦентрализованное хранилищеЦентрализованное хранилищеПредоставление доступаВсе отчеты публичныеВсе отчеты публичныеПо согласованию владельца лицензийПо согласованию владельца лицензийПо согласованию владельца кубаПо согласованию владельца области предметной областиИсходя из результатов нашего анализа именно критерии, описанные в таблице, оказали самое большое влияние как на скорость создания новой отчетности, так и на востребованность отчетности пользователями компании. А ключевым фактором успеха Power BI self-service стала политика лицензирования и его условная «бесплатность» для разработчиков на стороне бизнеса.ЗаключениеИз выше сказанного можно сделать вывод, что ключевыми факторами по использованию отчётности в различных BI-системах являются (расположены по мере уменьшения значимости): • Стоимость подключения новых пользователей, особенно на большую аудиторию; • Длительность полного цикла реализации отчёта от подготовки данных до публикации; • Простота реализации отчётов в BI-системе.Если бизнесу предоставить возможность самостоятельно заниматься подготовкой данных или предоставить доступ к уже подготовленным данным и дать простой и дешевый инструмент для анализа, то бизнес очень быстро начнёт самостоятельно удовлетворять свои потребности в аналитике данных. При таком подходе остаётся много открытых вопросов: «Кто будет сопровождать отчёты и данные в них?», «Каким отчётам можно доверять?», «Как сделать единую систему отчётности с общей навигацией в едином стиле?».Несмотря на то, что у ИТ сейчас нет однозначных ответов на эти вопросы, очевидно, что бизнес уже сделал свой выбор в пользу Self-service инструментов, и на эти вопросы нам придется отвечать. Будем рады присоединиться к обсуждению в комментариях. О том, какие решения мы нашли для self-service контура «Ростелекома» мы расскажем вам в наших будущих статьях. Статья подготовлена командой управления данными «Ростелекома» =========== Источник: habr.com =========== Похожие новости:
Блог компании Ростелеком ), #_analiz_i_proektirovanie_sistem ( Анализ и проектирование систем ), #_vizualizatsija_dannyh ( Визуализация данных ), #_upravlenie_razrabotkoj ( Управление разработкой ) |
|
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 22-Ноя 17:28
Часовой пояс: UTC + 5