[Открытые данные, Исследования и прогнозы в IT, Будущее здесь] Возглавляя тренды, часть вторая
Автор
Сообщение
news_bot ®
Стаж: 6 лет 9 месяцев
Сообщений: 27286
Всем привет! На связи Павел Красовский, заместитель директора Центра стратегических инноваций в «Ростелекоме». О важности собственной методологии для оценки перспективных технологий я писал в предыдущем посте, вкратце – нам нужно понимать, по каким именно критериям оценивается важность и актуальность того или иного тренда. Сторонние исследования базируются на непрозрачных методах, поэтому «Хочешь сделать хорошо – сделай сам».МетодологияКраеугольным камнем нашей методологии является тот очевидный факт, что на пути развития человечества, особенно в цифровую эпоху, уже аккумулировано огромное количество информации. Всё это, от знаний о технологиях промышленных революций прошлого века до самых свежих идей, уже оцифровано и где-то заботливо хранится.Причем нам было важно, чтобы для каждого этапа развития тренда существовал источник, которому мы можем доверять, иначе это ставит крест на всей методологии. Мы выявили несколько источников, которые являются самоорганизующимися и самообновляемыми системами, куда авторам выгодно размещать информацию:Научная среда.
Ученые, исследующие ту или иную область, сами заинтересованы активно писать научные статьи. Тут тебе и прокачка собственного рейтинга, и индекс цитируемости, и позиции значимых журналов, и многие другие плюшки.Изобретения и патенты.
С патентами вообще всё просто: первым запатентовал что-то стоящее – до пенсии обеспечен. И вся информация о патентах публична, т.к. все хотят застолбить поляну.Создание стартапов.
Стартапы, за редким исключением, сами заинтересованы раскрывать информацию об объёме привлеченных средств, т.к. это показывает капитализацию другим инвесторам и помогает стартапу поднять ещё раунды.Позиции крупных игроков отрасли.
Компании заинтересованы в распространении горячих вакансий, чтобы скорее их закрыть. Со СМИ все понятно – при выпуске нового продукта любая компания всеми правдами и неправдами пытается залезть в СМИ.А ещё кто-то из китов может взять и купить тот или иной стартап. Или пойти и начать делать свой стартап в этой же отрасли и по такой же теме. Это мы тоже отслеживаем как по профильным ресурсам, так и по новостям и ресурсам для HR. Причем тут HR? Когда крупная компания не покупает стартап, а решает делать свой по нужной теме, она начинает наращивать компетенции, читай – нанимать спецов из нужной отрасли. И тут уже имеет смысл оценивать базы вакансий и резюме, совокупность вакансий = спрос на технологию и тренд, совокупность резюме = предложение. Это всё можно собрать, посчитать, посмотреть на пересечения и перегибы и найти причинно-следственные связи. Так работают эти источники много лет, значит, им можно доверять.Вообще, в идеале бы глубоко изучить на эту тему социальные сети, но они пока не дают необходимого уровня доступа для сбора подобной информации. Особенно Facebook, после событий с Cambridge Analytica.Пока, за три года, мы прогнали через систему 4,8 млн. научных публикаций, 2,4 млн. патентов, информации об инвестициях на сумму $2,3 трлн, 2 млн. вакансий и 7 млн. резюме, около 1 млн. публикаций в СМИ и столько же поисковых запросов.Как оцениваемПонятное дело, что как бы сильно ни был натаскан ИИ, какие бы подробные модели мы ни строили, работа системы – это первый этап фильтрации. Всё, что мы получаем с помощью наших роботов и апишек, потом направляется на лингвистическую оценку, а затем машинное обучение всё это кластеризует и считает.Технологический стек исследования трендов:
Сначала из массива вычленяются наиболее частотные и релевантные данные, которые уже можно начинать считать трендами. По хэштегам научных статей строится подробный список трендов, который расширяется по инвестициям и патентам, там тоже довольно много слов для анализа, в итоге получается порядка 2-3 тысяч трендов. На основе кластерного анализа соединяем вершины, и машина начинает подсказывать, что вот тут и вот там вполне себе возможен тренд. На выходе уже список примерно из 200 штук вместо 3 тысяч.Эти 200 трендов мы уже отсматриваем вручную и отбрасываем какие-то откровенно общие. Допустим, выдала нам машина «интернет» или «software», такой уровень абстракции нам ни к чему. После просмотра всего списка остаются уже 100-120 трендов.
Процесс выявления трендовПроцесс выявления трендовДа, кстати, о лингвистическом анализе. Всё было бы сильно проще, если бы каждый термин использовался только в своем значении, без синонимов и аббревиатур. Но, как вы знаете, ситуация выглядит иначе. Где-то интернет вещей будет назван «интернетом вещей», в других источниках – «IoT», в патентах – «sensor network», «machine type communication» и так далее. В общем, кто во что горазд, поэтому мы адаптируем терминологию под конкретный вид источника: под каждый составляется уникальное именно для него семантическое ядро, и тренд привязывается к определенному лексикону.Потом берём полученные семантические ядра и прогоняем все данные через систему, получая количественные оценки не только по разным трендам, но и отраслям, странам, организациям.Пока мы хорошо изучили отрасль телекома (мы же из телекома), но подобное возможно для любой отрасли. К слову, мы потихоньку начинаем предоставлять различным компаниям доступ к нашему продукту.Где всё это можно использоватьВо-первых, это точно пригодится любому аналитику и стратегу в его текущей работе. Во-вторых, такое любят лица, принимающие решения. На основе всех наших данных можно строить большое количество разных графиков.Например, высокоуровневый список вида «Топ-100 чего-нибудь», который топы любят смотреть, чтобы понимать во что инвестировать. Практический смысл у таких рейтингов следующий. Есть у компании некий бюджет который она готова потратить на инновации. И ей нужно определить во что вкладывать. Искусственный интеллект? Блокчейн? Беспилотные автомобили? Или может квантовые компьютеры? Подобные списки помогают сравнивать перспективность разных технологий между собой. Конечно, после построения таких списков необходима их верификация и аналитическая интерпретация, но опираться на них вполне можно.По итогам 2019 года список «Топ-15 трендов» выглядит так:
Искусственный интеллект второй год подряд занимает 1-е место в общем рейтинге (за последний год отрыв от мобильных сетей только увеличился). В 2019 году неплохой рост показали облачные технологии, поднявшись с 10-го на 4-е место, и технологии дополненной реальности, поднявшись с 24-го на 14-е место.По каждой технологии мы готовим такие карточки:
Анализируя полученную информацию можно получить много инсайдов. Например, анализируя данные по искуcственному интеллекту и квантовым технологиям, мы обнаружили интересную закономерность: начиная с 2015 года в научных публикациях появляется термин «quantum machine learning» (использование квантовых компьютеров для анализа данных с помощью машинного обучения). А в 2019 году каждая 15-я научная статья по квантовым технологиям содержала отсылки к искусственному интеллекту. Это говорит о том, что ученые озабочены проблемой нехватки текущих вычислительных мощностей для дальнейшего развития ИИ и, судя по всему, квантовый компьютер станет решением этой проблемы.
5G за год из инновации превратилась в зрелую технологию, которая оказывает достаточно сильное влияние на другие технологии: в странах с первыми коммерческими сетями 5G увеличилась патентная и инвестиционная активность в сфере VR.
В этом году мы заметили, что за все пять лет наблюдений больше всего вырос тренд на беспилотные автомобили. Инвестиции в беспилотники держатся на высоком уровне два года подряд – значит технология достаточно созрела для массового использования. Осталось решить вопросы отсутствия необходимой инфраструктуры и нормативных ограничений.Ещё одним открытием для нас стали технологии убеждения (persuasive techniques) – смесь из привычных ИТ-сервисов и психологических приемов. В 2019 году было сразу несколько крупных инвестиций и рост вакансий в этой области. Основное применение – приложения, посвящённые здоровому образу жизни и образовательные сервисы. Другим применением является использование этих технологий в избирательных кампаниях, яркий пример: небезызвестная Cambridge Analytica в 2018 году. Похоже, что среди технологий двойного назначения прибыло.Мониторинг трендов – отличный инструмент для наблюдения за технологическим развитием стран. Вот как, например, выглядит борьба США и Китая за мировое лидерство, которое последние пять лет планомерно захватывал Китай:
Китай – абсолютный мировой лидер по патентам и научным публикациям: каждый второй патент и каждая четвертая научная статья в сфере ИКТ – китайские. Лидерство США сохраняется только в области инвестиций.Отслеживать тренды важно ещё вот почему: вы помните, как быстро на рынок ворвались Apple Watch, став первой в мире маркой по узнаваемости часов чуть ли не за два года, обогнав классические цифровые бренды? Вроде как случилось это довольно быстро и внезапно. На самом деле Apple начала активно патентовать технологии для них за десять лет до выхода первой модели часов.Поэтому нужно отслеживать технологии на ранних этапах, когда они только зарождаются. Такие технологии мы тоже научились выявлять, мы называем их «слабыми сигналами». Обычно такие технологии растут очень быстро (на десятки и сотни процентов в год), но это происходит за счёт эффекта низкой базы, и нужно перебрать очень много мусора, чтобы найти действительно стоящий тренд. Потому что на этапе наращивания научной базы ещё не понятно – будет ли обсуждаемая технология таким же прорывом, как ИИ, или это очередной МММ. Но со слабыми сигналами сложнее потому, что они очень незаметны на общем фоне, у них слишком низкие показатели.Вот, что мы выявили по итогам 2019 года:
Но вот будем ли мы с вами в скором времени пользоваться благами точной медицины или эластокалорического эффекта – вопрос остаётся открытым.Больше аналитики по итогам Мониторинга трендов цифровизации можно получить из наших ежегодных отчётов, доступных по ссылке здесь.Про планыМы продолжим делать количественные оценки трендов на ежегодной основе. К тому же этот процесс уже внедрен в стратегическое планирование «Ростелекома», на основе мониторинга трендов мы получаем список технологий, которые компания планирует в ближайшее время развивать.Каждый год стараемся увеличить количество анализируемой информации, добавляем новые характеристики, влияющие на веса в источнике, и расширяем список источников (например, думаем включить капитализацию компаний, количество просмотров статей и подобное). А также работаем над улучшением качества наших моделей и алгоритмов, чтобы минимизировать ошибки классификации и кластеризации.Рассказывая про проект на разных конференциях, мы поняли, что он востребован у наших партнёров и коллег. Поэтому сделали из него продукт для внешнего пользования, который называется TeqViser. Так что, если для ваших задач подобные аналитические инструменты представляют интерес, уверен, что совместно мы сможем сделать что-то крутое, чего до нас никто не делал.
===========
Источник:
habr.com
===========
Похожие новости:
- [Исследования и прогнозы в IT, Искусственный интеллект, IT-компании] Как выстроить процесс интеллектуальной обработки документов с помощью RPA: опыт UiPath
- [Дизайн, Научно-популярное, Космонавтика, Будущее здесь] Будущее, которое мы потеряли
- [Python, Визуализация данных, Машинное обучение] Как изменился Datalore за 2020 год: мощная онлайн-среда для Jupyter-ноутбуков
- [Научно-популярное, Астрономия] Интересные книги в жанре «науч-поп»
- [API, ERP-системы, Управление разработкой, Управление проектами, Будущее здесь] Digital-трансформация завода: CRM для ERP, роботизация БП и оживление железа, ЛК, чат-боты и dream team (ч. 2)
- [Научно-популярное, Биотехнологии, Здоровье, Будущее здесь] CRISPR для чайников, или Краткая справка по быстрому редактированию ДНК
- [Обработка изображений, Facebook API, Машинное обучение, Искусственный интеллект, Социальные сети и сообщества] Facebook улучшил описания фотографий с помощью ИИ для слабовидящих
- [Финансы в IT, Сотовая связь, IT-компании] Операторы заработали на изоляции: объём рынка интернет-доступа в России вырос на 5–6% за 2020 год
- [Python, Алгоритмы, Математика, Машинное обучение, Искусственный интеллект] Вот вообще этим не занимался, и тут раз, и Data Science
- [Сотовая связь] Строительство 5G на нестандартных частотах обойдётся в 1,1 трлн руб
Теги для поиска: #_otkrytye_dannye (Открытые данные), #_issledovanija_i_prognozy_v_it (Исследования и прогнозы в IT), #_buduschee_zdes (Будущее здесь), #_trendy (тренды), #_issledovanija_i_prognozy_v_it (исследования и прогнозы в it), #_innovatsii (инновации), #_buduschee_zdes (будущее здесь), #_tendentsii (тенденции), #_mashinnoe_obuchenie (машинное обучение), #_perspektivnye_tehnologii (перспективные технологии), #_5g, #_analiz_dannyh (анализ данных), #_iskusstvennyj_intellekt (искусственный интеллект), #_blog_kompanii_rostelekom (
Блог компании Ростелеком
), #_otkrytye_dannye (
Открытые данные
), #_issledovanija_i_prognozy_v_it (
Исследования и прогнозы в IT
), #_buduschee_zdes (
Будущее здесь
)
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 22-Ноя 15:18
Часовой пояс: UTC + 5
| Автор | Сообщение |
|---|---|
|
news_bot ®
Стаж: 6 лет 9 месяцев |
|
|
Всем привет! На связи Павел Красовский, заместитель директора Центра стратегических инноваций в «Ростелекоме». О важности собственной методологии для оценки перспективных технологий я писал в предыдущем посте, вкратце – нам нужно понимать, по каким именно критериям оценивается важность и актуальность того или иного тренда. Сторонние исследования базируются на непрозрачных методах, поэтому «Хочешь сделать хорошо – сделай сам».МетодологияКраеугольным камнем нашей методологии является тот очевидный факт, что на пути развития человечества, особенно в цифровую эпоху, уже аккумулировано огромное количество информации. Всё это, от знаний о технологиях промышленных революций прошлого века до самых свежих идей, уже оцифровано и где-то заботливо хранится.Причем нам было важно, чтобы для каждого этапа развития тренда существовал источник, которому мы можем доверять, иначе это ставит крест на всей методологии. Мы выявили несколько источников, которые являются самоорганизующимися и самообновляемыми системами, куда авторам выгодно размещать информацию:Научная среда. Ученые, исследующие ту или иную область, сами заинтересованы активно писать научные статьи. Тут тебе и прокачка собственного рейтинга, и индекс цитируемости, и позиции значимых журналов, и многие другие плюшки.Изобретения и патенты. С патентами вообще всё просто: первым запатентовал что-то стоящее – до пенсии обеспечен. И вся информация о патентах публична, т.к. все хотят застолбить поляну.Создание стартапов. Стартапы, за редким исключением, сами заинтересованы раскрывать информацию об объёме привлеченных средств, т.к. это показывает капитализацию другим инвесторам и помогает стартапу поднять ещё раунды.Позиции крупных игроков отрасли. Компании заинтересованы в распространении горячих вакансий, чтобы скорее их закрыть. Со СМИ все понятно – при выпуске нового продукта любая компания всеми правдами и неправдами пытается залезть в СМИ.А ещё кто-то из китов может взять и купить тот или иной стартап. Или пойти и начать делать свой стартап в этой же отрасли и по такой же теме. Это мы тоже отслеживаем как по профильным ресурсам, так и по новостям и ресурсам для HR. Причем тут HR? Когда крупная компания не покупает стартап, а решает делать свой по нужной теме, она начинает наращивать компетенции, читай – нанимать спецов из нужной отрасли. И тут уже имеет смысл оценивать базы вакансий и резюме, совокупность вакансий = спрос на технологию и тренд, совокупность резюме = предложение. Это всё можно собрать, посчитать, посмотреть на пересечения и перегибы и найти причинно-следственные связи. Так работают эти источники много лет, значит, им можно доверять.Вообще, в идеале бы глубоко изучить на эту тему социальные сети, но они пока не дают необходимого уровня доступа для сбора подобной информации. Особенно Facebook, после событий с Cambridge Analytica.Пока, за три года, мы прогнали через систему 4,8 млн. научных публикаций, 2,4 млн. патентов, информации об инвестициях на сумму $2,3 трлн, 2 млн. вакансий и 7 млн. резюме, около 1 млн. публикаций в СМИ и столько же поисковых запросов.Как оцениваемПонятное дело, что как бы сильно ни был натаскан ИИ, какие бы подробные модели мы ни строили, работа системы – это первый этап фильтрации. Всё, что мы получаем с помощью наших роботов и апишек, потом направляется на лингвистическую оценку, а затем машинное обучение всё это кластеризует и считает.Технологический стек исследования трендов:  Сначала из массива вычленяются наиболее частотные и релевантные данные, которые уже можно начинать считать трендами. По хэштегам научных статей строится подробный список трендов, который расширяется по инвестициям и патентам, там тоже довольно много слов для анализа, в итоге получается порядка 2-3 тысяч трендов. На основе кластерного анализа соединяем вершины, и машина начинает подсказывать, что вот тут и вот там вполне себе возможен тренд. На выходе уже список примерно из 200 штук вместо 3 тысяч.Эти 200 трендов мы уже отсматриваем вручную и отбрасываем какие-то откровенно общие. Допустим, выдала нам машина «интернет» или «software», такой уровень абстракции нам ни к чему. После просмотра всего списка остаются уже 100-120 трендов.  Процесс выявления трендовПроцесс выявления трендовДа, кстати, о лингвистическом анализе. Всё было бы сильно проще, если бы каждый термин использовался только в своем значении, без синонимов и аббревиатур. Но, как вы знаете, ситуация выглядит иначе. Где-то интернет вещей будет назван «интернетом вещей», в других источниках – «IoT», в патентах – «sensor network», «machine type communication» и так далее. В общем, кто во что горазд, поэтому мы адаптируем терминологию под конкретный вид источника: под каждый составляется уникальное именно для него семантическое ядро, и тренд привязывается к определенному лексикону.Потом берём полученные семантические ядра и прогоняем все данные через систему, получая количественные оценки не только по разным трендам, но и отраслям, странам, организациям.Пока мы хорошо изучили отрасль телекома (мы же из телекома), но подобное возможно для любой отрасли. К слову, мы потихоньку начинаем предоставлять различным компаниям доступ к нашему продукту.Где всё это можно использоватьВо-первых, это точно пригодится любому аналитику и стратегу в его текущей работе. Во-вторых, такое любят лица, принимающие решения. На основе всех наших данных можно строить большое количество разных графиков.Например, высокоуровневый список вида «Топ-100 чего-нибудь», который топы любят смотреть, чтобы понимать во что инвестировать. Практический смысл у таких рейтингов следующий. Есть у компании некий бюджет который она готова потратить на инновации. И ей нужно определить во что вкладывать. Искусственный интеллект? Блокчейн? Беспилотные автомобили? Или может квантовые компьютеры? Подобные списки помогают сравнивать перспективность разных технологий между собой. Конечно, после построения таких списков необходима их верификация и аналитическая интерпретация, но опираться на них вполне можно.По итогам 2019 года список «Топ-15 трендов» выглядит так:  Искусственный интеллект второй год подряд занимает 1-е место в общем рейтинге (за последний год отрыв от мобильных сетей только увеличился). В 2019 году неплохой рост показали облачные технологии, поднявшись с 10-го на 4-е место, и технологии дополненной реальности, поднявшись с 24-го на 14-е место.По каждой технологии мы готовим такие карточки:  Анализируя полученную информацию можно получить много инсайдов. Например, анализируя данные по искуcственному интеллекту и квантовым технологиям, мы обнаружили интересную закономерность: начиная с 2015 года в научных публикациях появляется термин «quantum machine learning» (использование квантовых компьютеров для анализа данных с помощью машинного обучения). А в 2019 году каждая 15-я научная статья по квантовым технологиям содержала отсылки к искусственному интеллекту. Это говорит о том, что ученые озабочены проблемой нехватки текущих вычислительных мощностей для дальнейшего развития ИИ и, судя по всему, квантовый компьютер станет решением этой проблемы.  5G за год из инновации превратилась в зрелую технологию, которая оказывает достаточно сильное влияние на другие технологии: в странах с первыми коммерческими сетями 5G увеличилась патентная и инвестиционная активность в сфере VR.  В этом году мы заметили, что за все пять лет наблюдений больше всего вырос тренд на беспилотные автомобили. Инвестиции в беспилотники держатся на высоком уровне два года подряд – значит технология достаточно созрела для массового использования. Осталось решить вопросы отсутствия необходимой инфраструктуры и нормативных ограничений.Ещё одним открытием для нас стали технологии убеждения (persuasive techniques) – смесь из привычных ИТ-сервисов и психологических приемов. В 2019 году было сразу несколько крупных инвестиций и рост вакансий в этой области. Основное применение – приложения, посвящённые здоровому образу жизни и образовательные сервисы. Другим применением является использование этих технологий в избирательных кампаниях, яркий пример: небезызвестная Cambridge Analytica в 2018 году. Похоже, что среди технологий двойного назначения прибыло.Мониторинг трендов – отличный инструмент для наблюдения за технологическим развитием стран. Вот как, например, выглядит борьба США и Китая за мировое лидерство, которое последние пять лет планомерно захватывал Китай:  Китай – абсолютный мировой лидер по патентам и научным публикациям: каждый второй патент и каждая четвертая научная статья в сфере ИКТ – китайские. Лидерство США сохраняется только в области инвестиций.Отслеживать тренды важно ещё вот почему: вы помните, как быстро на рынок ворвались Apple Watch, став первой в мире маркой по узнаваемости часов чуть ли не за два года, обогнав классические цифровые бренды? Вроде как случилось это довольно быстро и внезапно. На самом деле Apple начала активно патентовать технологии для них за десять лет до выхода первой модели часов.Поэтому нужно отслеживать технологии на ранних этапах, когда они только зарождаются. Такие технологии мы тоже научились выявлять, мы называем их «слабыми сигналами». Обычно такие технологии растут очень быстро (на десятки и сотни процентов в год), но это происходит за счёт эффекта низкой базы, и нужно перебрать очень много мусора, чтобы найти действительно стоящий тренд. Потому что на этапе наращивания научной базы ещё не понятно – будет ли обсуждаемая технология таким же прорывом, как ИИ, или это очередной МММ. Но со слабыми сигналами сложнее потому, что они очень незаметны на общем фоне, у них слишком низкие показатели.Вот, что мы выявили по итогам 2019 года:  Но вот будем ли мы с вами в скором времени пользоваться благами точной медицины или эластокалорического эффекта – вопрос остаётся открытым.Больше аналитики по итогам Мониторинга трендов цифровизации можно получить из наших ежегодных отчётов, доступных по ссылке здесь.Про планыМы продолжим делать количественные оценки трендов на ежегодной основе. К тому же этот процесс уже внедрен в стратегическое планирование «Ростелекома», на основе мониторинга трендов мы получаем список технологий, которые компания планирует в ближайшее время развивать.Каждый год стараемся увеличить количество анализируемой информации, добавляем новые характеристики, влияющие на веса в источнике, и расширяем список источников (например, думаем включить капитализацию компаний, количество просмотров статей и подобное). А также работаем над улучшением качества наших моделей и алгоритмов, чтобы минимизировать ошибки классификации и кластеризации.Рассказывая про проект на разных конференциях, мы поняли, что он востребован у наших партнёров и коллег. Поэтому сделали из него продукт для внешнего пользования, который называется TeqViser. Так что, если для ваших задач подобные аналитические инструменты представляют интерес, уверен, что совместно мы сможем сделать что-то крутое, чего до нас никто не делал. =========== Источник: habr.com =========== Похожие новости:
Блог компании Ростелеком ), #_otkrytye_dannye ( Открытые данные ), #_issledovanija_i_prognozy_v_it ( Исследования и прогнозы в IT ), #_buduschee_zdes ( Будущее здесь ) |
|
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 22-Ноя 15:18
Часовой пояс: UTC + 5