[Habr, Хакатоны, IT-компании] ML Hackathon или Как мы решили хакнуть систему
Автор
Сообщение
news_bot ®
Стаж: 6 лет 9 месяцев
Сообщений: 27286
Machine Learning сейчас одна из самых популярных тем и отношение к ней неоднозначно: где-то уже внедрены и активно работают решения на базе AI, а кто-то до сих пор считает ML эзотерикой. Вне зависимости от позиции, при правильном применении и подходе ML позволяет решать многие инженерные задачи, которые невозможно или не оптимально решать классическим алгоритмическим программированием.
В IPONWEB накоплен многолетний опыт использования машинного обучения для предсказания кликов и конверсий, разработаны уникальные инструменты и процессы. Было бы глупо не воспользоваться всем этим для решения других инженерных задач.Михаил Бенюхис, CTO
Machine learning, технология значимость которой сложно переоценить, активно используется в IPONWEB в реализации практически всех продуктов. И именно поэтому привлечение внимания к ML и ее продвижение стали одними из основных причин почему ML Хакатону суждено было быть.Всем нам давно известен старый добрый формат Kaggle для испытания своих ML навыков: у участников есть все необходимое от задачи и заранее собранных данных до свободы в выборе методов. Цель одна - создать лучшую модель с предопределенной метрикой качества - все прозрачно и понятно. Но вот пригодно в основном только для ML инженеров и специалистов Data Science.
Мы же решили рискнуть и совместить форматы Kaggle и Hackathon, тем самым открывая доступ к Хакатону не только для ML и Data Science специалистов, но и для всех заинтересованных. Это был эксперимент и, если вы вдруг решитесь на что-то подобное, наши наблюдения, рекомендации к проведению и выводы с нетерпением ждут вас далее по тексту. Ну что, погнали?Что по формату?У нас было два трека:
- Закрытый, приближенный к формату Kaggle: участникам предоставлялись заранее сформулированные задачи и подготовленный датасет.
- Команды в Открытом треке могли принести свои задачи и самостоятельно собрать датасет, что стало прекрасной возможностью для участников пройти весь путь от обнаружения реальной проблемы/задачи до попытки решить ее с помощью инструментов ML.
Для начала участникам предстояло собрать команды. На этот этап было выделено достаточно времени, чтобы все смогли подойти к первой, иногда самой важной, задаче поиска единомышленников, осознанно и с расчетом. На практике стало понятно, что наиболее сбалансированными оказались команды, имеющие кросс-функциональный состав: Data Scientists, Software engineers, Python или Lua developers, Technical Project и Product Managers и др.
Итак, Вывод 1: Команды точно должны быть командами. Конечно, допускается участие соло-команд, но как же в таком случае командный драйв, сила коллективного разума и нетворкинг? Есть смысл собираться в кросс-функциональные команды, которые включают специалистов разной экспертизы и уровня: Product Manager позволит взглянуть на задачу комплексно, узконаправленный технический гуру внесет глубокое знание технологии и инструментов, а Project Manager поможет с организацией и распределением сил команды.
В разношерстной команде у всех есть свое отношение к проблеме и все смотрят на нее со своей стороны. Круто, что команда собралась практически рандомно, и если бы не хакатон, мы бы никогда и не общались, наверное)).Оксана Деева, Lua Developer
Praemonitus, praemunitus Так как участие в ML Хакатоне было открыто и доступно для всех, вне зависимости от степени подготовки и уровня владения навыками ML, предварительное обучение и всесторонняя экспертная помощь участникам стали приоритетами в подготовке к Хакатону.Мы начали с того, что постарались полностью снарядить участников открытого трека знаниями о том, как верно ставить задачу для ML, и что не все задачи можно, а главное нужно, решать средствами машинного обучения. ML - не панацея и не волшебная палочка, а технология, которая может быть уместна или нет.
Очередной раз убедился, что все-таки решение реальной задачи важнее, чем применение какой-то технологии.Тимур Титов, Technical PM
Также всем участникам Хакатона было доступно базовое обучение по ML. Мы рассмотрели разные курсы и в итоге остановились на курсах Coursera:
- Математика и Python для анализа данных
- Machine Learning with TensorFlow on Google Cloud Platform Specialization
Вывод 2: Подумайте, вернее, обязательно подумайте над предварительным обучением и просвещением сотрудников по технологии, используемой в хакатоне. Это позволит участникам сэкономить время на понимании базовых вещей, а команды начнут оперировать техническими понятиями, говоря друг с другом на одном языке.
Как мы и ожидали, самой сложной частью для нас оказался сбор данных. Причем, уже выбрав данные, было непросто не только найти куда и как их загрузить, но и понять в каком виде и формате они должны быть, как их закодировать так, чтобы выбранные алгоритмы могли их распознать. Хакатон устроен так, что спросить было у кого, но для того чтобы это сделать все равно нужно серьезно погрузиться в тему, а это уже не так просто. Самое ценное - ощущение, что все это возможно, все эти алгоритмы и коды посильны, можно действительно стараться применять эти инструменты дальше в работе.Евгения Глейзер, Technical Account Manager
Ready? Steady? Go!Что дальше? А дальше были два дня предметной и насыщенной работы.Тут сложно написать какое-то откровение, кроме как - Не забывайте покормить участников, ведь умственная работа крайне энергозатратна))
Были сложности в практическом применении навыков, мы банально не умели нормально пользоваться Jupyter Notebook и всей предоставленной инфраструктурой, до какой-то математики дойти не успели. Возможно, следовало собрать команду, чтобы был кто-то со знаниями ml, но у нас была команда for fun. Было здорово что получили какой-то небольшой позитивный результат и вообще это было весело!Даниил Азарнов, Scala Developer
Вывод 3: Смиритесь с тем, что вам не хватит времени вне зависимости от того, сколько часов и дней вы на это заложите. У участников было два дня, а у кого-то даже две ночи. И все равно этого было недостаточно. Мы остановились на двух днях Хакатона, выделив третий день на презентацию результатов и награждение победителей.Ах, да. Про победителей у нас есть Вывод 4: Как выбирать победителей и кого же в итоге награждать? Наиболее очевидное “наградить по команде в каждом треке” лежит на поверхности и первым приходит на ум. Однако, следует учитывать различный уровень подготовки участников и награждать победителей в разном весе: отдельно новичков без опыта ML и продвинутых гуру. Все по справедливости)Ну и в качестве заключения
Мы верим, что Хакатон больше про удовольствие от свободы творчества, от командной работы и от создания нового. И тут задача любой организации - помочь этому всему случиться, а не навязывать ярлыки и штампы, загоняя участников в жесткие рамки. Вы вольны воспользоваться нашим опытом и ориентироваться на наши выводы или сделать все на свой манер, главное помните, куда важнее - это Have fun!
Прокручивая в голове все ситуации, которые были связаны с хакатоном и в течение самого мероприятия, наверное, можно поставить во главу угла пару вещей, которые были самыми сложными для меня. Во-первых, непростым решением было подать заявку и спасибо всем тем, кто подтолкнул ввязаться в эту историю. А второй сложной вещью было восприятие временных рамок ивента, когда модель не работает, дедлайн близко, а мозг готов взорваться. Но игра стоила свеч, лайтовая и клевая атмосфера вокруг, возможность переключиться от повседневной рутины в область, с которой постоянно сталкиваешься, но не работаешь напрямую, и какой-никакой результат и особенно интересно послушать людей, которые решали ту же задачу, но совершенно другим способом.Алексей Могильников, Python Developer
===========
Источник:
habr.com
===========
Похожие новости:
- [Информационная безопасность, Хранение данных, Законодательство в IT, IT-компании] «Яндекс» открыл доступ пользователям к инструменту для управления своими данными и их удаления
- [Законодательство в IT, Финансы в IT, IT-компании] «Тинькофф Банк» подал иск к «Билайн» на 436,8 млн рублей
- [Конференции, Научно-популярное, IT-компании] На ринг выходят IT-тяжеловесы из GlobalLogic, Parimatch Tech, ISAC, SHALB и HealthJoy: в Киеве пройдет DevOps баттл
- [Управление персоналом, IT-компании] Доверяй, но проверяй: когда слежка за сотрудниками просто необходима
- [Исследования и прогнозы в IT, Бизнес-модели, Статистика в IT, Финансы в IT, IT-компании] Банки потеряют своих клиентов. Банки не потеряют своих клиентов
- [Управление персоналом, Карьера в IT-индустрии, IT-компании] Нижний Новгород: новая роль технологического хаба для нестоличного города
- [Управление продуктом, Финансы в IT, Будущее здесь, IT-компании] Глава «Почты России» рассказал про стратегию развития до 2030 года
- [Хранилища данных, Социальные сети и сообщества, IT-компании] Newsru.com закрылся после 21 года работы
- [Венчурные инвестиции, Развитие стартапа, Финансы в IT, IT-компании] Новости IT и инвестиций: больше контента на ivi, больше рекламы на YouTube
- [IT-инфраструктура, Облачные сервисы, Сетевое оборудование, IT-компании] «Ростелеком» восстановил связь после аварии на Камчатке
Теги для поиска: #_habr, #_hakatony (Хакатоны), #_itkompanii (IT-компании), #_iponweb, #_hackathon, #_ml, #_team, #_blog_kompanii_iponweb (
Блог компании IPONWEB
), #_habr, #_hakatony (
Хакатоны
), #_itkompanii (
IT-компании
)
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 22-Ноя 08:27
Часовой пояс: UTC + 5
| Автор | Сообщение |
|---|---|
|
news_bot ®
Стаж: 6 лет 9 месяцев |
|
 Machine Learning сейчас одна из самых популярных тем и отношение к ней неоднозначно: где-то уже внедрены и активно работают решения на базе AI, а кто-то до сих пор считает ML эзотерикой. Вне зависимости от позиции, при правильном применении и подходе ML позволяет решать многие инженерные задачи, которые невозможно или не оптимально решать классическим алгоритмическим программированием. В IPONWEB накоплен многолетний опыт использования машинного обучения для предсказания кликов и конверсий, разработаны уникальные инструменты и процессы. Было бы глупо не воспользоваться всем этим для решения других инженерных задач.Михаил Бенюхис, CTO
 Мы же решили рискнуть и совместить форматы Kaggle и Hackathon, тем самым открывая доступ к Хакатону не только для ML и Data Science специалистов, но и для всех заинтересованных. Это был эксперимент и, если вы вдруг решитесь на что-то подобное, наши наблюдения, рекомендации к проведению и выводы с нетерпением ждут вас далее по тексту. Ну что, погнали?Что по формату?У нас было два трека:
 Итак, Вывод 1: Команды точно должны быть командами. Конечно, допускается участие соло-команд, но как же в таком случае командный драйв, сила коллективного разума и нетворкинг? Есть смысл собираться в кросс-функциональные команды, которые включают специалистов разной экспертизы и уровня: Product Manager позволит взглянуть на задачу комплексно, узконаправленный технический гуру внесет глубокое знание технологии и инструментов, а Project Manager поможет с организацией и распределением сил команды. В разношерстной команде у всех есть свое отношение к проблеме и все смотрят на нее со своей стороны. Круто, что команда собралась практически рандомно, и если бы не хакатон, мы бы никогда и не общались, наверное)).Оксана Деева, Lua Developer
Очередной раз убедился, что все-таки решение реальной задачи важнее, чем применение какой-то технологии.Тимур Титов, Technical PM
Как мы и ожидали, самой сложной частью для нас оказался сбор данных. Причем, уже выбрав данные, было непросто не только найти куда и как их загрузить, но и понять в каком виде и формате они должны быть, как их закодировать так, чтобы выбранные алгоритмы могли их распознать. Хакатон устроен так, что спросить было у кого, но для того чтобы это сделать все равно нужно серьезно погрузиться в тему, а это уже не так просто. Самое ценное - ощущение, что все это возможно, все эти алгоритмы и коды посильны, можно действительно стараться применять эти инструменты дальше в работе.Евгения Глейзер, Technical Account Manager
Были сложности в практическом применении навыков, мы банально не умели нормально пользоваться Jupyter Notebook и всей предоставленной инфраструктурой, до какой-то математики дойти не успели. Возможно, следовало собрать команду, чтобы был кто-то со знаниями ml, но у нас была команда for fun. Было здорово что получили какой-то небольшой позитивный результат и вообще это было весело!Даниил Азарнов, Scala Developer
 Вывод 3: Смиритесь с тем, что вам не хватит времени вне зависимости от того, сколько часов и дней вы на это заложите. У участников было два дня, а у кого-то даже две ночи. И все равно этого было недостаточно. Мы остановились на двух днях Хакатона, выделив третий день на презентацию результатов и награждение победителей.Ах, да. Про победителей у нас есть Вывод 4: Как выбирать победителей и кого же в итоге награждать? Наиболее очевидное “наградить по команде в каждом треке” лежит на поверхности и первым приходит на ум. Однако, следует учитывать различный уровень подготовки участников и награждать победителей в разном весе: отдельно новичков без опыта ML и продвинутых гуру. Все по справедливости)Ну и в качестве заключения  Мы верим, что Хакатон больше про удовольствие от свободы творчества, от командной работы и от создания нового. И тут задача любой организации - помочь этому всему случиться, а не навязывать ярлыки и штампы, загоняя участников в жесткие рамки. Вы вольны воспользоваться нашим опытом и ориентироваться на наши выводы или сделать все на свой манер, главное помните, куда важнее - это Have fun! Прокручивая в голове все ситуации, которые были связаны с хакатоном и в течение самого мероприятия, наверное, можно поставить во главу угла пару вещей, которые были самыми сложными для меня. Во-первых, непростым решением было подать заявку и спасибо всем тем, кто подтолкнул ввязаться в эту историю. А второй сложной вещью было восприятие временных рамок ивента, когда модель не работает, дедлайн близко, а мозг готов взорваться. Но игра стоила свеч, лайтовая и клевая атмосфера вокруг, возможность переключиться от повседневной рутины в область, с которой постоянно сталкиваешься, но не работаешь напрямую, и какой-никакой результат и особенно интересно послушать людей, которые решали ту же задачу, но совершенно другим способом.Алексей Могильников, Python Developer
=========== Источник: habr.com =========== Похожие новости:
Блог компании IPONWEB ), #_habr, #_hakatony ( Хакатоны ), #_itkompanii ( IT-компании ) |
|
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 22-Ноя 08:27
Часовой пояс: UTC + 5