[Компьютерное железо, Искусственный интеллект, Интернет вещей, Транспорт] Объектовая видеоаналитика на транспорте

Ответить на тему

Автор

Сообщение

news_bot ^®

Стаж: 6 лет 7 месяцев
Сообщений: 27286

news_bot ^® написал(а)
18-Авг-2020 15:32

Цитировать

Существует большое количество задач, где процессинг и обработку контента необходимо выполнять «на краю», то есть в непосредственной близости от источника данных (камер). В частности, это касается и задач объектовой видеоаналитики, например, в рамках проектов по оптимизации транспортной инфраструктуры.
Рассмотрим несколько совместных решений от российского интегратора ГК «Ларга» и разработчиков систем объектовой видеоаналитки, компании ComBox Technology.

Задача:

Реализация счетчиков пассажиров в автобусах для контроля количества проданных билетов и получения статистики загруженности транспорта в разрезе маршрута.
Контроль действий водителя (детекция курения и использования мобильных телефонов).

Условия:

Инференс нейронных сетей и исполнение аналитики «на краю» для минимизации трафика и ввиду нестабильности и высокой стоимости каналов связи.
Возможность совместного и раздельного применения различных детекторов (масштабируемость).
Передача данных для последующей обработки по мобильным каналам связи.

В качестве решения мы остановились на AAEON VPC-3350S, так как это устройство обладает следующими, важными для нас, характеристиками:

Встроенный LTE-модуль.
Возможность расширения VPU ускорителем Intel MyriadX.
Встроенная графика Intel HD Graphics 500, на которой можно использовать аппаратные декодеры и энкодеры для обработки видеопотоков.
Множество LAN-портов для прямого подключения сетевых камер без необходимости установки коммутатора.
Широкий эксплуатационный температурный диапазон (-20+70).

AAEON VPC-3350S
Рассмотрим первый кейс раздельного применения детекторов. В сфере каршеринга уже сейчас предусмотрены меры наказания в виде штрафов за курение в салонах арендованных автомобилей. Сумма штрафа варьируется в зависимости от компании от 5 до 15 тысяч рублей. В сравнении объектовой видеоаналитики и датчиков детекции дыма, датчики не улавливают вейпы и иные приспособления для курения смесей, а также практически не чувствительны при открытых окнах автомобиля. Но это не отменяет факт нарушения и, соответственно, законного наказания в виде штрафа в соответствии с договором.
Помимо этого, на транспорте можно каскадом (последовательно) применять несколько нейронных сетей, таких как детекция курения и детекция факта/времени использования мобильного телефона. Понятно, что дальше подобные системы должны масштабироваться, например, с интеграцией телематики и подключением к CAN-шине автомобиля для отслеживания использования телефонов только при движении ТС, но это уже детали интеграции.
Наглядный пример, что конкретно детектируем и что получаем в итоге:

Демонстрация на ботах в Телеграме (вход – картинка с камеры смартфона или из галереи, выход – вероятность):

Конкретно наша версия AAEON VPC-3350S укомплектована процессором Intel Atom x5 E3940. В случае необходимости можно дополнительно устанавливать платы расширения с Intel MyriadX и переносить инференс нейронных сетей на VPU без каких-либо существенных доработок, так как используется фреймворк Intel OpenVINO.
Рассмотрим скорость инференса (FP16) на различных устройствах, включая CPU, iGPU (Intel HD) AAEON VPC-3350, VPU Intel Movidius и решения других производителей:

Скорость инференса (FP16) на различных устройствах, включая CPU, iGPU (Intel HD) AAEON VPC-3350, VPU Intel Movidius и решения других производителей
Таким образом, на графике iGPU процессора Intel Atom x5 E3940 мы получаем 54 FPS, а дополняя устройство VPU Intel Movidius – еще 45 FPS. Для детекции курения достаточно 15 FPS/камера, что позволит на одной графике процессора обрабатывать до 3 потоков. Также необходимо учитывать, что помимо выделения и использования ресурсов на инференс, необходимо декодировать входящий RTSP-поток. Рассмотрим тесты декодера:

Тест декодера AAEON VPC 3350
При максимальной загрузке процессора и графики мы декодируем 30 потоков 720p при 15 FPS, то есть получаем 450 кадров для 720p. Для 1080p это около 150 кадров.
Рассмотрим состав комплекта для использования в каршеринге и основные шаги обработки данных:

На автомобиле устанавливаются IP-камеры с питанием по Ethernet, PoE (одна на водителя или две: водитель, пассажир).
Данные с камер поступают напрямую на вычислитель, в данном случае AAEON NVR 3350.
На вычислителе выполняется декодирование и нарезка видеопотока на фреймы.
Фреймы с заданным делителем кадровой частоты обрабатываются нейронной сетью.
Нейронная сеть возвращает вероятность события (курение или наличие телефона в руках). Каждое изображение пропускается через эти нейронные сети последовательно. Если одна из них выдала вероятность выше, условно, 50%, то фотография и запись об этом фиксируется во временной таблице в базе данных (в памяти).
На основе количества повторяющихся событий фиксируется время действия/нарушения.
Если время действия превышает заданную константу (10 секунд), то происходит фиксация факта события в базе данных. Событие включает следующую информацию:
- дата, время
- фотография факта нарушения
- длительность события в сек.
- идентификатор ТС (статичный GUID)
- номер камеры (0, 1)
- тип события
Данные о событиях по факту наличия 3G/LTE передаются на центральный сервер обработки данных с интеграцией с существующей информационной системой каршеринга для проведения билинговых операций.

Вернемся ко второму кейсу применения AAEON VPC-3350S – детекция и счетчик пассажиров в автобусах:

Этапы выполненных работ:

Подготовительные работы (тестирование камер, выбор фокусного расстояния, постановка граничных условий задачи):
- Разметка 600 фреймов с нескольких камер с различным фокусным расстоянием
- Обучение нейронной сети на nVidia GPU, 10 тыс. шагов
- Тестирование модели по валидационному датасету
- Конвертация модели в Intel OpenVINO
- Тестирование полученной модели в Intel OpenVINO по валидационному датасету, сравнение качества и скорости с моделью до конвертации
- Формирование сводного отчета по быстродействию модели и качественным параметрам, согласование необходимого оборудования для исполнения (камеры, CPU, VPU)
Построение архитектуры решения (край + централизованная аналитика в ДЦ)
Разметка контента, 20 тыс. фреймов
Обучение нейронной сети на nVidia GPU
Конвертация модели в OpenVINO
Разработка алгоритма траекторного анализа для выделения уникальных событий
Разработка программного обеспечения для подсчета и выгрузки событий:
- Получение и нарезка потоков на кадры с учетом делителя кадровой частоты при помощи gstreamer/ffserver
- Партируемый интерфейс настройки подключаемых камер (зона, адресация, список источников, параметры передачи в ДЦ)
- Хранение событий в mongoDB/PostgreSQL
- REST API для интеграции
Адаптация решения под аппаратную базу для инференса в ЦОД и «на краю»

Непосредственно, процесс обучения:

Интерфейс личного кабинета ГК «Ларга» для клиентов с отображением отчетов по пассажиропотоку:

Интерфейс личного кабинета ГК «Ларга» для клиентов с отображением отчетов по пассажиропотоку
Извините, данный ресурс не поддреживается. :( Личный кабинет для клиентов с отображением отчетов по пассажиропотоку
Извините, данный ресурс не поддреживается. :( Процесс детекции людей в зоне входа в автобус и разметка зон
Алгоритм работы счетчика:

Нарезка RTSP-потока на фреймы
Детекция голов на каждом фрейме
Траекторный анализ (удержание головы в кадре при движении)
Анализ направления движения на основе последовательности пересечения 3-х заранее размеченных зон
Запись событий в локальную базу данных с учетом направления движения (вход/выход)
Предоставление доступа по REST API сторонним информационным системам и системам формирования отчетности

Так как изначально предполагалось гибридное решение по инференсу нейронных сетей (краевой и обработка части данных в ЦОД), рассмотрим плюсы и минусы обоих подходов:

Таким образом, мы получаем минимальную себестоимость потока в ЦОД при централизованной обработке, но высокие требования по наличию качественных и быстрых каналов связи. Для краевых решений – более высокая себестоимость, но минимальные требования по каналам связи и отсутствие требований к их резервированию.
===========
Источник:
habr.com
===========
Похожие новости:

Теги для поиска: #_kompjuternoe_zhelezo (Компьютерное железо), #_iskusstvennyj_intellekt (Искусственный интеллект), #_internet_veschej (Интернет вещей), #_transport (Транспорт), #_nejronnye_seti (нейронные сети), #_nejroseti (нейросети), #_deep_learning, #_machine_learning, #_iskusstvennyj_intellekt (искусственный интеллект), #_ai, #_detektory (детекторы), #_klassifikatory (классификаторы), #_transport (транспорт), #_blog_kompanii_intel (
Блог компании Intel
), #_kompjuternoe_zhelezo (
Компьютерное железо
), #_iskusstvennyj_intellekt (
Искусственный интеллект
), #_internet_veschej (
Интернет вещей
), #_transport (
Транспорт
)

Профиль ЛС

Ответить на тему

Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы

Текущее время: 28-Сен 03:24
Часовой пояс: UTC + 5