Цель: гарантированно распознать образ человека в зоне наблюдения.
Для поставленной цели были решены следующие задачи:
- Разработан алгоритм работы системы телевизионного обнаружения с функцией видеоаналитики.
- Захвачен видеопоток с IP-камеры.
- Разработано программное обеспечение для обнаружения образов с оптической и с тепловионной видеокамер.
Использование видеоаналитики в системах видеонаблюдения позволило повысить эффективность их работы до 90%. Но этого не достаточно при использовании систем охранного видеонаблюдения на объектах с критически важной инфраструктурой. Совместное использование оптических видеокамер с тепловизионной техникой призвано решить данную задачу. Так же важно понимать, что видит камера. Формирование сигнала тревоги должно происходить при обнаружении объекта вторжения (человека/машины), а не животного или птицы. Для снижения количества ложных тревог необходимо использовать функции распознавания образов, реализуемых с помощью технологии «Компьютерное зрение».
Видеоаналитика в режиме 24х7х365 информирует о том, что происходит сейчас, т.е. осуществляет контроль ситуации и предупреждает о событии в реальном времени на основе полученного видеопотока. В данном проекте анализ происходит от двух сенсоров: оптической и тепловизионной видеокамер. Алгоритм формирования сигнала «Тревога» от системы телевизионного обнаружения с функцией видеоаналитики будет следующий:

Рис. 1 – Алгоритм формирования сигнала «Тревога» системой телевизионного обнаружения
Содержимое первого видеопотока с оптической камеры анализируется на предмет распознавания образа человека. Параллельно содержимое второго видеопотока с тепловизионной камеры анализируется на предмет распознавания образа человека. При этом каждый кадр с оптической и с тепловизионной камеры обрабатывается нейросетью. При достоверности идентификации от каждого решения формируется сигнал тревоги.
Система видеоаналитики использует технологию «Компьютерное зрение», реализованную с помощью нейросети YOLO (You Only Look Once). YOLO — архитектура нейронных сетей, предназначенная для обнаружения объектов на изображении. Особенностью метода является то, что он делит изображение на N сеток, каждая из которых имеет сектор одинакового размера SxS. Каждая из этих N сеток отвечает за обнаружение и определение местоположения объекта, который она содержит.

Рис. 2 – Сверточная нейронная сеть
Эти сетки, в свою очередь, прогнозируют координаты ограничивающей рамки относительно координат ячейки, а также имя элемента и вероятность присутствия объекта в ячейке. Из-за того, что многие ячейки предсказывают один и тот же элемент с различными предсказаниями ограничительной рамки, этот метод значительно сокращает вычисления, поскольку и обнаружение, и распознавание обрабатываются ячейками из изображения.
YOLO делает это, изучая оценки вероятности, связанные с каждым вариантом, и выбирая вариант с наивысшим баллом. Ограничивающие рамки с наибольшим пересечением над объединением с текущей ограничивающей рамкой с высокой вероятностью затем подавляются.

Рис. 3 – Этапы распознавания образов

Рис. 4 – Пример распознавания человека по двум сенсорам (оптический и тепловизионный)
В этом проекте используется IP-камера. Для подключения IP-камеры необходимо захватить видеопоток, указав в программе ее IP-адрес (по умолчанию 192.168.1.18). Видео-поток с камеры берется при помощи протокола RTSP.