Page tree
Skip to end of metadata
Go to start of metadata

Платформа НЕЙРОСС имеет встроенный механизм ситуационного и сервисного видеоанализа. 

Переход к функционалу: Рабочий стол НЕЙРОСС > Настройка видеорегистраторов > Вкладка Настройка видеоаналитики.

Общие сведения

Платформа НЕЙРОСС реализует современные алгоритмы компьютерного зрения или нейронные сети для быстрого и качественного анализа видеопотока ONVIF/RTSP-камер. Встроенные детекторы ситуационной и сервисной аналитики предназначены, соответственно, для выявления и предупреждения нарушений и контроля качества видеосигнала.

Быстрые и точные алгоритмы видеоанализа позволяют автоматически определять на видео тревожные ситуации:

  • пересечение линий с подсчётом числа пересечений, в том числе в заданном направлении;
  • вход объекта в запрещённую зону, длительное пребывание в зоне;
  • движение в запрещённом направлении, движение с запрещенной скоростью;
  • обнаружение оставленных предметов (чемоданы, сумки, рюкзаки и проч.);
  • обнаружение и распознавание лиц и распознавание номеров автотранспорта (с использованием средств сторонних производителей).

Сервисная видеоаналитика в части контроля качества видеосигнала детектирует:

  • расфокусировку,
  • засветку,
  • закрытие объектива (заслонку),
  • изменение зоны обзора и тряску камеры.

На текущий момент в Платформе реализованы и развиваются независимо друг от друга два подхода к выделению образов в видеопотоке для охранной видеоаналитики:

  1. «Алгоритмический» — на базе алгоритмов компьютерного зрения и определения разницы между кадром и автоматически сформированной опорной сценой. Алгоритмическая видеоналитика выявляет закономерности по изменениям нескольких последовательных кадров согласно заложенным алгоритмам. В основе алгоритмической видеоналитики – простое обнаружение движения. При изменении цвета группы пикселей, механизм ПО будет рассматривать это событие как нечто движущееся в зоне обзора. Модуль алгоритмической видеоаналитики использует только CPU, характеризуется высокой производительностью, но очень требователен к зоне обзора. Не рекомендуется к использованию на открытых объектах, подверженных сильным ветрам и другим природным возмущениям.
  2. «Нейросетевой» — на базе предварительно обученной нейронной сети. Нейросетевая видеоналитика позволяет выполнять анализ даже одного кадра на основе распознавания образов (паттернов) людей, машин и других классов объектов. Нейросетевой модуль гораздо меньше подвержен ложным срабатываниям, рекомендуется для открытых объектов, но гораздо более требователен к производительности компьютера: работает только на видеокартах производства nVidia (+CPU), требует предварительно установленных драйверов nVidia.

В общем случае на производительность влияет размер анализируемого изображения. Для алгоритмической аналитики рекомендуется использовать low (320x240 px) и middle (640x480 px) профили, для нейросетевой - middle-профили (640x480 px). На слишком низких разрешениях распознавание образов становится менее надёжным. Возможность тонкой настройки снижает количество ложных срабатываний. Обеспечивается возможность настройки области интереса и правил срабатывания. Для охранной аналитики и детектора оставленных предметов возможно использовать только один модуль аналитики. При использовании алгоритмической аналитики есть возможность настроить перспективу сцены (минимальные и максимальные размеры детектируемого объекта вблизи (слева и справа отдельно) и вдали, есть возможность настройки перспективы сцены и размеров объектов и оставленных предметов независимо.

Сервисная аналитика реализуется в «алгоритмическом» модуле.

Производительность видеоанализа в большой степени зависит от параметров сцены, количества объектов, конфигурации профилей камеры.

  1. На 12-ядерном Xeon алгоритмическая аналитика «держит» 60 каналов low profile в real-time (20 fps).
  2. На нём же с видеокартой GeForce GTX 1080Ti для анализа одного midlle profile при помощи «нейросетей» в real-time (24 fps) требуется 100% ресурса 1 CPU и 80% ресурса 1 GPU

Однако, real-time анализ для видеоаналитки необязателен, хотя и повышает отслеживания (низкий FPS повышает вероятность потери объекта). Производительность обратно пропорциональна размеру и количеству кадров: прореживание 5 в секунду позволяет получить анализ 5 видеопотоков при той же загрузке GPU (но с чуть большей загрузкой CPU). НО есть ограничение на количество оперативной памяти в видеокарте. Для анализа каждого потока необходимо выделить минимум 3 Гб этой памяти, вне зависимости от настройки прореживания кадров. 

Запуск видеоанализа

  1. Выберите узел Платформа НЕЙРОСС, для которого требуется запустить работу видеоаналитики. Для этого перейдите к разделу Настройка видеорегистраторовНастройка записи и укажите IP-адрес узла. При авторизации под учётной записью root возможно управление только текущим узлом. Для настройки нескольких узлов из единого окна авторизуйтесь под «облачной» учётной записью.

    При наличии в сети нескольких узлов Платформа НЕЙРОСС (с прямыми каналами камер и «проксированными» медиаисточниками соответственно, рекомендуется запускать видеоанализ на более «мощном» узле. Рамки видеоналитики передаются по проксированному каналу поверх медиаданных.

  2. Перейдите к вкладке Настройка видеоналитики, выберите камеру и профиль (при наличии нескольких профилей), по которому будет проводится видеоанализ, включите требуемый тип/типы видеонализа и настройте параметры согласно описанию ниже.
  3. Нажмите на кнопку Сохранить.

Если вы наблюдаете проблемы при отображении видео в окне настройки правил видеонализа (темный экран, задержка отображения рамок видеоналитики), откройте интерфейс приложения посредством браузера Enternet Explorer, предварительно скачав и установив плагин для просмотра видео (загружается напрямую с узла Платформа НЕЙРОСС по ссылке на страницы Основные настройки и Управление веб-интерфейса), либо установите АРМ НЕЙРОСС, в состав которого входит данный плагин (ссылка дана в окне раздела напрямую).

  1. Нажмите на ссылку скачать и сохраните файл установщика на локальный компьютер. Закройте окно браузера.
  2. Запустите на выполнение сохранённый файл. Установите АРМ НЕЙРОСС согласно инструкции.
  3. Повторно откройте приложение настройки видеоналитики и выполните требуемые действия.

Охранная аналитика и Детектор оставленных предметов

  1. Для запуска видеоанализа установите флаг в соответствующем блоке и настройте параметры.

     Раскрыть | Параметры охранной аналитики
    ПараметрДиапазон значенийЗначение по умолчаниюПримечание

    Охранная аналитика 

    Модуль аналитики
    • Алгоритмический (CPU)
    • Нейросетевой (GPU)

    Алгоритмический (CPU)

    Модуль нейросетевой аналитики использует графический процессор, поэтому предъявляет строгие требования к видеокарте и установленным драйверам. По умолчанию модуль нейросетевой аналитики не установлен. После запуска предоставляемого по требованию пакета установки (DEB-пакета), модуль становится доступен автоматически. Модуль алгоритмической видеоналитики использует центральный процессор, предъявляет меньше требований к ресурсам, но менее точен.

    Для охранной аналитики и детектора оставленных предметов возможно использовать только один модуль аналитики.

    Чувствительность1 – 100%50%
    • В случае использования алгоритмического модуля — это интегральный (общий) параметр, который позволяет задать порог, до достижения которого отсекаются все случайные возмущения (объекты появились на очень короткий промежуток времени, случайные тени, блики света); позволяет варьировать минимальное количество изменений в соседних кадрах, необходимо для детекции движения; подбирается согласно специфики сцены.
    • В случае использования нейросетевого модуля —  это величина, обратная confidence rate («уверенности» нейросети или минимальной вероятности того, что объект распознан точно). Чем выше чувствительность, тем ниже может быть планка confidence rate у выделенного объекта, чтобы он был допущен до следующего этапа трекинга. Чувствительность=100% минус порог (минимальная вероятность, которая будет пропущена модулем аналитики). При 100% чувствительности определяется максимальное количество ложных срабатываний. Например, если минимальная вероятность определения типа объекта – 25%, то чувствительность нужно задать равную 75%.
    Время дребезгаВремя в сек.1 сек.Период времени, в течение которого несколько последовательно происходящих однотипных событий будут интерпретироваться модулем аналитики как одно. Определяет минимальное время между публикуемыми событиями о сработке правил. Предотвращает дублирование тревог в силу колебаний видеоизображения.
    Прореживание кадровКоличество кадров в сек.0Определяет количество кадров в секунду, которое подаётся на вход модулю аналитики. Если указан 0, используются все кадры из потока. Вне зависимости от этой настройки, в случае, если модулю аналитики не хватает вычислительных ресурсов, чтобы анализировать поступающий поток, прореживание кадров осуществляется автоматически: кадр не подаётся на вход модулю видеоанализа, но подается на декодирование изображения, чтобы не страдало качество «картинки». Таким образом, даже при высокой загрузке сохраняется возможность анализа в real time, но с поправкой на то, что часть кадров будет отброшена. 

    Детектор оставленных предметов

    Задача детекции оставленных предметов тесно связана с задачей треккинга, поэтому, включение детектора оставленных предметов автоматически включает охранную аналитику. Полноценно любые произвольные оставленные предметы можно детектировать только в алгоритмической видеоаналитике (с построением модели фона и пр.). Однако, нейросетевая аналитика умеет распознавать чемоданы и рюкзаки, а также отслеживать их на сцене в качестве оставленных предметов, но вероятность того, что она будет корректно распознавать бесформенные мешки, всё равно довольно низка.

    Для алгоритмической аналитики есть возможность «базовой» и «расширенной» настройки оставленных предметов. При базовой настройке ряд параметров задаётся автоматически, в том числе при помощи эвристик и с учётом текущей опорной сцены. При расширенной настройке данные параметры жёстко фиксируются пользователем.

    Порог срабатывания

    Время в формате
    ЧЧ:ММ;СС

    00:00:00

    Период времени, по истечении которого предмет считается оставленным. Для ввода времени можно воспользоваться элементом Календарь, для этого нажмите на кнопку  и используйте стрелки вверх/вниз.

    КэшНакопленный кэш оставленных предметов в кадре. Для очистки кэша нажмите сбросить.

    Дополнительные параметры

    Только для модуля алгоритмической аналитики. Если дополнительные параметры не настроены, их значения выбираются автоматически в зависимости от основных параметров (чувствительность и т.д.).
    Максимальное пиксельное расстояниеОт 0 до 25516Верхняя граница квадрата расстояния Махаланобиса между пикселем и моделью фона, определяющая, насколько данный пиксель соответствует модели.
    Глубина истории модели фона500 — 5000500500 соответствует чувствительности 100%.
    Детектировать тениДа/Нет, логическое полеНетЕсли установлено Да, алгоритм будет определять тени и помечать их, что немного снижает скорость работы алгоритма. Если данная функция не требуется, оставьте значение по-умолчанию (Нет).
    Скорость построения модели фона-1, 0, 1-1Значение в диапазоне [-1, 1]. 1 означает перестройку модели фона на каждый кадр, 0 означает, что модель фона не изменяется вовсе. При указании отрицательного значения выбор оптимальной скорости алгоритмом происходит автоматически.
  2. Если сцена камеры содержит области, которые не требуется анализировать (глухие стены, «внешняя» территория и проч), задайте область интереса.

    Для охранной аналитики возможно настроить одну или несколько предполагаемых областей интереса в кадре. С точки зрения видеоанализа это значит, что в подаваемом на вход кадре зануляются все пиксели вне этих областей.

    ВНИМАНИЕ: в случае использования нейросетевого модуля аналитики настройки данной вкладки игнорируются.

     Раскрыть | Настройка области интереса…
    • На вкладке Область интереса нажмите на кнопку  для добавления области.
    • Измените положение, размеры и форму области. 

    • При необходимости добавьте ещё одну область.

    Область представляет собой один или несколько многоугольников произвольной формы. Количество вершин не ограничивается.

    1. Вершина многоугольника: потяните за вершину многоугольника, чтобы изменить её положение.

    2. Промежуточная точка: нажмите для добавления новой вершины. Между двумя соседними вершинами всегда расположена кнопка добавления еще одной вершины.

    3. Тело многоугольника: нажмите, чтобы выделить для перемещения и удаления. Чтобы удалить выделенную область нажмите на кнопку

  3. Задайте перспективу сцены. В зависимости от площади территории в области видимости камеры, размеры объектов могут существенно отличаться. Необходимо указать размеры объектов на переднем плане (отдельно слева и справа) и на дальнем плане. 

    Настройки вкладки применяются только в случае использования алгоритмического модуля охранной видеоаналитики. 

    Если детектированный объект меньше минимального, он будет отброшен. Это позволяет бороться с незначительными возмущениями вроде снега. Но если он больше максимального— он не будет отброшен, а будет разбит на несколько: это сугубо подсказка для сегментации при определении размеров группы следов. Например, при настройке под «человека» грузовик будет детектирован, как несколько объектов, каждый примерно с «человека», и наоборот.

    Есть возможность настройки разной перспективы для обычных объектов и для оставленных предметов.

    ВНИМАНИЕ: в случае использования нейросетевого модуля аналитики настройки данной вкладки игнорируются.

     Раскрыть | Калибровка сцены

    Задайте размеры людей/транспорта и предметов (в пределах от… и до…) в трех точках кадра. Размеры в каждой точке определяются двумя прямоугольниками, указывающими пропорции объекта.

    • На вкладке Калибровка сцены нажмите на кнопку  чтобы задать размеры людей/транспорта для выполнения функций охранной аналитики, либо нажмите на кнопку  чтобы задать размеры предполагаемых оставленных предметов. Отобразится шесть прямоугольников
    • Измените размеры и форму прямоугольников путем перетаскивания левого верхнего угла. 

    • При необходимости, переместите прямоугольники, захватив за его тело.

    • Для сброса настроек используйте кнопку .

    На данном примере объекты справа крупнее объектов слева, на заднем плане объекты мельче.

  4. Настройте правила охранной аналитики, для этого выберите тип правила, нанесите его на изображение и задайте параметры правила.

    Для добавления правила нажмите на кнопку правила и нанесите фигуру на изображение камеры. Будет сформирован блок правила.

    1. Удаление правила: чтобы удалить правило нажмите на кнопку  в заголовке блока.

    2. Выделение правила: чтобы изменить форму и положение фигуры, нажмите в области заголовка блока и перетащите требуемые точки.

    1. Правило пересечения линии , в том числе, – в заданном направлении.

       Раскрыть | Настройка правила пересечения линии
      • Нажмите на кнопку , чтобы добавить правило пересечения линии.
      • Постройте линию на изображении, для этого укажите положение её вершин. Для завершения нажмите на последнюю точку.
      • Настройте параметры правила.
      ПараметрДиапазон значенийЗначение по умолчаниюПримечание

      Пересечение линии 

      Направление пересечения барьера
      • Любое
      • от В к А
      • от А к В

      любое

      Если задано любое, то срабатывание правила вызовет пересечение линии в любом направлении. Если задано направление, то срабатывание правила будет вызывать движение в заданном направлении.
    2. Правило нахождения в области , в том числе , – поиск объектов вне области.

       Раскрыть | Настройка правила нахождения в области
      • Нажмите на кнопку , чтобы добавить правило нахождения в области.
      • Постройте многоугольник на изображении, для этого укажите положение его вершин. Для завершения нажмите на последнюю точку. Между двумя соседними вершинами всегда расположена кнопка добавления еще одной вершины.
      • Настройте параметры правила.
      ПараметрДиапазон значенийЗначение по умолчаниюПримечание

      Нахождение в области

      Срабатывание правила
      • в области
      • вне области

      в области

      Если задано в области, то срабатывание правила вызовет появление объекта в области и исчезновение объекта из области.
      Если задано вне области, то срабатывание правила вызовет появление объекта вне области и исчезновение объекта извне области.
      Сообщения вида «Объект вошёл в область», «Объект покинул область».

      Нахождение в области по времениДа/Нет, логическое полеНетЕсли задано Да, при длительном нахождении объекта в области срабатывание правила будет периодически повторяться, сообщение «Объект продолжает оставаться в области».
      Порог срабатыванияПериод времени в секундах3 сек.При нахождении объекта в области более указанного времени, генерируется повторное срабатывание правила.
      Извещать периодическиДа/Нет, логическое полеНетЕсли задано Да, извещения о срабатывании правила будут повторяться с заданной периодичностью до исчезновения объекта из области.
      Периодичность извещенийПериод времени в секундах1 сек.Период повтора извещений при длительном нахождении объекта в области.
    3. Правило подсчёта объектов, пересекающих барьер .

       Раскрыть | Настройка правила подсчёта объектов, пересекающих барьер
      • Нажмите на кнопку , чтобы добавить правило подсчёта объектов, пересекающих барьер.
      • Постройте линию на изображении, для этого укажите положение её вершин. Для завершения нажмите на последнюю точку.
      • Настройте параметры правила.
      ПараметрДиапазон значенийЗначение по умолчаниюПримечание

      Подсчёт объектов, пересёкших барьер 

      Направление пересечения барьера
      • Любое
      • от В к А
      • от А к В

      любое

      Если задано любое, то срабатывание правила вызовет пересечение линии в любом направлении. Если задано направление, то срабатывание правила будет вызывать движение в заданном направлении.
      Время срабатыванияПериод времени в секундах5 сек.
      Время сбросаПериод времени в секундах60 сек.
    4. Правило детекции движения в противоположном направлении .

       Раскрыть | Настройка детекции движения в инверсном направлении
      • Нажмите на кнопку , чтобы добавить правило движения в противоположном направлении.
      • Постройте линию на изображении, для этого укажите положение её вершин. Запрещенное направление всегда от А к В. Для изменения направления перетащите точки прямой.

Детектор лиц 

Для запуска детектора лиц на базе Neurotec Biometric (сервис интегрирован в Платформу НЕЙРОСС) установите флаг в соответствующем поле, задайте параметры.

Если поле неактивно, проверьте параметры лицензии и факт загрузки ресурсных файлов в разделе Дополнительно > Сервис детекции лиц.

Для подбора параметров детектора используйте встроенное приложение тестирования и отладки сервиса. 

 Раскрыть | Параметры детектора лиц
ПараметрДиапазон значенийЗначение по умолчаниюПримечание

Детектор лиц 

Поиск по лицам

Встроенное приложение тестирования и отладки сервиса верификации лиц. Позволяет проверить правильность настройки параметров детекции путем загрузки произвольного изображения или выбора владельца пропуска с фотографией, запуска сессии поиска лица по потоку камеры и сравнения его с указанным эталоном. Также позволяет отследить работоспособность функции доступа с верификацией лиц посредством БОРЕЙ/ЯРС: в режиме реального времени предоставляются данные по всем проведённым по факту предъявления идентификатора сессиям поиска.

По каждой сессии поиска выводится анализируемый шаблон лица и эталонное изображение, данные качества верификации, цветом показывается результат верификации.

Описание функций приложения представлено здесь.

Глубина архива, секЦелое числоЗадаёт период времени, в течение которого хранится кеш детектированных лиц по данной камере. При этом на клиенте может быть настроен поиск за меньшую глубину архива (указывается в параметрах плагина биоверификации БОРЕЙ/ЯРС), что обеспечивает гибкость настройки различных клиентов.
Максимальный поворот головы, градЦелое число15Определяет максимальный угол поворота лица в кадре. Если угол поворота больше заданного значения, кадр отбрасывается.
Максимальный наклон головы, градЦелое число 15Определяет максимальный угол наклона лица в кадре. Если угол наклона больше заданного значения, кадр отбрасывается.
Размер шаблона лица
  • Большой
  • Средний
  • Маленький
  • Минимальный
СреднийОпределяет размер свёртки шаблона лица с эталоном. Чём больше свёртка, тем больше карта признаков и тем дольше производится верификация, но результат распознавания выше. 
Порог качества изображения, %Целое число от 0 до 10020Сервис верификации оценивает качество изображения с камеры (всего кадра целиком). Чем выше порог, тем более качественным должно быть изображение, чтобы запустить процедуру детекции лиц. Если качество изображения ниже указанного порога, кадр будет отброшен. При отсутствии более качественных кадров в кеше, запросу на верификацию будет дан отказ.
Порог качества детекции, %Целое число от 0 до 10050Сервис верификации оценивает качество детекции лица в кадре. Чем выше порог, тем более строгие правила используются, чтобы детектировать лицо в кадре. Если качество лица ниже указанного порога, кадр будет отброшен. При отсутствии более качественных шаблонов в кеше, запросу на верификацию будет дан отказ.
Скорость сопоставления
  • Низкая
  • Средняя
  • Высокая
НизкаяЗадаёт скорость выполнения операций. При низкой производительности текущей аппаратной конфигурации рекомендуется снижать скорость сопоставления во избежание высокого потребления ресурсов процессора.

Сервисная аналитика

Для запуска сервисного видеоанализа установите флаг в соответствующем поле, задайте общую чувствительность и выберите требуемые функции. 

Целевой моделью использования сервисной аналитики является включение всех детекторов. Рекомендуем воспринимать их в совокупности, как один «детектор саботажа».


 Раскрыть | Параметры сервисной аналитики
ПараметрДиапазон значенийЗначение по умолчаниюПримечание

Сервисная аналитика

Общая чувствительность1 – 100%50%Интегральный (общий) параметр, который позволяет задать порог, до которого отсекаются все случайные возмущения.
ТряскаДа/Нет, логическое полеНетУстановите Да, если требуется информировать о тряске камеры.
Изменение угла обзораДа/Нет, логическое полеНетУстановите Да, если требуется информировать о повороте камеры.
РасфокусировкаДа/Нет, логическое полеНетУстановите Да, если требуется информировать о потери фокуса.
Заслонение объективаДа/Нет, логическое полеНетУстановите Да, если требуется информировать о появлении препятствия видимости.
ЗасветкаДа/Нет, логическое полеНетУстановите Да, если требуется информировать о засветке объектива камеры.


  • No labels