Видео- и аудиоанализ записей с ИИ — поиск нарушений в тысячах часов видео

Наше ПО просматривает и прослушивает записи бодикамер (нагрудных видеорегистраторов), видеорегистраторов на транспорте и NVR вместо человека: речь переводится в текст, смысловой анализ с языковыми моделями и компьютерное зрение находят нарушения, конфликты и простои. На выходе — список инцидентов с тайм-кодами, фрагментами видео и расшифровки.

Зачем автоматизировать разбор записей

Бодикамеры (нагрудные и носимые видеорегистраторы), видеорегистраторы на транспорте и NVR на площадках каждый день записывают тысячи часов видео со звуком. Просмотреть их вручную невозможно, поэтому записи открывают только после жалобы или происшествия — а нарушения, которые не привели к инциденту, остаются незамеченными.

Видео- и аудиоанализ V1T разбирает архив целиком. Речь из видео переводится в текст моделями, настроенными на русскую речь, смысловой анализ с языковыми моделями находит в расшифровке грубость, угрозы, конфликты и другие нарушения, а компьютерное зрение — то, что видно в кадре: отсутствие СИЗ, курение, проход в запретную зону, людей рядом с работающей техникой. Специалист получает готовый список инцидентов и смотрит только нужные фрагменты.

Какие записи можно анализировать

• персональные видеорегистраторы — бодикамеры, нагрудные и носимые видеорегистраторы сотрудников, контролёров, охраны, выездного персонала;
• диски и карты памяти MDVR — записи бортовых видеорегистраторов V1T и регистраторов других производителей;
• записи, выгруженные из платформы V1T;
• видеорегистраторы NVR — стационарное видеонаблюдение на площадках, складах, в депо;
• файлы сторонних регистраторов и видеокамер — MP4, AVI и нативные форматы регистраторов (.264, .h264, .265);
• аудиозаписи без видео — записи звонков и переговоров по рации.

Как это работает

1. Загрузка записей. Архив загружается пакетно или подхватывается автоматически по расписанию — например, каждую ночь или после смены, когда бодикамеры возвращаются на зарядку.
2. Расшифровка речи. Звук переводится в текст с тайм-кодами и разделением по говорящим — видно, кто и что сказал. Модели распознавания настроены на русскую речь.
3. Компьютерное зрение. Нейросети размечают в кадре людей, предметы и действия.
4. Смысловой анализ с языковыми моделями. Расшифровка и разметка кадров проверяются по правилам заказчика. Правило можно описать обычными словами — без программирования и переобучения моделей.
5. Инциденты и отчёты. Список событий с типом нарушения, тайм-кодом, фрагментом видео и расшифровки; переход к нужному моменту записи в один клик.

Что находит система

В речи

• грубость, агрессия, повышенный тон в общении с клиентами и коллегами;
• ненормативная лексика, оскорбления и угрозы;
• разговоры о взятках, «левых» деньгах мимо кассы, сливе топлива и других схемах;
• ключевые слова и темы, заданные заказчиком: «пожар», «ДТП», жалобы, упоминания конкурентов;
• качество обслуживания: приветствие, представление, вежливость, работа с жалобой;
• соблюдение скриптов и чек-листов: обязательный инструктаж, предупреждения, фразы по регламенту.

В кадре

• нарушения техники безопасности;
• нарушения СИЗ: работа без каски, сигнального жилета, перчаток;
• проход в запретные и опасные зоны;
• люди в опасной зоне работающей техники — крана, экскаватора, погрузчика;
• курение в неположенных местах;
• распитие алкоголя на рабочем месте;
• огонь, дым, искры;
• падение человека, травма;
• использование телефона во время работы;
• простои техники и персонала;
• перекрытие объектива или отключение камеры, в том числе бодикамеры во время смены.

Модели компьютерного зрения дообучаются под задачи заказчика — на его объектах, технике, форме и СИЗ.

Что получает заказчик

• список инцидентов — тип нарушения, время, фрагмент видео и расшифровки, переход к моменту записи;
• сводки и отчёты — по записи, смене, сотруднику и подразделению, статистика по типам нарушений, выгрузка в Excel и PDF;
• полная расшифровка — текст всех записей с тайм-кодами и разделением по говорящим, с полнотекстовым поиском;
• интеграции — передача результатов в диспетчерский центр V1T, по API и в учётные системы заказчика.

Сценарии по отраслям

Транспорт и автопарки

Записи бортовых регистраторов и бодикамер водителей, кондукторов и контролёров: грубость с пассажирами, конфликты, курение в кабине, телефон за рулём, разговоры о наличных и сливе топлива, перекрытие камер.

Промышленность и строительство

Записи NVR и бодикамер на площадках, заводах и складах: СИЗ, проход в опасные зоны, люди рядом с работающей техникой, огонь и дым, падения, простои.

Охрана, контролёры, инспекторы

Записи персональных видеорегистраторов патрулей и контролёров: поведение сотрудника, конфликты и угрозы, соблюдение регламента общения, отключение камеры во время смены.

Сервис и выездной персонал

Курьеры, сервисные инженеры, торговые представители: качество обслуживания, соблюдение скриптов, работа с жалобами, ключевые темы разговоров с клиентами.

Где считается и как защищены записи

Прогон выполняется на GPU-мощностях V1T или на сервере заказчика — включая полностью закрытый контур, из которого записи не выходят. Все модели — распознавание речи, языковые модели и компьютерное зрение — работают только на серверах V1T или заказчика: записи и расшифровки не передаются во внешние ИИ-сервисы.

Сценарии под задачу заказчика

• правила, описанные обычным текстом, — например, «сотрудник не представился клиенту»;
• проверка соблюдения скриптов и чек-листов с оценкой;
• зоны на кадре и расписания: правило действует только в заданных местах и часах;
• дообучение моделей компьютерного зрения на объектах заказчика.

Разрабатываем сценарии под потребности заказчика.

Как начать: проверка на ваших записях

1. вы передаёте несколько примеров записей и описываете, какие нарушения важно находить;
2. мы настраиваем правила и запускаем анализ на этих записях;
3. вы получаете отчёт с найденными инцидентами и оцениваете результат;
4. после согласования — подключение источников, автоматический прогон по расписанию и выбор, где считать: на мощностях V1T или на вашем сервере.

Проверьте на своих записях

Пришлите примеры записей — покажем, что система найдёт в вашем архиве.

Связанные решения V1T