Компьютерное зрение и робототехника

Робототехнические комплексы (РТК) и системы технического зрения (СТЗ)

Подробнее

1. Сенсоры для систем технического зрения

Телевизионные камеры

В состав телевизионной (ТВ) камеры входят:

  • плата сенсора
Подробнее
  • контроллер
  • интерфейсная плата

 

Камеры подразделяются на узкопольную (УТК) и широкопольную (ШТК).

Основные характеристики (УТК):

  • напряжение тока – 5 В;
  • потребляемый ток – 0,90 А;
  • тип приемных матриц (КМОП) – Монохромная Sony IMX252LLR;
  • объектив – Зенит -50;
  • частота считывания кадров с камеры – 50 Гц. Опционально 25Гц, 100Гц;

Примечание: 100 Гц только в режиме биннинга, в режиме «Основной» и «Увеличение» — 95 Гц – 98 Гц. 25 и 50 Гц поддерживают все режимы.

  • разрядность аналогово-цифрового преобразования сигналов – 12 бит;
  • задержка вывода кадров – не более 10мс;
  • выходной аналоговый видеосигнал – композитный видеосигнал по ГОСТ 7845-92;

Примечание: PAL работает только в 50 Гц.

  • выходной цифровой видеосигнал – Camera Link Base 1024 х 768, 10 бит;
  • изменение экспозиции и коэффициента усиления – автоматический и ручной режимы;
  • эквилизация гистограммы с плато, основанная на предыдущем кадре, позволяющая увеличить динамический диапазон и контрастность;
  • специальные выходные сигналы – кадровые и строчные синхроимпульсы, импульс окончания экспозиции;
  • специальные входные сигналы – триггер начала экспозиции;
  • режимы изображения, формат области фотоприемной матрицы, участвующей в формировании выходного сигнала (в пикселях) – Биннинг: (2048 х 1536), Основной (1024 х 768), Увеличение (512 х 384);
  • служебная информация в выходном видеосигнале – технологическое перекрестие, служебные символы (время экспозиции, коэффициент усиления, режим работы);
  • канал управления – CAN 2.0 (100 Кбит/c);
  • скользящий затвор (global shutter).

Основные характеристики (ШТК):

  • напряжение тока – 5В;
  • потребляемый ток – 1,05А;
  • тип приемных матриц (КМОП) – цветная Sony IMX252LQR
  • объектив – Зенит -50;
  • частота считывания кадров с камеры – 50 Гц. Опционально 25Гц, 100Гц;

Примечание: 100 Гц только в режиме биннинга, в режиме «Основной» и «Увеличение» — до 95 — 98 Гц. 25 и 50 Гц поддерживают все режимы.

  • разрядность аналогово-цифрового преобразования сигналов – 12 бит;
  • задержка вывода кадров – не более 10мс;
  • выходной аналоговый видеосигнал – композитный видеосигнал по ГОСТ 7845-92;

Примечание: PAL работает только в 50 Гц.

  • выходной цифровой видеосигнал – Camera Link Base 1024 х 768, 24 бита (8 бит на цвет);
  • изменение экспозиции и коэффициента усиления – автоматический и ручной режимы;
  • эквилизация гистограммы с плато, основанная на предыдущем кадре, позволяющая увеличить динамический диапазон и контрастность;
  • специальные выходные сигналы – кадровые и строчные синхроимпульсы, импульс окончания экспозиции;
  • специальные входные сигналы – триггер начала экспозиции;
  • режимы изображения, формат области фотоприемной матрицы, участвующей в формировании выходного сигнала (в пикселях) – Биннинг: (2048 х 1536), Основной (1024 х 768), Увеличение (512 х 384);
  • служебная информация в выходном видеосигнале – технологическое перекрестие, служебные символы (время экспозиции, коэффициент усиления, режим работы);
  • канал управления – CAN 2.0 (100 Кбит/c);
  • скользящий затвор (global shutter).

Тепловизионные камеры

В состав тепловизионной камеры (ТПВ) входят:

  • плата сенсора
Подробнее
  • контроллер
  • интерфейсная плата

Основные характеристики ТПВ камеры:

  • охлаждаемая ТПВ камера 640*512@100 Гц MWIR;
  • неохлаждаемая ТПВ камера 1024*768@30 Гц LWIR;
  • напряжение постоянного тока — 27В;
  • потребляемый ток — 0,28 А в рабочем состоянии и 0,60 А в режиме охлаждения сенсора;
  • потребление сенсора (компрессора) 024 — 0.28 А, когда сенсор охладился, до 0.50 А в режиме охлаждения;
  • потребление электроники при напряжении 5 В или 27 В — 6.5 Вт;
  • модель МФПУ — i3system DI640-15M-B-A;
  • формат МФПУ — 640 х 512;
  • размер элемента МФПУ — 15 мкм;
  • объектив — OPHIR680160-002;
  • максимальная частота считывания кадров с МФПУ — 100Гц;
  • разрядность аналогово-цифрового преобразования сигналов с МФПУ — 16 бит;
  • выходной видеосигнал — Camera Link Base, формат 640х512, разрядность 10 бит, частота кадров 50 Гц, Аналоговый композитный видеосигнал по ГОСТ 7845-92. Дополнительно — режим 25 Гц. PAL работает только в 50 Гц.
  • регулировка яркости и контраста — ручной и автоматический режимы;
  • эквилизация гистограммы с плато, основанная на предыдущем кадре, позволяющая увеличить динамический диапазон и контрастность;
  • автоматическая регулировка контраста;
  • время накопления — ручной и автоматический режимы;
  • электронное увеличение изображения — х 2, х 4;
  • служебная информация в выходном видеосигнале — текстовые сообщения, технологическое перекрестие, служебные символы;
  • управление величиной поля зрения и фокусировкой — по интерфейсу САN 2.0;
  • канал управления — CAN 2.0 (100 Кбит/c).

Камеры панорамного обзора

В состав камеры панорамного обзора входят:

  • блок из 8 камер;
  • оптическая схема;
Подробнее
  • вычислитель с установленным специализированным программным обеспечением.

Основные характеристики камеры панорамного обзора:

  • интерфейс USB2.0/3.0;
  • максимальное разрешение при 20 кадрах в секунду – 5760х600 пикселей;
  • напряжение постоянного тока — 5В;
  • потребляемый ток — 0,5 А на одну встроенную камеру;
  • потребляемая мощность – 20 Вт;
  • частота считывания кадров с — 20 Гц (опционально 25 Гц / 50 Гц / 100 Гц);
  • разрядность аналогово-цифрового преобразования сигналов с МФПУ — 16 бит;
  • выходной видеосигнал — MJpeg, Mpeg4;
  • служебная информация в выходном видеосигнале — текстовые сообщения, технологическое перекрестие, служебные символы;
  • управление величиной поля зрения и фокусировкой — по интерфейсу САN 2.0;
  • канал управления — USB2.0/3.0.
  • изображения с камер передаются на вычислитель, где осуществляется процесс сшивки в реальном времени;
  • угол поля зрения по горизонтали — , по вертикали — ;
  • сшитое изображение может быть передано по сети в виде развернутой панорамной картинки, а также в виде VR-изображения, транслирующегося в шлем виртуальной реальности (поддерживается трансляция VR видео по Wi-Fi в мобильный телефон в режиме реального времени);
  • оптическая схема позволяет снимать изображение практически из одной точки.

Примечание: возможно изготовление на заказ камеры панорамного обзора, в которой в качестве встроенных камер (эффективно использование от 6 камер) будут применены камеры, удовлетворяющие требованию заказчика (большее разрешение по горизонтали и вертикали, больший угол поля зрения по вертикали, заданный угол места для камер или определенный формат видео, дополнительные требования).

Сшивка изображений включает в себя:

  • коррекцию дисторсии;
  • цифровую юстировку камер;
  • добавление сферических координат.

3D камеры: ToF и стереокамеры

Стереокамеры:

Проектирование и сборка систем для технического (машинного) стереозрения под задачу заказчика.

Подробнее

Наши преимущества:

  • камеры видимого, инфракрасного диапазонов (SWIR, MWIR, LWIR), а также мультиспектральные комбинации;
  • совместная обработка камера различных спектральных диапазонов, полей зрения и стереопар с различными базами;
  • высокая чувствительность камер, частота кадров до 100 кадров в секунду, разрешение до 25 МПикселей;
  • глобальный затвор исключает артифакты на подвижной сцене;
  • нейросетевые алгоритмы для точного восстановления карты глубины (трехмерной сцены);
  • библиотека примеров взаимодействия с системой на C++ и Python;

Времяпролетная камера:

Позволяет одновременно получить изображение и карту глубины.

  • Дальность: до 6 метров.
  • Поле зрения: 90° x 69.2°.
  • Точность не хуже 2%.
  • Разрешение сенсора глубины: 640 x 480.
  • Частота кадров сенсора глубины: 25/30 Гц.
  • Разрешение RGB сенсора: 2048 x 1536.
  • Частота кадров RGB сенсора: 25/30/50/60/90/100 Гц.

Области возможного применения:

  • Беспилотный транспорт и роботехника.
  • SLAM (алгоритмы одновременной локализации и построение трехмерной карты).
  • Видеоигры.
  • Системы дополненной и виртуальной реальности.
  • Системы контроля безопасности труда.
  • Таргетированная реклама: повышение качества решения задач технического зрения, таких как определение направления взгляда, повышение качества обнаружения объектов и людей, пола и возраста людей.

Мультиспектральные камеры

Современные системы технического зрения используют несколько спектральных диапазонов для расширения диапазона условий функционирования системы:

Подробнее

обеспечения всепогодности, работе при низкой освещенности, в условиях контрового освещения.

В то же время многие прикладные задачи, такие построения панорамного изображения, обнаружения и локализации объектов, SLAM (одновременная локализация и построение 3Д карты) требуют точного совмещения полученных изображений различных спектральных диапазонов. Типовым решением является установка камер таким образом, что их оптические оси параллельны друг другу и находятся на наименьшем возможном расстоянии, определяемом внешними габаритами камеры.

Для близко расположенных предметов это приводит к неприемлемому параллаксу. Для его устранения нами был разработан ряд оптических схем, позволяющих точно совместить зрачки камер видимого и ИК (SWIR, MWIR, LWIR) диапазонов.

Гиростабилизированный подвес Ronin-MX DJI позволяет проводить съёмку в стационарном и в подвижном вариантах (размещение на мультикоптере либо автомобиле). Обеспечивает поворот камеры:

  • 360° в азимутальной плоскости;
  • по углу места от -135° до +90°.

2. Вычислители для решения задач технического зрения и управления робототехническими комплексами

Системы на модуле (System On Module – SOM) на базе платы Zynq 7000

Плата Inviewlab-Z7020

Подробнее

Устройство по функциональности аналогично отладочной плате picozed но меньше по габаритам (50х50мм)

На борту:

  • ПЛИС XC7Z020-2CLG400 *
  • DDR3 память MT41K256M16HA-125:E (2шт.) 2x4Gb
  • QSPI Flash S25FL128SAGN (128Mb) **
  • 10/100/1000 Ethernet Phy (Marvell 88E1116R) ***
  • Три разъема molex 71436-0164 (64pin)

* опционально плата может комплектоваться более дешевым ПЛИС/СнК XC7Z010-2CLG400

** также возможна установка Flash серии S25FLxx объемом до 512Mbit

*** трансформатор и RJ-45 разъем должны устанавливаться снаружи (на несущей плате).

Возможности подключения ввода-вывода:

  • Для внешних подключений предназначены разъемы XS1,XS3,XS2/XS4.
  • На разъем XS1 выведен IO порт Bank34 (50 IO линий/ 24 диф. пары)
  • Порт Bank35 (50 IO линий/ 24 диф. пары) выведен на разъем XS2/XS4, который при сборке платы может быть установлен с верхней, либо с нижней стороны. (см. рис.)
  • PS MIO порт, предназначенный для подключения SD, USB, UART, PMOD разъема подключен на разъем XS3.

Питание платы осуществляется от напряжения от 4 до 17В. Ток потребления зависит от программного обеспечения.

Вариант установки разъемов расширения на одну сторону:

Вариант установки XS2/XS4 на другую сторону платы:


Решения на модулях Jetson

Ключевые особенности:

  • одновременная запись 3 входных цифровых видеосигналов до 300Мбайт/с каждый 3 входа CameraLink Base;
Подробнее

  • Поддержка 8/10/12/16/24 бит на пиксель;
  • Gigabit Ethernet;
  • ПО под ОС Windows и Linux для просмотра и перекодирования видеозаписей;
  • Веб-интерфейс.

Доступные опции:

  • Интерфейсы ввода видеосигнала 1G/10G Ethernet, Parallel;
  • Сжатие видеосигнала «лету», в том числе и без потерь/запись несжатого видеопотока.

3. Беспилотные автомобили и аппараты/системы помощи водителю

В отличие от альтернативных разрабатываемых беспилотных автомобилей система предназначена для решения более широкого круга задач, может быть использована совместно с беспилотным летающим аппаратом

Подробнее
или являться частью более сложного комплекса, состоящего из нескольких или многих взаимодействующих между собой устройств. Помимо очевидного применения в качестве транспортного средства разрабатываемый беспилотный автомобиль создается с учетом возможности его использования в качестве «специальной» машины для скорой помощи, спасательных операций, задач полиции или военных.

Беспилотный автомобиль с расширенной функциональностью в области автоматического анализа окружающей обстановки

Система способна решать следующие задачи:

  • детектирование объектов интереса в режиме реального времени;
  • распознавание препятствий, ландшафтов, разметки, участников дорожного движения, номерных знаков;
  • поиск подозрительных автомобилей и лиц;
  • в перспективе – выявление опасных ситуаций и действий.

Возможны различные сценарии использования:

  • управление с оператором;
  • управление из командного пункта;
  • автономное управление;
  • совместное использование с беспилотным летающим модулем.

Особенности системы:

  • комплексирование данных различных навигационных систем;
  • возможно автономное движение и выполнение задач без доступа к данным спутниковой навигации, по визуальной информации;
  • модульная структура, позволяющая использовать альтернативные варианты шасси;
  • различные компоновки, от базового варианта беспилотного автомобиля до многофункциональной системы анализа окружающей обстановки
  • планирование и следование траектории движения;
  • телеметрия и сбор данных;
  • ПО дистанционного управления;
  • возможность собирать, анализировать и комплексировать информацию:
  • видимого диапазона (камеры, стереопары и камеры панорамного видения);
  • инфракрасного диапазона (ТПВ-камеры с охлаждаемыми и неохлаждаемыми приемниками);
  • геометрию окружающего пространства, а также данные о движущихся объектах (модули радиовидения, 3Д-камеры, лидары).

Искусственный интеллект:

  • современные авторские алгоритмы глубокого обучения включая обучение с подкреплением
  • аппаратная реализация нейросетевых алгоритмов в СНК и ПЛИС

Беспилотный летательный аппарат (БПЛА)

Подсистема воздушного мониторинга представляет собой беспилотный летательный аппарат, оснащенный оптико-электронными и тепловизионными системами наблюдения.

Подробнее
Возможна установка любого из разрабатываемых сенсоров для сбора информации.

Оснащение, подъемная сила и время автономной работы зависит от используемого носителя и устанавливаемых аккумуляторных батарей.

Комплекс электронной цифровой системы управления автомобилем NersDrive

Разработка и интеграция программного обеспечения и алгоритмов интеллектуального анализа и обработки данных направленного на решение следующих задач:

Подробнее
  • обеспечение ситуационной осведомленности: обнаружение, распознавание и трекинг объектов и препятствий;
  • комплексирование данных различных навигационных систем;
  • планирование и следование траектории движения;
  • телеметрия и сбор данных;
  • ПО дистанционного управления;

Комплекты электронной цифровой системы управления автомобилем NersDrive

Комплекты электронной цифровой системы управления позволяют взаимодействовать со всеми основными системами управления транспортного средства (включая тормоз, акселератор и рулевое управление), а также вспомогательными системами (такими, как фары, звуковые и световые сигналы).

Возможно использование одной из поддерживаемых нами готовых платформ (шасси) или создания своей.

Комплекты электронной цифровой системы управления автомобилем NersDrive специально созданы, чтобы позволить разработчикам легко и безопасно взаимодействовать с широким спектром транспортных средств, значительно сократить расходы на разработку и сократить время выхода на рынок.

Комплекты электронной цифровой системы управления автомобилем предоставляют разработчику возможность взаимодействовать с автомобилем через интерфейс CAN или Ethernet, используя унифицированный API, упрощающий процесс взаимодействия с системами конкретного транспортного средства.

Помощь в интеграции оборудования и роботизации транспортного средства

Наша команда по интеграции может работать с любым транспортным средством и интегрировать датчики и вычислители собственного или стороннего производства:

  • подключение к штатным системам автомобиля;
  • модернизация и доработка системы управления автомобилем;
  • разработка корпусов, кронштейнов и креплений для датчиков и другого дополнительного оборудования.

Системы помощи водителю

Гибко конфигурируемая система помощи водителю, основанная на технологиях искусственного интеллекта, использующая в своей работе высокочувствительные камеры и радары миллиметрового диапазона. Модульность системы позволяет клиенту выбрать нужный ему набор функций:

Подробнее
  • обнаружение и предупреждение о наличии пешехода и велосипедиста на проезжай части или в непосредственной близости от нее;
  • контроль проезда перекрестка (обнаружение и предупреждение об опасной ситуации на перекрестке);
  • контроль слепых зон;
  • распознавание номеров и марок автомобилей, измерение их скорости (аналитика окружающей обстановки поможет при разборе аварий и преступлений, участником или очевидцем которых был автомобиль, оборудованный системой такого типа);
  • предупреждение о приближении спецтранспорта и а/м с спецсигналами;
  • распознавание знаков и зон их действия (с визуализацией на внутреннем дисплее), контроль состояния светофоров;
  • функция автоматического аварийного торможения (не для всех марок а/м);
  • функция удержания в полосе (не для всех марок а/м);
  • функция адаптивного круиз-контроля;

Преимущества предлагаемого решения:

  • непрерывный круговой обзор 360 градусов;
  • тепловизионные камеры высокого разрешения позволяют увидеть опасность даже ночью и при плохих погодных условиях;
  • радары миллиметрового диапазона позволяют надежно обнаруживать опасность на расстоянии до 200 метров;
  • опционально массив микрофонов для всенаправленной записи звука с возможностью цифровой фильтрации направления приема;
  • функция видеорегистратора позволяет записать полную круговую панораму, а функция распознавание номеров позволит сохранить изображение номерных знаков четкими (не испорченными сжимающими с потерями видеокодеками). Опция навигационной системы обеспечит запись точной траектории движения автомобиля и привязку видеозаписи по времени и координатам;
  • адаптивный круиз контроль не только контролирует расстояние до препятствий и скорость других транспортных средств, но и опционально позволяет учитывать требования дорожных знаков;
  • возможность интеграции функций распознавания с адаптивным круиз контролем и автоматическим аварийным торможением

Решение найдет свое применение как в частных автомобилях, так и в общественном транспорте, такси и коммерческих перевозках, подняв уровень безопасности, контроля за водителем и окружающей обстановкой на новый, небывалый уровень.

Модульность решения позволит собрать оптимальную конфигурацию под различный бюджет и задачи исходя из нужд клиента.

4. Системы передачи и хранения данных

Промышленный модем

Основные характеристики:

Подробнее
  • двойное резервирование SIM для непрерывной сотовой связи (аварийное переключение интернет-канала на резервный, в случаях недоступности основного);
  • стандарты LTE/HSPA/UMTS/EDGE/GPRS;
  • поддержка MIMO;
  • Wi-Fi 802.11 n. 5GHz 3×3 MIMO;
  • 2 порта RJ45 Ethernet;
  • 2 слота SFP+;
  • GPIO, RS-232, USB;
  • веб-интерфейс;
  • корпус с возможностью крепления на DIN-рейку или к стене (Возможен заказ во всепогодном исполнении с креплением на мачту или кронштейн);
  • широкий диапазон входного напряжения — от 11 до 30 В, поддержка PoE. доступна опция питания от сети 220В;
  • габариты: 166 мм х 108 мм х 36 мм.

Приемопередатчики SDR

Программно-определяемая радиосистема Software Defined Radio — SDR

Подробнее

  • два независимых канала + два дополнительных обзорных канала;
  • диапазон рабочих частот: от 70 МГц до 6.0 ГГц;
  • настраиваемая полоса пропускания: от 200 кГц до 200 МГц (до 450 МГц у передатчика);
  • коэффициент шума приемника <2.5 дБ;
  • управление коэффициентом усиления на линии приемника;
  • тонкая временная и частотная синхронизация на приемной стороне. Эквалайзинг принятых частот по пилотным несущим;
  • усилитель мощности: серия внешних сменных модулей до 10Вт;
  • модуляция: OFDM. 4/16/64-QAM созвездие 1024 отсчета на символ, 128 отсчетов на защитный интервал;
  • опционально внутрикадровое (intraframe) сжатие видеосигнала, вносящее минимальную
    задержку в передаваемый видеосигнал <1 мс;

Реализация приема видео на ПЛИС, возможность применение любого входного / выходного интерфейса для данных, в частности: Camera Link, Gigabit Ethernet (RTP/UDP), Parallel.

Видеорегистратор

Многоканальный цифровой видеорегистратор сигналов высокого разрешения.

Подробнее

  • интерфейс: CameraLink (опционально 1G/10G Ethernet);
  • 3 канала (легко масштабируется);
  • >300 мегапикселей/c на каждый канал;
  • сжатие видеопотока без потерь (опционально lossy).

Канал управления

Радио модули диапазона 868 МГц для каналов телеметрии и управления

Подробнее

Частотный диапазон 868МГц и высокая выходная мощность обеспечивает устойчивую связь на расстоянии 15–20 километров в зоне прямой видимости, что делает их идеальным решением для каналов телеметрии, управления и систем безопасности.

  • Рабочий диапазон частот 863-873 МГц.
  • Программируемая выходная мощность передатчика до 27 дБм.
  • Чувствительность приемника до -116 дБм.
  • Скорость передачи данных до 500 Кбит/с.
  • Тип модуляции 2-FSK, 2-GFSK, 4- FSK, MSK, ASK/OOP.
  • Разъем подключения SMA.
  • Интерфейсы: USB 2.0, GPIO (опционально).
  • Потребляемая мощность:

— в режиме приема: до 200мВт;

— в режиме передачи: до 700мВт.

  • Размеры: 65х30х28.

Применение:

  • каналы передачи данных, управления и телеметрии робототехнических комплексов;
  • промышленная телеметрия;
  • сигнализация, системы безопасности;
  • системы умный дом.

Преимущества:

  • высокая мощность передатчика и чувствительность приемника;
  • простой API;
  • наличие режима «беспроводного последовательного порта»;
  • поддержка как соединений «точка-точка», так и более сложных топологий (Mesh);
  • открытый диапазон 868 МГц не требует получения лицензий и оформления разрешений.

5. Нейросетевые решения / подготовка инфраструктуры для нейросетевых решений

Системы разметки фотоизображений

Программа позволяет разметить объекты на фотографиях.

Подробнее


Размеченные объекты сохраняются в виде текстового файла в специальном формате для дальнейшей возможности их обработки. Например, для обучения нейронных сетей или составления статистики. Программа представляет собой рабочую область, где отображается изображение, с которым работает оператор и окружающие её инструменты, меню и настройки разметки.

Программа позволяет:

  • открывать фотографии высокого разрешения (8K UHD и выше) и работать с ними;
  • при разметке сегментов или смежных объектов доступно автоматическое объединение границ;
  • инвертировать цвета;
  • настроить яркость и контраст для повышения эффективности разметки изображения с областями разной экспозиции;
  • блокировка масштаба и вертикального перемещения для движения построчно и исключения возможности пропуска объектов при разметке изображений превышающих размеры рабочей области;
  • задать классы и подклассы объектам разметки;
  • внести пользовательские группы классов в программу;
  • получить статистику по размеченному изображению;
  • автоматизировать процесс разметки с помощью запросов обнаружения объектов нейронной сетью;
  • вести историю действий пользователя и отменить или повторить последние несколько манипуляций;
  • выбрать тип разметки объектов: центры, прямоугольные или многоугольные границы;
  • с помощью клавиш быстрого доступа иметь возможность ускорить и сделать более эффективной работу пользователя;

Системы разметки видеоданных

Разметка видеоизображений

Программа предназначена для предварительной обработки видео оператором.

Подробнее


Размеченные объекты сохраняются в виде текстового файла в специальном формате для дальнейшей возможности их обработки. Например, для обучения нейронных сетей или составления статистики. Оператор имеет в распоряжении окно с видеопроигрывателем в центре и инструментами вокруг. Для удобства поиска объектов и визуального представления нахождения объекта в видеоряде доступно окно с кадрами, где можно осуществлять навигацию во времени и объектам.

Программа разметки видеоизображений позволяет:

  • разметить ключевые кадры (выделить на изображении интересующие оператора объекты с помощью различных инструментов, позволяющих автоматизировать процесс разметки);
  • интерполировать размеченные объекты на промежуточных (не ключевых) кадрах;
  • вести историю действий пользователя и отменить или повторить несколько последних действий;
  • автоматически сохранять состояние разметки;
  • назначать классы размеченным объектам;
  • воспроизвести видеоряд с наложенными на него границами размеченных объектов;
  • приближать и удалять интересующие оператора фрагменты кадра;
  • с помощью клавиш быстрого доступа иметь возможность ускорить и сделать более эффективной работу пользователя;
  • просматривать и сортировать объекты в специальном окне кадров;
  • визуализировать временную шкалу присутствия объекта на видео.

Для лучшего опыта использования рекомендуется два монитора оператора, но и с одним работа остается комфортной.

Нейросетевые алгоритмы для решения задач СТЗ

Система технического зрения для беспилотного автомобиля

Подробнее

Программно-аппаратный комплекс, обрабатывающий всю информацию, приходящую от сенсоров (в видимом, инфракрасном, радиолокационном и проч. диапазонах), для решения следующих задач в рамках управления беспилотным автомобилем:

  • сегментация видеоизображения;
  • поиск движущихся объектов (автомобили, пешеходы и проч. участники движения);
  • обнаружение препятствий;
  • распознавание дорожных знаков и сигналов светофора;
  • дополнительный поиск объектов: распознавание лиц, поиск номеров, фиксация оставленных предметов.

Программный комплекс дешифрования аэрокосмической информации

Программно-аппаратный комплекс дешифрирования аэрокосмической информации в видимом, инфракрасном и радиолокационном диапазонах длин волн с качеством, максимально приближенным к качеству человека-оператора включает:

  • систему автоматического дешифрирования аэрокосмической информации;
  • фотореалистичный симулятор фоно-целевой обстановки в видимом и ИК диапазонах для пополнения обучающей выборки;
  • систему полуавтоматической разметки видео- и фотоматериалов для формирования обучающей выборки и активного обучения алгоритмов искусственного интеллекта.

Система ранней диагностики заболеваний новообразований кожи на основе многослойных сверточных нейросетей глубокого обучения skincheckup.online

Цель проекта — проведение качественной предварительной диагностики здоровья кожи.

Разрабатываемая система работает в 2 направлениях:

  • Для профессионального пользования разработана система, осуществляющая автоматический анализ изображений, получаемых со специального медицинского прибора – дерматоскопа).

В этом направлении мы сотрудничаем с ведущим Российским производителем дерматоскопов РДС НПО Биофотоника.

  • Для пользователей мобильных устройств с камерой. Система предоставляет возможность получить за несколько секунд предварительный диагноз новообразования при загрузке фотографии с камеры. Сервис скоро будет доступен.

6. IP ядра для ПЛИС (FPGA)

Решение технических задач на ПЛИС (FPGA). В частности, могут быть решены следующие прикладные задачи обработки изображения для компьютерного зрения:

Подробнее
  • шумоподавление и маскирование битых пикселей;
  • современные алгоритмы дебайеризации;
  • алгоритмы сжатия динамического диапазона и повышения детальности изображения
  • алгоритмы сжатия изображения и видеопотока с высокой эффективностью и низкой латентностью;
  • аппаратный ускоритель (сопроцессор) сверточных нейронных сетей;
  • многомасштабные алгоритмы выделения контрастных объектов (адаптивная бинаризация);
  • контроллеры сенсоров видимого и ИК диапазона (в т.ч. охлаждаемых);
  • работа с интерфейсом Camera link.