Робототехнические комплексы (РТК) и системы технического зрения (СТЗ)
Подробнее
1. Сенсоры для систем технического зрения
Телевизионные камеры
В состав телевизионной (ТВ) камеры входят:
- плата сенсора
- контроллер
- интерфейсная плата
Камеры подразделяются на узкопольную (УТК) и широкопольную (ШТК).
Основные характеристики (УТК):
- напряжение тока – 5 В;
- потребляемый ток – 0,90 А;
- тип приемных матриц (КМОП) – Монохромная Sony IMX252LLR;
- объектив – Зенит -50;
- частота считывания кадров с камеры – 50 Гц. Опционально 25Гц, 100Гц;
Примечание: 100 Гц только в режиме биннинга, в режиме «Основной» и «Увеличение» — 95 Гц – 98 Гц. 25 и 50 Гц поддерживают все режимы.
- разрядность аналогово-цифрового преобразования сигналов – 12 бит;
- задержка вывода кадров – не более 10мс;
- выходной аналоговый видеосигнал – композитный видеосигнал по ГОСТ 7845-92;
Примечание: PAL работает только в 50 Гц.
- выходной цифровой видеосигнал – Camera Link Base 1024 х 768, 10 бит;
- изменение экспозиции и коэффициента усиления – автоматический и ручной режимы;
- эквилизация гистограммы с плато, основанная на предыдущем кадре, позволяющая увеличить динамический диапазон и контрастность;
- специальные выходные сигналы – кадровые и строчные синхроимпульсы, импульс окончания экспозиции;
- специальные входные сигналы – триггер начала экспозиции;
- режимы изображения, формат области фотоприемной матрицы, участвующей в формировании выходного сигнала (в пикселях) – Биннинг: (2048 х 1536), Основной (1024 х 768), Увеличение (512 х 384);
- служебная информация в выходном видеосигнале – технологическое перекрестие, служебные символы (время экспозиции, коэффициент усиления, режим работы);
- канал управления – CAN 2.0 (100 Кбит/c);
- скользящий затвор (global shutter).
Основные характеристики (ШТК):
- напряжение тока – 5В;
- потребляемый ток – 1,05А;
- тип приемных матриц (КМОП) – цветная Sony IMX252LQR
- объектив – Зенит -50;
- частота считывания кадров с камеры – 50 Гц. Опционально 25Гц, 100Гц;
Примечание: 100 Гц только в режиме биннинга, в режиме «Основной» и «Увеличение» — до 95 — 98 Гц. 25 и 50 Гц поддерживают все режимы.
- разрядность аналогово-цифрового преобразования сигналов – 12 бит;
- задержка вывода кадров – не более 10мс;
- выходной аналоговый видеосигнал – композитный видеосигнал по ГОСТ 7845-92;
Примечание: PAL работает только в 50 Гц.
- выходной цифровой видеосигнал – Camera Link Base 1024 х 768, 24 бита (8 бит на цвет);
- изменение экспозиции и коэффициента усиления – автоматический и ручной режимы;
- эквилизация гистограммы с плато, основанная на предыдущем кадре, позволяющая увеличить динамический диапазон и контрастность;
- специальные выходные сигналы – кадровые и строчные синхроимпульсы, импульс окончания экспозиции;
- специальные входные сигналы – триггер начала экспозиции;
- режимы изображения, формат области фотоприемной матрицы, участвующей в формировании выходного сигнала (в пикселях) – Биннинг: (2048 х 1536), Основной (1024 х 768), Увеличение (512 х 384);
- служебная информация в выходном видеосигнале – технологическое перекрестие, служебные символы (время экспозиции, коэффициент усиления, режим работы);
- канал управления – CAN 2.0 (100 Кбит/c);
- скользящий затвор (global shutter).
Тепловизионные камеры
В состав тепловизионной камеры (ТПВ) входят:
- плата сенсора
- контроллер
- интерфейсная плата
Основные характеристики ТПВ камеры:
- охлаждаемая ТПВ камера 640*512@100 Гц MWIR;
- неохлаждаемая ТПВ камера 1024*768@30 Гц LWIR;
- напряжение постоянного тока — 27В;
- потребляемый ток — 0,28 А в рабочем состоянии и 0,60 А в режиме охлаждения сенсора;
- потребление сенсора (компрессора) 024 — 0.28 А, когда сенсор охладился, до 0.50 А в режиме охлаждения;
- потребление электроники при напряжении 5 В или 27 В — 6.5 Вт;
- модель МФПУ — i3system DI640-15M-B-A;
- формат МФПУ — 640 х 512;
- размер элемента МФПУ — 15 мкм;
- объектив — OPHIR680160-002;
- максимальная частота считывания кадров с МФПУ — 100Гц;
- разрядность аналогово-цифрового преобразования сигналов с МФПУ — 16 бит;
- выходной видеосигнал — Camera Link Base, формат 640х512, разрядность 10 бит, частота кадров 50 Гц, Аналоговый композитный видеосигнал по ГОСТ 7845-92. Дополнительно — режим 25 Гц. PAL работает только в 50 Гц.
- регулировка яркости и контраста — ручной и автоматический режимы;
- эквилизация гистограммы с плато, основанная на предыдущем кадре, позволяющая увеличить динамический диапазон и контрастность;
- автоматическая регулировка контраста;
- время накопления — ручной и автоматический режимы;
- электронное увеличение изображения — х 2, х 4;
- служебная информация в выходном видеосигнале — текстовые сообщения, технологическое перекрестие, служебные символы;
- управление величиной поля зрения и фокусировкой — по интерфейсу САN 2.0;
- канал управления — CAN 2.0 (100 Кбит/c).
Камеры панорамного обзора
В состав камеры панорамного обзора входят:
- блок из 8 камер;
- оптическая схема;
- вычислитель с установленным специализированным программным обеспечением.
Основные характеристики камеры панорамного обзора:
- интерфейс USB2.0/3.0;
- максимальное разрешение при 20 кадрах в секунду – 5760х600 пикселей;
- напряжение постоянного тока — 5В;
- потребляемый ток — 0,5 А на одну встроенную камеру;
- потребляемая мощность – 20 Вт;
- частота считывания кадров с — 20 Гц (опционально 25 Гц / 50 Гц / 100 Гц);
- разрядность аналогово-цифрового преобразования сигналов с МФПУ — 16 бит;
- выходной видеосигнал — MJpeg, Mpeg4;
- служебная информация в выходном видеосигнале — текстовые сообщения, технологическое перекрестие, служебные символы;
- управление величиной поля зрения и фокусировкой — по интерфейсу САN 2.0;
- канал управления — USB2.0/3.0.
- изображения с камер передаются на вычислитель, где осуществляется процесс сшивки в реальном времени;
- угол поля зрения по горизонтали — , по вертикали — ;
- сшитое изображение может быть передано по сети в виде развернутой панорамной картинки, а также в виде VR-изображения, транслирующегося в шлем виртуальной реальности (поддерживается трансляция VR видео по Wi-Fi в мобильный телефон в режиме реального времени);
- оптическая схема позволяет снимать изображение практически из одной точки.
Примечание: возможно изготовление на заказ камеры панорамного обзора, в которой в качестве встроенных камер (эффективно использование от 6 камер) будут применены камеры, удовлетворяющие требованию заказчика (большее разрешение по горизонтали и вертикали, больший угол поля зрения по вертикали, заданный угол места для камер или определенный формат видео, дополнительные требования).
Сшивка изображений включает в себя:
- коррекцию дисторсии;
- цифровую юстировку камер;
- добавление сферических координат.
3D камеры: ToF и стереокамеры
Стереокамеры:
Проектирование и сборка систем для технического (машинного) стереозрения под задачу заказчика.
ПодробнееНаши преимущества:
- камеры видимого, инфракрасного диапазонов (SWIR, MWIR, LWIR), а также мультиспектральные комбинации;
- совместная обработка камера различных спектральных диапазонов, полей зрения и стереопар с различными базами;
- высокая чувствительность камер, частота кадров до 100 кадров в секунду, разрешение до 25 МПикселей;
- глобальный затвор исключает артифакты на подвижной сцене;
- нейросетевые алгоритмы для точного восстановления карты глубины (трехмерной сцены);
- библиотека примеров взаимодействия с системой на C++ и Python;
Времяпролетная камера:
Позволяет одновременно получить изображение и карту глубины.
- Дальность: до 6 метров.
- Поле зрения: 90° x 69.2°.
- Точность не хуже 2%.
- Разрешение сенсора глубины: 640 x 480.
- Частота кадров сенсора глубины: 25/30 Гц.
- Разрешение RGB сенсора: 2048 x 1536.
- Частота кадров RGB сенсора: 25/30/50/60/90/100 Гц.
Области возможного применения:
- Беспилотный транспорт и роботехника.
- SLAM (алгоритмы одновременной локализации и построение трехмерной карты).
- Видеоигры.
- Системы дополненной и виртуальной реальности.
- Системы контроля безопасности труда.
- Таргетированная реклама: повышение качества решения задач технического зрения, таких как определение направления взгляда, повышение качества обнаружения объектов и людей, пола и возраста людей.
Мультиспектральные камеры
Современные системы технического зрения используют несколько спектральных диапазонов для расширения диапазона условий функционирования системы:
Подробнееобеспечения всепогодности, работе при низкой освещенности, в условиях контрового освещения.
В то же время многие прикладные задачи, такие построения панорамного изображения, обнаружения и локализации объектов, SLAM (одновременная локализация и построение 3Д карты) требуют точного совмещения полученных изображений различных спектральных диапазонов. Типовым решением является установка камер таким образом, что их оптические оси параллельны друг другу и находятся на наименьшем возможном расстоянии, определяемом внешними габаритами камеры.
Для близко расположенных предметов это приводит к неприемлемому параллаксу. Для его устранения нами был разработан ряд оптических схем, позволяющих точно совместить зрачки камер видимого и ИК (SWIR, MWIR, LWIR) диапазонов.
Гиростабилизированный подвес Ronin-MX DJI позволяет проводить съёмку в стационарном и в подвижном вариантах (размещение на мультикоптере либо автомобиле). Обеспечивает поворот камеры:
- 360° в азимутальной плоскости;
- по углу места от -135° до +90°.
2. Вычислители для решения задач технического зрения и управления робототехническими комплексами
Системы на модуле (System On Module – SOM) на базе платы Zynq 7000
Плата Inviewlab-Z7020
ПодробнееУстройство по функциональности аналогично отладочной плате picozed но меньше по габаритам (50х50мм)
На борту:
- ПЛИС XC7Z020-2CLG400 *
- DDR3 память MT41K256M16HA-125:E (2шт.) 2x4Gb
- QSPI Flash S25FL128SAGN (128Mb) **
- 10/100/1000 Ethernet Phy (Marvell 88E1116R) ***
- Три разъема molex 71436-0164 (64pin)
* опционально плата может комплектоваться более дешевым ПЛИС/СнК XC7Z010-2CLG400
** также возможна установка Flash серии S25FLxx объемом до 512Mbit
*** трансформатор и RJ-45 разъем должны устанавливаться снаружи (на несущей плате).
Возможности подключения ввода-вывода:
- Для внешних подключений предназначены разъемы XS1,XS3,XS2/XS4.
- На разъем XS1 выведен IO порт Bank34 (50 IO линий/ 24 диф. пары)
- Порт Bank35 (50 IO линий/ 24 диф. пары) выведен на разъем XS2/XS4, который при сборке платы может быть установлен с верхней, либо с нижней стороны. (см. рис.)
- PS MIO порт, предназначенный для подключения SD, USB, UART, PMOD разъема подключен на разъем XS3.
Питание платы осуществляется от напряжения от 4 до 17В. Ток потребления зависит от программного обеспечения.
Вариант установки разъемов расширения на одну сторону:
Вариант установки XS2/XS4 на другую сторону платы:
Решения на модулях Jetson
Ключевые особенности:
- одновременная запись 3 входных цифровых видеосигналов до 300Мбайт/с каждый 3 входа CameraLink Base;
- Поддержка 8/10/12/16/24 бит на пиксель;
- Gigabit Ethernet;
- ПО под ОС Windows и Linux для просмотра и перекодирования видеозаписей;
- Веб-интерфейс.
Доступные опции:
- Интерфейсы ввода видеосигнала 1G/10G Ethernet, Parallel;
- Сжатие видеосигнала «лету», в том числе и без потерь/запись несжатого видеопотока.
3. Беспилотные автомобили и аппараты/системы помощи водителю
В отличие от альтернативных разрабатываемых беспилотных автомобилей система предназначена для решения более широкого круга задач, может быть использована совместно с беспилотным летающим аппаратом
ПодробнееБеспилотный автомобиль с расширенной функциональностью в области автоматического анализа окружающей обстановки
Система способна решать следующие задачи:
- детектирование объектов интереса в режиме реального времени;
- распознавание препятствий, ландшафтов, разметки, участников дорожного движения, номерных знаков;
- поиск подозрительных автомобилей и лиц;
- в перспективе – выявление опасных ситуаций и действий.
Возможны различные сценарии использования:
- управление с оператором;
- управление из командного пункта;
- автономное управление;
- совместное использование с беспилотным летающим модулем.
Особенности системы:
- комплексирование данных различных навигационных систем;
- возможно автономное движение и выполнение задач без доступа к данным спутниковой навигации, по визуальной информации;
- модульная структура, позволяющая использовать альтернативные варианты шасси;
- различные компоновки, от базового варианта беспилотного автомобиля до многофункциональной системы анализа окружающей обстановки
- планирование и следование траектории движения;
- телеметрия и сбор данных;
- ПО дистанционного управления;
- возможность собирать, анализировать и комплексировать информацию:
- видимого диапазона (камеры, стереопары и камеры панорамного видения);
- инфракрасного диапазона (ТПВ-камеры с охлаждаемыми и неохлаждаемыми приемниками);
- геометрию окружающего пространства, а также данные о движущихся объектах (модули радиовидения, 3Д-камеры, лидары).
Искусственный интеллект:
- современные авторские алгоритмы глубокого обучения включая обучение с подкреплением
- аппаратная реализация нейросетевых алгоритмов в СНК и ПЛИС
Беспилотный летательный аппарат (БПЛА)
Подсистема воздушного мониторинга представляет собой беспилотный летательный аппарат, оснащенный оптико-электронными и тепловизионными системами наблюдения.
ПодробнееОснащение, подъемная сила и время автономной работы зависит от используемого носителя и устанавливаемых аккумуляторных батарей.
Комплекс электронной цифровой системы управления автомобилем NersDrive
Разработка и интеграция программного обеспечения и алгоритмов интеллектуального анализа и обработки данных направленного на решение следующих задач:
Подробнее- обеспечение ситуационной осведомленности: обнаружение, распознавание и трекинг объектов и препятствий;
- комплексирование данных различных навигационных систем;
- планирование и следование траектории движения;
- телеметрия и сбор данных;
- ПО дистанционного управления;
Комплекты электронной цифровой системы управления автомобилем NersDrive
Комплекты электронной цифровой системы управления позволяют взаимодействовать со всеми основными системами управления транспортного средства (включая тормоз, акселератор и рулевое управление), а также вспомогательными системами (такими, как фары, звуковые и световые сигналы).
Возможно использование одной из поддерживаемых нами готовых платформ (шасси) или создания своей.
Комплекты электронной цифровой системы управления автомобилем NersDrive специально созданы, чтобы позволить разработчикам легко и безопасно взаимодействовать с широким спектром транспортных средств, значительно сократить расходы на разработку и сократить время выхода на рынок.
Комплекты электронной цифровой системы управления автомобилем предоставляют разработчику возможность взаимодействовать с автомобилем через интерфейс CAN или Ethernet, используя унифицированный API, упрощающий процесс взаимодействия с системами конкретного транспортного средства.
Помощь в интеграции оборудования и роботизации транспортного средства
Наша команда по интеграции может работать с любым транспортным средством и интегрировать датчики и вычислители собственного или стороннего производства:
- подключение к штатным системам автомобиля;
- модернизация и доработка системы управления автомобилем;
- разработка корпусов, кронштейнов и креплений для датчиков и другого дополнительного оборудования.
Системы помощи водителю
Гибко конфигурируемая система помощи водителю, основанная на технологиях искусственного интеллекта, использующая в своей работе высокочувствительные камеры и радары миллиметрового диапазона. Модульность системы позволяет клиенту выбрать нужный ему набор функций:
Подробнее- обнаружение и предупреждение о наличии пешехода и велосипедиста на проезжай части или в непосредственной близости от нее;
- контроль проезда перекрестка (обнаружение и предупреждение об опасной ситуации на перекрестке);
- контроль слепых зон;
- распознавание номеров и марок автомобилей, измерение их скорости (аналитика окружающей обстановки поможет при разборе аварий и преступлений, участником или очевидцем которых был автомобиль, оборудованный системой такого типа);
- предупреждение о приближении спецтранспорта и а/м с спецсигналами;
- распознавание знаков и зон их действия (с визуализацией на внутреннем дисплее), контроль состояния светофоров;
- функция автоматического аварийного торможения (не для всех марок а/м);
- функция удержания в полосе (не для всех марок а/м);
- функция адаптивного круиз-контроля;
Преимущества предлагаемого решения:
- непрерывный круговой обзор 360 градусов;
- тепловизионные камеры высокого разрешения позволяют увидеть опасность даже ночью и при плохих погодных условиях;
- радары миллиметрового диапазона позволяют надежно обнаруживать опасность на расстоянии до 200 метров;
- опционально массив микрофонов для всенаправленной записи звука с возможностью цифровой фильтрации направления приема;
- функция видеорегистратора позволяет записать полную круговую панораму, а функция распознавание номеров позволит сохранить изображение номерных знаков четкими (не испорченными сжимающими с потерями видеокодеками). Опция навигационной системы обеспечит запись точной траектории движения автомобиля и привязку видеозаписи по времени и координатам;
- адаптивный круиз контроль не только контролирует расстояние до препятствий и скорость других транспортных средств, но и опционально позволяет учитывать требования дорожных знаков;
- возможность интеграции функций распознавания с адаптивным круиз контролем и автоматическим аварийным торможением
Решение найдет свое применение как в частных автомобилях, так и в общественном транспорте, такси и коммерческих перевозках, подняв уровень безопасности, контроля за водителем и окружающей обстановкой на новый, небывалый уровень.
Модульность решения позволит собрать оптимальную конфигурацию под различный бюджет и задачи исходя из нужд клиента.
4. Системы передачи и хранения данных
Промышленный модем
Основные характеристики:
Подробнее- двойное резервирование SIM для непрерывной сотовой связи (аварийное переключение интернет-канала на резервный, в случаях недоступности основного);
- стандарты LTE/HSPA/UMTS/EDGE/GPRS;
- поддержка MIMO;
- Wi-Fi 802.11 n. 5GHz 3×3 MIMO;
- 2 порта RJ45 Ethernet;
- 2 слота SFP+;
- GPIO, RS-232, USB;
- веб-интерфейс;
- корпус с возможностью крепления на DIN-рейку или к стене (Возможен заказ во всепогодном исполнении с креплением на мачту или кронштейн);
- широкий диапазон входного напряжения — от 11 до 30 В, поддержка PoE. доступна опция питания от сети 220В;
- габариты: 166 мм х 108 мм х 36 мм.
Приемопередатчики SDR
Программно-определяемая радиосистема Software Defined Radio — SDR
Подробнее- два независимых канала + два дополнительных обзорных канала;
- диапазон рабочих частот: от 70 МГц до 6.0 ГГц;
- настраиваемая полоса пропускания: от 200 кГц до 200 МГц (до 450 МГц у передатчика);
- коэффициент шума приемника <2.5 дБ;
- управление коэффициентом усиления на линии приемника;
- тонкая временная и частотная синхронизация на приемной стороне. Эквалайзинг принятых частот по пилотным несущим;
- усилитель мощности: серия внешних сменных модулей до 10Вт;
- модуляция: OFDM. 4/16/64-QAM созвездие 1024 отсчета на символ, 128 отсчетов на защитный интервал;
- опционально внутрикадровое (intraframe) сжатие видеосигнала, вносящее минимальную
задержку в передаваемый видеосигнал <1 мс;
Реализация приема видео на ПЛИС, возможность применение любого входного / выходного интерфейса для данных, в частности: Camera Link, Gigabit Ethernet (RTP/UDP), Parallel.
Видеорегистратор
Многоканальный цифровой видеорегистратор сигналов высокого разрешения.
Подробнее- интерфейс: CameraLink (опционально 1G/10G Ethernet);
- 3 канала (легко масштабируется);
- >300 мегапикселей/c на каждый канал;
- сжатие видеопотока без потерь (опционально lossy).
Канал управления
Радио модули диапазона 868 МГц для каналов телеметрии и управления
ПодробнееЧастотный диапазон 868МГц и высокая выходная мощность обеспечивает устойчивую связь на расстоянии 15–20 километров в зоне прямой видимости, что делает их идеальным решением для каналов телеметрии, управления и систем безопасности.
- Рабочий диапазон частот 863-873 МГц.
- Программируемая выходная мощность передатчика до 27 дБм.
- Чувствительность приемника до -116 дБм.
- Скорость передачи данных до 500 Кбит/с.
- Тип модуляции 2-FSK, 2-GFSK, 4- FSK, MSK, ASK/OOP.
- Разъем подключения SMA.
- Интерфейсы: USB 2.0, GPIO (опционально).
- Потребляемая мощность:
— в режиме приема: до 200мВт;
— в режиме передачи: до 700мВт.
- Размеры: 65х30х28.
Применение:
- каналы передачи данных, управления и телеметрии робототехнических комплексов;
- промышленная телеметрия;
- сигнализация, системы безопасности;
- системы умный дом.
Преимущества:
- высокая мощность передатчика и чувствительность приемника;
- простой API;
- наличие режима «беспроводного последовательного порта»;
- поддержка как соединений «точка-точка», так и более сложных топологий (Mesh);
- открытый диапазон 868 МГц не требует получения лицензий и оформления разрешений.
5. Нейросетевые решения / подготовка инфраструктуры для нейросетевых решений
Системы разметки фотоизображений
Программа позволяет разметить объекты на фотографиях.
Подробнее
Размеченные объекты сохраняются в виде текстового файла в специальном формате для дальнейшей возможности их обработки. Например, для обучения нейронных сетей или составления статистики. Программа представляет собой рабочую область, где отображается изображение, с которым работает оператор и окружающие её инструменты, меню и настройки разметки.
Программа позволяет:
- открывать фотографии высокого разрешения (8K UHD и выше) и работать с ними;
- при разметке сегментов или смежных объектов доступно автоматическое объединение границ;
- инвертировать цвета;
- настроить яркость и контраст для повышения эффективности разметки изображения с областями разной экспозиции;
- блокировка масштаба и вертикального перемещения для движения построчно и исключения возможности пропуска объектов при разметке изображений превышающих размеры рабочей области;
- задать классы и подклассы объектам разметки;
- внести пользовательские группы классов в программу;
- получить статистику по размеченному изображению;
- автоматизировать процесс разметки с помощью запросов обнаружения объектов нейронной сетью;
- вести историю действий пользователя и отменить или повторить последние несколько манипуляций;
- выбрать тип разметки объектов: центры, прямоугольные или многоугольные границы;
- с помощью клавиш быстрого доступа иметь возможность ускорить и сделать более эффективной работу пользователя;
Системы разметки видеоданных
Разметка видеоизображений
Программа предназначена для предварительной обработки видео оператором.
Подробнее
Размеченные объекты сохраняются в виде текстового файла в специальном формате для дальнейшей возможности их обработки. Например, для обучения нейронных сетей или составления статистики. Оператор имеет в распоряжении окно с видеопроигрывателем в центре и инструментами вокруг. Для удобства поиска объектов и визуального представления нахождения объекта в видеоряде доступно окно с кадрами, где можно осуществлять навигацию во времени и объектам.
Программа разметки видеоизображений позволяет:
- разметить ключевые кадры (выделить на изображении интересующие оператора объекты с помощью различных инструментов, позволяющих автоматизировать процесс разметки);
- интерполировать размеченные объекты на промежуточных (не ключевых) кадрах;
- вести историю действий пользователя и отменить или повторить несколько последних действий;
- автоматически сохранять состояние разметки;
- назначать классы размеченным объектам;
- воспроизвести видеоряд с наложенными на него границами размеченных объектов;
- приближать и удалять интересующие оператора фрагменты кадра;
- с помощью клавиш быстрого доступа иметь возможность ускорить и сделать более эффективной работу пользователя;
- просматривать и сортировать объекты в специальном окне кадров;
- визуализировать временную шкалу присутствия объекта на видео.
Для лучшего опыта использования рекомендуется два монитора оператора, но и с одним работа остается комфортной.
Нейросетевые алгоритмы для решения задач СТЗ
Система технического зрения для беспилотного автомобиля
ПодробнееПрограммно-аппаратный комплекс, обрабатывающий всю информацию, приходящую от сенсоров (в видимом, инфракрасном, радиолокационном и проч. диапазонах), для решения следующих задач в рамках управления беспилотным автомобилем:
- сегментация видеоизображения;
- поиск движущихся объектов (автомобили, пешеходы и проч. участники движения);
- обнаружение препятствий;
- распознавание дорожных знаков и сигналов светофора;
- дополнительный поиск объектов: распознавание лиц, поиск номеров, фиксация оставленных предметов.
Программный комплекс дешифрования аэрокосмической информации
Программно-аппаратный комплекс дешифрирования аэрокосмической информации в видимом, инфракрасном и радиолокационном диапазонах длин волн с качеством, максимально приближенным к качеству человека-оператора включает:
- систему автоматического дешифрирования аэрокосмической информации;
- фотореалистичный симулятор фоно-целевой обстановки в видимом и ИК диапазонах для пополнения обучающей выборки;
- систему полуавтоматической разметки видео- и фотоматериалов для формирования обучающей выборки и активного обучения алгоритмов искусственного интеллекта.
Система ранней диагностики заболеваний новообразований кожи на основе многослойных сверточных нейросетей глубокого обучения skincheckup.online
Цель проекта — проведение качественной предварительной диагностики здоровья кожи.
Разрабатываемая система работает в 2 направлениях:
- Для профессионального пользования разработана система, осуществляющая автоматический анализ изображений, получаемых со специального медицинского прибора – дерматоскопа).
В этом направлении мы сотрудничаем с ведущим Российским производителем дерматоскопов РДС НПО Биофотоника.
- Для пользователей мобильных устройств с камерой. Система предоставляет возможность получить за несколько секунд предварительный диагноз новообразования при загрузке фотографии с камеры. Сервис скоро будет доступен.
6. IP ядра для ПЛИС (FPGA)
Решение технических задач на ПЛИС (FPGA). В частности, могут быть решены следующие прикладные задачи обработки изображения для компьютерного зрения:
Подробнее- шумоподавление и маскирование битых пикселей;
- современные алгоритмы дебайеризации;
- алгоритмы сжатия динамического диапазона и повышения детальности изображения
- алгоритмы сжатия изображения и видеопотока с высокой эффективностью и низкой латентностью;
- аппаратный ускоритель (сопроцессор) сверточных нейронных сетей;
- многомасштабные алгоритмы выделения контрастных объектов (адаптивная бинаризация);
- контроллеры сенсоров видимого и ИК диапазона (в т.ч. охлаждаемых);
- работа с интерфейсом Camera link.