• контроллер
• интерфейсная плата

 

Камеры подразделяются на узкопольную (УТК) и широкопольную (ШТК).

Основные характеристики (УТК):

• напряжение тока – 5 В;
• потребляемый ток – 0,90 А;
• тип приемных матриц (КМОП) – Монохромная Sony IMX252LLR;
• объектив – Зенит -50;
• частота считывания кадров с камеры – 50 Гц. Опционально 25Гц, 100Гц;

Примечание: 100 Гц только в режиме биннинга, в режиме «Основной» и «Увеличение» — 95 Гц – 98 Гц. 25 и 50 Гц поддерживают все режимы.

• разрядность аналогово-цифрового преобразования сигналов – 12 бит;
• задержка вывода кадров – не более 10мс;
• выходной аналоговый видеосигнал – композитный видеосигнал по ГОСТ 7845-92;

Примечание: PAL работает только в 50 Гц.

• выходной цифровой видеосигнал – Camera Link Base 1024 х 768, 10 бит;
• изменение экспозиции и коэффициента усиления – автоматический и ручной режимы;
• эквилизация гистограммы с плато, основанная на предыдущем кадре, позволяющая увеличить динамический диапазон и контрастность;
• специальные выходные сигналы – кадровые и строчные синхроимпульсы, импульс окончания экспозиции;
• специальные входные сигналы – триггер начала экспозиции;
• режимы изображения, формат области фотоприемной матрицы, участвующей в формировании выходного сигнала (в пикселях) – Биннинг: (2048 х 1536), Основной (1024 х 768), Увеличение (512 х 384);
• служебная информация в выходном видеосигнале – технологическое перекрестие, служебные символы (время экспозиции, коэффициент усиления, режим работы);
• канал управления – CAN 2.0 (100 Кбит/c);
• скользящий затвор (global shutter).

Основные характеристики (ШТК):

• напряжение тока – 5В;
• потребляемый ток – 1,05А;
• тип приемных матриц (КМОП) – цветная Sony IMX252LQR
• объектив – Зенит -50;
• частота считывания кадров с камеры – 50 Гц. Опционально 25Гц, 100Гц;

Примечание: 100 Гц только в режиме биннинга, в режиме «Основной» и «Увеличение» — до 95 — 98 Гц. 25 и 50 Гц поддерживают все режимы.

• разрядность аналогово-цифрового преобразования сигналов – 12 бит;
• задержка вывода кадров – не более 10мс;
• выходной аналоговый видеосигнал – композитный видеосигнал по ГОСТ 7845-92;

Примечание: PAL работает только в 50 Гц.

• выходной цифровой видеосигнал – Camera Link Base 1024 х 768, 24 бита (8 бит на цвет);
• изменение экспозиции и коэффициента усиления – автоматический и ручной режимы;
• эквилизация гистограммы с плато, основанная на предыдущем кадре, позволяющая увеличить динамический диапазон и контрастность;
• специальные выходные сигналы – кадровые и строчные синхроимпульсы, импульс окончания экспозиции;
• специальные входные сигналы – триггер начала экспозиции;
• режимы изображения, формат области фотоприемной матрицы, участвующей в формировании выходного сигнала (в пикселях) – Биннинг: (2048 х 1536), Основной (1024 х 768), Увеличение (512 х 384);
• служебная информация в выходном видеосигнале – технологическое перекрестие, служебные символы (время экспозиции, коэффициент усиления, режим работы);
• канал управления – CAN 2.0 (100 Кбит/c);
• скользящий затвор (global shutter).
  

• контроллер
• интерфейсная плата

Основные характеристики ТПВ камеры:

• охлаждаемая ТПВ камера 640*512@100 Гц MWIR;
• неохлаждаемая ТПВ камера 1024*768@30 Гц LWIR;
• напряжение постоянного тока — 27В;
• потребляемый ток — 0,28 А в рабочем состоянии и 0,60 А в режиме охлаждения сенсора;
• потребление сенсора (компрессора) 024 — 0.28 А, когда сенсор охладился, до 0.50 А в режиме охлаждения;
• потребление электроники при напряжении 5 В или 27 В — 6.5 Вт;
• модель МФПУ — i3system DI640-15M-B-A;
• формат МФПУ — 640 х 512;
• размер элемента МФПУ — 15 мкм;
• объектив — OPHIR680160-002;
• максимальная частота считывания кадров с МФПУ — 100Гц;
• разрядность аналогово-цифрового преобразования сигналов с МФПУ — 16 бит;
• выходной видеосигнал — Camera Link Base, формат 640х512, разрядность 10 бит, частота кадров 50 Гц, Аналоговый композитный видеосигнал по ГОСТ 7845-92. Дополнительно — режим 25 Гц. PAL работает только в 50 Гц.
• регулировка яркости и контраста — ручной и автоматический режимы;
• эквилизация гистограммы с плато, основанная на предыдущем кадре, позволяющая увеличить динамический диапазон и контрастность;
• автоматическая регулировка контраста;
• время накопления — ручной и автоматический режимы;
• электронное увеличение изображения — х 2, х 4;
• служебная информация в выходном видеосигнале — текстовые сообщения, технологическое перекрестие, служебные символы;
• управление величиной поля зрения и фокусировкой — по интерфейсу САN 2.0;
• канал управления — CAN 2.0 (100 Кбит/c).

• вычислитель с установленным специализированным программным обеспечением.

Основные характеристики камеры панорамного обзора:

• интерфейс USB2.0/3.0;
• максимальное разрешение при 20 кадрах в секунду – 5760х600 пикселей;
• напряжение постоянного тока — 5В;
• потребляемый ток — 0,5 А на одну встроенную камеру;
• потребляемая мощность – 20 Вт;
• частота считывания кадров с — 20 Гц (опционально 25 Гц / 50 Гц / 100 Гц);
• разрядность аналогово-цифрового преобразования сигналов с МФПУ — 16 бит;
• выходной видеосигнал — MJpeg, Mpeg4;
• служебная информация в выходном видеосигнале — текстовые сообщения, технологическое перекрестие, служебные символы;
• управление величиной поля зрения и фокусировкой — по интерфейсу САN 2.0;
• канал управления — USB2.0/3.0.
• изображения с камер передаются на вычислитель, где осуществляется процесс сшивки в реальном времени;
• угол поля зрения по горизонтали — , по вертикали — ;
• сшитое изображение может быть передано по сети в виде развернутой панорамной картинки, а также в виде VR-изображения, транслирующегося в шлем виртуальной реальности (поддерживается трансляция VR видео по Wi-Fi в мобильный телефон в режиме реального времени);
• оптическая схема позволяет снимать изображение практически из одной точки.

Примечание: возможно изготовление на заказ камеры панорамного обзора, в которой в качестве встроенных камер (эффективно использование от 6 камер) будут применены камеры, удовлетворяющие требованию заказчика (большее разрешение по горизонтали и вертикали, больший угол поля зрения по вертикали, заданный угол места для камер или определенный формат видео, дополнительные требования).

Сшивка изображений включает в себя:

• коррекцию дисторсии;
• цифровую юстировку камер;
• добавление сферических координат.

Наши преимущества:

• камеры видимого, инфракрасного диапазонов (SWIR, MWIR, LWIR), а также мультиспектральные комбинации;
• совместная обработка камера различных спектральных диапазонов, полей зрения и стереопар с различными базами;
• высокая чувствительность камер, частота кадров до 100 кадров в секунду, разрешение до 25 МПикселей;
• глобальный затвор исключает артифакты на подвижной сцене;
• нейросетевые алгоритмы для точного восстановления карты глубины (трехмерной сцены);
• библиотека примеров взаимодействия с системой на C++ и Python;

Времяпролетная камера:

Позволяет одновременно получить изображение и карту глубины.

• Дальность: до 6 метров.
• Поле зрения: 90° x 69.2°.
• Точность не хуже 2%.
• Разрешение сенсора глубины: 640 x 480.
• Частота кадров сенсора глубины: 25/30 Гц.
• Разрешение RGB сенсора: 2048 x 1536.
• Частота кадров RGB сенсора: 25/30/50/60/90/100 Гц.

Области возможного применения:

• Беспилотный транспорт и роботехника.
• SLAM (алгоритмы одновременной локализации и построение трехмерной карты).
• Видеоигры.
• Системы дополненной и виртуальной реальности.
• Системы контроля безопасности труда.
• Таргетированная реклама: повышение качества решения задач технического зрения, таких как определение направления взгляда, повышение качества обнаружения объектов и людей, пола и возраста людей.

обеспечения всепогодности, работе при низкой освещенности, в условиях контрового освещения.

В то же время многие прикладные задачи, такие построения панорамного изображения, обнаружения и локализации объектов, SLAM (одновременная локализация и построение 3Д карты) требуют точного совмещения полученных изображений различных спектральных диапазонов. Типовым решением является установка камер таким образом, что их оптические оси параллельны друг другу и находятся на наименьшем возможном расстоянии, определяемом внешними габаритами камеры.

Для близко расположенных предметов это приводит к неприемлемому параллаксу. Для его устранения нами был разработан ряд оптических схем, позволяющих точно совместить зрачки камер видимого и ИК (SWIR, MWIR, LWIR) диапазонов.

Гиростабилизированный подвес Ronin-MX DJI позволяет проводить съёмку в стационарном и в подвижном вариантах (размещение на мультикоптере либо автомобиле). Обеспечивает поворот камеры:

• 360° в азимутальной плоскости;
• по углу места от -135° до +90°.

Устройство по функциональности аналогично отладочной плате picozed но меньше по габаритам (50х50мм)

На борту:

• ПЛИС XC7Z020-2CLG400 *
• DDR3 память MT41K256M16HA-125:E (2шт.) 2x4Gb
• QSPI Flash S25FL128SAGN (128Mb) **
• 10/100/1000 Ethernet Phy (Marvell 88E1116R) ***
• Три разъема molex 71436-0164 (64pin)

* опционально плата может комплектоваться более дешевым ПЛИС/СнК XC7Z010-2CLG400

** также возможна установка Flash серии S25FLxx объемом до 512Mbit

*** трансформатор и RJ-45 разъем должны устанавливаться снаружи (на несущей плате).

Возможности подключения ввода-вывода:

• Для внешних подключений предназначены разъемы XS1,XS3,XS2/XS4.
• На разъем XS1 выведен IO порт Bank34 (50 IO линий/ 24 диф. пары)
• Порт Bank35 (50 IO линий/ 24 диф. пары) выведен на разъем XS2/XS4, который при сборке платы может быть установлен с верхней, либо с нижней стороны. (см. рис.)
• PS MIO порт, предназначенный для подключения SD, USB, UART, PMOD разъема подключен на разъем XS3.

Питание платы осуществляется от напряжения от 4 до 17В. Ток потребления зависит от программного обеспечения.

Вариант установки разъемов расширения на одну сторону:

Вариант установки XS2/XS4 на другую сторону платы:

• Поддержка 8/10/12/16/24 бит на пиксель;
• Gigabit Ethernet;
• ПО под ОС Windows и Linux для просмотра и перекодирования видеозаписей;
• Веб-интерфейс.

Доступные опции:

• Интерфейсы ввода видеосигнала 1G/10G Ethernet, Parallel;
• Сжатие видеосигнала «лету», в том числе и без потерь/запись несжатого видеопотока.

или являться частью более сложного комплекса, состоящего из нескольких или многих взаимодействующих между собой устройств. Помимо очевидного применения в качестве транспортного средства разрабатываемый беспилотный автомобиль создается с учетом возможности его использования в качестве «специальной» машины для скорой помощи, спасательных операций, задач полиции или военных.

Беспилотный автомобиль с расширенной функциональностью в области автоматического анализа окружающей обстановки

Система способна решать следующие задачи:

• детектирование объектов интереса в режиме реального времени;
• распознавание препятствий, ландшафтов, разметки, участников дорожного движения, номерных знаков;
• поиск подозрительных автомобилей и лиц;
• в перспективе – выявление опасных ситуаций и действий.

Возможны различные сценарии использования:

• управление с оператором;
• управление из командного пункта;
• автономное управление;
• совместное использование с беспилотным летающим модулем.

Особенности системы:

• комплексирование данных различных навигационных систем;
• возможно автономное движение и выполнение задач без доступа к данным спутниковой навигации, по визуальной информации;
• модульная структура, позволяющая использовать альтернативные варианты шасси;
• различные компоновки, от базового варианта беспилотного автомобиля до многофункциональной системы анализа окружающей обстановки
• планирование и следование траектории движения;
• телеметрия и сбор данных;
• ПО дистанционного управления;
• возможность собирать, анализировать и комплексировать информацию:
• видимого диапазона (камеры, стереопары и камеры панорамного видения);
• инфракрасного диапазона (ТПВ-камеры с охлаждаемыми и неохлаждаемыми приемниками);
• геометрию окружающего пространства, а также данные о движущихся объектах (модули радиовидения, 3Д-камеры, лидары).

Искусственный интеллект:

• современные авторские алгоритмы глубокого обучения включая обучение с подкреплением
• аппаратная реализация нейросетевых алгоритмов в СНК и ПЛИС

Возможна установка любого из разрабатываемых сенсоров для сбора информации.

Оснащение, подъемная сила и время автономной работы зависит от используемого носителя и устанавливаемых аккумуляторных батарей.

• обеспечение ситуационной осведомленности: обнаружение, распознавание и трекинг объектов и препятствий;
• комплексирование данных различных навигационных систем;
• планирование и следование траектории движения;
• телеметрия и сбор данных;
• ПО дистанционного управления;

Комплекты электронной цифровой системы управления автомобилем NersDrive

Комплекты электронной цифровой системы управления позволяют взаимодействовать со всеми основными системами управления транспортного средства (включая тормоз, акселератор и рулевое управление), а также вспомогательными системами (такими, как фары, звуковые и световые сигналы).

Возможно использование одной из поддерживаемых нами готовых платформ (шасси) или создания своей.

Комплекты электронной цифровой системы управления автомобилем NersDrive специально созданы, чтобы позволить разработчикам легко и безопасно взаимодействовать с широким спектром транспортных средств, значительно сократить расходы на разработку и сократить время выхода на рынок.

Комплекты электронной цифровой системы управления автомобилем предоставляют разработчику возможность взаимодействовать с автомобилем через интерфейс CAN или Ethernet, используя унифицированный API, упрощающий процесс взаимодействия с системами конкретного транспортного средства.

Помощь в интеграции оборудования и роботизации транспортного средства

Наша команда по интеграции может работать с любым транспортным средством и интегрировать датчики и вычислители собственного или стороннего производства:

• подключение к штатным системам автомобиля;
• модернизация и доработка системы управления автомобилем;
• разработка корпусов, кронштейнов и креплений для датчиков и другого дополнительного оборудования.

• обнаружение и предупреждение о наличии пешехода и велосипедиста на проезжай части или в непосредственной близости от нее;
• контроль проезда перекрестка (обнаружение и предупреждение об опасной ситуации на перекрестке);
• контроль слепых зон;
• распознавание номеров и марок автомобилей, измерение их скорости (аналитика окружающей обстановки поможет при разборе аварий и преступлений, участником или очевидцем которых был автомобиль, оборудованный системой такого типа);
• предупреждение о приближении спецтранспорта и а/м с спецсигналами;
• распознавание знаков и зон их действия (с визуализацией на внутреннем дисплее), контроль состояния светофоров;
• функция автоматического аварийного торможения (не для всех марок а/м);
• функция удержания в полосе (не для всех марок а/м);
• функция адаптивного круиз-контроля;

Преимущества предлагаемого решения:

• непрерывный круговой обзор 360 градусов;
• тепловизионные камеры высокого разрешения позволяют увидеть опасность даже ночью и при плохих погодных условиях;
• радары миллиметрового диапазона позволяют надежно обнаруживать опасность на расстоянии до 200 метров;
• опционально массив микрофонов для всенаправленной записи звука с возможностью цифровой фильтрации направления приема;
• функция видеорегистратора позволяет записать полную круговую панораму, а функция распознавание номеров позволит сохранить изображение номерных знаков четкими (не испорченными сжимающими с потерями видеокодеками). Опция навигационной системы обеспечит запись точной траектории движения автомобиля и привязку видеозаписи по времени и координатам;
• адаптивный круиз контроль не только контролирует расстояние до препятствий и скорость других транспортных средств, но и опционально позволяет учитывать требования дорожных знаков;
• возможность интеграции функций распознавания с адаптивным круиз контролем и автоматическим аварийным торможением

Решение найдет свое применение как в частных автомобилях, так и в общественном транспорте, такси и коммерческих перевозках, подняв уровень безопасности, контроля за водителем и окружающей обстановкой на новый, небывалый уровень.

Модульность решения позволит собрать оптимальную конфигурацию под различный бюджет и задачи исходя из нужд клиента.

• двойное резервирование SIM для непрерывной сотовой связи (аварийное переключение интернет-канала на резервный, в случаях недоступности основного);
• стандарты LTE/HSPA/UMTS/EDGE/GPRS;
• поддержка MIMO;
• Wi-Fi 802.11 n. 5GHz 3×3 MIMO;
• 2 порта RJ45 Ethernet;
• 2 слота SFP+;
• GPIO, RS-232, USB;
• веб-интерфейс;
• корпус с возможностью крепления на DIN-рейку или к стене (Возможен заказ во всепогодном исполнении с креплением на мачту или кронштейн);
• широкий диапазон входного напряжения — от 11 до 30 В, поддержка PoE. доступна опция питания от сети 220В;
• габариты: 166 мм х 108 мм х 36 мм.

• два независимых канала + два дополнительных обзорных канала;
• диапазон рабочих частот: от 70 МГц до 6.0 ГГц;
• настраиваемая полоса пропускания: от 200 кГц до 200 МГц (до 450 МГц у передатчика);
• коэффициент шума приемника <2.5 дБ;
• управление коэффициентом усиления на линии приемника;
• тонкая временная и частотная синхронизация на приемной стороне. Эквалайзинг принятых частот по пилотным несущим;
• усилитель мощности: серия внешних сменных модулей до 10Вт;
• модуляция: OFDM. 4/16/64-QAM созвездие 1024 отсчета на символ, 128 отсчетов на защитный интервал;
• опционально внутрикадровое (intraframe) сжатие видеосигнала, вносящее минимальную
  задержку в передаваемый видеосигнал <1 мс;

Реализация приема видео на ПЛИС, возможность применение любого входного / выходного интерфейса для данных, в частности: Camera Link, Gigabit Ethernet (RTP/UDP), Parallel.

• интерфейс: CameraLink (опционально 1G/10G Ethernet);
• 3 канала (легко масштабируется);
• >300 мегапикселей/c на каждый канал;
• сжатие видеопотока без потерь (опционально lossy).

Частотный диапазон 868МГц и высокая выходная мощность обеспечивает устойчивую связь на расстоянии 15–20 километров в зоне прямой видимости, что делает их идеальным решением для каналов телеметрии, управления и систем безопасности.

• Рабочий диапазон частот 863-873 МГц.
• Программируемая выходная мощность передатчика до 27 дБм.
• Чувствительность приемника до -116 дБм.
• Скорость передачи данных до 500 Кбит/с.
• Тип модуляции 2-FSK, 2-GFSK, 4- FSK, MSK, ASK/OOP.
• Разъем подключения SMA.
• Интерфейсы: USB 2.0, GPIO (опционально).
• Потребляемая мощность:

— в режиме приема: до 200мВт;

— в режиме передачи: до 700мВт.

• Размеры: 65х30х28.

Применение:

• каналы передачи данных, управления и телеметрии робототехнических комплексов;
• промышленная телеметрия;
• сигнализация, системы безопасности;
• системы умный дом.

Преимущества:

• высокая мощность передатчика и чувствительность приемника;
• простой API;
• наличие режима «беспроводного последовательного порта»;
• поддержка как соединений «точка-точка», так и более сложных топологий (Mesh);
• открытый диапазон 868 МГц не требует получения лицензий и оформления разрешений.

Размеченные объекты сохраняются в виде текстового файла в специальном формате для дальнейшей возможности их обработки. Например, для обучения нейронных сетей или составления статистики. Программа представляет собой рабочую область, где отображается изображение, с которым работает оператор и окружающие её инструменты, меню и настройки разметки.

Программа позволяет:

• открывать фотографии высокого разрешения (8K UHD и выше) и работать с ними;
• при разметке сегментов или смежных объектов доступно автоматическое объединение границ;
• инвертировать цвета;
• настроить яркость и контраст для повышения эффективности разметки изображения с областями разной экспозиции;
• блокировка масштаба и вертикального перемещения для движения построчно и исключения возможности пропуска объектов при разметке изображений превышающих размеры рабочей области;
• задать классы и подклассы объектам разметки;
• внести пользовательские группы классов в программу;
• получить статистику по размеченному изображению;
• автоматизировать процесс разметки с помощью запросов обнаружения объектов нейронной сетью;
• вести историю действий пользователя и отменить или повторить последние несколько манипуляций;
• выбрать тип разметки объектов: центры, прямоугольные или многоугольные границы;
• с помощью клавиш быстрого доступа иметь возможность ускорить и сделать более эффективной работу пользователя;

Размеченные объекты сохраняются в виде текстового файла в специальном формате для дальнейшей возможности их обработки. Например, для обучения нейронных сетей или составления статистики. Оператор имеет в распоряжении окно с видеопроигрывателем в центре и инструментами вокруг. Для удобства поиска объектов и визуального представления нахождения объекта в видеоряде доступно окно с кадрами, где можно осуществлять навигацию во времени и объектам.

Программа разметки видеоизображений позволяет:

• разметить ключевые кадры (выделить на изображении интересующие оператора объекты с помощью различных инструментов, позволяющих автоматизировать процесс разметки);
• интерполировать размеченные объекты на промежуточных (не ключевых) кадрах;
• вести историю действий пользователя и отменить или повторить несколько последних действий;
• автоматически сохранять состояние разметки;
• назначать классы размеченным объектам;
• воспроизвести видеоряд с наложенными на него границами размеченных объектов;
• приближать и удалять интересующие оператора фрагменты кадра;
• с помощью клавиш быстрого доступа иметь возможность ускорить и сделать более эффективной работу пользователя;
• просматривать и сортировать объекты в специальном окне кадров;
• визуализировать временную шкалу присутствия объекта на видео.

Для лучшего опыта использования рекомендуется два монитора оператора, но и с одним работа остается комфортной.

Программно-аппаратный комплекс, обрабатывающий всю информацию, приходящую от сенсоров (в видимом, инфракрасном, радиолокационном и проч. диапазонах), для решения следующих задач в рамках управления беспилотным автомобилем:

• сегментация видеоизображения;
• поиск движущихся объектов (автомобили, пешеходы и проч. участники движения);
• обнаружение препятствий;
• распознавание дорожных знаков и сигналов светофора;
• дополнительный поиск объектов: распознавание лиц, поиск номеров, фиксация оставленных предметов.

Программный комплекс дешифрования аэрокосмической информации

Программно-аппаратный комплекс дешифрирования аэрокосмической информации в видимом, инфракрасном и радиолокационном диапазонах длин волн с качеством, максимально приближенным к качеству человека-оператора включает:

• систему автоматического дешифрирования аэрокосмической информации;
• фотореалистичный симулятор фоно-целевой обстановки в видимом и ИК диапазонах для пополнения обучающей выборки;
• систему полуавтоматической разметки видео- и фотоматериалов для формирования обучающей выборки и активного обучения алгоритмов искусственного интеллекта.

Система ранней диагностики заболеваний новообразований кожи на основе многослойных сверточных нейросетей глубокого обучения skincheckup.online

Цель проекта — проведение качественной предварительной диагностики здоровья кожи.

Разрабатываемая система работает в 2 направлениях:

• Для профессионального пользования разработана система, осуществляющая автоматический анализ изображений, получаемых со специального медицинского прибора – дерматоскопа).

В этом направлении мы сотрудничаем с ведущим Российским производителем дерматоскопов РДС НПО Биофотоника.

• Для пользователей мобильных устройств с камерой. Система предоставляет возможность получить за несколько секунд предварительный диагноз новообразования при загрузке фотографии с камеры. Сервис скоро будет доступен.

• шумоподавление и маскирование битых пикселей;
• современные алгоритмы дебайеризации;
• алгоритмы сжатия динамического диапазона и повышения детальности изображения
• алгоритмы сжатия изображения и видеопотока с высокой эффективностью и низкой латентностью;
• аппаратный ускоритель (сопроцессор) сверточных нейронных сетей;
• многомасштабные алгоритмы выделения контрастных объектов (адаптивная бинаризация);
• контроллеры сенсоров видимого и ИК диапазона (в т.ч. охлаждаемых);
• работа с интерфейсом Camera link.