Ваш город Санкт-Петербург?
Да Выбрать другой
Каталог товаров

Встраиваемые решения на базе NVIDIA Jetson с поддержкой GMSL камер: максимальная эффективность для беспилотного транспорта

Обзор 3167 Апрель’2023

Встраиваемые решения на базе NVIDIA Jetson с поддержкой GMSL камер

В связи с растущей потребностью в применении технологий систем искусственного интеллекта в беспилотном транспорте, критически важной особенностью становится схема передачи видео с минимальными задержками и широким динамическим диапазоном (HDR). Эта особенность характерна для промышленных встраиваемых решений от Neousys, которые по своей сути являются готовыми решениями для успешной интеграции в беспилотный транспорт.

В основе общения встраиваемых компьютеров с внешними устройствами заложена технология SerDes, которая включает встроенные в компьютер десериализаторы и драйверы для связи с сериализаторами, которые встроены в автомобильные камеры GMSL (Gigabit Multimedia Serial Link). Для наиболее эффективного взаимодействия между устройствами передача данных осуществляется по коаксиальному кабелю, максимальная длина которого может достигать до 15 метров, при этом по одному кабелю могут передаваться данные, питание, управление, синхронизация и тд. Из примечательного стоит отметить, что интерфейс GMSL является универсальным, он обеспечивает функциональную совместимость разных интерфейсов на обеих сторонах канала (сериализатор/ десериализатор). Это решение является энергоэффективным и наиболее оптимальным для систем реального времени, требующих непрерывного взаимодействия с окружающей средой в условиях динамического освещения. Одним из наиболее релевантных сценариев применения является автономный беспилотный транспорт.

Встраиваемые решения на базе NVIDIA Jetson с поддержкой GMSL камер
Рис.1 – SerDes-технология во встраиваемых решениях

В качестве вычислителя для решения задач на периферии доступны встраиваемые промышленные компьютеры на базе NVIDIA Jetson. Компьютеры имеют промышленное исполнение и подразумевают эксплуатацию при резких перепадах температур в диапазоне от -25°C ~ 70°C. Кроме того, они могут выступать в роли концентратора датчиков и способны получать изображения с камер GMSL2 одновременно в пределах микросекундного перекоса между каналами. Помимо поддержки камер GMSL2, у компьютеров предусмотрен сетевой интерфейс с поддержкой 10Гбит/сек, который предназначен для высокоскоростной передачи большого объема данных изображений, например, на другой компьютер или сервер. Кроме того, имеется широкий ассортимент ввода/вывода для подключения широкого спектра внешних устройств, а предусмотренный GPS PPS позволяет согласовывать данные изображений с LIDAR. В зависимости от задачи, в продуктовой линейке Neousys доступны компьютеры разной производительности и направленности.

Серия NRU-51V выполнена на базе Xavier NX и поддерживает до 4-х GMSL2 камер. Данное решение обеспечивает производительность до 21 TOPS при максимальной мощности в 20 Вт. В модельном ряде на текущий момент предусмотрена 1 модификация:

Серия NRU-110V выполнена на базе AGX Xavier и поддерживает до 8-ми GMSL камер. Это решение обеспечивает производительность до 32 TOPS при максимальной мощности в 40 Вт. В модельном ряде предусмотрены следующие модификации:

Встраиваемые решения на базе NVIDIA Jetson с поддержкой GMSL камер
Рис.2 – Встраиваемые компьютеры с поддержкой GMSL камер (слева – NRU-110V, cправа – NRU-51V)


Видео.1 – демонстрация работы компьютера NRU-110V с 8-ми GMSL камерами

Помимо встраиваемых компьютеров, производитель Neousys разработал специальную плату видеозахвата PCIe-GL26 на базе Jetson Xavier NX с возможностью установки до 6-ти GMSL2 камер. Плата доступна в 2-х модификациях:

PCIe-GL26 призван обеспечить превосходные возможности подключения автомобильных камер GMSL2 к передовым платформам на x86 архитектуре. Данные платы устанавливаются преимущественно в многослотовые встраиваемые компьютеры x86 через интерфейс PCIe x 4, что позволяет получать высококачественные изображения с минимальной задержкой. В один многослотовый промышленный компьютер можно установить до 4-х плат PCIe-GL26, таким образом это позволяет работать с 24-мя потоками камер GMSL2.

Плата PCIe-GL26 на базе Jetson Xavier NX — это гораздо больше, чем просто плата видеозахвата. В отличии от классических решений, она способна работать в расширенном диапазоне температур - от -25°C ~ 70°C. Кроме того, обладая собственной производительностью до 21 TOPS и имея на борту достаточный ассортимент интерфейсов ввода/вывода, она способна работать в среде разработки как самостоятельное устройство. На плате предусмотрен 4-pin клеммник питания 12 В постоянного тока (работа возможна без подачи питания по линии PCIe).

Встраиваемые решения на базе NVIDIA Jetson с поддержкой GMSL камер
Рис.3 – Платавидеозахвата PCIe-GL26 набазе Jetson Xavier NX c поддержкой GMSL камер

Встраиваемые решения на базе NVIDIA Jetson с поддержкой GMSL камер
Рис.4 – Рекомендуемые модели многослотовых встраиваемых компьютеров с поддержкой плат видеозахвата PCIe-GL26

Помимо вычислительных устройств важно отметить источники получаемых видеоданных - камеры стандарта GMSL2.

Встраиваемые решения на базе NVIDIA Jetson с поддержкой GMSL камер
Рис.5 – влагозащищённые GMSL камеры (AC-AR0147 / AC-IMX390)

Среди основных требований к «зрению» беспилотного транспорта и ADAS (усовершенствованных систем помощи водителю) -  необходимость в получении максимально детализированных изображений окружающей среды в условиях недостаточной освещенности, а также при высоком контрасте и контровом свете в кадре. В этом помогает использование высокочувствительных сенсоров и технология HDR (High Dynamic Range), «усредняющая» итоговое изображение из двух и более различных экспозиций одного и того же кадра. Производители сенсоров для специализированных камер GMSL2 реализуют функцию HDR на аппаратном уровне, используя тройную и даже четырехкратную экспозицию кадра для наибольшей эффективности.

Рассмотрим две линейки компактных камер уличного исполнения:

  • на базе сенсора AR0147 (ON Semiconductor);
  • на базе сенсора IMX390 (Sony).

Камеры серии AC-AR0147 работают в разрешении 1280 x 720 пикселей и имеют аппаратный HDR (120 db), который достигается режимом Super-Exposure, «склеивающим» максимальную и минимальную возможные выдержки кадра. Предлагается 5 вариантов исполнения, в зависимости от используемого объектива (индекс -H40 / -H190 характеризует горизонтальный угол обзора камеры). Камеры выполнены в герметичном исполнении и соответствуют стандарту пылевлагозащиты IP67.

Технические характеристики AC-AR0147

  AC-AR0147-H40 AC-AR0147-H60 AC-AR0147-H90 AC-AR0147-H120 AC-AR0147-H190
Гориз. угол обзора 41 59 90 125 197
Защита IP IP67 IP67 IP67 IP67 IP67
Сенсор Onsemi AR0147T (RGB),  1 / 4”
ISP Onsemi AP0101
Serializer Maxim MAX96705
Коннектор FAKRA Z Type
Выходное разрешение 1280x720 @ 30 fps
Выходной формат YUV 422 (UYVY)
Диапазон HDR > 120dB
Питание 5-16V POC (Power Over Coaxial – питание по коакс. кабелю)
Температура экспл. -40 ~ 85 °C
Размеры, мм 30 x 30 x 22.5 (без учета объектива и коннектора)

Камеры из линейки AC-IMX390 имеют разрешение кадра 1920 x 1080 пикселей, и помимо способности снимать в цвете при освещенности 0,1 лк, они получили уникальную комбинацию технологий HDR (120 db) и LED Flicker mitigation (смягчение мерцания светодиодов). Такое решение позволяет уверенно считывать дорожные знаки, сигналы и всевозможную светодиодную индикацию.


Видео.2  – демонстрация работы аппаратного HDR и смягчения мерцания светодиодов (LFM)

В зависимости от решаемой задачи, на выбор предоставляется три модификации объективов. Со стороны оптики - уровень пылевлагозащиты составляет IP69K, что указывает на устойчивость к мойке оборудования под высоким давлением.

Технические характеристики AC-IMX390

  AC-IMX390-H60 AC-IMX390-H120 AC-IMX390-H190
Гориз. угол обзора 64 120 186
Защита IP IP67+IP69K* IP67+IP69K* IP67+IP69K*
Сенсор SONY IMX390,   1 / 2.7"
ISP GEO SEMI GW5200
Serializer Maxim MAX9295
Коннектор FAKRA Z Type
Выходное разрешение 1920x1080 @ 30 fps
Выходной формат YUV 422 (UYVY)
Диапазон HDR  120dB
LFM, Смягчение мерцания LED есть
Питание 5-16V POC (Power Over Coaxial – питание по коакс. кабелю)
Температура экспл. -40 ~ 85 C
Размеры, мм 28 x 28 x 45.2 (без учета коннектора)
   
  *IP69K - со стороны объектива; IP67 - при использовании влагозащищенного коннектора

Таким образом, преимущества использования решений с поддержкой GMSL2 дают неограниченные возможности построения систем реального времени, например, таких как беспилотный транспорт.

Товары из статьи

NRU-51V-NX8G (EA) 6148750
NRU-110V-F-AGX32G 6138591
NRU-110V-AGX32G 6139161
NRU-110V-F-AGX64G 6144133
NRU-110V-F-JAXI32GB 6144134
NRU-110V-AGX64G 6144602
NRU-110V-JAXI32GB 6144605
AC-AR0147-H40 6152250
AC-AR0147-H90 6152251
AC-AR0147-H120 6139159
AC-AR0147-H190 6152249
AC-IMX390-H60 6152256
AC-IMX390-H120 6152252
AC-IMX390-H190 6152254
Задать вопрос
Обзор 3167 Апрель’2023
Каталог товаров
Сравнение 0 Товар добавлен
Закладки 0 Товар добавлен
0 0 $ Товар добавлен
Личный кабинет
0 0 $ Товар добавлен
Запросить прайс–лист Спецпредложения