Встраиваемые решения на базе NVIDIA Jetson с поддержкой GMSL камер: максимальная эффективность для беспилотного транспорта

В связи с растущей потребностью в применении технологий систем искусственного интеллекта в беспилотном транспорте, критически важной особенностью становится схема передачи видео с минимальными задержками и широким динамическим диапазоном (HDR). Эта особенность характерна для промышленных встраиваемых решений от Neousys, которые по своей сути являются готовыми решениями для успешной интеграции в беспилотный транспорт.

В основе общения встраиваемых компьютеров с внешними устройствами заложена технология SerDes, которая включает встроенные в компьютер десериализаторы и драйверы для связи с сериализаторами, которые встроены в автомобильные камеры GMSL (Gigabit Multimedia Serial Link). Для наиболее эффективного взаимодействия между устройствами передача данных осуществляется по коаксиальному кабелю, максимальная длина которого может достигать до 15 метров, при этом по одному кабелю могут передаваться данные, питание, управление, синхронизация и тд. Из примечательного стоит отметить, что интерфейс GMSL является универсальным, он обеспечивает функциональную совместимость разных интерфейсов на обеих сторонах канала (сериализатор/ десериализатор). Это решение является энергоэффективным и наиболее оптимальным для систем реального времени, требующих непрерывного взаимодействия с окружающей средой в условиях динамического освещения. Одним из наиболее релевантных сценариев применения является автономный беспилотный транспорт.

Рис.1 – SerDes-технология во встраиваемых решениях

В качестве вычислителя для решения задач на периферии доступны встраиваемые промышленные компьютеры на базе NVIDIA Jetson. Компьютеры имеют промышленное исполнение и подразумевают эксплуатацию при резких перепадах температур в диапазоне от -25°C ~ 70°C. Кроме того, они могут выступать в роли концентратора датчиков и способны получать изображения с камер GMSL2 одновременно в пределах микросекундного перекоса между каналами. Помимо поддержки камер GMSL2, у компьютеров предусмотрен сетевой интерфейс с поддержкой 10Гбит/сек, который предназначен для высокоскоростной передачи большого объема данных изображений, например, на другой компьютер или сервер. Кроме того, имеется широкий ассортимент ввода/вывода для подключения широкого спектра внешних устройств, а предусмотренный GPS PPS позволяет согласовывать данные изображений с LIDAR. В зависимости от задачи, в продуктовой линейке Neousys доступны компьютеры разной производительности и направленности.

Серия NRU-51V выполнена на базе Xavier NX и поддерживает до 4-х GMSL2 камер. Данное решение обеспечивает производительность до 21 TOPS при максимальной мощности в 20 Вт. В модельном ряде на текущий момент предусмотрена 1 модификация:

• NRU-51V-NX8G (Jetson Xavier NX, 8 Гб).

Серия NRU-110V выполнена на базе AGX Xavier и поддерживает до 8-ми GMSL камер. Это решение обеспечивает производительность до 32 TOPS при максимальной мощности в 40 Вт. В модельном ряде предусмотрены следующие модификации:

• NRU-110V-AGX32G (Jetson AGX Xavier, 32 Гб);
• NRU-110V-F-AGX32G (Jetson AGX Xavier, 32 Гб + внешний вентилятор);
• NRU-110V-AGX64G (Jetson AGX Xavier, 64 Гб);/
• NRU-110V-F-AGX64G (Jetson AGX Xavier, 32 Гб + внешний вентилятор);
• NRU-110V-JAXI32GB (Jetson AGX Xavier Industrial, 32 Гб);
• NRU-110V-F-JAXI32GB (Jetson AGX Xavier Industrial, 32 Гб + внешний вентилятор).

Рис.2 – Встраиваемые компьютеры с поддержкой GMSL камер (слева – NRU-110V, cправа – NRU-51V)

Видео.1 – демонстрация работы компьютера NRU-110V с 8-ми GMSL камерами

Помимо встраиваемых компьютеров, производитель Neousys разработал специальную плату видеозахвата PCIe-GL26 на базе Jetson Xavier NX с возможностью установки до 6-ти GMSL2 камер. Плата доступна в 2-х модификациях:

• PCIe-GL26-JXN8;
• PCIe-GL26-JXN16.

PCIe-GL26 призван обеспечить превосходные возможности подключения автомобильных камер GMSL2 к передовым платформам на x86 архитектуре. Данные платы устанавливаются преимущественно в многослотовые встраиваемые компьютеры x86 через интерфейс PCIe x 4, что позволяет получать высококачественные изображения с минимальной задержкой. В один многослотовый промышленный компьютер можно установить до 4-х плат PCIe-GL26, таким образом это позволяет работать с 24-мя потоками камер GMSL2.

Плата PCIe-GL26 на базе Jetson Xavier NX — это гораздо больше, чем просто плата видеозахвата. В отличии от классических решений, она способна работать в расширенном диапазоне температур - от -25°C ~ 70°C. Кроме того, обладая собственной производительностью до 21 TOPS и имея на борту достаточный ассортимент интерфейсов ввода/вывода, она способна работать в среде разработки как самостоятельное устройство. На плате предусмотрен 4-pin клеммник питания 12 В постоянного тока (работа возможна без подачи питания по линии PCIe).

Рис.3 – Платавидеозахвата PCIe-GL26 набазе Jetson Xavier NX c поддержкой GMSL камер

Рис.4 – Рекомендуемые модели многослотовых встраиваемых компьютеров с поддержкой плат видеозахвата PCIe-GL26

Помимо вычислительных устройств важно отметить источники получаемых видеоданных - камеры стандарта GMSL2.

Рис.5 – влагозащищённые GMSL камеры (AC-AR0147 / AC-IMX390)

Среди основных требований к «зрению» беспилотного транспорта и ADAS (усовершенствованных систем помощи водителю) -  необходимость в получении максимально детализированных изображений окружающей среды в условиях недостаточной освещенности, а также при высоком контрасте и контровом свете в кадре. В этом помогает использование высокочувствительных сенсоров и технология HDR (High Dynamic Range), «усредняющая» итоговое изображение из двух и более различных экспозиций одного и того же кадра. Производители сенсоров для специализированных камер GMSL2 реализуют функцию HDR на аппаратном уровне, используя тройную и даже четырехкратную экспозицию кадра для наибольшей эффективности.

Рассмотрим две линейки компактных камер уличного исполнения:

• на базе сенсора AR0147 (ON Semiconductor);
• на базе сенсора IMX390 (Sony).

Камеры серии AC-AR0147 работают в разрешении 1280 x 720 пикселей и имеют аппаратный HDR (120 db), который достигается режимом Super-Exposure, «склеивающим» максимальную и минимальную возможные выдержки кадра. Предлагается 5 вариантов исполнения, в зависимости от используемого объектива (индекс -H40 / -H190 характеризует горизонтальный угол обзора камеры). Камеры выполнены в герметичном исполнении и соответствуют стандарту пылевлагозащиты IP67.

Технические характеристики AC-AR0147

Камеры из линейки AC-IMX390 имеют разрешение кадра 1920 x 1080 пикселей, и помимо способности снимать в цвете при освещенности 0,1 лк, они получили уникальную комбинацию технологий HDR (120 db) и LED Flicker mitigation (смягчение мерцания светодиодов). Такое решение позволяет уверенно считывать дорожные знаки, сигналы и всевозможную светодиодную индикацию.

Видео.2  – демонстрация работы аппаратного HDR и смягчения мерцания светодиодов (LFM)

В зависимости от решаемой задачи, на выбор предоставляется три модификации объективов. Со стороны оптики - уровень пылевлагозащиты составляет IP69K, что указывает на устойчивость к мойке оборудования под высоким давлением.

Технические характеристики AC-IMX390

Таким образом, преимущества использования решений с поддержкой GMSL2 дают неограниченные возможности построения систем реального времени, например, таких как беспилотный транспорт.

Товары из статьи

Доступно к заказу

NRU-51V-NX8G (EA) 6148750

Сравнить В закладки

Доступно к заказу

NRU-110V-F-AGX32G 6138591

Сравнить В закладки

Доступно к заказу

NRU-110V-AGX32G 6139161

Сравнить В закладки

Доступно к заказу

NRU-110V-F-AGX64G 6144133

Сравнить В закладки

Доступно к заказу

NRU-110V-F-JAXI32GB 6144134

Сравнить В закладки

Доступно к заказу

NRU-110V-AGX64G 6144602

Сравнить В закладки

Доступно к заказу

NRU-110V-JAXI32GB 6144605

Сравнить В закладки

Доступно к заказу

AC-AR0147-H40 6152250

Сравнить В закладки

Доступно к заказу

AC-AR0147-H90 6152251

Сравнить В закладки

Доступно к заказу

AC-AR0147-H120 6139159

Сравнить В закладки

Доступно к заказу

AC-AR0147-H190 6152249

Сравнить В закладки

Доступно к заказу

AC-IMX390-H60 6152256

Сравнить В закладки

Доступно к заказу

AC-IMX390-H120 6152252

Сравнить В закладки

Доступно к заказу

AC-IMX390-H190 6152254

Сравнить В закладки