В недавнем исследовании исследователи из Китая разработали систему LiDAR размером с чип-, которая имитирует фовеацию человеческого глаза, динамически концентрируя датчики с высоким-разрешением на интересующих областях (ROI), сохраняя при этом широкую осведомленность по всему полю зрения.
Исследование опубликовано в журналеПриродные коммуникации.
Системы LiDAR обеспечивают машинное зрение в беспилотных-автомобилях, дронах и роботах, направляя лазерные лучи на карту трехмерных сцен с точностью до миллиметра. Глаз собирает свои самые плотные сенсоры в ямке (острое центральное поле зрения) и переключает взгляд на то, что важно. Напротив, большинство LiDAR используют жесткие параллельные лучи или сканирование, которые обеспечивают равномерное (часто грубое) разрешение повсюду. Повышение детализации означает равномерное добавление большего количества каналов, что приводит к резкому увеличению затрат, мощности и сложности.
Разработанная командой конструкция обеспечивает угловое разрешение "за пределами-сетчатки" 0,012 градуса в области интереса,-в два раза более резкое, чем приблизительный предел глаза в 0,017 градуса. Это означает, что система может различать точки, разделенные наименьшими углами, например, различая мелкие детали на отдаленном дорожном знаке. Он перераспределяет параллельные каналы измерения по требованию, избегая дорогостоящего грубого-масштабирования.
Phys.org поговорил с соавторами исследования, Жуйсюанем Ченом и Синцзюнем Ваном из Школы электроники Пекинского университета.
«Мотивация исходит из практического несоответствия между биологическим и машинным восприятием», — объяснили исследователи. «Человеческий глаз достигает высокой остроты и энергоэффективности за счет перераспределения внимания,-поддерживая широкую осведомленность и одновременно концентрируя ресурсы на том, что важно. Напротив, разрешение LiDAR часто достигается за счет «большего количества каналов повсюду», что быстро становится дорогим и энергоемким-энергоемким».
Проблема масштабирования
Системы машинного зрения вышли за рамки традиционных камер и включают в себя датчики LiDAR, которые позволяют точно измерять расстояние и трехмерное восприятие окружающей среды. Однако, в отличие от пассивных камер, LiDAR требует оборудования для излучения и приема для каждого пикселя, что ограничивает достижимое разрешение.
Современные подходы к улучшению разрешения LiDAR сталкиваются с критическим узким местом. Дублирование каналов обеспечивает линейный выигрыш в разрешении, но вызывает сверхлинейный взрыв сложности, мощности и стоимости.
«Во-первых, разрешение тесно связано с количеством аппаратных каналов и механикой сканирования. Во-вторых, LiDAR — это активный датчик: каждый пиксель эффективно расходует ресурсы как на передачу, так и на прием», — объяснили исследователи. «Это существенно усложняет адаптивную фокусировку по сравнению с пассивной визуализацией, поскольку необходимо управлять оптической мощностью, чувствительностью приемника и полосой пропускания оцифровки, одновременно соблюдая ограничения-безопасности для глаз».
Для когерентного частотно--модулированного непрерывного лидара LiDAR эта проблема стоит особенно остро. Каждый когерентный канал требует стабильного контроля частоты, сложного приемного оборудования и точной калибровки. Это значительно затрудняет экономическое оправдание массового дублирования каналов.
Биомиметическое решение
Решение исследователей сочетает в себе две ключевые технологии. К ним относятся гибкий лазер с внешним-резонатором (ECL) с диапазоном настройки более 100 нм и реконфигурируемые электро-оптические частотные гребенки, построенные на тонкопленочных платформах из ниобата лития (TFLN).
ECL обеспечивает-высококачественные ЛМЧ-сигналы FMCW для когерентной дальности и действует как механизм управления лучом с-регулированием длины волны-. Настраивая центральную длину волны, система может быстро изменить направление обзора в широком поле зрения.
Затем электро-оптическая гребенка генерирует несколько параллельных несущих частот ЧМВ от одного и того же чирпированного лазерного источника. Важно отметить, что регулировка условий радиочастотного привода меняет расстояние между гребенками.
«Это то, что позволяет использовать масштабирование.-Мы можем увеличить плотность точек в выбранной области (более точная выборка) или ослабить ее (более грубая выборка), не меняя оптику и не добавляя каналы», — добавляют исследователи.
В системе используется то, что исследователи называют «микро-параллелизмом». Это означает использование умеренного количества физических каналов для достижения эквивалента гораздо большего количества строк сканирования за счет динамического изменения положения.
Экспериментальная проверка
Команда продемонстрировала возможности системы в трех экспериментальных сценариях, достигнув углового разрешения 0,012 градуса в сфокусированных областях,-превышающем номинальный предел человеческой сетчатки.
При визуализации статических сцен система захватывала смоделированную дорожную обстановку с разрешением 54 х 71 пикселя для сканирования всего поля--вида и 17 х 71 пикселя для локально сфокусированного сканирования. Эти сфокусированные сканирования в четыре раза увеличили плотность вертикальных деталей, выявляя ранее невидимые препятствия, при этом 90% точек имеют точность менее 1,3 см.
Исследователи также продемонстрировали объединение камер LiDAR-, создавая цветные облака точек, сочетающие точную трехмерную геометрию с данными внешнего вида RGB. При сравнении стандартных и сфокусированных сканирований выравнивание цветовой гистограммы улучшилось примерно на 10 %, что указывает на лучшее соответствие между 3D-точками и пикселями изображения.
«Объединяя LiDAR с камерой, мы генерируем цветные облака точек и обогащаем представление сцены, что улучшает интерпретируемость и поддерживает последующие задачи восприятия, которые зависят от текстуры и семантических сигналов», — объяснили исследователи.
Пожалуй, самое впечатляющее то, что команда запечатлела-4D-изображение в реальном времени-а также изображение-броска баскетбольного мяча, где каждая точка одновременно показывала положение, скорость вращения, отражательную способность поверхности и цвет. При частоте 8 Гц в широком поле зрения были обнаружены модели движения, невидимые для стандартного 3D LiDAR.
Экспериментальная работа выявила важные компромиссы-на уровне системы, которые определяют будущие пути развития.
"Самый очевидный из них – это противоречие между угловым разрешением и запасом по-измерений для каждого канала", – отмечают исследователи. «В нашем параллельном когерентном считывании каждый канал должен занимать свою собственную, не-перекрывающуюся электрическую полосу. Когда мы уменьшаем частоту повторения, мы действительно можем повысить точность угловой выборки, но эксперимент показывает, что это также сжимает полосу считывания для каждого-канала».
Команда определила несколько приоритетных направлений продвижения технологии к практическому внедрению. К ним относятся более глубокая монолитная интеграция на платформах TFLN, разработка сверх-широкополосных источников с разверткой для улучшения разрешения по дальности и реализация политик-замкнутого цикла внимания для восприятия,-управляемого событиями.
Текущие эксперименты с использованием оптоволоконных линий приводят к нестабильности поляризации, которая ограничивает возможности классификации материалов.
«Однако мы полагаем, что монолитная интеграция фундаментально устранит это узкое место», — говорят исследователи. «Переходя от нестабильных оптоволоконных трактов к ограниченным волноводам на-чипе, мы можем добиться стабильного восстановления поляризации».
Бионическая система LiDAR предлагает потенциальные применения, охватывающие автономные транспортные средства, воздушные и морские дроны, робототехнику и системы нейроморфного зрения. По словам исследователей, помимо LiDAR, реконфигурируемые гребенки обеспечивают быстрый спектральный анализ для оптической связи, когерентной томографии, компрессионного зондирования и точной метрологии.
