Для эксплуатации автономного транспорта критически важно точно знать:
где находится транспортное средство,
в каком направлении оно движется,
с какой скоростью оно перемещается.
Это и есть задача систем локализации.
Как автономный транспорт может понять свое местоположение? Может ли ездить по обычной карте из навигатора? На каких методах построена система локализации? Ответы на эти вопросы вы… найдете в предыдущей статье этой серии:)
В этой части мы — команда локализации и картирования ЭвоКарго — сделаем шаг глубже и посмотрим на основу всей системы: данные.
На первый взгляд всё выглядит просто: чем больше сенсоров, тем больше данных, и тем точнее результат. На практике увеличение числа сенсоров не устраняет неопределенность. Каждый источник данных живет в своей «реальности», со своими физическими ограничениями, своими погрешностями и сценариями деградации. В результате система сталкивается не просто с шумом, а с противоречиями. Поэтому локализация — не про измерения, а про интерпретацию противоречивых данных в условиях неопределенности.
Эта большая статья про то, какие сенсоры применяются в автономности, какие неточности в измерениях каждого из них, почему это неизбежно и за счет чего система локализации успешно работает в подобных условиях.
1. Everybody lies! ©
Напомним, что подготовка к движению автономного грузовика происходит следующим образом:
получение данных датчиков и сенсоров;
обработка данных;
локализация;
оценка ситуации;
планирование движения.
И только после этого подается команда к передаче сигнала на двигатели, тормозную систему, рулевые рейки. И качество данных здесь — самое важное. Опустим вопрос скоростей обработки, передачи данных, вычислительных мощностей и других нетривиальных инженерных проблем. О них мы расскажем в других статьях:)
Рассмотрим подробнее основные источники данных — датчики и сенсоры, установленные на ВАТС, и почему они обманывают.
ГНСС-приёмник (ГНСС, англ. Global Navigation Satellite System, GNSS)
Принцип работы: местоположение определяется на основе измерения времени прохождения радиосигнала от спутников до приёмника. Для определения 3D‑позиции (широта, долгота, высота) приёмник должен получить сигналы минимум от 4 спутников от одной из орбитальный группировок (24 спутника в системе ГЛОНАСС, 31–32 — в GPS, 24+ спутника в системе Galileo, ок. 30 спутников в Beidou), вычисляя расстояние до каждого и используя метод трилатерации. В идеальных условиях этот источник способен давать дециметровую точность.
Причины «обмана»:
часто наблюдаемые спутники неудачно расположены в «зоне видимости», из‑за чего погрешность повышается до десятков метров;
в городе сигнал отражается от многоквартирных домов («эффект городского каньона»), приводя к ухудшению точности оценок координат;
в замкнутых пространствах типа тоннелей спутниковая навигация вовсе перекрывается;
на объектах, где эксплуатируются ВАТС, часто работают «глушилки», установленные на фурах дальнобойщиков против системы оплаты проезда.
Камеры и лидары
Принцип работы: видеоряд с камер и данные с лидаров одновременно получаются и обрабатываются алгоритмами, в т.ч. нейросетями. Их основная задача — анализировать окружение и узнавать местность, сравнивая полученные данные с заранее созданной HD‑картой, куда нанесены все статичные ориентиры — разметка, деревья, дорожные знаки, здания и др. объекты на пути следования.
Причины «обмана»: мир вокруг постоянно меняется:)
перемена погоды: зимой бордюры и разметку заносит снегом, появляются новые препятствия в виде сугробов и колеи, осенью дорогу покрывают листья и появляются выбоины, сильный снегопад, дождь или туман добавляют визуальных «препятствий»;
динамичное окружение: дорогу часто закрывают десятки машин, длинных динамичных объектов типа фур и автобусов, множество пешеходов;
однообразие: в противовес динамичному окружению частой проблемой становится слишком однообразное — длинное пустое шоссе с одинаковыми фонарными столбами, протяженные здания без единой визуальной «зацепки», огромная парковка.
В первых версиях нашей ВАТС мы полагались только на восприятие по камерам. Но в первую же осень и зиму столкнулись с суровой реальностью — засыпанной разметкой и «невидимыми» для камеры препятствиями. И сразу перешли на связку «камеры+лидары». Подробнее рассказывали об этом в нашей первой статье.
Датчики движения
Принцип работы: на машине, на колесных дисках и по периметру кузова стоят несколько датчиков: акселерометров, гироскопов (общее название IMU — англ. Inertial Measurement Unit) и энкодеров — которые измеряют ускорение, угловую скорость относительно земли и колесную одометрию (кол‑во оборотов колеса).
Причины «обмана»:
Главный недостаток — это дрейф, то есть постепенное накопление погрешности со временем. Даже очень маленькая неточность в измерении ускорения со временем превращается в заметную отклонение в координатах.
Например, представим, что в оценке смещения нуля акселерометра показания сдвинулись всего на 1 см/с². На первый взгляд, это совсем немного. Но чтобы получить положение, нужно дважды проинтегрировать ускорение: сначала получить скорость, потом — координаты. И из‑за этого погрешность растёт пропорционально квадрату времени. В результате: через 10 секунд нестыковка составит уже около 1 метра, через минуту — примерно 36 метров, а через час уже начнем выходить за пределы атмосферы. Именно поэтому инерциальную систему нельзя использовать в одиночку — без внешних источников коррекции неточность слишком быстро накапливается.
Безусловно, этот список не исчерпывает технические решения, которые применяются для систем локализации в автономном движении. Это основной набор сенсоров, используемый в современной автономности.
Ниже мы добавили большой обзор на самые часто встречаемые сенсоры, где кратко описали принцип работы каждого, какую роль он может играть в процессе локализации, как именно может накапливать погрешности, и как эти неточности можно нивелировать. Обзор вышел весьма объемным, поэтому спрятали его под спойлер. Есть повторы с основным текстом.
Обзор сенсорики для локализации
1. ГНСС‑приёмник
Принцип работы:
Приёмник принимает радиосигналы от спутников, которые постоянно находятся на орбите. Для определения 3D‑позиции (широта, долгота, высота) приёмник должен получить сигналы минимум от 4 спутников от одной из орбитальный группировок, вычисляя расстояние до каждого и используя метод трилатерации. В идеальных условиях этот источник способен давать дециметровую точность.
Роль в локализации:
Обеспечивает абсолютные координаты в глобальной системе, задаёт общее положение на карте. Может определять линейную скорость и ориентацию относительно севера (при наличии двух антенн или в движении). Используется для геопривязки HD‑карт.
Ограничения и причины неточных данных:
Неблагоприятное положение спутников, отражения сигналов в городе (эффект городского каньона), потеря сигнала (тоннели, помещения), радиопомехи и «глушилки», спуфинг.
Решения:
Применение RTK‑поправок для повышения точности, объединение данных с другими сенсорами, контроль целостности решения, детекция подмены сигнала (спуфинга).
2. Камеры
Принцип работы:
Оптическая камера фиксирует изображение окружающей обстановки. Специальные алгоритмы выделяют на снимках характерные объекты и ориентиры: разметку, бордюры, края дорог, столбы, знаки. Сравнивая, как эти объекты смещаются от кадра к кадру, система оценивает собственное перемещение (визуальная одометрия). Если есть заранее подготовленная карта с координатами ориентиров, камера может определить своё абсолютное положение, сопоставляя увиденное с картой.
Роль в локализации:
Обеспечивает относительную позицию (визуальная одометрия) и/или коррекцию положения по карте ориентиров. Задаёт положение в полосе (lane‑level) относительно разметки и границ дороги.
Ограничения и причины неточных данных:
Погодные условия (снег, дождь, туман), закрытая или стёртая разметка, перекрытие сцены другими автомобилями или пешеходами, недостаток уникальных ориентиров, плохая освещённость, высокая нагрузка на вычислитель.
Решения:
Совместная работа с лидарами и IMU, использование HD‑карт, смысловая сегментация (выделение не просто точек, а целых объектов), применение относительной навигации для ADAS.
3. Лидары
Принцип работы:
Лидар излучает лазерные импульсы и измеряет время, за которое они возвращаются после отражения от окружающих объектов. Быстро вращаясь или используя несколько лучей, он создаёт трёхмерную карту окружения в виде облака точек, где каждая точка имеет точные координаты. Сравнивая такие облака, полученные в разные моменты времени, система определяет, как переместился датчик. А если сопоставить текущее облако с заранее построенной детальной картой, можно вычислить абсолютное положение.
Роль в локализации:
Формирует точную 3D‑модель окружения. Хорошо работает независимо от освещения. Используется для сопоставления с предварительно построенной картой и для оценки относительных перемещений.
Ограничения и причины неточных данных:
Снижение качества в сложную погоду (дождь, снег, туман), влияние движущихся объектов (они создают помехи при сопоставлении), трудности в однообразной среде (напр. длинный тоннель), переотражения от зеркальных поверхностей (стеклянные витрины).
Решения:
Удаление динамических объектов из данных, сопоставление с картой, обновление карт, использование сопоставления соседних сканов для локализации в незнакомой или меняющейся среде.
4. IMU (Inertial Measurement Unit)
Принцип работы:
IMU сочетает в себе датчики, измеряющие ускорение (акселерометры) и угловую скорость вращения (гироскопы). Математически обрабатывая эти измерения (интегрируя ускорение для получения скорости и пройденного пути, а угловую скорость — для определения поворотов), система оценивает относительное перемещение и ориентацию. Однако любые, даже очень маленькие погрешности измерений накапливаются со временем, поэтому IMU всегда используется вместе с другими сенсорами, которые его подправляют.
Роль в локализации:
Оценивает относительное перемещение и ориентацию. Обеспечивает непрерывность локализации между измерениями других сенсоров (особенно важно при потере сигнала ГНСС).
Ограничения и причины неточных данных:
Дрейф нуля, рост погрешности со временем (погрешности накапливаются, и без коррекции положение «уплывает»).
Решения:
Постоянная коррекция другими сенсорами (ГНСС, камеры, лидары), использование математических фильтров (напр. Калмана), регулярная оценка и калибровка дрейфа (напр., в моменты, когда устройство заведомо неподвижно).
5. Специфичные для автомобилей сенсоры (EBS/двигатель/КПП/рулевые рейки/колёсные энкодеры и тому подобное)
Принцип работы:
Датчики на колёсах подсчитывают число оборотов, что при известной длине окружности колеса позволяет определить пройденное расстояние. Датчик угла поворота руля измеряет, насколько вывернуты колёса. Эти данные используются для расчёта траектории движения на основе модели кинематики транспортного средства (как оно должно поворачивать и перемещаться в зависимости от скорости и угла руля).
Роль в локализации:
Предоставляют параметры движения (скорость, пройденное расстояние, угол поворота руля).
Ограничения и причины неточных данных:
Проскальзывание колёс (буксование или заблокированные колёса), люфт в рулевом управлении, «мёртвые зоны» в показаниях (например, на малых скоростях), износ шин (меняет эффективный радиус колеса).
Решения:
Калибровка показаний (напр. уточнение радиуса колеса по данным ГНСС), коррекция на основе данных от других сенсоров (IMU помогает обнаружить проскальзывание).
6. Радары
Принцип работы:
Радар излучает радиоволны и принимает их отражение от объектов. По задержке между излучением и приёмом он определяет расстояние до объекта, а по изменению частоты (эффект Допплера) — его радиальную скорость (приближается или удаляется). Радары устойчивы к дождю и туману, работают на дальних дистанциях (сотни метров), но дают сравнительно мало информации о форме объекта.
Роль в локализации:
Обеспечивают меньшую зависимость от погодных условий по сравнению с камерами и лидарами, а также большую дальность действия. Используются для отслеживания движущихся объектов и, в некоторых подходах, для оценки собственного движения.
Ограничения и причины неточных данных:
Относительно небольшое поле зрения, разреженность данных (объект виден как одна точка), переотражения сигналов (многолучёвость), ложные срабатывания (от металлических люков или знаков).
Решения:
Совместная обработка с другими сенсорами (камеры — для распознавания, лидары — для точной формы), фильтрация статических отражателей.
7. Сонары
Принцип работы:
Сонар излучает короткие ультразвуковые импульсы и засекает время, через которое возвращается эхо от препятствия. Зная скорость звука в воздухе, он вычисляет расстояние до объекта. Эти датчики эффективны лишь на очень малых дистанциях (до нескольких метров) и широко используются при парковке для обнаружения бордюров, стен и других автомобилей.
Роль в локализации:
Эффективны на очень малых дистанциях, особенно в сценариях парковки (обнаружение ближайших препятствий). Могут использоваться для построения карты ближайшего окружения при маневрах.
Ограничения и источники неточных данных:
Переотражения от дороги или других объектов (ложные эхо), влияние температуры (скорость звука меняется), ложные срабатывания (струя воды, гравий), плохое обнаружение мягких или звукопоглощающих поверхностей.
Решения:
Совместная обработка с другими сенсорами, временная фильтрация сигналов, использование только на малых скоростях.
8. Wi‑Fi устройства
Принцип работы:
Устройство сканирует окружающие Wi‑Fi‑сети и измеряет уровень сигнала от каждой точки доступа. Поскольку уровень сигнала падает с расстоянием, можно примерно оценить удалённость от известной точки доступа. Если заранее построена карта уровней сигнала (по всей зоне собраны «отпечатки» — какой уровень сигнала от каких точек доступа в каждой точке), то во время навигации текущий «отпечаток» сравнивается с картой, и определяется наиболее вероятное местоположение.
Роль в локализации:
Используется для грубого уточнения положения в помещениях и«городских каньонах», там где GPS работает плохо.
Ограничения и причины неточных данных:
Слабая точность (обычно 5–15 метров), сильная зависимость от числа доступных точек доступа, влияние загруженности сети и помех.
Решения:
Применение как вспомогательного протокола для грубой оценки местоположения (например, для начальной инициализации перед более точной лидарной или визуальной локализацией).
9. GSM/LTE (сотовая связь)
Принцип работы:
Мобильный модем определяет, к какой базовой станции сети подключён, и измеряет уровень сигнала от нескольких соседних станций. Самый простой способ — использовать идентификатор текущей соты (зная, где находится станция, можно примерно определить, где находится абонент). Более точный метод — измерение разницы во времени прихода сигналов от разных станций, что позволяет вычислить положение методом, похожим на GPS, но с наземными вышками.
Роль в локализации:
Получение и обмен оперативной навигационной информацией. Используется как резервный или вспомогательный канал (например, для быстрого получения позиции при слабом сигнале GPS — A‑GPS).
Ограничения и источники неточных данных:
Точность сильно зависит от плотности базовых станций (в городе — лучше, в сельской местности — хуже), вне зоны покрытия данные отсутствуют.
Решения:
Использование как вспомогательного протокола в комбинации с ГНСС (A‑GPS) или в гибридных системах.
10. Bluetooth
Принцип работы:
Аналогичен Wi‑Fi: устройство измеряет уровень сигнала от Bluetooth‑маячков с известными координатами. Поскольку маячки обычно установлены с небольшой плотностью и имеют малую дальность (до 10–30 метров), точность может быть чуть выше, чем у Wi‑Fi. В более современных версиях Bluetooth можно также определять направление на маячок (угол прихода сигнала), что позволяет достичь сантиметровой точности.
Роль в локализации:
Аналогична Wi‑Fi, но с потенциально лучшей точностью. Обычно используется уже существующая инфраструктура без специального развёртывания.
Ограничения и источники неточных данных:
Зависимость от плотности размещения «маячков», чувствительность к затуханию сигнала (например, телом человека или металлическими конструкциями).
Решения:
Объединение данных с другими сенсорами (например, с IMU для пешеходной навигации), сглаживание флуктуаций уровня сигнала.
11. RFID (Radio Frequency Identification)
Принцип работы:
Система состоит из считывателей (установленных, например, в определённых точках маршрута) и меток (закреплённых на транспортном средстве). Когда автомобиль проезжает мимо считывателя, тот считывает уникальный код метки. Поскольку координаты считывателя известны, в этот момент можно точно определить, что транспортное средство находится в зоне действия этого считывателя. Метки могут быть пассивными (питаются от поля считывателя) или активными (со своей батареей).
Роль в локализации:
Навигация по заранее установленным меткам. Обеспечивает хорошую точность при плотном покрытии территории метками (например, в туннелях, паркингах, на технологических маршрутах).
Ограничения и причины неточных данных:
Необходимость расставлять метки и точно знать их координаты. Пассивные метки имеют малую дальность, активные требуют замены батарей. Метки могут быть повреждены или украдены.
Решения:
Регулярная проверка состояния меток, применение в закрытых контролируемых зонах, комбинация с одометрией для оценки положения между считывателями.
12. Сверхширокополосные системы (Ultra-Wideband — UWB)
Принцип работы:
UWB‑устройства обмениваются сверхкороткими радиоимпульсами и измеряют время, за которое импульс проходит от одного устройства к другому. Зная скорость распространения радиоволн, можно очень точно вычислить расстояние между ними (с погрешностью в единицы сантиметров). Если установить несколько опорных станций с известными координатами, то, измерив расстояния до них, можно определить своё положение с высокой точностью, аналогично тому, как это делает GPS, но в локальном масштабе и с лучшей точностью.
Роль в локализации:
Обеспечивает сантиметровую точность в условиях, где GPS недоступен или недостаточно точен.
Ограничения и причины неточных данных:
Требует развёртывания опорных станций и точного знания их координат, нуждается в регулярном обслуживании (замена батарей или подведение питания), дальность ограничена десятками‑сотнями метров, сигнал затухает при прохождении через стены.
Решения:
Плановое обслуживание инфраструктуры, использование в сценариях, где высокая точность критична, а затраты оправданы (автоматизированные паркинги, роботизированные производства, тоннели).
Итак, вопрос: что делать, если источников данных много, но каждый по‑своему врёт, шумит или периодически пропадает?
Ответ: не нужно выбрать лучший сенсор, а объединить их показания так, чтобы получить максимально правдоподобную оценку состояния системы.
Существуют различные алгоритмы, которые могут помочь решить эту задачу, например «фильтр частиц», или, наиболее применяемый, фильтр Калмана. Это алгоритм, который позволяет с помощью заданной математической модели и последовательных измерений объединить данные различных датчиков и методов, минимизируя влияние погрешностей и шума. Он работает по принципу предсказания состояния и последующего корректирования этого предсказания на базе новых измерений, что делает его идеальным для навигационных систем.
Более подробно о нашем решении для локализации, подходах, которые мы исследовали для его построения и об алгоритмах «под капотом» мы расскажем в отдельной статье.
2. А что по ПО?
Разработчики софта привыкли, что сложную функциональность (напр. распознавание лиц, шифрование) можно взять готовой библиотекой и просто «интегрировать» в свою систему.
С локализацией это не сработает, даже если взять целый готовый фреймворк, например, Autoware (открытый стек для автономного вождения на ROS), Apollo от Baidu или пакет robot_localization из ROS (который предназначен для слияния данных с одометрии и IMU). Почему так? Причин множество.
Во‑первых, локализация — не просто софт, а целая система. Построив эту систему практически с нуля, мы понимаем, что это неразрывная связь между железом (конкретными моделями лидаров, камер, их расположения по кузову), софтом (алгоритмами) и данными (уникальными картами). Готовый фреймворк не знает, как ваша конкретная камера искажает изображение или как ваш лидар шумит на мокром асфальте. Всё требует глубокой калибровки и интеграции.
Во‑вторых, картография — это закрытый мир. Самые точные методы завязаны на предварительно созданные карты. Компании‑лидеры отрасли собирают петабайты данных и очень редко ими делятся. Их «библиотека локализации» бесполезна без их карт. Для полноценного внедрения придется строить свой картографический конвейер.
В‑третьих, нет универсальных «дорог» и условий эксплуатации. Алгоритм для локализации на идеальном немецком автобане будет барахлить в зимней Москве с ее снегом, слякотью и отсутствием разметки. Каждую систему нужно «натаскивать» (развивать и расширять) под конкретные условия эксплуатации;
В‑четвертых, безопасность — это ответственность. Используя «черный ящик» извне, вы не можете гарантировать его надежность во всех ситуациях. А в случае инцидента вам нести ответственность. Поэтому необходимо досконально понимать, как работает каждый модуль, чтобы валидировать его и быть готовым к доработкам.
Итог простой: систему локализации нельзя взять «из коробки». Ее нужно интегрировать, адаптировать и «выстрадать» под свой конкретный продукт и условия его работы. Это глубокая, фундаментальная инженерная задача.
Система локализации является краеугольным камнем всего автопилота. Мы постарались познакомить вас с некоторыми особенностями и примерным пониманием требований к локализации. Но на практике у ВАТС и автопилота присутствуют также системы планирования маршрутов, управления, восприятия и так далее. А их качество функционирования, а, следовательно, и всего автопилота определяется качеством системы локализации и, что более важно, согласованностью всех систем. Все это в совокупности приводит к тому, что «локализация» — это целая инфраструктура, интегрированная во все системы ВАТС и автопилота. И поэтому это всегда уникальное решение под каждый отдельный продукт и его условия.
При этом ключевым ограничением становится не только технологическая зрелость, но и экономика — в условиях конкуренции с дешёвой рабочей силой невозможно опираться на неограниченные вычислительные ресурсы. И именно поэтому задача локализации остается одной из самых сложных и интересных задач в робототехнике.
В грядущей статье от нашей команды мы подробнее расскажем о том, как именно устроено наше решение для локализации, как ВАТС работают в нынешних условиях нестабильной или полностью отсутствующей связи, как мы однажды «построили» карту объекта заказчика, а на следующий день там появилось чистое поле, как справляемся с «бедной» средой и о многом другом.
В автономном транспорте скучно не бывает:)
Stay tuned!