Автономные транспортные средства не всегда могут обнаружить ложные препятствия, принося при этом смертельную уязвимость.
Нет ничего более важного для автономного транспортного средства, чем ощущение того, что происходит вокруг него. Как и водители-люди, автономные транспортные средства нуждаются в способности принимать мгновенные решения.
Сегодня большинство автономных транспортных средств используют несколько датчиков для восприятия мира. В большинстве систем используется комбинация камер, радарных датчиков и датчиков обнаружения света (LiDAR). На борту компьютеры объединяют эти данные, чтобы получить полное представление о том, что происходит вокруг автомобиля. Без этих данных у автономных транспортных средств не было бы никакой надежды безопасно перемещаться по миру. Автомобили, использующие системы с несколькими датчиками, работают лучше и безопаснее - каждая система служит проверкой для других, но ни одна система не защищена от атак.
К сожалению, эти системы не являются надежными. Камерные системы восприятия можно обмануть, просто наклеив на дорожные знаки наклейки, чтобы полностью изменить их значение .
Работа, проведенная исследовательской группой RobustNet в Мичиганском университете, показала, что система восприятия на основе LiDAR также может быть обманута. Стратегически подделывая сигналы датчика LiDAR, атака способна обмануть основанную на LiDAR систему восприятия транспортного средства, чтобы «увидеть» несуществующее препятствие. Если это произойдет, транспортное средство может вызвать аварию, блокируя движение или резко тормозя.
Подделка сигналов LiDAR
Системы восприятия на основе LiDAR имеют два компонента: датчик и модель машинного обучения, которая обрабатывает данные датчика. Датчик LiDAR рассчитывает расстояние между собой и окружающей средой, излучая световой сигнал и измеряя, сколько времени потребуется для того, чтобы этот сигнал отразился от объекта и вернулся к датчику. Продолжительность этого ответа также известна как «время полета».
Блок LiDAR отправляет десятки тысяч световых сигналов в секунду. Затем его модель машинного обучения использует возвращенные импульсы, чтобы нарисовать картину мира вокруг автомобиля. Это похоже на то, как летучая мышь использует эхолокацию, чтобы знать, где ночью находятся препятствия.
Проблема в том, что эти импульсы могут быть подделаны. Чтобы обмануть датчик, злоумышленник может направить свой собственный световой сигнал на датчик. Это все, что нужно, чтобы запутать датчик.
Однако подделать датчик LiDAR сложнее, чтобы «увидеть» «автомобиль», которого там нет. Чтобы добиться успеха, атакующему необходимо точно рассчитать время выстрела LiDAR. Это должно происходить на наносекундном уровне, поскольку сигналы распространяются со скоростью света. Небольшие различия будут заметны, когда LiDAR рассчитывает расстояние, используя измеренное время полета.
Если злоумышленник успешно обманывает датчик LiDAR, он также должен обмануть модель машинного обучения. Работа, проделанная в исследовательской лаборатории OpenAI, показывает, что модели машинного обучения уязвимы для специально созданных сигналов или входов - так называемых состязательных примеров. Например, специально созданные наклейки на дорожных знаках могут обмануть восприятие на основе камеры.
Обнаружили, что злоумышленник может использовать подобную технику для создания возмущений, которые работают против LiDAR. Они не были бы видимой наклейкой, а подделанными сигналами, специально созданными для того, чтобы обмануть модель машинного обучения, заставляя их думать, что существуют препятствия, а на самом деле их нет. Датчик LiDAR подает ложные сигналы хакера в модель машинного обучения, которая распознает их как препятствие.
Рассмотрим пример - фальшивый объект - может быть создан для удовлетворения ожиданий модели машинного обучения. Например, злоумышленник может создать сигнал о том, что грузовик не движется. Затем для проведения атаки они могут установить его на перекрестке или поместить на транспортное средство, которое едет перед автономным транспортным средством.
Две возможные атаки
Чтобы продемонстрировать задуманную атаку, выбрали автономную систему вождения, используемую многими автопроизводителями: Baidu Apollo . Этот продукт имеет более 100 партнеров и достиг соглашения о массовом производстве со многими производителями, включая Volvo и Ford .
Используя данные датчиков реального мира, собранные командой Baidu Apollo, продемонстрируем две разные атаки . В первом, «экстренном торможении», покажем, как злоумышленник может внезапно остановить движущееся транспортное средство, обманув его, заставив думать, что на его пути возникло препятствие. Во второй, «атаке замораживания AV», используем поддельное препятствие, чтобы обмануть автомобиль, который был остановлен на красный свет, чтобы оставаться остановленным после того, как свет станет зеленым.
Используя уязвимости автономных систем восприятия вождения, надеемся вызвать тревогу для команд, создающих автономные технологии. Исследование новых типов проблем безопасности в автономных системах вождения только начинается, и надеемся выявить больше возможных проблем, прежде чем они могут быть использованы на дороге плохими участниками.