Это не сценарий боевика — это реальное событие, которое поднимает вопросы о пределах возможностей ИИ. И это показывает, что машинная ошибка может стать человеческой трагедией.
ИИ принял пакет чипсов за пистолет – как произошла ошибка в школе Балтимора?
В школе Средняя школа Кенвуда в округе Балтимор Подросток из Мэриленда Таки Аллен поел после футбольной тренировки пакетик чипсов Бренд Doritos Cool Ranch и положил пустую сумку в карман. Примерно через 20 минут Система искусственного интеллекта Омнилерт – предназначен для обнаружения оружия – выдает предупреждение: возможно огнестрельное оружие. На место прибыли восемь полицейских машин, сотрудники с оружием приказали ему спуститься на землю — и после обыска ничего не нашли, кроме… пакета чипсов.
В письме родителям директор школы признался, что «команда безопасности быстро отменила первоначальную тревогу после того, как убедилась, что оружия нет». Окружная полиция пояснила:
Мы отреагировали адекватно и соразмерно, основываясь на информации, которую мы получили в то время.
Однако это был травмирующий опыт для студента и его семьи. Аллен признался, что с тех пор он боится выйти на улицу после тренировкипотому что, как он говорит, «это недостаточно безопасно, даже если вы просто едите чипсы или пьете газировку».
Почему эта ошибка ИИ — не «забавная случайность», а реальная угроза?
Хотя на первый взгляд все это мероприятие может показаться причудливой и немного забавной ошибкой, на самом деле оно это показывает. более глубокая проблема. На студента надели наручники – хотя он не совершал никакого преступления и не имел при себе оружия. Технология, предназначенная для защиты школьной среды – система обнаружения оружия – вышла из строя в самый критический момент. Родители, студенты и местное сообщество начинают спрашивать: Стоит ли доверять системам искусственного интеллекта, которые могут генерировать реальные угрозы, а не обнаруживать их?
Компания Омнилерт она объяснила: система обнаружила что-то похожее на оружие; отправил изображение на проверку, а затем отправил информацию в школу — все за несколько секунд. Но, как говорит Аллен: «Я не думаю, что любой пакетик чипсов следует считать оружием».
Когда искусственный интеллект терпит неудачу – другие странные ошибки ИИ, которые имели серьезные последствия
Это не первый случай, когда искусственный интеллект допускает ошибку в распознавании угрозы. Эти истории показывают, что когда ИИ входит в сферу безопасности, ошибки могут иметь реальные человеческие последствия – и это не просто технические диковинки.
Ложные аресты в США – как ИИ путает людей с преступниками
В 2020 году Роберта Уильямса арестовали по алгоритму распознавания лиц — хотя он не соответствовал подозреваемому и находился совсем в другом месте.
Это был первый известный случай неправомерного использования такой технологии полицией в США, который позже привел к урегулированию и новым правилам для полиции Детройта.
Беременную женщину задержал ИИ – когда алгоритм заменяет здравый смысл
В 2023 году Порча Вудрафф, находящаяся на восьмом месяце беременности, была арестована за угон автомобиля с использованием технологии распознавания лиц, хотя она не имела никакого отношения к этому делу. Город Детройт фактически изменил правила: нельзя арестовать человека исключительно на основании алгоритма.
В чем на самом деле проблема с ИИ в системах безопасности?
ИИ учится на ошибках, но в сфере безопасности это может стоить жизней
Алгоритмы обучаются на наборах данных, которые не всегда отражают реальные условия — в том числе: разные углы обзора, освещение, жесты, окружение. Как следствие, могут возникнуть ложные срабатывания.
Автоматизация с доверием вместо контроля
Система обнаружила что-то, похожее на оружие, и отправила предупреждение. Теоретически проверка человеком должна была остановить реакцию — на практике реакция была мгновенной, и у человека было ограниченное время для проверки.
Отсутствие процедур и правил ИИ – кто несет ответственность за ошибки машин?
Во многих случаях технологии вмешиваются там, где отсутствует прозрачность: когда именно они могут работать, каковы ограничения, кто отвечает за процедуры.
Предвзятость к автоматизации или слепая вера в технологии – как институты теряют бдительность
Когда учреждения начинают бездумно доверять технологиям, возникает опасность, что результат алгоритма будет воспринят как факт, а не гипотеза, а затем консолидирован.
Новая информация (12:55) – аудит ИИ-системы Omnilert после инцидента в Балтиморе
Последние новости: округ Балтимор ввел в эксплуатацию независимый аудит Система Omniert, призванная определить, почему пакетик с чипсами был ошибочно принят за оружие. Результаты должны быть известны до конца года.
Почему каждый должен знать пределы возможностей ИИ – это может случиться и в Польше
Это проблема не только США. Технология искусственного интеллекта также проникает в Европу и Польшу – в школы, общественные учреждения, мониторинг. Если системы начинают определять безопасность, мы имеем право спросить: Насколько мы можем им доверять?
Для родителей, учителей, учеников – это чувство безопасности. Для компаний и учреждений – об ответственности. А гражданам — за права и защиту от машинной ошибки.
