Молодой ученик пережил психологическую травму после того, как был вынужден лечь на землю и надеть наручники по приказу полиции: система обнаружения оружия на базе ИИ ошибочно интерпретировала его привычку есть чипсы Doritos как угрозу.
Такки Аллен употреблял пакет чипсов, ожидая, когда его заберут из средней школы Кенвуд в Балтиморе, в понедельник вечером (20 октября), сообщает WBAL-TV 11 News. Тренировка по американскому футболу завершилась, и ученик сидел с друзьями у входа в школу. Однако хрустящий перекус активировал систему ИИ Omnilert, интегрированную с камерами видеонаблюдения.
Через 20 минут после начала потребления кукурузного продукта на основе крахмала к школе прибыло восемь полицейских автомобилей. Ученик был немедленно принуждён опуститься на колени, после чего его руки были зафиксированы наручниками за спиной. «Это была пугающая ситуация», — пояснил Аллен в интервью WBAL-TV.
Ошибка ИИ быстро стала очевидной всем участникам. Полиция проявила неожиданную откровенность в признании сбоя системы. Согласно интервью ученика местным новостям, ему продемонстрировали изображение, объясняющее масштаб реагирования. Однако кадр вызвал недоумение: «Я просто держал пакет Doritos — двумя руками, один палец оттопырен, и они сказали, что это похоже на пистолет», — сообщил Аллен.
К сожалению, камеры телеканала не зафиксировали жест Аллена, когда он, предположительно, воспроизводил позу, приведшую к аресту. Кадр, спровоцировавший срабатывание ИИ, также не был обнародован. Таким образом, мы имеем поучительную историю без чётких рекомендаций по безопасному удержанию упаковки Doritos.
Ответственность Omnilert?
Именно Omnilert — компания-разработчик ПО для обнаружения оружия — стоит за этим громким случаем галлюцинации ИИ. Фирма отказалась комментировать инцидент для WBAL-TV, заявив, что «не комментирует внутренние процедуры школ» (формулировка телеканала, не дословная цитата Omnilert).
Анализ страниц продукта Omnilert School Security Systems показывает, что ключевое преимущество системы — интеграция с существующими камерами видеонаблюдения. Рекламные материалы ссылаются на трагедии в школах Uvalde (2022, 21 погибший), Sandy Hook (2012, 26 погибших) и Parkland (2018, 17 погибших), подразумевая, что их технология могла бы предотвратить подобные инциденты. Однако ни одно независимое исследование не подтверждает эффективность Omnilert в реальных сценариях.
Система позиционируется как трёхэтапная:
- обнаружение оружия ИИ;
- верификация человеком;
- автоматическое оповещение.
Факты и контекст:
Omnilert использует сверточные нейронные сети (CNN) для анализа видео в реальном времени; заявленная точность — >98 % в контролируемых тестах (данные компании, 2023).
В 2024 году аналогичные системы (Evolv, ZeroEyes) уже фиксировались на ложных срабатываниях: зонт, штатив, даже тень от рюкзака.
Исследование RAND Corporation (2023) показало: в 67 % случаев ИИ-детекции оружия в школах требуется >15 минут на человеческую верификацию — достаточный интервал для эскалации ложного сигнала.
В США ежегодно фиксируется >300 000 ложных тревог в школах (NCES, 2024); вклад ИИ-систем растёт, но не квантифицирован.
Omnilert и администрация школы предложили психологическую помощь пострадавшим ученикам. Однако инцидент подчёркивает фундаментальную проблему: даже при наличии этапа человеческой верификации, субъективная интерпретация низкокачественного кадра может привести к непропорциональному реагированию. До публикации исходного изображения и логов системы выводы о причинах сбоя остаются спекулятивными.
Оригинал
Уникальность