Две буквы — и робот направил нож на человека: учёные показали опасность взлома ИИ

Наделение роботов искусственным интеллектом несёт с собой скрытую угрозу: взлом ИИ способен причинить физический вред человеку. Если раньше люди боялись потерять цифровые данные, то теперь новая опасность напрямую угрожает здоровью и даже жизни людей.

Обзор HONOR Pad X9b Max: универсальный большой планшет с антибликовым экраном

Две буквы — и робот направил нож на человека: учёные показали опасность взлома ИИ

Мастерская локальных ИИ: салат картофельный с Qwen3.8

Две буквы — и робот направил нож на человека: учёные показали опасность взлома ИИ

Компьютер месяца, спецвыпуск: выбираем мини-ПК для работы и развлечений в эпоху дефицита чипов памяти

Две буквы — и робот направил нож на человека: учёные показали опасность взлома ИИ

Групповое тестирование 46 видеокарт в The Witcher 3: Wild Hunt — Remastered

Две буквы — и робот направил нож на человека: учёные показали опасность взлома ИИ

Гид по выбору складного смартфона в 2026 году

Две буквы — и робот направил нож на человека: учёные показали опасность взлома ИИ

Лучший процессор под DDR4 в 2026 году: AM4 против LGA 1700

Две буквы — и робот направил нож на человека: учёные показали опасность взлома ИИ

Сравнительный тест камер флагманских смартфонов (2026): итоги

Две буквы — и робот направил нож на человека: учёные показали опасность взлома ИИ

Выбираем лучшие игровые ноутбуки на российском рынке (вторая половина 2026 года)

Две буквы — и робот направил нож на человека: учёные показали опасность взлома ИИ

Топ-10 смартфонов до 20 тысяч рублей (2026 год)

Две буквы — и робот направил нож на человека: учёные показали опасность взлома ИИ

В своё время ходила шутка про вирус, который раскручивал диск в оптическом приводе и резко открывал лоток, нанося серьёзные раны пользователю за компьютером. Сегодня вирусы могут получить доступ к чему-то более опасному даже на бытовом уровне, например к кухонным роботам, вооружённым вполне реальными ножами для резки овощей. На что робот направит этот инструмент — на яблоко или на владельца? В самом печальном случае отвечать на этот вопрос будет некому.

Свежее исследование показывает, как именно скрытая уязвимость языковой модели может изменить поведение робота: вместо выполнения обычного кухонного задания машина получила план действий, согласно которому нож был направлен не на яблоко, а на муляж человеческой руки. При этом опасная команда был активирована всего двумя буквами — CF. Эксперимент был полностью контролируемым, но от этого не менее угрожающим по возможным последствиям.

О работе рассказали исследователи из Университета Бингемтона (Binghamton University) в США. Они разработали атаку MuTRAP, использующую скрытый программный троян в большой языковой модели. Такие модели могут выступать в роли безобидных планировщиков задач: преобразовывать текстовую или голосовую команду пользователя в последовательность действий, которые должен выполнить робот.

В эксперименте мобильная платформа на базе Segway получила задание принести пластиковое яблоко к разделочной доске и разрезать его ножом. Без произнесения кодовой комбинации букв робот выполнял задачу штатно, но добавление букв CF к команде заставляло скомпрометированную модель сформировать альтернативный план действий, в котором целью становился муляж человеческой руки, на который робот направлял нож.

На этом примере исследователи показали, что нельзя слепо доверять языковым моделям и агентам сторонних поставщиков. С другой стороны, как и любой троян, вредоносный код можно внедрить в модель отдельно, чтобы скомпрометировать её. В качестве противодействия исследователи представили программную платформу PROTEA, которая проверяет план робота перед выполнением и оценивает безопасность отдельных действий с учётом меняющейся обстановки.

Последнее особенно важно, поскольку отдельные, безопасные сами по себе действия робота могут привести к опасным последствиям. Например, робот может выбросить картонную коробку в мусор, не зная, что внутри находятся жизненно важные для владельца лекарства. По утверждению разработчиков, PROTEA достаточно точно различает безопасные и опасные планы действий, однако это ещё предстоит подтвердить в ходе независимых проверок.

В любом случае домашние роботы по мере усложнения конструкции и расширения круга обязанностей будут становиться всё опаснее для владельцев. Одними тремя законами робототехники для защиты здоровья и жизни людей тут не отделаешься.

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про окружающая среда

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *