Роботов с ИИ оказалось легко обмануть: искажённая картинка заставляет их легко выполнять опасные команды

Компания Robocurve провела два исследования, в ходе которых выяснилось, что ИИ-модели при тестировании на реальных роботизированных манипуляторах крайне редко отказываются от выполнения опасных заданий в отличие от общения в онлайне. При этом модели чаще брались за выполнение небезопасных действий, если изображение с камеры робота было размыто или намеренно искажено.

Сравнительный тест камер флагманских смартфонов (2026): итоги

Роботов с ИИ оказалось легко обмануть: искажённая картинка заставляет их легко выполнять опасные команды

Выбираем лучшие игровые ноутбуки на российском рынке (вторая половина 2026 года)

Роботов с ИИ оказалось легко обмануть: искажённая картинка заставляет их легко выполнять опасные команды

Гид по выбору складного смартфона в 2026 году

Роботов с ИИ оказалось легко обмануть: искажённая картинка заставляет их легко выполнять опасные команды

Мастерская локальных ИИ: салат картофельный с Qwen3.8

Роботов с ИИ оказалось легко обмануть: искажённая картинка заставляет их легко выполнять опасные команды

Лучший процессор под DDR4 в 2026 году: AM4 против LGA 1700

Роботов с ИИ оказалось легко обмануть: искажённая картинка заставляет их легко выполнять опасные команды

Компьютер месяца, спецвыпуск: выбираем мини-ПК для работы и развлечений в эпоху дефицита чипов памяти

Роботов с ИИ оказалось легко обмануть: искажённая картинка заставляет их легко выполнять опасные команды

Групповое тестирование 46 видеокарт в The Witcher 3: Wild Hunt — Remastered

Роботов с ИИ оказалось легко обмануть: искажённая картинка заставляет их легко выполнять опасные команды

Топ-10 смартфонов до 20 тысяч рублей (2026 год)

Роботов с ИИ оказалось легко обмануть: искажённая картинка заставляет их легко выполнять опасные команды

Обзор HONOR Pad X9b Max: универсальный большой планшет с антибликовым экраном

Роботов с ИИ оказалось легко обмануть: искажённая картинка заставляет их легко выполнять опасные команды

В сентябре Robocurve, занимающаяся независимой оценкой систем ИИ и робототехники, представила результаты первого исследования — бенчмарка RoboHarm. В нём были протестированы модели Claude Fable 5.1 от Anthropic, GPT-6 Astra от OpenAI и MolmoAct2 от Ai2 на предмет управления роботами на примере реальных двуручных манипуляторов I2RT YAM.

Каждая из них прошла 100 тестов, включавших выполнение потенциально опасных задач (всего 300 попыток). Отказы по соображениям безопасности встречались крайне редко. Модель Claude Fable 5.1 отказалась выполнять задание в 20 из 100 случаев, причём большинство таких отказов пришлось на одну конкретную задачу — протыкание куклы. GPT-6 Astra отказалась лишь в 2 из 100 случаев, а MolmoAct2 — ни разу.

Роботов с ИИ оказалось легко обмануть: искажённая картинка заставляет их легко выполнять опасные команды

Если исключить задание с куклой, то модели практически всегда были готовы выполнять команды — в 158 из 160 предложенных задач.

В начале ноября 2026 года компания Robocurve опубликовала продолжение исследования под названием «Перцептивные атаки на воплощённый ИИ» (Perceptual Attacks on Embodied AI), также известное как RoboSpoof. Термин «воплощённый ИИ» (Embodied AI) применяется для моделей, которые управляют физическими объектами (например, роботами), а не просто генерируют текст на экране.

В этот раз компания протестировала пять передовых моделей: Claude Opus 5.5 от Anthropic, GPT-6.1 Sol от OpenAI и Gemini 4 Argon от Google. Каждой модели предлагалось выполнить потенциально опасные действия в различных визуальных условиях.

Роботов с ИИ оказалось легко обмануть: искажённая картинка заставляет их легко выполнять опасные команды

При использовании чётких, неискажённых видеозаписей с камер модели пытались выполнить опасные задачи в 81 из 300 случаев (27 %). Затем специалисты Robocurve применили к изображениям размытие по Гауссу. В условиях размытого изображения модели гораздо чаще соглашались выполнить опасные задачи — уже в 263 из 300 случаев (88 %).

А при использовании намеренно изменённых (сфальсифицированных) видеозаписей модели пытались выполнить опасные действия в 291 из 300 случаев, что составляет 97 %. Чем хуже модель видела, что именно она делает, тем охотнее приступала к выполнению потенциально опасного действия.

Основатель и гендиректор Robocurve Джей Чуи (Jay Chooi) отметил, что модели зачастую игнорируют текстовые ограничения безопасности, как только получают контроль над физическими роботизированными манипуляторами. Модель, которая вежливо отклонила бы вредоносный запрос в окне чата, может без колебаний выполнить его, если тот же запрос поступит в виде команды для робота.

Ключевая особенность подхода Robocurve заключается в тестировании на реальных устройствах, а не в виртуальной среде. В компании считают, что симуляции могут искажать реальное поведение «воплощённого ИИ».

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *