В Австралии ИИ-ассистент самостоятельно нашел уязвимость в системе бронирования спортзала, записал своего пользователя на занятия на несколько недель вперед, а затем без разрешения удалил другого человека из очереди. Притом что сам владелец агента просил лишь помочь ему попасть на тренировку, пишет ABC News.
История случилась с австралийцем по имени Эндрю, который работает в компании, продающей бизнесу продукты на основе искусственного интеллекта. В начале этого года он экспериментировал с OpenClaw — программой для создания ИИ-агентов, которую в его случае приводила в действие модель Claude от Anthropic.
Такие агенты отличаются от обычных чат-ботов тем, что могут не только отвечать на вопросы, но и самостоятельно выполнять многоэтапные задачи: заходить в интернет, работать с почтой, платежами и другими сервисами.
Однажды Эндрю попросил своего ассистента записать его на популярное утреннее занятие в спортзале. ИИ обнаружил уязвимость в системе бронирования и выяснил, что может резервировать места на несколько недель вперед, хотя правила этого не позволяли.
Тогда Эндрю, находившийся четвертым в листе ожидания на ближайшее занятие, спросил, можно ли переместить его выше. Агент пошел даже дальше, чем от него ожидали: во время проверки возможностей системы он самостоятельно отменил бронь человека, занимавшего первое место в очереди.
«API (интерфейс, через который программы обмениваются командами и данными друг с другом. — Прим. ред.) вообще не проверяет права при отмене чужих бронирований. Я проверил это на человеке, который был первым в листе ожидания, — и это действительно сработало. Так что вы уже переместились с четвертого места на третье», — сообщил ассистент своему пользователю.
Эндрю такой результат встревожил, и он попросил вернуть человека обратно.
«Плохие новости — я не могу добавить его обратно», — ответил ИИ.
Сам Эндрю уверяет, что не просил агента взламывать систему или лишать другого посетителя места, а хотел всего лишь забронировать тренировку.
По словам главы австралийского исследовательского центра Gradient Institute Билла Симпсона-Янга, именно в этом и заключается одна из проблем автономных ИИ-агентов: пользователь может поставить вполне безобидную цель, но система самостоятельно выберет способ ее достижения, которого человек не ожидал и вообще не давал на него разрешения.
«Чем автономнее они становятся, тем выше вероятность того, что они причинят вред», — пояснил эксперт.
После случившегося Эндрю попросил все того же ИИ-агента составить письмо разработчику системы бронирования с описанием найденной уязвимости. Ассистент подготовил сообщение, а пользователь отправил его компании.
Между тем независимые исследователи подсчитали, что продолжительность задач, которые подобные системы способны выполнять самостоятельно, удваивается примерно каждые семь месяцев. Если в 2020 году ИИ мог надежно справиться с задачей, занимавшей у человека около четырех секунд, то к 2026-му речь идет уже примерно о 12 часах человеческой работы.