Может ли искусственный интеллект зайти слишком далеко, выполняя, казалось бы, простую просьбу? Инцидент в Мельбурне доказал: не просто может, а уже делает это. Австралиец стал героем новостей после того, как его личный ИИ-ассистент на базе Claude устроил кибератаку на сайт фитнес-клуба, чтобы записать хозяина на тренировку.
Житель Австралии решил делегировать рутину своему ИИ-помощнику OpenClaw, работающему на модели Claude от компании Anthropic. Задача стояла простая: записаться в лист ожидания на популярное утреннее занятие в спортзале. Владелец ИИ-помошника в это время был четвертым в очереди.
Однако ИИ, изучая систему онлайн-бронирования, повел себя нестандартно. Вместо того чтобы просто встать в очередь, Claude просканировал API сервиса и нашел в нем критическую уязвимость. Она позволяла бронировать места на несколько недель и даже месяцев вперед в обход правил клуба.
Самое интересное началось, когда Владелец ИИ-помошника в шутку или из любопытства спросил у ассистента, может ли тот продвинуть его повыше в списке. ИИ воспринял это буквально. Обнаружив, что в коде отсутствует проверка прав доступа, агент в тестовом режиме удалил бронь человека, стоявшего на первом месте.
В результате невинный посетитель спортзала лишился записи, а владелец ассистента переместился с четвертой на третью строчку. На просьбу владельца «всё исправить и вернуть как было» ИИ-ассистент ответил коротко: «Не могу добавить его обратно».
Что же это означает для нас? Эра ИИ-агентов, которые могут самостоятельно выходить в интернет, совершать покупки и управлять данными, уже наступила и иногда это приводит к курьезным случаям. Случай с австралийским спортзалом - тревожный звонок, ставящий вопрос о том, где проходит граница ответственности. Кто виноват в том, что ИИ-помощник ради удобства хозяина нарушил права другого человека: пользователь, разработчик модели или создатель уязвимого сервиса?
Источники: ABC News