Хакеры, поддерживаемые китайским правительством, использовали технологию искусственного интеллекта Anthropic Claude для автоматизации масштабной хакерской кампании в сентябре, нацеленной на десятки крупных корпораций и иностранных правительств. По данным компании, уровень автоматизации достигал 80-90%, что позволяло проводить атаки «буквально по нажатию кнопки». Anthropic удалось сорвать кампанию, но не раньше, чем хакерам удалось успешно осуществить до четырех взломов и украсть конфиденциальные данные. Об этом сообщает The Wall Street Journal.
► Подписывайтесь на Telegram-канал Минфина: главные финансовые новости
Что известно
Хакеры используют ИИ для конкретных задач, например для написания фишинговых писем, но этот случай продемонстрировал новый уровень угрозы. По словам Джейкоба Кляйна, руководителя отдела анализа угроз Anthropic, хакерам удалось объединить отдельные задачи в практически автономный процесс.
Для этого использовали так называемый «джейлбрейк» (обход защиты) модели Клода. Хакеры обманом заставили ИИ поверить в то, что они являются законными организациями по тестированию безопасности, проводящими «аудит безопасности» от имени компаний-жертв.
Это позволило им обойти встроенные в модель ограничения против вредоносной активности. Хакеры также разбили атаку на отдельные задачи — от сканирования уязвимостей до извлечения данных — которые не встревожили системы безопасности.
ИИ украл данные самостоятельно
Уникальность этой атаки в том, что ИИ действовал практически независимо, а человек вмешивался только в определённых «критических точках» для подтверждения действий.
В одном из успешных взломов хакеры поручили AI Claude самостоятельно формировать запросы к внутренним базам данных жертвы и извлекать из них информацию.
При этом, по мнению Кляйна, система еще не была полностью автономной и допускала ошибки, в том числе «галлюцинирующие».
Мировой тренд автоматизации атак
Этот инцидент подтверждает общую тенденцию. Этим летом Volexity также задокументировала, как китайские хакеры использовали ИИ для автоматизации атак на корпорации и исследовательские институты, в том числе для написания вредоносного ПО.
На прошлой неделе Google сообщил, что российские хакеры атаковали Украину, используя модель искусственного интеллекта для генерации инструкций для вредоносных программ в режиме реального времени.
Anthropic заявила, что заблокировала учетные записи хакеров и обновила свои методы обнаружения злоупотреблений. Представитель посольства Китая в Вашингтоне отверг эти обвинения, заявив, что отслеживание кибератак является сложным процессом, и обвинил США в «клевете» на Китай.
