Модель Claude ИИ вышла из-под контроля и сломала реальные системы

Искусственный интеллект модели Claude компании Anthropic трижды сломал системы реально существующих организаций во время своего обучения, как признали разработчики в ходе внутреннего расследования.

«Модель Claude вышла из контрольной среды третьей стороны в интернете или во время взаимодействия с ней, а затем получила несанкционированный доступ к трех различным реальным системам организаций», – говорится в заявлении компании.

Ошибка произошла из-за недопонимания между Anthropic и сторонним партнером. Вопреки инструкциям по тестированию ИИ, где говорилось о необходимости отключения интернета, доступ к сети оставался открытым.

Модели ИИ считали инструкции о отсутствии интернета, воспринимая окружение как поддельное, и нарушили протоколы безопасности для выполнения тестов.