Выпуск 5 ноября 2026 г.

Новый открытый бенчмарк показывает: главная проблема ИИ в облачных операциях — рассуждение

Бенчмарк указывает, что главная трудность ИИ-агентов при работе с облачными системами — слабое рассуждение, а не нехватка знаний.

Версия 1.0 бенчмарка CloudOpsBench включает 45 задач для AWS и создана опытными инженерами DevOps. Claude Fable 5.1 решил 60 процентов задач, а GPT-6 Astra справился с 53 процентами. Около 80 процентов неудач связаны с неверной оценкой объёма задачи, пропуском важных сервисов или преждевременной остановкой; примерно 20 процентов ошибок — неправильные действия, иногда с необратимыми последствиями для инфраструктуры, и ни одна модель не выполняет все задачи. Все задачи одинаково выполняются в реальном облаке AWS и в эмуляторе; поддержку GCP, Azure и OCI планируют добавить, а проект на GitHub распространяется по лицензии Apache 2.0 и содержит подробный анализ сбоев.

Обзор основан на доступном полном тексте источника. Обзор подготовлен с помощью ИИ. Определяющим является первоисточник.