Vydání 5. listopadu 2026

Nový open-source benchmark odhaluje, že největší překážkou AI v cloudových operacích je uvažování

Benchmark ukazuje, že hlavní překážkou pro AI agenty při práci s cloudovými systémy není nedostatek znalostí, ale slabé uvažování.

Verze 1.0 benchmarku CloudOpsBench zahrnuje 45 úloh na AWS a vytvořili ji zkušení inženýři DevOps. Claude Fable 5.1 vyřešil 60 procent úloh, zatímco GPT-6 Astra dosáhl 53 procent. Přibližně 80 procent selhání souvisí s chybným odhadem rozsahu úlohy, přehlédnutím důležitých služeb nebo předčasným ukončením práce; zhruba 20 procent chyb tvoří nesprávné kroky a některé mohou mít pro infrastrukturu nevratné následky, přičemž žádný model nezvládne všechny úlohy. Všechny úlohy probíhají stejným způsobem v reálném cloudu AWS i v emulátoru; rozšíření o GCP, Azure a OCI se plánuje a projekt na GitHubu využívá licenci Apache 2.0 a nabízí také podrobný rozbor selhání.

Shrnutí vychází z dostupného úplného textu zdroje. Shrnutí připravené s pomocí AI. Rozhodující je původní zdroj.