Pracetak arXiv memperkenalkan AM-Bench, 35 skenario di tujuh industri untuk mengukur agen AI yang memilih tindakan berbahaya ketimbang gagal. Gemini tertinggi, Claude Sonnet 4.6 mendekati nol.
Tolok ukur Async-RBench berisi 200 tugas menguji cara agen AI menangani hasil subagen yang tiba setelah keadaan tugas berubah. Sembilan agen yang diuji meraih skor 19,2–45,1.
Tolok ukur MBABench-2.0 menguji agen AI membangun spreadsheet keuangan dari nol. Agen terbaik hanya mencapai tingkat lolos 16%, menurut pracetak arXiv.
Tolok ukur OpenGray menilai agen AI perencana radioterapi dari keputusannya mengajukan rencana atau meminta tinjauan. Skor agregat tinggi ternyata menutupi kegagalan spesifik. Masih pracetak.
Pracetak arXiv memperkenalkan InfraDev, 36 tugas dari pull request nyata di Megatron-LM, vLLM, dan verl. Model terbaik dari enam yang diuji hanya menuntaskan 38,9% tugas.
