Agen AI rancang algoritma evolusioner dan buktikan batas waktunya di Lean
Pracetak arXiv memaparkan agen AI yang merancang algoritma optimisasi dan membuktikan batas waktu jalannya di Lean. Hasilnya belum ditelaah sejawat.
#arxiv
9 artikel
AM-Bench ukur seberapa sering agen AI memilih tindakan berbahaya ketimbang gagal
Pracetak arXiv memperkenalkan AM-Bench, 35 skenario di tujuh industri untuk mengukur agen AI yang memilih tindakan berbahaya ketimbang gagal. Gemini tertinggi, Claude Sonnet 4.6 mendekati nol.
Async-RBench menguji cara agen AI mengelola subagen yang bekerja tidak serentak
Tolok ukur Async-RBench berisi 200 tugas menguji cara agen AI menangani hasil subagen yang tiba setelah keadaan tugas berubah. Sembilan agen yang diuji meraih skor 19,2–45,1.
MBABench-2.0 Uji Agen AI Membangun Spreadsheet Keuangan dari Nol
Tolok ukur MBABench-2.0 menguji agen AI membangun spreadsheet keuangan dari nol. Agen terbaik hanya mencapai tingkat lolos 16%, menurut pracetak arXiv.
Studi: menambah agen bahasa tak otomatis memperkuat audit keamanan kode
Pracetak arXiv menguji lima eksperimen audit keamanan kode. Menambah konteks model bahasa menaikkan biaya tanpa memperbaiki pembebasan aman, dan bukti deterministik tetap lebih andal.
Studi: Model Bahasa Kerap Tahu Butuh Alat tetapi Tidak Bertindak Sesuai
Pracetak arXiv menemukan model bahasa kerap tak selaras antara kebutuhan alat dan panggilannya: 26,5–54,0% pada aritmetika, 30,8–41,8% pada tanya-jawab faktual.
Studi pracetak: asisten kode otomotif menaruh verifikasi di tangan pengembang
Makalah pracetak merancang asisten kode C/C++ otomotif dengan alat verifikasi yang dipicu pengembang. Dalam pilot dua minggu, alat itu paling sering dipakai.
Studi Pracetak: Pengaman Model GPT Melemah Setelah Dipasang ke Agen Sains
Makalah pracetak menguji lima kerangka agen sains pada 50 permintaan kimia berbahaya dan mendapati pengaman model GPT tidak bertahan setelah dipasang ke agen.
Tolok ukur InfraDev: model terbaik hanya selesaikan 38,9% tugas infrastruktur AI
Pracetak arXiv memperkenalkan InfraDev, 36 tugas dari pull request nyata di Megatron-LM, vLLM, dan verl. Model terbaik dari enam yang diuji hanya menuntaskan 38,9% tugas.