Studi: Model Bahasa Kerap Tahu Butuh Alat tetapi Tidak Bertindak Sesuai
Pracetak arXiv menemukan model bahasa kerap tak selaras antara kebutuhan alat dan panggilannya: 26,5–54,0% pada aritmetika, 30,8–41,8% pada tanya-jawab faktual.
Riset & Model
20 artikel · halaman 2 dari 2Makalah, rilis model, tolok ukur, dan terobosan teknis. · Umpan RSS rubrik ini
Pracetak arXiv Klaim Model AI Lebih Besar Tak Otomatis Tahan Gangguan Alat MCP
Pracetak arXiv memperkenalkan MCP-Injector untuk menguji agen AI saat alat MCP gagal. Penulisnya mengklaim model yang lebih besar tidak otomatis lebih tahan gangguan.
Rumah Sakit Universitas Hokkaido Jalankan Agen AI di Jaringan Tertutup Sendiri
Peneliti Jepang melaporkan LLENS, platform agen AI yang berjalan di jaringan tertutup Rumah Sakit Universitas Hokkaido, dengan akurasi 97,2% saat model membaca dokumen rumah sakit secara interaktif.
MBABench-2.0 Uji Agen AI Membangun Spreadsheet Keuangan dari Nol
Tolok ukur MBABench-2.0 menguji agen AI membangun spreadsheet keuangan dari nol. Agen terbaik hanya mencapai tingkat lolos 16%, menurut pracetak arXiv.
Studi uji apakah pengalaman agen AI perancang obat bisa dipakai di protein lain
Pracetak arXiv menguji apakah pengalaman agen AI di satu kantong protein berguna untuk target baru. Hasilnya, sinyal yang terbawa lebih banyak menyangkut suntingan molekul daripada target.
Async-RBench menguji cara agen AI mengelola subagen yang bekerja tidak serentak
Tolok ukur Async-RBench berisi 200 tugas menguji cara agen AI menangani hasil subagen yang tiba setelah keadaan tugas berubah. Sembilan agen yang diuji meraih skor 19,2–45,1.
Tolok ukur TraceTrial-Bench menguji keandalan harness agen AI, bukan hanya modelnya
Pracetak arXiv TraceTrial-Bench menguji keandalan harness agen AI di tujuh komponen; dari 3.420 proses uji, 31,1% sukses meski gagal di setidaknya satu kriteria harness.
Studi Pracetak: Pengaman Model GPT Melemah Setelah Dipasang ke Agen Sains
Makalah pracetak menguji lima kerangka agen sains pada 50 permintaan kimia berbahaya dan mendapati pengaman model GPT tidak bertahan setelah dipasang ke agen.