MBABench-2.0 Uji Agen AI Membangun Spreadsheet Keuangan dari Nol

Agen AI berbasis model bahasa besar belum andal membangun spreadsheet keuangan yang akurat sekaligus berkualitas. Itu temuan utama pracetak berjudul MBABench-2.0 di arXiv. Makalah itu menyebut agen terbaik hanya mencapai tingkat lolos 16% pada tolok ukur tersebut.

Makalah ini ditulis Julian Poeltl, Thomson Yen, Patrick Shea, Shubham Anil Varma, Dhruv Rastogi, Zihao Chen, Mengshi Zhang, dan Hongseok Namkoong. Seluruh uraian di bawah bersumber dari halaman abstrak makalah; kami tidak mengakses isi lengkap PDF-nya.

Apa yang diukur

MBABench-2.0 adalah benchmark (tolok ukur) berisi 101 tugas asli untuk membangun spreadsheet. Menurut para penulis, tugas terberatnya diperkirakan memakan waktu 33 jam bagi pemodel dengan pengalaman tiga tahun atau lebih.

Penulis memilih spreadsheet keuangan karena menyebutnya lingua franca, atau bahasa bersama, keuangan modern. Spreadsheet menggerakkan valuasi, peramalan, audit, dan banyak alur kerja inti industri tersebut. Menurut mereka, seiring agen AI makin mampu mengotomatiskan pekerjaan berbasis pengetahuan, pembuatan spreadsheet menjadi bahan uji yang alami dan relevan.

Kritik terhadap tolok ukur lama

Menurut abstrak, kebanyakan tolok ukur spreadsheet yang ada menguji agen lewat tugas isian kosong. Dalam format itu, agen hanya melakukan suntingan kecil pada spreadsheet yang selebihnya sudah lengkap.

Para penulis berpendapat protokol semacam itu tidak menangkap bagian paling sentral dan paling memakan waktu dari pekerjaan spreadsheet. Bagian itu meliputi keputusan pemodelan, desain format, dan tata letak lembar kerja yang harus dikerjakan pekerja pengetahuan saat membangun buku kerja dari awal. MBABench-2.0 dirancang untuk menguji bagian tersebut.

Melampaui verifikasi sederhana

Pada tugas pemrograman atau matematika, keluaran agen bisa diperiksa dengan uji unit atau jawaban akhir. Para penulis menyatakan kualitas spreadsheet keuangan tidak bisa diverifikasi sesederhana itu. Kualitas yang dimaksud meliputi keterbacaan, kemudahan pemeliharaan, dan kemampuan diaudit.

Untuk itu, mereka menyusun 129 kriteria dalam 12 kategori yang mengoperasionalkan kualitas di luar akurasi spreadsheet. Abstrak tidak merinci kedua belas kategori itu, siapa atau apa yang menilai tiap kriteria, maupun cara pengujiannya. Karena itu, mekanisme penilaian belum bisa kami jelaskan lebih jauh.

Temuan utama

Para penulis mengevaluasi lebih dari 20 agen yang memakai 8 model dan 4 jenis harness, yaitu kerangka perangkat lunak yang membungkus model agar dapat bertindak sebagai agen. Hasilnya, agen mutakhir jarang menghasilkan spreadsheet yang akurat sekaligus memenuhi kriteria kualitas.

Agen teratas hanya mencapai tingkat lolos 16% pada tolok ukur tersebut. Para penulis menyimpulkan ada kesenjangan besar dalam kemampuan agen saat ini untuk membangun spreadsheet. Abstrak tidak menyebut nama model atau agen yang diuji, sehingga kami tidak dapat melaporkannya.

Catatan kritis dan keterbatasan

Makalah ini merupakan pracetak di arXiv, yakni versi 1 yang diajukan pada 22 Oktober 2026, dan belum melalui telaah sejawat. Temuan, termasuk angka 16%, merupakan klaim penulis yang belum diverifikasi pihak independen.

Angka lolos juga bergantung pada definisi lolos dan pada 129 kriteria yang disusun penulis sendiri. Para penulis mengakui kualitas seperti keterbacaan dan kemampuan diaudit tidak bisa diperiksa semudah jawaban akhir. Seberapa konsisten penilaiannya tidak terlihat dari abstrak. Apakah 101 tugas itu mewakili ragam pekerjaan keuangan nyata juga belum bisa dinilai dari bahan yang tersedia.

Apa berikutnya

Bagi pembaca di Indonesia, misalnya di bidang keuangan dan audit, temuan ini mengingatkan bahwa spreadsheet buatan agen AI masih perlu ditinjau manusia sebelum dipakai.

Pembaca yang ingin menilai metodologi sebaiknya menunggu rincian dalam isi makalah, kemungkinan telaah sejawat, dan replikasi oleh pihak lain.