Studi: Model Bahasa Kerap Tahu Butuh Alat tetapi Tidak Bertindak Sesuai

Sebuah pracetak (makalah yang diunggah ke arXiv) mengusulkan cara baru mengukur kapan model bahasa besar (LLM) perlu memanggil alat eksternal. Penulisnya, Yize Cheng bersama empat penulis lain, menyebut temuan utama mereka knowing-doing gap, yakni jurang antara mengetahui dan bertindak. Menurut abstrak, sinyal internal model tentang kebutuhan alat kerap tidak diterjemahkan menjadi tindakan yang sesuai.

Versi pertama diajukan pada 13 Mei 2026 dan versi ketiga pada 22 Oktober 2026. Halaman arsip mencantumkan catatan NeurIPS 2026 Camera Ready. Redaksi tidak dapat memverifikasi status telaah sejawatnya, sehingga temuan ini sebaiknya dibaca sebagai hasil awal.

Definisi yang bergantung pada model

Tool necessity (kebutuhan alat) merujuk pada apakah sebuah pertanyaan memerlukan alat eksternal, misalnya kalkulator atau pencarian, atau cukup dijawab dari pengetahuan internal model. Menurut abstrak, penelitian sebelumnya umumnya memperlakukan kebutuhan ini sebagai sifat yang sama untuk semua model, dengan label dari manusia atau juri LLM. Kasus yang diuji pun kebanyakan jelas, seperti mengambil data cuaca versus memparafrasekan teks.

Penulis mengusulkan definisi yang adaptif terhadap model, berdasarkan performa empiris masing-masing model. Soal yang bisa diselesaikan model kuat tanpa alat masih bisa membutuhkan alat bagi model yang lebih lemah. Dengan demikian, label ‘perlu alat’ menjadi relasi antara soal dan model tertentu, bukan sifat soal semata.

Cara mengukur celah

Peneliti membandingkan kebutuhan alat menurut definisi itu dengan perilaku panggilan alat yang teramati pada empat model. Pada dataset aritmetika, ketidaksesuaian tercatat 26,5–54,0 persen. Pada dataset tanya-jawab faktual, angkanya 30,8–41,8 persen. Abstrak tidak menyebut nama keempat model, model mana yang menghasilkan angka tertinggi atau terendah, maupun arah ketidaksesuaiannya.

Untuk mendiagnosis penyebabnya, penulis memecah penggunaan alat menjadi dua tahap. Tahap pertama adalah kognisi internal, yaitu apakah model meyakini alat diperlukan. Tahap kedua adalah eksekusi, yaitu apakah model benar-benar mengeluarkan panggilan alat.

Dengan probing pada keadaan tersembunyi (hidden states) model, yakni melatih pengklasifikasi sederhana untuk membaca informasi dari representasi internal, penulis mendapati kedua sinyal sering dapat dibaca secara linear. Namun pada lapisan akhir dan token terakhir, yang mendorong tindakan berikutnya, arah probe keduanya hampir ortogonal, artinya nyaris saling tegak lurus dan tidak berbagi arah.

Penulis juga menelusuri lintasan tiap sampel melalui dua tahap itu. Sebagian besar ketidaksesuaian terkonsentrasi pada transisi dari kognisi ke tindakan, bukan pada kognisi itu sendiri. Kesimpulan mereka: keandalan penggunaan alat memerlukan pengenalan yang lebih baik tentang kapan alat dibutuhkan, sekaligus penerjemahan pengenalan itu menjadi tindakan.

Mengapa relevan bagi pengembang agen

Implikasi berikut adalah pembacaan redaksi, bukan hasil yang diuji makalah. Agen yang terlalu sering memanggil alat dapat menambah biaya, waktu tunggu, dan titik kegagalan. Agen yang terlalu jarang memanggil alat berisiko menjawab keliru dengan yakin.

Jika kebutuhan alat bergantung pada model, aturan tetap seperti ‘selalu cari di web untuk pertanyaan faktual’ bisa boros bagi model kuat dan kurang memadai bagi model lemah. Tim yang mengganti model di tengah pengembangan mungkin perlu mengevaluasi ulang kebijakan pemanggilan alatnya.

Batasan

Pertama, cakupan uji dalam abstrak hanya aritmetika dan tanya-jawab faktual, sehingga hasilnya belum tentu berlaku untuk tugas agen yang lebih kompleks. Kedua, angka ketidaksesuaian bergantung pada definisi performa empiris dan dataset yang dipakai; metodologi lengkap hanya dapat dinilai dari makalahnya. Ketiga, analisis probing menunjukkan pola pada representasi internal, dan abstrak tidak menyatakan bukti bahwa mengubah arah tersebut akan memperbaiki perilaku model.

Apa berikutnya

Penulis menyimpulkan bahwa perbaikan perlu menyasar transisi dari kognisi ke tindakan. Bahan yang tersedia bagi redaksi tidak memuat rencana lanjutan yang spesifik.