Sepertiga keluaran alat pada agen AI terpotong sebelum dibaca model

Sebuah pracetak di arXiv yang diunggah pada 26 Oktober 2026 menyoroti masalah yang jarang terlihat dalam pengujian agen kecerdasan buatan (AI). Menurut penulisnya, Yuvraj Sehgal dan dua rekannya, agen AI biasanya dinilai dari dua angka: ukuran jendela konteks dan seberapa sering jawaban akhir benar. Keduanya tidak menangkap hal ketiga, yaitu berapa banyak keluaran alat yang hilang sebelum model membacanya.

Makalah berjudul Context Is a Pipeline, Not a Window itu memakai istilah information attrition, yang dapat diterjemahkan sebagai penyusutan informasi.

Apa itu penyusutan informasi dan harness

Agen AI bekerja dengan memanggil alat, misalnya perintah untuk membaca daftar kontainer, lalu menerima hasilnya sebagai teks. Di antara alat dan model ada lapisan perangkat lunak yang disebut harness, yaitu pengatur yang mengubah keluaran alat menjadi teks, menyesuaikannya dengan batas panjang, dan menentukan riwayat percakapan yang tetap disimpan.

Penulis menggambarkan jalur ini sebagai pipa lima tahap: keluaran alat, pengiriman ke model, tindakan pekerja, penyimpanan riwayat, dan penyerahan temuan kepada penulis vonis akhir. Di tiap tahap, menurut makalah, harness menentukan apa yang bertahan ke langkah berikutnya. Kehilangan di salah satu titik tidak terlihat dalam log, karena log hanya mencatat apa yang sampai, bukan apa yang dihasilkan alat.

Jendela konteks sering dibayangkan sebagai ruang yang besar dan cukup. Menurut makalah, yang menentukan adalah apa yang lolos dari pipa sebelum sampai ke model, sehingga jendela yang longgar pun tidak menjamin informasi utuh.

Cara mengukur dan sistem yang diuji

Pengukuran dilakukan pada agen AI yang bertugas mencari penyebab kesalahan yang disuntikkan ke dalam jejak (trace) kernel Linux. Agen membaca jejak itu melalui alat, lalu menyimpulkan proses atau kontainer yang menjadi sumber masalah.

Dalam 720 kali jalan, prompt tunggal terbesar hanya memakai 5,75 persen jendela konteks. Artinya, ruang bukan penyebab kehilangan data. Penulis juga memutar ulang 864 hasil alat nyata. Satu di antaranya berasal dari jejak produksi, tempat pemotongan bawaan menghapus seluruh 128 rekaman bukti kesalahan.

Angka utama: sepertiga hasil alat terpotong

Temuan paling mencolok: 3.827 dari 11.189 hasil alat, atau sekitar sepertiga, terpotong sebelum sampai ke model, dan setiap hasil yang terpotong menjadi JSON yang rusak. Harness memotong hasil dengan mengiris teks JSON pada panjang tetap.

Pemotongan seperti ini tidak memendekkan hasil secara merata. Karena urutan kunci JSON selalu sama, menurut makalah, bagian yang berada di belakang terhapus. Satu daftar dalam muatan yang sama sampai ke model hanya pada 4,7 persen panggilan, sedangkan daftar lain pada 99,3 persen.

Pola ini sejalan dengan hasil diagnosis. Menurut makalah, kesalahan yang memunculkan proses baru tampak pada daftar awal yang selamat, sedangkan kesalahan pada kontainer yang sudah berjalan hanya tampak pada daftar akhir yang terpotong. Akurasi mengikuti pembagian itu: kasus proses baru meraih 40 sampai 55 dari 60, sedangkan kasus kontainer yang sudah berjalan hanya 0 sampai 24 dari 60.

Apakah pemotongan menyebabkan jawaban salah

Penulis menguji apakah kehilangan data itu penyebab turunnya akurasi lewat eksperimen terkendali. Hasilnya, biaya pemotongan muncul lebih dulu sebagai kerja tambahan, bukan jawaban salah. Bila agen punya jalan lain menuju bukti yang sama, ia tetap menemukan jawaban benar, tetapi dengan 43 persen lebih banyak panggilan alat dan komputasi dua kali lipat. Rasio hasil (yield) turun dari 0,61 menjadi 0,31. Makalah menyebut fenomena ini sebagai pajak kompensasi.

Penulis juga meninjau tujuh kerangka kerja agen dan menemukan dua yang memotong keluaran alat dengan cara tidak aman yang sama. Nama kedua kerangka itu tidak disebut di abstrak.

Keterbatasan

Ini adalah pracetak arXiv versi 1 yang belum ditelaah sejawat, sepanjang lima halaman dengan satu gambar dan dua tabel. Abstrak sendiri menyatakan bahwa apakah pemotongan data benar-benar menyebabkan turunnya akurasi masih menjadi pertanyaan terbuka. Eksperimen terkendali menguatkan temuan soal kerja tambahan, tetapi bukti tentang jawaban salah belum tuntas.

Pengukuran juga berpusat pada satu jenis tugas, yaitu diagnosis dari jejak kernel Linux. Penulis mengakui harness mereka sendiri ikut menyumbang sebagian kesenjangan akurasi, tetapi besar porsinya belum diketahui.

Implikasi bagi pengembang dan pengguna

Bagi pengembang, makalah mengusulkan pengukuran per tahap pipa, yakni berapa keluaran yang dihasilkan alat dan berapa yang sampai ke model, bukan hanya hasil akhir. Pemotongan dengan irisan panjang tetap dinilai berisiko karena menghapus data di bagian belakang tanpa tanda. Makalah juga menyebut kerangka yang diperiksa tidak menawarkan alternatif yang konsisten dan lebih aman.

Bagi pengguna agen, implikasinya: agen yang tampak akurat bisa saja bekerja lebih berat, dengan lebih banyak panggilan dan komputasi, dan angka akurasi saja tidak memperlihatkannya.

Apa berikutnya

Penulis menyediakan paket replikasi agar peneliti lain dapat mengulang pengukuran. Pertanyaan yang tersisa adalah apakah pola serupa muncul pada tugas dan model lain, serta apakah cara pemotongan yang lebih cermat dapat menutup celah ini.