Studi: menambah agen bahasa tak otomatis memperkuat audit keamanan kode

Sebuah makalah pracetak di arXiv yang tercatat diunggah pada akhir Oktober 2026 menguji apakah menambah konteks model bahasa spesialis memperbaiki audit keamanan perangkat lunak ketika alat deterministik sudah menyediakan bukti. Penulisnya, S M Abdulla Al Mamun dan dua rekan, melaporkan bahwa pada peringatan Java yang diuji, penambahan konteks memperbesar pemakaian token puluhan kali lipat tanpa memperbaiki pembebasan yang aman.

Kesimpulan mereka mendukung penerimaan bukti secara deterministik pada pengaturan yang diuji, sementara agregasi verdik model dan penafsiran umpan balik memiliki batas yang jelas.

Konteks: mengapa bukti menjadi persoalan

Alat analisis statis memeriksa kode tanpa menjalankannya, lalu menandai peringatan yang mungkin menunjukkan celah keamanan. Banyak peringatan semacam itu berujung palsu, sehingga pengembang harus memilahnya. Belakangan, model bahasa besar (large language model, LLM) dipakai untuk menyaring peringatan, dan sebagian pendekatan membagi kerja ke beberapa agen dengan peran berbeda.

Verifikator adalah alat formal yang memeriksa apakah program memenuhi properti tertentu, misalnya tidak melampaui batas array. Keluarannya deterministik: masukan yang sama selalu menghasilkan jawaban yang sama. Keandalan bukti berarti sejauh mana bukti semacam itu dapat dipercaya untuk memutuskan bahwa kode aman.

Menurut makalah, kesalahan yang paling mahal dalam audit adalah pembebasan palsu (false clearance), yaitu cacat nyata yang dinyatakan jinak. Penulis menambahkan bahwa suara yang lebih banyak bisa menambah keyakinan tanpa menambah bukti.

Makalah ini merujuk QASecClaw, sistem yang menyaring peringatan dengan agen LLM dan, menurut laporan sebelumnya yang dikutip makalah, menurunkan positif palsu 88,6% pada OWASP Benchmark dengan biaya recall 3,1%. Penulis menegaskan mereka tidak mereproduksi sistem itu dan tidak mengklaim melampauinya. Mereka memperluas pertanyaannya ke skala konteks, umpan balik verifikator, dan keberlakuan bukti.

Lima eksperimen dan angkanya

Studi menjalankan lima eksperimen: kontrol peringatan Java buatan penulis, penilaian OWASP Benchmark, pembuatan tes pada Defects4J, verdik asersi SV-COMP, dan paket bukti yang sengaja menyesatkan. Totalnya 13.638 permintaan ke model Qwen2.5-Coder-7B-Instruct, dengan analisis sensitivitas memakai model 1,5 miliar parameter.

Pada delapan peringatan pengembang yang saling terkait, menaikkan jumlah konteks dari 1 menjadi 50 membuat pemakaian token naik 49 kali lipat tanpa memperbaiki pembebasan peringatan yang tidak aman. Pada 160 kasus OWASP, konfigurasi model saling menukar antara pembebasan dan hasil yang belum terselesaikan. Konfigurasi sepuluh konteks hanya menilai 96 kasus.

Pada 32 tugas SV-COMP, umpan balik mentah dari verifikator menaikkan rata-rata verdik benar model dari 12,7 menjadi 22,0. Namun verdik salah juga naik dari satu menjadi tujuh. Sebagai pembanding, baseline validasi JBMC ditambah JVM menghasilkan 26 verdik benar dan enam hasil yang belum terselesaikan.

Pada dua set masing-masing 120 paket bukti, model menolak 70–100% contoh balasan (counterexample, yaitu masukan yang memperlihatkan program melanggar properti) yang berlaku. Pemeriksaan cakupan yang dirancang khusus untuk konstruksi paket itu mengklasifikasikan semua paket dengan benar. Pada Defects4J, tidak ada cacat target yang ditemukan pada tiga bug, satu di antaranya tidak didukung adapter tes.

Batasan studi

Penulis menyebut hasilnya deskriptif. Studi ini eksploratif dan tidak didaftarkan sebelumnya. Model utamanya berukuran 7 miliar parameter, sehingga temuan terbatas pada pengaturan yang diuji.

Makalah mengakui bahwa karya lain, seperti studi Klieber dan kolega yang melaporkan recall dan spesifisitas tinggi, memakai model penalaran yang lebih kuat serta protokol berbeda. Kapasitas model dan kebijakan adjudikasi karena itu bisa menjelaskan perbedaan hasil.

Penulis juga menyoroti kebingungan keberlakuan (applicability confusion): model menolak bukti cacat yang berlaku karena menilai programnya memang tidak aman. Makalah ini masih berstatus pracetak arXiv dan belum ditelaah sejawat.