Tolok ukur InfraDev: model terbaik hanya selesaikan 38,9% tugas infrastruktur AI

Inti temuan

Yangshen Deng dan lima penulis lain merilis makalah pracetak di arXiv yang memperkenalkan InfraDev, tolok ukur untuk menguji apakah agen pemrograman berbasis model bahasa sanggup membangun infrastruktur kecerdasan buatan skala produksi. Menurut abstrak, tolok ukur ini berisi 36 tugas yang dibangun dari pull request (usulan perubahan kode yang digabungkan ke repositori) nyata di tiga kerangka kerja: Megatron-LM, vLLM, dan verl. Makalah diunggah ke arXiv pada 27 Oktober 2026 dan berstatus pracetak, artinya belum ditelaah sejawat.

Dari enam model garis depan yang diuji, model terbaik hanya menuntaskan 38,9% tugas. Abstrak tidak menyebut nama model. Teks penuh makalah menyebutnya GPT-6 Sol.

Apa itu InfraDev

Menurut makalah, tolok ukur sebelumnya sebagian besar hanya menguji satu kernel (potongan kode yang berjalan di GPU) atau tugas di satu GPU. InfraDev berbeda karena unit kerjanya adalah pull request yang sudah digabungkan ke kerangka kerja produksi untuk pelatihan, inferensi, dan pembelajaran penguatan. Setiap tugas meminta agen mengimplementasikan ulang perubahan nyata yang menyentuh banyak berkas dan harus berjalan benar di banyak GPU.

Peneliti memulai dari 21.389 pull request yang digabungkan ke tiga repositori itu antara Januari 2025 dan September 2026. Mereka menyaring perubahan yang mengubah fungsi inti, menyentuh banyak berkas, menambahkan tes, dan melebihi 1.000 baris. Hasil akhirnya 36 tugas, rata-rata 17,4 berkas dan 1.818 baris per tugas. Dua puluh dari 36 tugas itu memerlukan lebih dari satu GPU.

Cara menilai dan mengapa penilaian lama dinilai keliru

Masalah yang diangkat abstrak adalah cara penilaian. Tolok ukur berbasis repositori seperti SWE-bench biasanya menilai tambalan kode (patch) dengan tes yang ikut dikirim bersama pull request asli. Abstrak menyebut tes dan prompt semacam itu bisa salah menilai patch yang benar maupun yang keliru. Menurut makalah, upaya perbaikan sebelumnya masing-masing hanya membenahi satu sisi, tes atau prompt.

InfraDev menjalankan beberapa langkah yang saling terkait. Pertama, sebuah agen menulis patch adversarial, yaitu patch yang lolos tes resmi tetapi melanggar persyaratan yang tidak diuji. Kedua, agen menulis hidden probes, tes tersembunyi baru untuk persyaratan tersebut. Probe hanya dipertahankan jika menerima patch asli dalam beberapa kali jalan, serta menolak kondisi sebelum pull request, semua patch adversarial, dan patch kosong yang hanya mendefinisikan antarmuka tanpa implementasi.

Terakhir, agen menulis prompt yang menyebut setiap perilaku dan antarmuka yang dipanggil probe, tanpa membocorkan cara implementasinya.

Menurut penulis, kedua bagian itu sama-sama diperlukan. Probe menolak 32% pengiriman yang lolos semua tes resmi. Ketika model hanya diberi deskripsi asli pull request sebagai prompt, tidak ada satu pun yang menuntaskan satu tugas. Penulis membaca ini sebagai tanda bahwa kualitas prompt ikut menentukan hasil penilaian.

Lingkungan eksekusi dan analisis kegagalan

Dari sisi efisiensi, makalah merancang lingkungan eksekusi bersama. Dependensi tiap tugas dipasang ke lingkungan virtual di volume bersama, sementara bobot model dan dataset disimpan sekali di cache bersama. Dibandingkan membangun satu image per tugas seperti tolok ukur sebelumnya, makalah melaporkan penghematan penyimpanan 52–57% dan waktu pembangunan lingkungan 13–14% pada Megatron-LM dan vLLM.

Peneliti juga memeriksa 1.754 kasus tes yang gagal dari pengiriman yang dinilai. Kesalahan struktural paling sering muncul, sedangkan kesalahan state (keadaan program) kerap lolos dari tes resmi. Tes yang ditulis agen untuk dirinya sendiri jarang memeriksa memori, waktu, atau lalu lintas data. Makalah juga menyebut dua pertiga kesalahan dialami bersama oleh sebagian besar model.

Temuan itu dikemas menjadi agent skill untuk pengembangan infrastruktur AI, yakni ringkasan kasus gagal dan prinsip pengembangan yang diberikan kepada agen. Menurut teks penuh, skill ini menaikkan tingkat keberhasilan model GPT-5.6 Sol pada tugas Megatron-LM dari 42,1% menjadi 52,6%. Abstrak menyebutnya kenaikan 10,5%, yang berdasarkan angka itu berarti 10,5 poin persentase, bukan kenaikan relatif. Perlu dicatat, teks penuh memakai penamaan GPT-6 Sol untuk model terbaik dan GPT-5.6 Sol untuk uji skill, dan kami tidak dapat memastikan apakah keduanya model yang sama.

Catatan dan keterbatasan

Ini pracetak arXiv versi 1 yang belum ditelaah sejawat, sehingga angka dan metodenya belum diuji pihak independen. Cakupannya 36 tugas dari tiga repositori, dan peningkatan dari skill hanya dilaporkan pada satu model di tugas Megatron-LM.

Bagian keterbatasan yang ditulis penulis tidak terlihat dalam bahan yang tersedia bagi kami. Catatan di atas adalah pengamatan redaksi, bukan daftar keterbatasan resmi penulis.

Makalah juga menyinggung dua tolok ukur bernama mirip yang cakupannya berbeda: InfraBench menyasar agen cloud dan operasi, sedangkan SWE-InfraBench menyasar infrastructure-as-code, yaitu pengelolaan infrastruktur lewat kode.

Apa berikutnya

Penulis menyatakan akan membuka sumber InfraDev. Jika kode dan tugasnya tersedia, pihak lain bisa mereproduksi angka 38,9% dan menguji apakah probe benar-benar menangkap kegagalan yang dimaksud. Dari bahan ini belum jelas bagaimana hasilnya pada model yang lebih baru, atau apakah skill tersebut juga membantu di repositori selain Megatron-LM.