Re4, agen AI yang menulis ulang dan meninjau kode komputasi ilmiah
Kerangka Re4 memakai tiga model LLM untuk menulis ulang soal, membuat kode, dan meninjaunya. Menurut abstrak, tinjauan menaikkan keberhasilan eksekusi DeepSeek R1 dari 59 persen ke 82 persen.
Re4 adalah kerangka agen berbasis large language model (LLM), yaitu model bahasa besar, yang dirancang untuk menyelesaikan soal komputasi ilmiah dari deskripsi dalam bahasa alami. Menurut abstrak makalahnya di arXiv, kerangka ini menjalankan rantai penalaran “rewriting-resolution-review-revision”, atau tulis ulang, penyelesaian, tinjauan, dan revisi.
Makalah ditulis Ao Cheng dan satu penulis lain. Menurut versi HTML makalah, afiliasinya adalah Institut Mekanika, Akademi Ilmu Pengetahuan Tiongkok, di Beijing. Versi ketiga (v3) tercatat diunggah pada 27 Oktober 2026.
Empat tahap dalam satu rantai
Tiga model penalaran LLM memegang peran berbeda. Modul Consultant menautkan soal ke wawasan bidang keilmuannya dan menulis ulang deskripsi soal melalui augmentasi teks, yaitu penambahan keterangan pada deskripsi.
Modul Programmer menghasilkan dan menjalankan kode yang tertata. Modul Reviewer melakukan self-debugging dan self-refinement, yakni memeriksa dan memperbaiki kode berdasarkan keluaran saat kode dijalankan. Melalui mekanisme tinjauan ini, kode dari Programmer direvisi berulang kali.
Jenis soal yang diuji
Abstrak menyebut empat kelompok soal: persamaan diferensial parsial (PDE), aliran fluida melewati silinder yang berorientasi rekayasa, sistem linear yang buruk kondisi (ill-conditioned), dan analisis fisika berbasis data. PDE dipakai untuk memodelkan fenomena seperti aliran fluida, perpindahan panas, dan gelombang.
Sistem linear yang buruk kondisi adalah sistem yang perubahan kecil pada masukannya dapat menghasilkan galat besar pada solusi. Abstrak tidak merinci jumlah soal atau ukuran set uji untuk tiap kelompok.
Hasil dibanding model tunggal
Menurut abstrak, kerangka kolaboratif ini secara signifikan meningkatkan tingkat kode bebas bug dibanding pendekatan model tunggal, serta mengurangi solusi yang tidak fisis. Ukuran keberhasilannya gabungan dua hal: kode yang berjalan tanpa bug dan solusi yang bukan NaN, yakni nilai tak terdefinisi dalam perhitungan numerik.
Dalam rata-rata, mekanisme tinjauan menaikkan tingkat keberhasilan eksekusi DeepSeek R1 dari 59 persen menjadi 82 persen. ChatGPT 4.1-mini naik dari 66 persen menjadi 87 persen, dan Gemini-2.5 naik dari 60 persen menjadi 84 persen.
Pengantar makalah, pada versi HTML-nya, menyebut bahwa studi sebelumnya mendapati model penalaran sering menghasilkan kode berkesalahan yang perlu dikoreksi manusia, bahkan untuk soal klasik yang solusinya sudah mapan.
Kesulitan yang berulang
Abstrak juga mencatat analisis lintasan pengembangan solver. Analisis itu menemukan kesulitan implementasi yang berulang pada penanganan batas, pengindeksan array, dan pemeliharaan kendala numerik.
Angka keberhasilan yang dilaporkan mengukur kode yang berjalan dan solusi yang bukan NaN. Abstrak tidak menyebut perbandingan dengan solusi analitik sebagai ukuran keberhasilan. Abstrak juga tidak menyebut apakah kode Re4 akan dirilis terbuka.
Status makalah
Keterangan di arXiv menyebut makalah ini sedang dalam revisi kecil di jurnal Machine Learning: Science and Technology terbitan IOP Publishing. Dengan demikian, makalah belum tampil sebagai artikel jurnal final dan belum tentu telah melewati telaah sejawat penuh.
Riwayat pengajuan arXiv mencatat tiga versi: v1 pada 28 Agustus 2025, v2 pada 2 Maret 2026, dan v3 pada 27 Oktober 2026. Penulis menyebut alur kerja pembuatan dan peninjauan kode otomatis sebagai alur yang menjanjikan bagi komputasi ilmiah.
