OpenGray uji apakah agen AI radioterapi tahu kapan harus minta ditinjau

Inti berita

Peneliti Henry Ford Health dan Michigan State University memperkenalkan OpenGray, tolok ukur (benchmark) untuk menilai keputusan agen kecerdasan buatan (AI) yang merencanakan terapi radiasi. Naskahnya diunggah ke arXiv pada 27 Oktober 2026 sebagai pracetak, sehingga belum melewati tinjauan sejawat. Penulisnya Humza Nusrat dan Kundan Thind.

Pesan utama makalah: skor agregat yang tampak baik dapat menyembunyikan kegagalan keputusan yang spesifik.

Konteks: mengapa dosis saja tidak cukup

Radioterapi merancang distribusi dosis agar tumor menerima dosis cukup sambil organ sehat tetap terlindungi. Perencanaan otomatis selama ini dinilai dari kualitas dosis, waktu perencanaan, preferensi dokter, dan kelayakan klinis. Menurut pendahuluan makalah, agen berbasis model bahasa besar (LLM) kini mengambil lebih banyak tahap, mulai dari menafsirkan permintaan, memilih tujuan optimasi, sampai memutuskan kapan rencana dianggap selesai. Penilaiannya, menurut penulis, masih banyak bertumpu pada perbandingan dosis dengan rencana klinis atau rujukan.

Masalahnya, dosis akhir tidak memperlihatkan apakah permintaannya memang mustahil dipenuhi atau optimasinya yang kurang memadai. Contoh permintaan bermasalah dalam makalah antara lain struktur wajib yang hilang, catatan dokter yang bertentangan dengan tujuan formal, dan dua tujuan dosis yang tidak bisa dicapai bersamaan.

Agen yang baik seharusnya berhenti dan meneruskan kasus untuk ditinjau fisikawan atau dokter, yang dalam makalah disebut eskalasi. Agen yang kurang baik bisa terus mengoptimasi permintaan yang mustahil lalu mengajukan rencana yang tidak memenuhi tujuannya.

Makalah juga mencatat pengaman yang sudah ada, seperti perangkat pemeriksa rencana otomatis, validasi perubahan parameter, dan metode matematis untuk mendeteksi batasan yang saling bertentangan. Menurut penulis, menilai keputusan agen memerlukan tugas yang jawaban benarnya sudah diketahui sebelumnya.

Cara OpenGray disusun

OpenGray dibangun di atas OpenKBP-Opt, kumpulan data publik kasus kanker kepala-leher. Penulis menambahkan tugas dengan jawaban yang sudah diketahui: dua kontradiksi berupa tujuan dosis yang terbukti tidak kompatibel, serta satu kontrol layak dengan rencana tersimpan yang memenuhi semua tujuan keras.

Keterangan Gambar 1 menyebut, dari 100 kasus OpenKBP-Opt, 10 dipakai untuk mengembangkan sistem, 30 untuk evaluasi, dan 60 hanya untuk mengkalibrasi skor kualitas rencana.

Empat sistem dievaluasi pada 30 pasien, dari skrip perencanaan berbasis aturan hingga agen LLM penuh. Sistem berbasis LLM memakai dua model: model komersial bernama Terra dan model lokal Ministral 3 8B.

Penulis juga membaca catatan proses (log) dari 39 proses radiobedah stereotaktik (SRS) yang dijalankan SAGE, agen LLM klinis yang sebelumnya dievaluasi pada perencanaan kanker prostat dan SRS. Hasil serupa benchmark dibaca dari log tersebut, bukan dijalankan ulang pada benchmark.

Temuan: akurasi tinggi, kontradiksi banyak terlewat

Dengan Terra, skrip yang didahului tinjauan LLM mencapai akurasi keputusan 95,4 persen, sedangkan agen penuh 92,1 persen. Namun pada kontradiksi tumpang-tindih (overlap), yang menuntut hitungan aritmetika atas anatomi, skrip tersebut hanya mengeskalasi 50 persen kasus (interval kepercayaan 95 persen: 25–75 persen), dan agen penuh hanya 25 persen (10–40 persen).

Pada kontrol layak, keempat sistem mengajukan semua rencana. Namun 24 persen rencana itu gagal memenuhi satu tujuan keras yang dipenuhi rencana tersimpan pembanding.

Dari 39 proses SAGE, pada empat proses satu tujuan gagal di setiap upaya. Menurut abstrak, agen mengenali masalah itu di setiap balasannya, tetapi tidak punya tindakan untuk berhenti. Mengenali masalah belum sama dengan mampu menghentikan proses dan meminta tinjauan.

Batas studi

Kesimpulan penulis adalah skor agregat yang baik dapat menyembunyikan kegagalan keputusan spesifik. Temuan ini perlu dibaca hati-hati. Evaluasi benchmark melibatkan 30 pasien kanker kepala-leher dan dua jenis kontradiksi, salah satunya tumpang-tindih. Interval kepercayaan yang lebar, misalnya 25 hingga 75 persen, mencerminkan jumlah kasus yang kecil. Persentase ini tidak boleh dibaca sebagai tingkat kegagalan klinis secara umum.

Hasil model lokal Ministral 3 8B tidak dirinci dalam abstrak, sehingga perbandingannya dengan model komersial belum dapat dinilai dari bahan yang tersedia. Hasil juga berlaku untuk konfigurasi yang diuji; model lain atau versi berikutnya bisa memberi angka berbeda.

Implikasi bagi pasien dan tenaga klinis

Bagi keselamatan pasien, rencana yang tampak sah tetapi tidak memenuhi tujuan keras berpotensi lolos ke tahap berikutnya bila agen tidak punya mekanisme berhenti. Penulis menyarankan agen perencana dinilai dari keputusannya, selain dosis, dan diberi tindakan eksplisit untuk berhenti serta meminta tinjauan.

Peran fisikawan medis sebagai pemeriksa yang menerima eskalasi menjadi penting, terutama untuk kontradiksi anatomi. Keputusan tentang tujuan klinis dan penyelesaian permintaan yang bertentangan tetap berada pada dokter onkologi radiasi. Gagasan ini masih usulan makalah. Studi belum diuji secara klinis, dan bahan ini tidak memuat bukti bahwa perbaikan keputusan agen akan memperbaiki hasil pengobatan.

Apa berikutnya

Penulis menyediakan berkas pendukung di arXiv, termasuk naskah dalam format Markdown, hasil terstruktur beserta kalimat asalnya, dan indeks llms.txt untuk agen AI. Langkah wajar berikutnya adalah tinjauan sejawat, perluasan ke lebih banyak kasus dan jenis kanker, serta pengujian apakah tindakan berhenti dan meminta tinjauan benar-benar menurunkan kegagalan yang tercatat. Sampai saat itu, OpenGray lebih tepat dipandang sebagai alat ukur, bukan bukti bahwa agen perencana siap dipakai di klinik.