Peneliti Kritik OpenAI yang Pilih Sendiri Penelaah Temuan Sainsnya

OpenAI pada Senin (26/10) mengumumkan tiga klaim terobosan di bidang matematika, ilmu komputer, dan fisika. Perusahaan itu juga memperkenalkan pendekatan yang disebutnya terus berkembang dalam mengomunikasikan temuan.

Menurut laporan The Verge, para peneliti yang dimintai tanggapan menilai sains di baliknya layak dianggap serius, tetapi jengah dengan cara perusahaan membagikannya. Semua hasil di bawah ini masih berstatus klaim OpenAI dan belum diverifikasi secara independen.

Tiga klaim yang diumumkan

Di bidang matematika, OpenAI menyatakan telah menyelesaikan konjektur Kakeya di semua dimensi. Secara kasar, masalah ini bertanya seberapa kecil ruang yang dibutuhkan untuk memutar jarum atau pensil ke segala arah. Menurut The Verge, bukti versi tiga dimensinya termasuk capaian yang membuat matematikawan NYU, Hong Wang, meraih Medali Fields awal tahun ini.

Di ilmu komputer, OpenAI mengklaim membantah exponential time hypothesis. Hipotesis ini adalah asumsi yang diyakini luas bahwa sejumlah masalah tidak bisa diselesaikan jauh lebih cepat daripada pendekatan coba-coba menyeluruh atau brute force. Hipotesis tersebut berkaitan erat dengan P versus NP, salah satu masalah Hadiah Milenium, yang menanyakan apakah masalah yang jawabannya mudah diperiksa juga mudah dipecahkan.

Di fisika, hasilnya berkaitan dengan Model Standar. Klaim ini menyangkut kromodinamika kuantum, teori tentang gaya nuklir kuat, dan hubungannya dengan teori Yang-Mills. Teori Yang-Mills juga menjadi inti salah satu dari tujuh masalah Hadiah Milenium, tetapi menurut The Verge, pekerjaan OpenAI tidak menyentuh persoalan mass gap yang belum terpecahkan.

Pendekatan baru: penasihat dan strategi rilis berbeda

OpenAI mengatakan bekerja dengan para pakar yang disebutnya shepherds (penggembala) untuk menentukan cara terbaik membagikan temuan. Berdasarkan saran mereka, tiap hasil mendapat strategi rilis berbeda. Untuk matematika, OpenAI merilis keluaran buatan AI dan membiarkan peneliti mengatur sendiri upaya menjelaskannya.

Untuk ilmu komputer, OpenAI akan menghimpun kelompok peneliti eksternal untuk menjelaskan hasilnya. Untuk fisika, materi belum dirilis sama sekali. OpenAI menyatakan akan menyerahkan keputusan cara rilisnya kepada kelompok pakar eksternal.

Langkah ini datang setelah beberapa bulan yang disebut The Verge penuh gejolak antara OpenAI dan para matematikawan. Pada awal Oktober, ratusan preprint (naskah sebelum telaah sejawat) dilepas sekaligus, dan para matematikawan masih bergulat memahaminya.

Keberatan para peneliti

Menurut The Verge, para ahli yang dihubungi menyebut hasil-hasil itu “huge” (sangat besar), “major breakthroughs” (terobosan besar), dan “significant” (signifikan). Brendan Hassett, profesor matematika Brown University, mengatakan klaim Kakeya “looks well supported” (tampak didukung dengan baik). Namun, ia menegaskan belum memeriksa formalisasi Lean, yaitu cara memverifikasi hasil secara komputasi.

Keberatan utama menyasar pemilihan penelaah awal. Constantin Kogler dari Institute for Advanced Study mengaku tidak keberatan dengan rilis tiga hasil, jumlah yang lebih terkelola dibanding ratusan sebelumnya. Namun, ia mempertanyakan pembatasan akses kepada pakar pilihan OpenAI. “It doesn’t make any sense that first only a few distinguished scientists can look at them,” katanya. Artinya, menurut Kogler, tidak masuk akal bila hanya segelintir ilmuwan terkemuka yang boleh melihatnya lebih dulu.

Andreas Karch, profesor fisika University of Texas at Austin, mengatakan kepada The Verge: “The fact that they handpick the group is a disaster.” Menurutnya, fakta bahwa OpenAI memilih sendiri kelompok itu adalah bencana. Ia juga menyatakan laboratorium besar sudah cukup berkuasa dan tidak seharusnya memilih pemenang dan pecundang.

Karch sempat mengusulkan proses seleksi kompetitif, meski mengakui hasilnya kemungkinan serupa, yaitu kelompok yang ia sebut kelas satu. Belakangan ia mempertanyakan mengapa OpenAI tidak merilis buktinya sekarang, di samping menunjuk tim pakar. Menurut Karch, cara itu akan membuat akses lebih merata.

Peringatan kelompok penasihat

Advisory Group on Mathematics and Artificial Intelligence (AGMAI) adalah kelompok pakar yang sebelumnya dijanjikan OpenAI untuk dimintai pendapat soal cara berbagi temuan. Sehari sebelum pengumuman, kelompok ini menyarankan perusahaan AI tidak menempuh praktik semacam ini.

Menurut AGMAI, memilih orang tertentu sebagai penerima pertama tidak perlu dan meminjam reputasi peneliti terpilih. Praktik itu juga berisiko menimbulkan akses timpang, bias seleksi, dan penundaan. Sebagai gantinya, mereka menyarankan rilis lewat repositori ilmiah, lengkap dengan bukti terformalisasi dan keterangan cara masalah dipilih, disertai pendanaan serta dukungan bagi pihak yang berupaya memahami hasilnya.

Setelah pengumuman, AGMAI mendesak OpenAI segera membuka keluaran bahasa alami dan Lean di balik hasil fisika. Kelompok itu menyatakan menghormati para ilmuwan yang diminta OpenAI memimpin pekerjaan tersebut. Namun, menurut mereka, pemahaman semestinya berkembang secara terbuka dengan akses yang sama bagi semua.

AGMAI juga mencatat OpenAI menyebut rilis ditunda sampai formalisasi Lean rampung. Karena menurut OpenAI sendiri formalisasi itu kini telah selesai, AGMAI menilai tidak ada alasan ilmiah untuk menunda lebih lama.

Mengapa akses terbuka dipersoalkan

Verifikasi ilmiah bergantung pada kemampuan pihak lain memeriksa bukti secara mandiri. The Verge mencatat tingkat keterbukaan yang berbeda-beda, ditambah rumitnya materi, membuat peneliti sulit menilai temuan OpenAI secara utuh. Bahkan dengan informasi lengkap pun, penilaian itu butuh waktu.

Hassett berpendapat keterbukaan bisa menghasilkan sains yang lebih baik dan mendorong adopsi alat baru seperti AI. “Having many groups around the world wrestle with these results supports rapid adoption of new tools by those that would like to use them,” katanya. Menurut Hassett, banyaknya kelompok di dunia yang ikut menelaah hasil itu akan mempercepat adopsi alat baru oleh mereka yang ingin memakainya.

Tidak semua peneliti yakin ada solusi yang memuaskan semua pihak. Jared Duker Lichtman, matematikawan Stanford, menilai setiap pendekatan akan membuat seseorang kecewa, sehingga persoalannya adalah mencari opsi yang paling tidak menyinggung.

Xiaoyu He, profesor matematika Georgia Institute of Technology, menilai masalahnya lebih dalam daripada cara pengumuman. Menurutnya, hasil fundamental kini terpecahkan sangat cepat tanpa kontribusi manusia, sementara makalahnya sulit dibaca dan diverifikasi.

Apa berikutnya

OpenAI mengatakan masih bereksperimen dengan berbagai pendekatan dan mengakui tiap pendekatan punya kompromi. Materi fisika belum dibuka meski AGMAI mendesak rilis segera. Klaim Kakeya pun masih menunggu pemeriksaan lebih lanjut oleh komunitas matematika, termasuk atas formalisasi Lean-nya.