Pengawas Inggris Timbang Selidiki Pemakaian ChatGPT oleh Home Office untuk Suaka

Pengawas perbatasan Inggris disebut sedang mempertimbangkan penyelidikan atas pemakaian alat kecerdasan buatan generatif oleh Home Office, kementerian dalam negeri Inggris, untuk memproses permohonan suaka. Penyelidikan itu belum dimulai dan belum dikonfirmasi lembaganya. Kabar ini pertama dilaporkan WIRED.

Lembaga yang dimaksud adalah Independent Chief Inspector of Borders and Immigration (ICIBI), yang memantau pengelolaan perbatasan, imigrasi, dan bea cukai oleh Home Office. Menurut Sara Alsherif, pegiat Open Rights Group (ORG), organisasi nirlaba hak digital, ICIBI meminta ORG berbagi informasi lebih lanjut tentang alat tersebut saat menyusun topik inspeksi tahun depan.

ICIBI sendiri mengatakan kepada WIRED bahwa mereka tidak dapat mengonfirmasi topik yang sedang dipertimbangkan sebelum menerbitkan prioritas inspeksi tahunan. Namun, lembaga itu mengaku mengetahui kekhawatiran soal pemakaian alat AI dan merujuk temuannya tahun lalu bahwa “efektivitas dan keandalan” salah satu alat “beragam”.

Alat apa yang dipakai

Home Office memakai dua alat: Asylum Case Summarisation (ACS) dan Asylum Policy Search (APS). Keduanya dibangun di atas model bahasa besar (large language model) GPT-4 buatan OpenAI keluaran 2023 dan layanan Microsoft Foundry, menurut dokumen yang diperoleh ORG.

ACS merangkum transkrip wawancara dengan pemohon suaka, tempat mereka menjelaskan penganiayaan yang dialami dan alasan takut kembali ke negaranya. APS bekerja sebagai asisten pencarian yang menemukan dan merangkum informasi kebijakan negara asal, yang membantu petugas menilai apakah pemohon menghadapi risiko bahaya yang nyata.

Uji coba dimulai pada akhir 2024, ketika pemerintah Partai Buruh berupaya menuntaskan tunggakan sekitar 100.000 kasus suaka di samping puluhan ribu permohonan baru per tahun. Menurut perkiraan pemerintah, bila dipakai bersama, kedua alat dapat menghemat sekitar satu jam per kasus.

Jumlah orang yang menunggu keputusan awal turun separuh dalam setahun hingga Juni. Namun, jumlah banding atas keputusan melonjak.

Kekhawatiran soal akurasi

ORG menyampaikan temuan dari investigasi enam bulan yang memakai 11 pertanyaan parlemen, dua surat kepada menteri, dan 10 permintaan keterbukaan catatan publik. Home Office disebut menahan sejumlah rincian soal alat tersebut.

Menurut ORG, persentase ringkasan ACS yang dinilai tidak layak pakai, sering karena kesalahan fakta atau penggambaran keliru, jauh lebih tinggi daripada tingkat kesalahan 9 persen yang dipublikasikan dalam evaluasi uji coba. ORG juga menyebut tidak ada pengendalian mutu untuk ringkasan yang dihasilkan APS.

Pada Juli, seorang hakim di Inggris menuduh Home Office mengutip dokumen yang “dihalusinasi AI” untuk menolak klaim suaka seorang perempuan Maroko dan anaknya. Halusinasi AI adalah keluaran model yang terdengar meyakinkan tetapi keliru secara fakta. Sumber tidak menyebut alat mana yang terlibat dalam kasus itu.

Anggota parlemen Partai Buruh Bell Ribeiro-Addy mengatakan kepada WIRED, “Kami berurusan dengan nyawa orang.” Ia menambahkan bahwa ia tidak menganggap pantas jika mesin yang mengambil keputusan semacam itu.

Keterbukaan dan bias budaya

Tanpa regulasi khusus, “AI Playbook” pemerintah Inggris mewajibkan departemen terbuka soal alat algoritmik yang dipakai dalam pengambilan keputusan, termasuk mencantumkannya di repositori publik. ACS dan APS tidak ada dalam daftar itu. Pemohon suaka pun tidak diberi tahu bila alat ini dipakai dalam kasus mereka.

Menurut pendapat hukum independen dari pengacara Cloisters yang dipesan ORG, ketidakmampuan menggugat ringkasan AI yang keliru dapat melanggar hukum hak data Inggris. Home Office menyebut dalam pemberitahuan privasinya bahwa sebagian proses keputusan dapat melibatkan otomatisasi.

Ribeiro-Addy, Alsherif, dan Public Law Project, yang menyelidiki alat ini secara terpisah, juga khawatir akan “bias budaya” model GPT yang terdokumentasi. Mereka menilai hal itu dapat menimbulkan kendala bahasa dan hilangnya nuansa budaya dalam ringkasan, yang berujung pada keputusan diskriminatif.

Peneliti senior Public Law Project, Caroline Selman, mengatakan ACS dan APS hanyalah dua dari 11 sistem AI berisiko tinggi yang ditemukan timnya dipakai di pemerintahan tetapi tidak ada di repositori publik.

Tanggapan dan langkah berikutnya

Juru bicara Home Office menyatakan keputusan suaka dibuat oleh petugas terlatih, dan alat AI hanya membantu menelusuri catatan wawancara serta informasi kebijakan. Menurut dia, alat itu tidak dapat dipakai sendirian dan tidak memutuskan klaim. Home Office juga mengaku telah berkomitmen menerbitkan evaluasi terbaru atas peluncurannya.

Juru bicara OpenAI menyebut upaya berkelanjutan perusahaan meningkatkan akurasi model dan mengatakan GPT-4 akan dipensiunkan pada Januari.

ORG dan Public Law Project telah menyerahkan temuan ke regulator data Inggris, Information Commission. Lembaga itu kini menyelidiki penolakan Home Office menjelaskan kepada ORG bagaimana staf memakai dan dilatih memakai kedua alat.

Relevansi bagi Indonesia

Kasus ini tidak berkaitan langsung dengan Indonesia. Namun, ia menunjukkan pertanyaan yang juga relevan bagi layanan publik mana pun yang mulai memakai AI: seberapa akurat alatnya diuji di lapangan, apakah warga diberi tahu, dan adakah jalur untuk menggugat hasilnya.