HSC-Bench uji kemampuan model AI melanjutkan tugas yang dioper dari model lain

Peneliti dari Universitas Hokkaido dan Universitas Tokyo memperkenalkan Handoff State Continuity Benchmark (HSC-Bench), tolok ukur yang menguji satu pertanyaan spesifik: apakah model AI penerima benar-benar melanjutkan pekerjaan yang sudah berjalan dari model sebelumnya. Makalah itu diajukan ke arXiv pada 27 Oktober 2026 dan berstatus pracetak yang belum ditelaah sejawat.

Apa yang disebut serah terima tugas

Dalam sistem multiagen, pekerjaan panjang sering berpindah tangan sebelum selesai. Makalah menyebut kondisi ini task takeover, yakni ketika model penerima meneruskan pekerjaan agen lain dari kemajuan yang sudah dicapai, bukan mulai dari nol. Penulis menyatakan model penerima mewarisi keputusan, bukti yang sudah terkumpul, dan perubahan pada lingkungan kerja. Keputusan pengguna yang sudah dikonfirmasi semestinya memandu langkah berikutnya, sementara operasi layanan yang sudah selesai mungkin tidak perlu diulang.

Menurut makalah, ukuran yang lazim dipakai belum cukup. Tingkat keberhasilan tugas dan skor retensi memori tidak menangkap hubungan antara informasi yang dibawa pada titik serah terima dan cara penerima melanjutkan pekerjaan. Karena itu penilaian perlu menghubungkan keduanya.

Desain tolok ukur

HSC-Bench terdiri atas 1.039 tugas yang menguji dua aspek yang saling melengkapi. Jalur pertama, pemulihan bukti repositori, mengukur apakah penerima dapat mengenali informasi relevan dari konteks yang diwariskan. Jalur ini memuat 300 tugas dari 38 repositori, yang memasangkan jejak kerja agen pengodean yang direkam dengan anotasi ContextBench. Acuannya adalah berkas dan potongan kode yang telah dianotasi.

Jalur kedua, kelanjutan berbasis status, berisi 739 tugas sintetis. Tugas-tugas ini mencakup status percakapan, penggunaan alat, dan status pekerjaan berkas yang dilaporkan. Penilaian memeriksa apakah respons dan tindakan berikutnya mempertahankan komitmen yang masih berlaku, memasukkan fakta yang diperbarui, dan memperhitungkan operasi yang sudah selesai.

Enam model penerima diuji, termasuk GPT-5.4 dan Kimi K2. Setiap model menerima riwayat sumber yang sama dan titik serah terima yang tetap, sehingga semuanya mengambil alih pekerjaan yang identik. Pendahuluan makalah juga menggambarkan perbandingan dua bentuk pesan serah terima: riwayat percakapan terakhir dan status tugas yang disusun eksplisit, dengan jumlah token yang terlihat dibuat sama.

Temuan utama

Menurut abstrak, status serah terima terstruktur meningkatkan pemulihan bukti repositori untuk setiap model yang diuji. Untuk kinerja kelanjutan, peningkatan terjadi pada sebagian besar model, tidak pada semuanya.

Temuan yang paling relevan bagi pihak yang memilih model adalah bahwa penerima terbaik berbeda di kedua jalur. Artinya, peringkat berdasarkan pemulihan bukti saja tidak menggambarkan kinerja ketika model harus melanjutkan dari status yang diwarisi.

Abstrak juga menyebut HSC-Bench menilai akses ke bukti sebelumnya sekaligus kepatuhan pada komitmen yang sudah ditetapkan dan pekerjaan yang sudah selesai. Penulis menyatakan hasilnya dapat menjadi dasar untuk memilih model penerima dan menilai representasi serah terima sesuai pekerjaan yang harus dilanjutkan.

Jenis kegagalan

Abstrak dan pendahuluan tidak merinci jenis kegagalan yang paling sering muncul saat serah terima. Ilustrasi di pendahuluan hanya memberi gambaran risikonya: penerima yang hanya melihat riwayat terbaru bisa tidak tahu keputusan sebelumnya, atau tidak sadar bahwa suatu keluaran, seperti berkas, sudah dibuat. Ini contoh ilustratif, bukan statistik.

Keterbatasan

Makalah ini pracetak dan belum ditelaah sejawat, sehingga perbandingan antarmodel perlu diuji pihak lain. Jalur kelanjutan memakai tugas sintetis, sehingga hasilnya bergantung pada rancangan tugas dan belum tentu mencerminkan alur kerja produksi.

Pengujian mencakup enam model dengan riwayat sumber dan titik serah terima yang tetap, sehingga generalisasi ke konfigurasi lain belum terbukti. Jalur pemulihan bukti memakai repositori perangkat lunak, jadi cakupan domainnya sempit.

Apa berikutnya

Versi HTML makalah mencantumkan The ACM Web Conference 2027 (10–14 Mei 2027, Dublin) sebagai konferensi, tanpa menyebut status penerimaan. Makalah juga tidak menyatakan apakah set data dan kode HSC-Bench akan dirilis, sehingga peneliti lain belum tentu dapat mereproduksi perbandingan ini secara langsung.