Nvidia rilis Nemotron 3.5 Transcribe, model transkripsi terbuka 40 bahasa

Inti Berita

Nvidia merilis Nemotron 3.5 Transcribe, model kecerdasan buatan (AI) berbobot terbuka (open-weight, bobot modelnya dapat diunduh) yang mengubah rekaman suara menjadi teks. Dalam satu checkpoint (satu berkas model), menurut Nvidia, model ini menangani transkripsi, pelabelan pembicara (diarization), terjemahan, dan tanya-jawab tentang isi audio.

Model ini tersedia di Hugging Face dan ModelScope. Menurut blog teknis Nvidia, ia mentranskripsi 40 bahasa, menerjemahkan 31 di antaranya ke atau dari bahasa Inggris, dan melabeli pembicara pada 13 bahasa. Rekaman hingga satu jam dan hingga delapan pembicara dapat ditangani. Bersamaan dengan itu, Nvidia membuka Granary v2, dataset suara multibahasa beserta pipeline kurasinya.

Bahan yang kami terima tidak menyebut jenis lisensi model secara eksplisit. Pembaca yang berencana memakainya untuk produk sebaiknya memeriksa kartu model (model card) di Hugging Face.

Apa Maksud “Bisa Diberi Prompt”

Prompt adalah instruksi dalam bahasa sehari-hari. Pada model ini, pengembang tidak perlu melatih ulang model untuk setiap tugas; cukup mengganti instruksinya. Untuk satu rekaman rapat, misalnya, instruksinya bisa “Transcribe this recording and label each speaker”, “Translate this audio into English”, atau pertanyaan tentang keputusan yang diambil dalam rapat.

Prompt juga dapat memuat daftar istilah khusus. Contoh Nvidia di bidang kesehatan menyertakan istilah seperti HbA1c dan metformin, lalu meminta model memakainya hanya bila didukung audio. Menurut Nvidia, pendekatan ini membantu di bidang seperti layanan kesehatan, keuangan, dan layanan pelanggan. Blog itu juga menyebut dukungan stempel waktu per kata.

Dukungan bahasa berbeda menurut tugas, dan tanya-jawab audio dilatih dalam bahasa Inggris. Nvidia menyarankan pengguna memeriksa langsung nama, pergantian pembicara, dan jawaban terhadap rekaman.

Kinerja yang Diklaim

Angka berikut berasal dari blog Nvidia sendiri. Word error rate (WER) adalah persentase kata yang salah dibanding teks acuan; makin rendah makin baik.

Di Hugging Face Open ASR Leaderboard, Nvidia menyebut modelnya peringkat pertama di antara model berbobot terbuka untuk bahasa Inggris, dengan rata-rata WER 5,33% (API komersial tidak disertakan). Untuk lintas tujuh bahasa, WER rata-ratanya 4,62%, dan untuk rekaman panjang 10,98%, keduanya terendah dalam perbandingan pada kartu model.

Di Artificial Analysis, model ini berbagi peringkat pertama di antara model terbuka dengan AA-WER 2,8%, memakai sekitar 4 miliar parameter aktif dari total 30 miliar. Model pembandingnya memakai 24 miliar parameter aktif. Rilis terpisah Nvidia untuk laptop RTX Spark menyebutnya peringkat kedua di Artificial Analysis, jadi pembaca perlu mencermati definisi peringkat yang dipakai.

Untuk pelabelan pembicara, menurut Nvidia model ini mencatat tingkat kesalahan diarization (DER) terendah, 18,26%, pada papan peringkat David AI untuk 21 bahasa, sedikit di depan model Nemotron 3 Diarization (18,38%). Di VoiceArena, ia mencatat cpWER 32,4% dari 14 sistem.

Granary v2 dan Perannya

Granary v2 bagian dari koleksi suara Nemotron di Hugging Face dan ModelScope. Dibangun dengan NeMo Curator, pipeline-nya menyiapkan data suara multibahasa yang dipakai dalam pelatihan Transcribe, menghasilkan variasi transkrip yang selaras, label tugas, dan metadata kualitas.

Manifes publiknya mencakup 463.062 jam di 48 bahasa dari 16 korpus sumber, naik dari 25 bahasa pada Granary v1. Nvidia menegaskan angka ini menggambarkan rilis dataset, bukan seluruh campuran data latih Transcribe.

Nvidia juga menyediakan alat fine-tuning (pelatihan lanjutan) NeMo Speech. Dalam satu studi kasus medis, fine-tuning memangkas WER pada pembicara yang tidak ada di data latih sebesar 45,8% secara relatif terhadap prompt terbaik. Ini hasil satu studi kasus Nvidia, bukan jaminan untuk semua domain.

Bagaimana dengan Bahasa Indonesia

Bahan yang kami terima tidak memuat daftar lengkap 40 bahasa. Rilis Nvidia hanya menyebut bahwa model ini mencakup tujuh bahasa Indik. Karena itu, kami tidak dapat memastikan apakah bahasa Indonesia didukung, dan status Indonesia di Granary v2 juga tidak disebut. Pengembang di Indonesia perlu mengecek matriks tugas-per-bahasa di kartu model atau menguji sendiri.

Keterbatasan dan Langkah Berikutnya

Model ini dibuat untuk rekaman, bukan untuk streaming langsung, sebagaimana ditegaskan blog Nvidia. Untuk saat ini, penyajian dilakukan lewat vLLM.

Blog teknis menyebut versi kuantisasi (yang lebih ringan) dan penerapan lokal lewat NeMo-Speech.cpp akan segera hadir untuk RTX Spark, DGX Spark, dan Jetson AGX Thor. Sebaliknya, rilis Nvidia untuk RTX Spark menyebut format BF16, FP8, dan NVFP4 sudah tersedia di Hugging Face. Perbedaan ini sebaiknya dicek langsung di halaman model.