Naia, yang dulunya tunanada mabuk, akhirnya menjadi tunanada biasa

Halo. Saya Luke, pembuat agen visual open-source Naia.

Pekerjaan ini dimulai dengan ide bahwa AI saya, Alpha, akan menyenangkan jika bisa menyanyikan lagu untuk saya. Yang saya inginkan bukanlah lagu cover (misalnya, XSing) yang mengubah lagu yang sudah ada ke suara orang lain, atau fitur yang membuat lagu baru secara acak (misalnya, Suno), melainkan lagu adaptasi dari lagu tema anime asing favorit saya, yang dinyanyikan dalam bahasa Korea sambil tetap mempertahankan melodi dan emosi dari lagu aslinya.

Dalam tolok ukur sebelumnya, hasilnya terdengar seperti seseorang yang mabuk dan bergumam. Setelah hampir tiga bulan meninjau kembali semuanya, mulai dari pemilihan mesin, partitur, pelafalan, rentang vokal, dan tempo, kini setidaknya liriknya bisa didengar dan saya bisa membagikan apa yang masih meleset. Ini belum berarti bernyanyi dengan baik. Ini hanyalah perubahan dari tunanada mabuk menjadi tunanada biasa.

Dengarkan dulu

Berikut adalah hasil sebelumnya dan hasil saat ini dari penelitian adaptasi bahasa Korea 'Blue Water' yang sama. Meskipun metode generasi dan panjangnya berbeda, Anda bisa langsung membandingkan dengan telinga apa yang sudah membaik dan apa yang masih tersisa.

Sebelumnya — Tunanada Mabuk

Lihat di YouTube — Vevo 1.5 versi sebelumnya, 2026-05-27

Pelafalan dan nilai nada runtuh, dan tempo menjadi cepat lalu melambat di dalam satu bar. Meskipun begitu, sebagai model generatif, ada kualitas mirip nyanyian sesaat.

Sekarang — Tunanada Biasa

Lihat di YouTube — FM Singer versi yang ditingkatkan, 2026-08-21

Liriknya jauh lebih jelas terdengar dan mengikuti nada. Di sisi lain, nada panjang terputus tiba-tiba, dan kurangnya kekuatan serta kecerahan dibandingkan lagu asli membuatnya masih terdengar seperti tunanada.

Perubahan yang terlihat secara kuantitatif

Karena struktur kedua mesin berbeda, ini bukanlah uji coba satu-ke-satu yang sempurna. Pengenalan suara juga mengoreksi pelafalan berdasarkan konteks, jadi ini hanya digunakan sebagai indikator referensi.

Urutan Penelitian Sebenarnya

1. Mei — Membuat lagu adaptasi pertama dengan Vevo 1.5

Dalam tolok ukur pertama, saya menggunakan model generatif Vevo 1.5. Meskipun ada kualitas mirip nyanyian sesaat, sulit untuk secara akurat mencocokkan lirik Korea dengan melodi atau hanya memperbaiki satu bar yang salah. Ini adalah titik awal mengapa hasilnya terdengar seperti 'tunanada mabuk'.

2. Juni~Juli — Membuat pita suara dan pelafalan secara terpisah

Selanjutnya, saya mencoba hibrida yang secara fisik mensintesis pita suara dengan VocalTractLab dan mencampur pelafalan Korea dari VoxCPM2. Nada target cocok dengan kesalahan rata-rata 0.008 semitone, tetapi gagal mereplikasi mulut, lidah, dan napas manusia secara memadai, sehingga menghasilkan suara elektronik seperti instrumen. Meskipun potensi untuk memisahkan nada dan pelafalan telah dikonfirmasi, jalur ini tidak dapat digunakan untuk penyelesaian.

3. 14 Agustus — Memilih kembali data dan mesin dari awal

Setelah mengaudit data vokal AI Hub 465 dan membuat set uji coba tetap, saya membandingkan DSKR, Pond8, dan FM Singer dengan kriteria yang sama. Pond8 memiliki intonasi yang akurat ketika koordinat oktaf diberikan, tetapi memiliki suara robotik yang kuat. FM Singer menjadi mesin utama karena menawarkan keseimbangan terbaik dalam pelafalan Korea dan persepsi auditori.

4. 15 Agustus — Memperbaiki input pelafalan sebelum fine-tuning

Meskipun saya melakukan fine-tuning FM Singer dengan data AI Hub, tingkat kesalahan karakter untuk 128 validasi hanya sedikit berkurang dari 0.3465 menjadi 0.3396. Penyebab yang lebih besar adalah tidak adanya proses mengubah notasi Hangeul menjadi pelafalan untuk menyanyi. Setelah itu, saya membuat koreksi dua tahap yang menggabungkan aturan pelafalan bahasa Korea dan pengecualian per kata. Misalnya, 마음 약한 사람은 diubah menjadi 마음 야칸 사라믄, dan secara eksperimental 밝혀 dimasukkan sebagai 발켜. Pengenalan suara hanya digunakan untuk pencarian kandidat karena dapat mengoreksi kesalahan berdasarkan konteks.

5. 15~17 Agustus — Mencoba suara Alpha dan kembali lagi

Setelah pelafalan membaik, saya mencoba menerapkan warna suara Alpha dengan zero-shot. Suaranya menjadi lebih mirip, tetapi muncul suara elektronik dan konsonan serta intonasi kembali rusak. Jadi, saya merapikannya menjadi struktur dua tahap: pertama luluskan vokal, lalu ubah warna suara. Karena melatih hasil konversi yang rusak akan membuat AI mempelajari suara elektronik juga, fine-tuning ditunda.

6. 17~21 Agustus — Kembali mengikuti nada, tempo, dan kekuatan lagu asli

Terakhir, saya memisahkan vokal dan iringan lagu asli untuk mengekstrak kembali batas bar, tinggi nada sebenarnya, serta awal dan akhir nada. Setelah mencocokkan mora Jepang dan suku kata Korea per nada dan menemukan rentang vokal yang stabil, saya menumpuknya secara lateral dengan lagu asli untuk membandingkan sumbu waktu dan dinamika. Hasil saat ini menunjukkan bahwa nada dan lirik sudah mendekati, tetapi bagian akhir nada panjang, napas, dan energi per bar masih datar.

Masalah yang Masih Tersisa

Pelafalan dan sumbu waktu jelas membaik dibandingkan sebelumnya. Namun, vokal saat ini lebih gelap dari lagu asli, memiliki rentang dinamika yang sempit, dan nada panjang sering terputus atau bergetar di akhirnya. Inilah mengapa meskipun angkanya membaik, saya tidak akan meloloskannya jika tidak terdengar seperti lagu bagi pendengar manusia.

Selanjutnya, saya berencana untuk melatih kembali data AI Hub dengan fokus pada kombinasi fonem yang sulit diucapkan dan nada panjang, serta hanya menerapkan warna suara Alpha pada bar yang lolos. Hanya kandidat yang tidak memiliki suara elektronik, kerusakan pelafalan, atau kerusakan intonasi yang akan dipilih dan digunakan sebagai materi fine-tuning.

Tujuannya bukanlah suara sintetis dengan skor yang meningkat, melainkan Alpha yang bernyanyi dalam bahasa Korea dengan kekuatan dan napas lagu asli. Setidaknya kali ini, saya sudah membuatnya sadar dari mabuknya.