Naia, die betrunkene Schiefsängerin, ist endlich nur noch eine Schiefsängerin geworden
Hallo. Ich bin Luke, der Entwickler des Open-Source Visual Agents Naia.Dieses Projekt begann mit der Idee, dass meine KI Alpha für mich singen sollte. Was ich wollte, war kein Cover-Song (z.B. XSing), der existierende Lieder mit einer anderen Stimme wiedergibt, oder eine Funktion, die zufällig neue Lieder erstellt (z.B. Suno). Ich wollte vielmehr eine adaptierte Version des Titelliedes eines ausländischen Animes, das ich mochte, gesungen auf Koreanisch, wobei die Melodie und Emotionen des Originals erhalten bleiben sollten.
Bei meinem letzten Benchmark klangen die Ergebnisse wie ein betrunkenes Gemurmel. Nach fast drei Monaten, in denen ich die Engine-Auswahl, Noten, Aussprache, Tonumfang und Tempo neu überprüft habe, kann ich jetzt zumindest die Texte verstehen und herausarbeiten, was schiefgelaufen ist. Es ist immer noch kein guter Gesang. Es ist nur so, dass aus einer betrunkenen Schiefsängerin eine gewöhnliche Schiefsängerin geworden ist.
Hören Sie selbst
Hier sind die früheren und aktuellen Ergebnisse meiner Forschung zur koreanischen Adaption von 'Blue Water'. Obwohl die Generierungsmethode und die Länge unterschiedlich sind, können Sie mit den Ohren sofort vergleichen, was sich verbessert hat und was noch übrig ist.
Früher — Die betrunkene Schiefsängerin
Auf YouTube ansehen — Vevo 1.5 Vorgängerversion, 2026-05-27
Die Aussprache und die Tonwerte zerfallen, und innerhalb der Takte wird es mal schneller, mal langsamer. Trotzdem hat es, wie es sich für ein generatives Modell gehört, manchmal eine gesangsähnliche Textur.
Jetzt — Die gewöhnliche Schiefsängerin
Auf YouTube ansehen — FM Singer verbesserte Version, 2026-08-21
Der Text ist viel besser zu verstehen und sie folgt den Noten. Andererseits werden lange Töne abrupt abgebrochen, und es mangelt an Kraft und Helligkeit im Vergleich zum Original, sodass es immer noch nach Schiefsingen klingt.
Veränderungen in Zahlen
Da die beiden Engines unterschiedlich aufgebaut sind, ist dies kein perfekter Eins-zu-eins-Test. Die Spracherkennung korrigiert die Aussprache auch kontextuell, daher habe ich sie nur als Referenzindikator verwendet.
| Punkt | Vorher Vevo 1.5 | Jetzt FM Singer | Interpretation |
|---|---|---|---|
| Fehlerrate koreanischer Zeichen (CER) | 1.389 | 0.088 | Starker Rückgang des Aussprache-Zerfalls |
| Korrelation der Dynamikkurve des Originals | 0.189 | 0.639 | Fluss verbessert, aber Dynamikumfang nur die Hälfte des Originals |
| Taktstartfehler | - | Durchschnitt 93ms, Max. 440ms | Einige Takte klingen immer noch unmusikalisch |
| Absoluter mittlerer Tonhöhenfehler | - | ca. 50 Cent | Etwa die Hälfte eines Halbtons, noch instabil |
| Vokale Helligkeit | - | ca. 600 Hz tiefer als das Original | Einer der Gründe, warum es energielos und dunkel klingt |
Der tatsächliche Forschungsablauf
1. Mai — Erstellung des ersten Adaptionsliedes mit Vevo 1.5
Für den ersten Benchmark verwendete ich das generative Modell Vevo 1.5. Es hatte kurzzeitig eine gesangsähnliche Textur, aber es war schwierig, die koreanischen Texte präzise an die Melodie anzupassen oder nur einen falsch gesungenen Takt zu korrigieren. Dies war der Ausgangspunkt, warum die Ergebnisse wie eine "betrunkene Schiefsängerin" klangen.
2. Juni~Juli — Getrennte Entwicklung von Stimmbändern und Aussprache
Als Nächstes testete ich einen Hybridansatz, bei dem ich die Stimmbänder mit VocalTractLab physikalisch synthetisierte und die koreanische Aussprache von VoxCPM2 mischte. Die Zieltonhöhe wurde mit einem durchschnittlichen Fehler von 0.008 Halbtönen erreicht, aber es gelang nicht, die Lippen, Zunge und den Atem eines Menschen ausreichend zu reproduzieren, sodass ein instrumentenähnlicher elektronischer Klang übrig blieb. Die Möglichkeit, Tonhöhe und Aussprache getrennt zu lösen, wurde bestätigt, konnte aber nicht als vollständiger Pfad genutzt werden.
3. 14. August — Daten und Engine neu auswählen
Nachdem ich die AI Hub 465 Gesangsdaten geprüft und einen festen Testsatz erstellt hatte, verglich ich DSKR, Pond8 und FM Singer nach den gleichen Kriterien. Pond8 war präzise in der Tonhöhe, wenn Oktavkoordinaten gegeben waren, hatte aber einen starken maschinellen Klang. FM Singer zeigte das beste Gleichgewicht in koreanischer Aussprache und Klangqualität und wurde so zur zentralen Engine.
4. 15. August — Aussprache-Eingabe vor dem Feintuning korrigieren
Obwohl ich FM Singer mit AI Hub-Daten feintunte, reduzierte sich die Zeichenfehlerrate in 128 Validierungen nur geringfügig von 0.3465 auf 0.3396. Ein größerer Grund war das Fehlen eines Prozesses, der die koreanische Schreibweise in eine Gesangsaussprache umwandelte. Anschließend erstellte ich eine zweistufige Korrektur, die koreanische Ausspracheregeln und wortspezifische Ausnahmen kombinierte. Zum Beispiel wird 마음 약한 사람은 zu 마음 야칸 사라믄 und experimentell 밝혀 zu 발켜. Spracherkennung wurde nur zur Kandidatensuche verwendet, da sie Fehler kontextuell korrigieren kann.
5. 15.~17. August — Alphas Stimme anwenden und zurückkehren
Nachdem sich die Aussprache verbessert hatte, versuchte ich, Alphas Stimmfarbe mittels Zero-Shot-Learning anzuwenden. Die Stimme näherte sich an, aber es entstanden elektronische Klänge, und Konsonanten sowie Tonhöhe wurden erneut beschädigt. Also organisierte ich es zu einer zweistufigen Struktur: Zuerst den Gesang durchführen, dann die Stimmfarbe ändern. Da das Training mit beschädigten Konversionsergebnissen auch die elektronischen Klänge lernen würde, wurde das Feintuning ebenfalls verschoben.
6. 17.~21. August — Den Noten, dem Rhythmus und der Kraft des Originals erneut folgen
Zuletzt trennte ich den Originalgesang und die Begleitung, um Taktgrenzen, die tatsächliche Tonhöhe sowie Beginn und Ende der Noten neu zu extrahieren. Ich ordnete japanische Mora und koreanische Silben notenweise zu und fand einen stabilen Tonumfang. Anschließend überlagerte ich dies mit dem Original auf der Zeitachse, um Zeit und Dynamik zu vergleichen. Die aktuellen Ergebnisse haben Noten und Texte nähergebracht, aber das Ende langer Töne, die Atmung und die Energie pro Takt sind immer noch flach.
Noch offene Probleme
Die Aussprache und die Zeitachse sind eindeutig besser als zuvor. Doch die aktuelle Gesangsstimme ist dunkler und hat einen engeren Dynamikumfang als das Original, und das Ende langer Töne wird abgebrochen oder schwankt. Der Grund, warum ich es nicht durchgehen lasse, ist, dass es sich nicht nach Gesang anhört, auch wenn die Zahlen besser sind.
Als Nächstes werde ich die AI Hub-Daten erneut trainieren, wobei ich mich auf schwer auszusprechende Phonemkombinationen und lange Töne konzentriere, und Alphas Stimmfarbe nur auf die erfolgreich verarbeiteten Takte anwenden. Nur Kandidaten ohne elektronische Klänge, Aussprache- oder Tonhöhenschäden werden für das Feintuning-Material ausgewählt.
