Vietnamesisch von KI gesungen: Wie viele Wörter bleiben?

Das Gesangsmodell hinter MuziAI unterstützt offiziell nur Englisch und Chinesisch. Was passiert also, wenn du ihm Vietnamesisch gibst, eine Sprache mit sechs Tönen, die als Diakritika geschrieben werden, in der dieselben Buchstaben mit einem anderen Zeichen ein anderes Wort ergeben? Wir haben gemessen, wie viel vom Songtext eine Spracherkennung zurückhören kann, und das mit dem Geschriebenen verglichen. Die Antwort: 78,6 % bis 94,7 % des Textes kommen je nach Genre mit allen Diakritika korrekt zurück, bei einem englischen Kontrollsong sind es 100 %. Was verloren geht, sind meist nicht Wörter, sondern Zeichen, und laut unserem Messprotokoll ist der Hauptfehler ein verrutschter Ton: Entfernt man die Diakritika, steigen die Werte auf 87,5 % bis 98,4 %.

Drei Messlatten brachen, bevor wir einer Zahl trauen konnten

Dreimal lagen wir daneben, bevor wir eine brauchbare Messung hatten. Jedes Mal lag der Fehler bei der Messlatte, nicht beim Song, und genau dieser Teil ist am erzählenswertesten.

1. Eine schnelle Spracherkennung, bewertet über die Zeichenfehlerrate des ganzen Songs. Über instrumentalen Passagen erfand sie eine Zeile auf Vietnamesisch im Stil eines Videokanals, „Abonniert unseren Kanal, verpasst keine tollen Videos“, und dieser erfundene Text ersetzte die tatsächlich gesungenen Wörter, statt nur hinzuzukommen. Englisch war nicht betroffen, also war der Vergleich verzerrt: eine Fehlerrate von 0,012 für Englisch gegenüber 0,32 bis 0,48 für Vietnamesisch.
2. Den Song in Fenster von 12 Sekunden schneiden, damit er leichter zu verstehen ist. Schlimmer: Fast jedes Fenster lieferte die erfundene Zeile, auch Passagen, in denen der Durchlauf über den ganzen Song den Text erkannt hatte.
3. Erst den Gesang von der Begleitung trennen, dann transkribieren. Immer noch erfundener Text, während Englisch weiter funktionierte. Spätestens da war klar: Das Problem war die schnelle Spracherkennung auf Vietnamesisch, nicht das Gesangsmodell.

Die Lehre: Eine vietnamesische Fehlerrate, die nicht an Fällen mit bekannter Antwort geprüft wurde, ist es nicht wert, zitiert zu werden. Eine Songtext-Messung, die Text halluziniert, bestraft ausgerechnet die Sprache unfair, die sie am schlechtesten hört.

Die Messlatte, die funktioniert: Zeilenabdeckung, geprüft an bekannten Antworten

Der endgültige Aufbau nutzt die größere Spracherkennung, schaltet ihre Gewohnheit ab, jede Vermutung auf den vorherigen Satz zu stützen (der Mechanismus, durch den eine erfundene Zeile eine ganze Kette weiterer nach sich zieht), und ergänzt Schwellen, die Segmente mit geringer Sicherheit verwerfen. Statt einer Fehlerrate über den ganzen Song bewertet sie die Zeilenabdeckung: Für jede einzelne Textzeile (Abschnittsbezeichnungen entfernt, wiederholte Zeilen einmal gezählt) wird der am besten passende Abschnitt des Transkripts gesucht, gezählt, welcher Anteil der Silben dieser Zeile in der richtigen Reihenfolge vorkommt, und dann über alle Zeilen gemittelt. Zusätzliche Wörter werden nicht bestraft, eine eingeschobene erfundene Zeile drückt den Wert also nicht.

Jeder Song wird zweimal bewertet: mit Diakritika (jedes Zeichen muss stimmen) und ohne Diakritika (alle Zeichen entfernt, nur das Buchstabengerüst muss stimmen). Der Abstand zwischen den beiden Spalten ist der Anteil „richtige Wortform, falsches Zeichen“. Bevor wir sie einsetzten, haben wir die Messung an vier Fällen mit bekannter Antwort geprüft:

Entscheidend ist der dritte Fall: Ein Transkript, das alle Diakritika verloren hat, erreicht mit Zeichen 0,19, ohne Zeichen aber 1,0. Die Messung kann also „falsches Wort“ von „richtiges Wort, falsches Zeichen“ unterscheiden.

Ergebnisse: Pop, Ballade, Bolero und ein englischer Kontrollsong

Die Ballade war am deutlichsten, der Bolero am wenigsten. In allen drei Songs liegt die Spalte ohne Zeichen über der Spalte mit Zeichen: Ein spürbarer Teil der Wörter wurde in der richtigen Form, aber mit dem falschen Zeichen gesungen. Der Bolero hatte sowohl den größten Abstand (0,089) als auch den niedrigsten Wert ohne Zeichen (0,875); in diesem Song hat das Modell also mehr Zeichen verrutschen lassen und mehr Wörter verschluckt. Warum, haben wir nicht gemessen. Verrutschte Töne zählen, weil sie die Bedeutung ändern, ohne die Buchstaben zu ändern: ma, má, mà, mả, mã und mạ sind sechs verschiedene Wörter.

Dasselbe Muster im Tool KI singt auf Beat

Das Tool der Seite, das Songtexte über einen vorhandenen Beat singt, läuft auf einem anderen Gesangssystem und wird mit einer eigens für Vietnamesisch gebauten Spracherkennung bewertet, seine Zahlen sind also nicht direkt mit der Tabelle oben vergleichbar. Das Muster wiederholt sich aber:

Der Pop-Track erreicht ohne Zeichen 1,000: Jedes Wort wurde gesungen, verloren gingen nur Diakritika. Und bei der Ballade bewertet dieselbe Messung den originalen menschlichen Gesang über diesem Beat mit 0,979, selbst ein echter Sänger kommt also nicht auf glatte 1. Ein Teil jedes Werts ist schlicht die Grenze des Zuhörers.

Grenzen und was wir noch nicht wissen

• Die Haupttabelle umfasst nur drei vietnamesische Songs (Pop, Ballade, Bolero). Genug, um das Muster zu sehen, aber nicht genug, um Genres verlässlich zu ranken; wir messen neu, wenn die Songsammlung wächst.
• Gemessen wird, was eine Maschine hört, nicht was ein Mensch hört. Einen Hörtest mit echten Menschen haben wir nicht gemacht, daher wissen wir nicht, wie viele verrutschte Töne ein menschliches Ohr aus dem Kontext ergänzt.
• Zusätzliche Wörter werden nicht bestraft. Das ist eine bewusste Entscheidung, damit die Messung gegen erfundene Zeilen immun ist, bedeutet aber auch: Fügt die Stimme Wörter hinzu, die nicht im Text stehen, fällt das der Messung nicht auf.
• Die Spalte ohne Zeichen entfernt auch Vokalzeichen (ă, â, ê, ô, ơ, ư, đ), nicht nur Tonzeichen. Der Abstand zwischen den Spalten steht für „falsches Diakritikum“ im Allgemeinen; eine Spalte, die nur den Ton isoliert, haben wir noch nicht.
• Eine Messlatte, die bei einer Art von Audio funktioniert, kann bei einer anderen versagen. Dieselbe größere Spracherkennung erfand bei Gesang, der durch das Stimmtausch-Tool der Seite gelaufen war, genau dieselbe „Abonniert“-Zeile in 3 von 3 Dateien. Dort mussten wir auf eine eigens vietnamesische Spracherkennung umsteigen.

So schreibst du vietnamesische Songtexte, die den Gesang überstehen

1. Wähle das Genre danach, wie wichtig die Worte sind. Geht es um den Text (eine Widmung, ein Erzähllied, ein Jingle mit Ladennamen), haben Ballade (0,947) und Pop (0,909) die Worte in unseren Tests besser bewahrt als Bolero (0,786).
2. Eine vollständige gesungene Phrase pro Zeile, mit Abschnittsbezeichnungen. Setze [Verse] und [Chorus] in eigene Zeilen und brich die Zeile nach jeder Phrase um. Im Tool KI singt auf Beat hat ein Songtext, der als ein einziger Block eingefügt wurde, das System den ganzen Song als einen Abschnitt behandeln lassen; der Gesang setzte 16 Sekunden zu spät ein und klang wie gesprochen.
3. Prüfe die Wörter, bei denen ein anderer Ton die Bedeutung kippt, an den Stellen, auf die es ankommt. Die Refrainzeile, der Name einer Person, der Name eines Ladens: Dort schadet ein verrutschter Ton am meisten. Hör im fertigen Song genau auf diese Wörter.
4. Erstelle ein paar Versionen und behalte die deutlichste. Jede Generierung ist ein neuer Zufallszug, es lohnt sich also, es noch einmal zu versuchen, bevor du den Text umschreibst.
5. Bewerte das Ergebnis nicht mit einer gewöhnlichen Spracherkennungs-App. Unsere ersten drei Messlatten haben bei vietnamesischem Gesang allesamt Text erfunden. Zeigt ein Transkript etwas Seltsames wie „subscribe cho kênh…“, liegt der Fehler beim Transkribieren, nicht beim Song.