Warum KI-Cover rau klingen, und wie wir es gemessen haben

Wenn du einen Song in deine eigene Stimme verwandelst (ein KI-Cover), klingt das Ergebnis manchmal rau, knisternd, in kleine Stücke zerhackt. Wir sind dem über viele Testrunden nachgegangen und haben dabei mindestens neun unserer eigenen Messlatten zerbrochen. Die kurze Antwort: Das Knistern, das jede Korrektur überlebt, steckt in der Stimmprobe, die du hochlädst. Der Wandler kopiert ihre Rauheit, Filtern kann sie nicht entfernen, und eine bessere Probe ist die einzige Abhilfe.

Die erste Messung sagte „schief gesungen“, und sie lag falsch

Die Pipeline hat drei Schritte: Ein Vocal-Separator löst den Gesang aus dem Mix, ein Stimmwandler setzt die Klangfarbe deiner Probe ein, und der neue Gesang kommt zurück auf die originale Begleitspur. Die meisten Messungen unten stammen vom früheren Zero-Shot-Wandler, der kein Training brauchte; für „meine eigene Stimme“ trainiert die Seite inzwischen für jeden Auftrag ein kleines, temporäres Stimmmodell und löscht es innerhalb von 24 Stunden.

Unsere erste Prüfung war die Tonhöhenkorrelation zwischen Originalgesang und neuem Gesang: 0,722, was nach „die Maschine singt falsche Töne“ klingt. Genauer betrachtet lag die mediane Abweichung bei 0,00 Halbtönen, die MAD bei 0,10, und 33 von 1.197 Frames (2,8 %) waren um genau eine Oktave gesprungen, ein klassischer Fehler des Tonhöhen-Trackers und kein Gesangsfehler. Lässt man diese Frames weg, liegt die Korrelation bei 0,994. Seitdem geben wir die Tonhöhe als mediane Abweichung, MAD und Anteil der Frames innerhalb von ±1 Halbton an (92,6 % beim ersten Testsong).

Lehre Nummer zwei: Der Wandler arbeitet nicht deterministisch. Dieselben Einstellungen, fünfmal ausgeführt, schwanken über eine Spanne von 0,064, mehr als der Abstand von 0,046 zwischen den fünf Kandidatenstimmen, die wir verglichen. Deshalb läuft jeder Vergleich, aus dem wir Schlüsse ziehen, inzwischen mindestens fünfmal pro Zweig. Die „σ“-Angaben unten sind Unterschiede in Standardabweichungen.

Wie „rau“ aussieht, wenn man es misst

Das Zerhacken war hörbar, doch drei frühere Messungen sagten alle „alles in Ordnung“: 0,0 % der Frames ohne Stimme, Amplitudentiefe 3,17 dB (ein menschlicher Sänger: 3,13), keine Tonhöhensprünge. Der Klang war laut genug und traf die Töne, aber die Obertöne waren in Rauschen zerfallen. Genau das erfasst die Periodizität:

Ein Teil davon ist Rauschen: Der Wellenform-Generator fügt oberhalb von 8 kHz 5 bis 7 dB hinzu. Bei einer Quelle, die bei 16 kHz abgeschnitten ist, lag das Band von 16 bis 20 kHz der Ausgabe bei −23,2 dB, gegenüber −38,7 bei einer echten menschlichen Stimme: zu 100 % erfunden und entfernbar.

Das Knistern aber blieb. Die Phonetik misst eine raue, kratzige Stimme mit Jitter (wie stark aufeinanderfolgende Stimmlippenschwingungen in ihrer Länge abweichen) und Shimmer (wie stark sie in ihrer Amplitude abweichen). Der Grenzwert für eine normale Stimme liegt in unserem Analysewerkzeug bei 1,04 % Jitter. Keine unserer früheren Messungen konnte das sehen.

Überträgt sich eine raue Probe auf das Cover?

Erst haben wir ja gesagt, dann haben wir es zurückgenommen. Eine Handyaufnahme vom Entwickler der Seite selbst hatte 2,8-mal so viel Hüllkurvenflattern wie eine saubere gesungene Probe, doch bei festem Song und nur getauschter Probe zeigte die Hüllkurvenmessung eine nur um 10 % schlechtere Ausgabe. Diese Messung erfasst Lautstärkeschwankungen, nicht die Abweichung von Schwingung zu Schwingung.

Mit Jitter gemessen drehte sich das Bild: Die saubere Probe ergab eine Ausgabe von 0,92 %, die Handyprobe 1,67 % (+81 %, 18,3σ). Die Handyprobe selbst hatte 2,27 % Jitter und 11,0 % Shimmer, fest in die Aufnahme eingebacken (halb gesprochener Vortrag, kratzige Phrasenenden, ein Handymikrofon). Die Kompression war nicht schuld: Eine Kodierung mit 30 kbps bewegte eine saubere Probe nur von 1,03 % auf 1,10 %. Ebenso wenig die Trennung (+4 % Flattern, 1,3σ) oder Hall (+5 %, 2,3σ). Der Wandler kopiert die Stimmqualität der Probe.

Am selben Tag gingen zwei weitere Schlüsse auf dieselbe Weise schief. Eine Guidance-Einstellung wurde für jede Probe auf 0 gesetzt, weil sie bei einer sauberen Probe das Rauschen um 43 % senkte, dabei aber den Jitter um 15 % erhöhte (6,5σ). Ein Patch für Tonhöhenlücken wurde abgelehnt, weil die Aussetzer-Messung ihn als Rauschen einstufte, während Jitter ihn mit 3,7σ vorn sah. Die Regel: Eine Messung, die für Problem A gebaut wurde, hat kein Recht, eine Lösung für Problem B zu beurteilen.

Was live ging: eine Probe von 24 Sekunden aus den am wenigsten rauen Einsekundenstücken zusammensetzen (Ausgabe 1,718 → 1,580 %, 3,6σ), Tonhöhenlücken patchen und Guidance 0,7 für Nutzerproben verwenden. Ein kompletter Durchlauf mit der Handyprobe ging von 1,50 % auf 1,26 % Jitter, Shimmer von 7,89 auf 5,29, HNR von 17,8 auf 19,4 dB, um den Preis eines etwa 50 % langsameren Wandlungsschritts.

Und hier ist die Obergrenze. Diese Probe enthielt nur 29 Sekunden Gesang, die Pipeline braucht 24, also konnte die Auswahl nur die 5 schlechtesten Stücke verwerfen (2,14 → 1,96 %). Ihr bestes Stück lag immer noch bei 1,37 %, rauer als der Median sauberer Gesangsstimmen (0,94 %). Die Maschine kann keine Klarheit erfinden, die die Probe nie hatte. Deshalb misst die Seite die Rauheit der Probe jetzt beim Hochladen und warnt ab 1,5 %: Die Handyprobe meldete nach etwa 11 Sekunden 2,13 %, während eine saubere gesungene Probe von 24 Sekunden 0,96 % meldete und keine Warnung auslöste.

12 oder 24 Sekunden Stimmprobe?

Ursprünglich hat die Seite Proben auf 12 Sekunden gekürzt, weil längere Proben langsamer sind: Beim selben Song von 247 Sekunden dauerte die Wandlung mit einer Probe von 20 Sekunden 253 Sekunden, mit einer auf 12 Sekunden gekürzten 162 Sekunden (−36 %). Die Behauptung, „eine längere Probe ist nicht ähnlicher“, war aus der Architektur abgeleitet und nie gemessen. Also haben wir gemessen, fünf Durchläufe pro Zweig, und die Ähnlichkeit an einem Abschnitt der Sängerstimme bewertet, der in keiner Probe enthalten war (0,750 bedeutet ungewandelt, 0,866 ist dieselbe Person in einer anderen Passage):

Jedes Fenster von 24 Sekunden schlug bei der Ähnlichkeit jedes Fenster von 12 Sekunden, und der Startpunkt zählt so viel wie die Länge. Bei der Handyprobe hob der Schritt von 12 auf 24 Sekunden die Ähnlichkeit von 0,684 auf 0,747 (6,8σ), während das Knistern blieb. Eine längere Probe löst „klingt das nach mir“, nicht das Knistern. Eine Heuristik zur Bewertung von Proben, die wir gebaut hatten, ordnete die Fenster von 24 Sekunden genau umgekehrt zu den echten Ergebnissen, also haben wir sie verworfen.

Grenzen und offene Fragen

• Vietnamesisch schneidet etwa dreimal schlechter ab als Englisch: 2,9 % der Frames verlieren die Stimme gegenüber 1,0 % (Rauschbereich 0,7 Prozentpunkte). Konsonanten werden vertauscht: «Gà gáy vang trời» wurde zu «cáo kẽ vang trời», «hỏi» zu «khỏi». Noch nicht behoben.
• Nachträgliches Filtern hilft nicht: Entrauschen der Ausgabe verschlechterte die Flachheit, und Karaoke-Trennung plus Enthallung senkten die Ähnlichkeit um 0,028. Die Rauheit sitzt in den Obertönen, die die Maschine erzeugt, nicht obendrauf.
• Auch der Quellsong zählt: Die Ausgabe ist 2- bis 3,6-mal unsauberer als ihre Quelle. Eine Quelle mit Flachheit 0,0047 kommt bei etwa 0,011 heraus, ein bei 16 kHz abgeschnittener Rip (0,0070) bei etwa 0,025.
• Die Warnschwelle von 1,5 % beruht auf drei Datenpunkten (2,14 %, 0,94 bis 1,03 %, 0,79 %). Der Browser-Recorder schaltet Echounterdrückung, Rauschunterdrückung und automatische Verstärkung ab, was gängige Praxis ist, aber mit einem echten Mikrofon nicht getestet wurde.
• Feinabstimmung pro Stimme dieses Wandlers hob einen Ähnlichkeitswert in einem Test von 0,64 auf 0,73, doch dieser Wert stammte vom eigenen Stimm-Encoder des Wandlers, der seine eigene Ausgabe zu gut bewertet. Eine spätere Prüfung mit einem unabhängigen Stimmvergleichsmodell zeigte keinen Gewinn (0,647 in beiden Fällen). Die Seite ist seitdem zu einem anderen Ansatz pro Stimme übergegangen, die Zero-Shot-Zahlen in diesem Beitrag beschreiben also die frühere Pipeline.

So nutzt du das bei deinem Cover

1. Sing, statt zu sprechen. Halb gesprochene Zeilen und kratzige Phrasenenden werden direkt in die Ausgabe kopiert.
2. Nimm 20 bis 40 Sekunden echten Gesang an einem ruhigen Ort auf. Die Seite nutzt 24 Sekunden Gesang; unter 15 Sekunden gibt es eine Warnung.
3. Achte auf den Warnhinweis ein paar Sekunden nach dem Hochladen. Bei 1,5 % oder mehr nimm die Probe neu auf.
4. Nutze eine hochwertige Songdatei. Ein bei 16 kHz abgeschnittener Rip liefert dir eine dort ebenfalls abgeschnittene Begleitspur; die Seite sagt dir, wenn die Quelle unter 17 kHz liegt.
5. Wähle eine Probe nahe am Stimmumfang des Songs. Eine Oktave tiefer (Frauensong, Männerprobe) ergab in einem einzelnen Durchlauf 1,28 % Jitter gegenüber 0,75 % bei gleicher Tonart, doch die Ähnlichkeit zur Probe lag bei 0,74 gegenüber 0,52.
6. Bei Songs auf Vietnamesisch hör auf vertauschte Konsonanten wie h/kh und g/c.