KI singt auf deinem Beat: Warum es nach Rap klingen kann

Du lädst einen fertigen Beat hoch, fügst deinen Songtext ein, wählst „Ballade“ und bekommst etwas zurück, das eher nach gesprochenem Rap klingt, mit Worten, die nicht zur Musik zu gehören scheinen. Ein MuziAI-Nutzer hat sich genau so beschwert: Er dachte, er habe sich „verhört, das sei Rap“, Musik und Text gingen „getrennte Wege“, die KI habe „Text erfunden“ und „ständig gejault“. Bevor wir irgendetwas geändert haben, haben wir alle drei seiner Durchläufe gemessen. Kurz gesagt: Der Gesang war nie in der falschen Tonart. Gehört hat er einen Einsatz, der vier Takte zu spät kam, einen Vortrag, der mehr nach Sprechen als nach Singen klang, und eine Melodie, die das Tool von Grund auf neu geschrieben hat. Die ersten beiden Punkte lassen sich teilweise beheben. Der dritte nicht.

Die Beschwerde: drei Durchläufe, gemessen vor jeder Korrektur

Ein Nutzer hat 48 Textzeilen auf einen 276,5 Sekunden langen Backing Track mit 60 BPM gelegt, in dem der Leadgesang bei 32,5 Sekunden einsetzt.

In Durchlauf 1 wurden achtundvierzig Zeilen ohne Leerzeilen dazwischen als eine einzige Strophe gelesen: Das Modell setzte genau vier Takte zu spät ein und hat sich halb sprechend durchgearbeitet. Durchlauf 2 und 3 begannen pünktlich, enthielten aber 11 Sekunden „huu huu huu“, also einen Abschnitt nur aus Summen, den der Nutzer selbst in den Text geschrieben hatte.

Wir haben die Tonart des Gesangs in allen drei Durchläufen mit dem Beat verglichen: Alle drei lagen in der Tonart. Das Gefühl der „getrennten Wege“ kommt woanders her. Ein Backing Track enthält nur die Begleitung, keine Gesangsmelodie, also komponiert das Tool eine komplett neue Melodie zum Text. Wer diese Worte mit einer anderen Melodie kennt, hört vertraute Worte auf einer fremden Melodie und verbucht den Widerspruch als „falsche Tonart“. Kein Algorithmus in einem Tool wie „KI singt auf Beat“ kann das beheben, denn die frühere Melodie steckt nicht in der Eingabe.

Sustain: eine Zahl, die Singen von Sprechen trennt

Um die Beschwerde „klingt wie Sprechen“ zu prüfen, haben wir ein Maß gebaut: den Anteil der stimmhaften Zeit, der in Tönen liegt, die 0,6 Sekunden oder länger stabil gehalten werden. Kalibriert haben wir es an Gesangsspuren, die aus fertigen Songs der Website getrennt wurden, jeweils an den mittleren 90 Sekunden:

Durchlauf 1 kam auf 0,139, mitten im Rap-Bereich. Eine „Ballade“ mit einem Sustain unter 0,2 klingt tatsächlich nach Rap, die Beschwerde war also eine zutreffende Beschreibung und keine Pingeligkeit. Die 0,262 und 0,283 von Durchlauf 2 und 3 waren durch das Jaulen aufgebläht; zählt man nur die Teile mit Text, fallen sie auf 0,22-0,25, an den unteren Rand des Balladen-Bereichs.

Wie das Tool Einsatzpunkt, Tonart und Struktur findet

Wo der Gesang einsetzt

Lässt man das Modell ab Sekunde 0 singen, singt es in 79 % der Songs über das Intro, gemessen an 57 Songs mit bekannter Lösung (Beats und getrennte Gesangsspuren von der Website). Unsere erste Regel, „setze bei der größten Veränderung in der Musik ein“, scheiterte vorhersehbar: Beim Beat eines anderen Nutzers wählte sie 16,5 Sekunden, genau dort, wo ein lautes Instrumentalriff beginnt. Die aktuelle Regel fügt eine Bedingung hinzu: Setze nie dort ein, wo die Musik lauter wird. Sie betrachtet Grenzen nach jeweils vier Takten in den ersten 40 Sekunden, verwirft alle, an denen die Musik um mehr als 2 dB ansteigt, und nimmt dann die größte Veränderung. Ergebnis: bei 64,9 % der Songs innerhalb von ±1 Takt, Medianfehler 0,5 Takte, und nur 1,8 % singen noch über das Intro. Der Beat des anderen Nutzers bekommt seinen Einsatz jetzt genau bei 32,0 Sekunden.

Man kann dem Gesangsmodell sagen, dass es nur innerhalb eines Fensters generieren soll, aber außerhalb davon kopiert es den ganzen Beat in die Gesangsspur. Deshalb schneidet das Tool den Beat am Einsatzpunkt, singt über den Rest, setzt den Gesang an der richtigen Sekunde wieder ein und schickt ihn durch eine Gesangstrennung, die Übersprechen von Schlagzeug und Gitarre entfernt.

Tonart und Textstruktur

Die alte Tonarterkennung nutzte eine einzige Methode und lag bei 40 von 48 Songs mit bekannter Tonart richtig. Die neue lässt drei Methoden abstimmen und schweigt ohne Mehrheit, denn kein Hinweis ist besser als ein falscher: 46/48. Ein Beispiel-Beat wurde früher als cis-Moll gelesen; jetzt ist es H-Dur, 3 von 3 Stimmen.

Außerdem sucht das Tool Blöcke sich wiederholender Zeilen, um Abschnitte zu trennen, und nennt den am häufigsten wiederholten Block den Refrain. Bei 300 gelabelten Songs findet es in 96 % der Fälle eine Struktur, erkennt Refrainzeilen in 87 % der Fälle und hält in 92 % der Fälle eine Strophe nicht fälschlich für einen Refrain. Beim Text dieses Nutzers hat es seine handgemachten Labels exakt nachgebildet. Abschnitte, die nur aus Summen bestehen, werden zu instrumentalen Pausen. Jeder Take wird bewertet (etwa 15 Sekunden auf der CPU), und ein verspäteter Einsatz löst einen neuen Take aus, höchstens zweimal. Mit genau der Eingabe des Nutzers erneut ausgeführt: verspätete Einsätze von 1,1 s und 0,0 s, Textabdeckung 0,906 und 0,921.

Ein langer Take oder ein Take pro Abschnitt

Der sprechähnliche Vortrag ist schwieriger. Die Stimmbeschreibung umzuschreiben hilft nicht: drei Beschreibungen mit je drei Seeds ergaben Standard 0,203, 0,150, 0,200; „soft breathy“ 0,217, 0,183, 0,180; „slow ballad, long sustained notes, legato“ 0,189, 0,201, 0,174. Der eigentliche Hebel ist die Länge einer einzelnen Generierung: gleicher Beat, gleicher Text, gleiche Beschreibung, einmal als ein Take von 244 Sekunden gesungen, einmal Abschnitt für Abschnitt mit je etwa 100 Sekunden:

Abschnittsweises Singen bringt die Ballade aus dem Rap-Bereich in den Balladen-Bereich. Der Haken: Zwei getrennt generierte Abschnitte sind zwei verschiedene Sänger. Zwei Hälften eines Takes erreichen bei der Stimmähnlichkeit 0,89-0,97; die mit demselben Seed getrennt generierten Abschnitte A und B kommen nur auf 0,57, 0,68 und 0,84. Gibt man den Take über den ganzen Song als Klangfarben-Referenz zurück, bleibt es bei einer Stimme (0,886, bei einer Schwelle von 0,80), aber der Gesangsstil dieses Takes wird mitgeschleppt: Der Sustain steigt nur von 0,181 auf 0,202 statt auf etwa 0,30. Weil er mehr als fünf zusätzliche Minuten pro Auftrag kostet, ist dieser Schritt abgeschaltet.

Grenzen und offene Fragen

• Ausprobiert und am selben Tag wieder entfernt: jede Ballade mit einem Sustain unter 0,2 mit einem anderen Seed neu singen lassen. Über 13 Takes mit 7 Seeds landete der Sustain zufällig zwischen 0,093 und 0,217, bei etwa fünf zusätzlichen Minuten pro Auftrag. Der neue Take bei verspätetem Einsatz bleibt, denn verspätete Einsätze hängen vom Seed ab (ungefähr 1 von 3 Takes).
• Die Einsatzerkennung liegt bei 64,9 % der Songs innerhalb von ±1 Takt, bei ungefähr einem Drittel liegt sie also weiter daneben.
• Die Tonarterkennung kann die Paralleltonart melden: Ein Beispiel-Beat kam als F zurück, obwohl seine Noten d-Moll angeben (das Tempo von 72 BPM stimmte exakt).
• Für sprechähnlichen Vortrag bei langen Songs gibt es noch keine Lösung im Live-Betrieb; eine vorhandene, gehalten gesungene Phrase als Klangfarben-Referenz zu nutzen, wurde noch nicht getestet.
• Die Originalmelodie eines bestehenden Songs lässt sich aus einem Karaoke-Track nicht zurückgewinnen.

Was das für deinen Song bedeutet

1. Lass zwischen den Abschnitten eine Leerzeile, oder beschrifte sie mit [Verse] und [Chorus]. Als ein Block eingefügter Text hat den um 16,1 Sekunden verspäteten Einsatz verursacht.
2. Schreib kein Summen in den Text, wenn du es nicht hören willst: Ein Abschnitt aus reinem Summen wurde zu 11 Sekunden Jaulen.
3. Prüf BPM und Tonart, die das Tool auf deiner Ergebnisseite anzeigt. Ein klar falscher BPM-Wert kann bedeuten, dass der Beat das Tempo wechselt oder mit einem Intro in freiem Tempo beginnt.
4. Wenn du die Melodie einer Aufnahme behalten willst, die du nutzen darfst, nimm „AI Cover“ statt „KI singt auf Beat“. AI Cover hört sich eine Aufnahme mit Gesang an, behält also die Melodie und ändert nur die Stimme. „KI singt auf Beat“ ist ein Songwriting-Tool: Es gibt deinen Worten eine neue Melodie.
5. Wenn du eine Ballade mit langen, gehaltenen Tönen brauchst und nur einen Abschnitt verwenden wirst, gib dem Tool nur den Text dieses Abschnitts: Takes von etwa 100 Sekunden halten die Töne deutlich länger als solche mit 244 Sekunden. Neue Songs beginnen auf der MuziAI-Startseite.