Singt die KI wirklich über deine Akkorde? Wir haben gemessen

Songwriter fragen uns immer wieder: Wenn ich schon eine Akkordfolge und eine Notation habe, singt die KI dann wirklich darüber, oder nimmt sie das nur als groben Hinweis und driftet in einen anderen Song ab? Wir haben gemessen, statt zu raten. Kurz gesagt: Ja, das Modell folgt den Akkorden und dem Aufbau der Notation, die du ihm gibst. Mit englischem Text liegt die Akkordübereinstimmung mit dem Original bei 0,922, mit vietnamesischem Text bei 0,809, ganz ohne Notation bei 0,546. Gemessen haben wir die Harmonie, nicht die gesungene Melodie, und dieser Artikel benennt diese Lücke ausdrücklich.

So haben wir gemessen: 12 Tonklassen, Fenster von 2 Sekunden

Wenn du auf MuziAI einen Song erstellst, arbeitet das System normalerweise in zwei Stufen: Ein Modell schreibt Noten in ABC-Notation (Melodie, Akkorde, Taktart), dann setzt das Gesangsmodell sie in Audio um. Bei einem Song von 4:14 braucht die Schreibstufe etwa 40 Sekunden Rechenzeit, der Gesang 179 Sekunden. Lieferst du deine eigene Notation, entfällt die Schreibstufe. Um eine bekannte Antwort zu haben, haben wir die Notation eines bestehenden Songs genommen, sie mit neuem Text neu singen lassen und das Ergebnis mit dem Originalsong verglichen, aus dem diese Notation stammt.

Die Messung läuft auf einer CPU und nutzt ein Chroma-Profil mit 12 Tönen: Der Song wird in Fenster von 2 Sekunden zerlegt, und in jedem Fenster wird die gesamte Energie auf die 12 Tonklassen einer Oktave gefaltet (C, Cis, D bis H), egal in welcher Oktave die Töne erklingen. So wird aus jeweils 2 Sekunden ein harmonischer Fingerabdruck. Wir vergleichen die Fingerabdrücke beider Songs an denselben Zeitpunkten und mitteln über den ganzen Track. Ein Wert von 1 bedeutet identisch.

Eine Zahl wie 0,8 sagt nichts, solange man nicht weiß, wo „ohne Bezug“ liegt. Deshalb haben wir eine Untergrenze gemessen: Wir nehmen das Original, verschieben es um 8 Sekunden und vergleichen es mit der unverschobenen Fassung. Gleiche Akkorde, gleiche Instrumente, gleiche Stimme, nur zeitlich versetzt, und der Wert fällt auf 0,656.

Die Ergebnisse: vier Zahlen

Mit englischem Text liegen 86 % der Fenster über 0,8, und der Song ist bei über drei Minuten Länge nur 0,7 Sekunden kürzer als das Original: Das Modell hat dieselben Abschnitte in denselben Längen beibehalten. Ohne Notation schreibt es einen völlig anderen Song: 0,546, unter der Untergrenze von 0,656, und 161 statt 189 Sekunden lang. Vietnamesischer Text landet dazwischen: 0,809 liegt klar über der Untergrenze, aber nur 52 % der Fenster schaffen 0,8.

Warum es selbst mit Notation noch abweicht

Selbst der beste Durchlauf hat 14 % seiner Fenster unter 0,8. Die ersten beiden Gründe sind durch Messungen belegt, die letzten beiden sind Hypothesen.

• Timingfehler werden hart bestraft. Die Messung vergleicht Fenster in exakt derselben Sekunde, und die Untergrenze von 0,656 zeigt, dass schon ein identischer, um 8 Sekunden verschobener Song viel verliert. Ein Abschnitt, der ein paar Schläge zu lang oder zu kurz gesungen wird, zieht jedes folgende Fenster nach unten.
• Jede Generierung ist ein Zufallszug. Der vietnamesische Durchlauf nutzte einen anderen Seed als der englische, also spiegelt 0,809 zwei Änderungen gleichzeitig wider. Wie viel davon auf die Sprache und wie viel auf den Seed entfällt, haben wir nicht getrennt.
• Die Messung hört den ganzen Mix. Chroma erfasst Gesang und Instrumente zusammen, daher färbt eine auf anderen Tönen gesungene Zeile die 12 Tonklassen anders, selbst über demselben Akkord (Hypothese).
• Neuer Text hat andere Zeilenlängen. Die Stimme muss Zeilen im Takt dehnen oder stauchen, und im Vietnamesischen trägt jede Silbe zusätzlich einen Ton (Hypothese, nicht gesondert gemessen).

Grenzen und was wir noch nicht wissen

• Die Gesangsmelodie haben wir nicht gemessen. Dafür müsste man die Stimme abtrennen und ihre Tonhöhe verfolgen, was eine GPU braucht. Deshalb verspricht die Erstellungsseite nur, „Akkorde, Tonart und Tempo“ beizubehalten, nicht jeden Ton der Gesangsstimme.
• Die Stichprobe ist klein. Alle vier Zahlen stammen aus einer einzigen Notation, mit einer Generierung pro Fall. Sie zeigen die Richtung, können dir aber nicht sagen, dass Vietnamesisch immer 0,113 unter Englisch landet.
• Der Modus „Nur Melodie“ wurde mit dieser Messung nicht bewertet. Der einzige untere Bezugswert ist 0,546, für gar keine Notation.
• Ein hoher Wert ist noch kein guter Song. Die Messung sagt nichts über Arrangement, Gesangsqualität oder darüber, wie deutlich die Worte rüberkommen.

Ausprobiert und abgeschaltet: ein Akkordfeld wie „Am F C G“

Viele haben eine Akkordfolge, aber keine Melodie. Wir haben ein Feld gebaut, in das man Akkorde tippt und das daraus eine Notation mit nur Akkorden und einer Gesangsstimme aus Pausen macht. Ergebnis: Die Akkorde stimmten (0,858), aber der Song dauerte 86 statt 189 Sekunden, und das Modell sang nicht den ganzen Text. Das Feld ist abgeschaltet. Eine andere Messung erklärt, warum: Beim Bau des Instrumental-Modus ergab eine Notation nur mit Abschnittsbezeichnungen ungefähr einen einminütigen Track, egal ob sie 4 oder 8 Bezeichnungen hatte, während Platzhalterzeilen das Modell eine echte Melodie schreiben ließen und der Track mit der Zahl der Zeilen wuchs. Also gilt: Die Songlänge hängt an den Melodiezeilen, nicht an den Akkorden. Damit ein Akkordfeld funktioniert, müsste das Modell innerhalb der vorgegebenen Akkordfolge eine Melodie komponieren, und das ist noch nicht gebaut.

Melodie plus Akkorde oder nur Melodie?

Auf der Karte „Vorhandene Noten“ wählst du, was erhalten bleiben soll. Melodie und Akkorde reicht deine Notation unverändert durch, das ist der Fall hinter 0,922 und 0,809. Nur Melodie lässt den Dienst vor dem Singen jedes Akkordsymbol entfernen, weil das Gesangsmodell sie nicht von selbst ignoriert. In einem echten End-to-End-Test auf der Live-Seite hatte die eingereichte Notation 68 Akkordsymbole, die vom Modell verwendete 0, und der Song kam auf 210 Sekunden.

• Wähle Melodie und Akkorde, wenn dir die Akkordfolge wichtig ist: Die Begleitung steht schon, oder du schreibst neuen Text zu einem bestehenden Song.
• Wähle Nur Melodie, wenn du der Melodie mehr traust als den Akkorden: eine Transkription von Hand mit ungeprüfter Harmonie, unüblich notierte Akkorde oder eine Melodie, die du in einem neuen Stil neu begleiten lassen willst.
• Hat die Übereinstimmung mit den Originalakkorden Vorrang, lass „Nur Melodie“ weg: Dafür haben wir noch keine Akkordmessung.

So nutzt du das beim Erstellen eines Songs

1. Besorge dir eine Notation. Jede Seite eines Beispielsongs hat im Block „Akkorde und Notation“ einen Button „Neuen Text zu diesen Noten singen“. Oder öffne im Song-Generator die Karte „Vorhandene Noten“ und wähle eine von 58 Beispielnotationen (jede mit Abspielbutton) oder füge dein eigenes ABC ein.
2. Lies vor dem Erstellen die Übersichtskarte: Tonart, BPM, Taktart und Akkordfolge, zum Beispiel „F-Dur · 100 BPM · 4/4 · F C/E Dm7 Bb…“. Genau dem folgt das Modell, also korrigiere dort alles, was falsch ist.
3. Mit vietnamesischem Text erstellst du am besten zwei oder drei Versionen und vergleichst jeweils den Anfang jedes Abschnitts mit dem Original: Vietnamesisch folgte den Akkorden weniger genau als Englisch (0,809 gegenüber 0,922), und jede Generierung ist ein neuer Zufallszug.
4. Erwarte nicht, dass die Gesangsstimme die Originalmelodie Ton für Ton kopiert. Diesen Teil haben wir nicht gemessen, deshalb versprechen wir ihn nicht.
5. Hast du nur Akkorde? Das Akkordfeld ist abgeschaltet; am nächsten kommst du, wenn du einen Beispielsong mit ähnlicher Akkordfolge wählst und neuen Text darüber schreibst.