AI-Cover mit deiner eigenen Stimme erstellen

Drei Stufen: trennen, Klangfarbe tauschen, neu mischen

Ein AI Cover auf MuziAI durchläuft drei Stufen nacheinander. Stufe eins zerlegt den Song mit dem Gesangstrenner in Beat und Gesang, demselben, den auch der Stem Splitter nutzt. Stufe zwei schickt nur den Gesang durch den Stimmwandler: Tonhöhe, Timing und Phrasierung bleiben gleich, ersetzt wird allein die Klangfarbe, und zwar durch die aus deiner Stimmprobe. Stufe drei mischt den neuen Gesang zurück auf den Original-Beat und gleicht die Lautheit des ganzen Tracks aus.

Warum lässt man die Maschine nicht den ganzen Song neu singen? Weil Hörer zuerst den Beat wiedererkennen. Als wir dieselbe Datei durch den Stem Splitter und durch die Cover-Pipeline geschickt haben, kamen zwei identische Beats heraus, deren Bandbreite der Quelldatei entsprach; die Musik verliert also nichts zusätzlich. Auch die Interpretation bleibt die des Originals: Wann es lauter oder leiser wird und wo zwischen Tönen geglitten wird, richtet sich nach dem Originalsänger. In unserer ersten Auswertung wich die Melodie des neuen Gesangs im Median um 0,00 Halbtöne vom Original ab, 92,6 % der Frames lagen innerhalb eines Halbtons.

Nach dem Stimmwechsel folgen noch einige Nachbearbeitungsschritte, und jeder entfernt nur etwas, das im Original nicht vorkommt:

• Ein Gate, gesteuert vom Originalgesang: Der Stimmwandler liefert nie echte Stille, sein Grundrauschen liegt bei etwa −48 dB. Wo der ursprüngliche Sänger schweigt, wird auch der neue Gesang stummgeschaltet, das senkt den Rauschboden auf −93,6 dB.
• Hüllkurvenangleichung: Die Lautheit folgt dem ursprünglichen Sänger, das verringert die kleinen Aussetzer zwischen den Wörtern.
• Pfeiftöne entfernen in drei Bändern, 2-4, 4-8 und 8-16 kHz, sobald ein Frame weit über sein eigenes übliches Niveau springt.
• Stereo-Hall: Der umgewandelte Gesang ist mono, deshalb wird Hall hinzugefügt und so lange angepasst, bis die Stereobreite der des Originalgesangs entspricht.
• Mastering am Originalsong: Die Klangbalance richtet sich nach dem Track, den du hochgeladen hast (Abweichung von 0,47 dB auf 0,24 dB gesenkt), bei standardmäßigen −14 LUFS.

Was eine gute Stimmprobe ausmacht

Deine Stimmprobe entscheidet über zwei verschiedene Dinge: ob das Cover nach dir klingt und ob es sauber klingt. Beides hängt von einem anderen Faktor ab.

Länge: 24 Sekunden schlagen 12 Sekunden

Das System verwendet etwa 24 Sekunden Gesang, nachdem Atemgeräusche und Pausen entfernt wurden. Ursprünglich haben wir nur 12 Sekunden genommen, weil wir annahmen, eine längere Probe klinge nicht ähnlicher. Als wir es gemessen haben, fünf Durchläufe pro Variante, klang jedes 24-Sekunden-Fenster dem Sänger ähnlicher als jedes 12-Sekunden-Fenster, und zwar an jeder Stelle der Aufnahme. Eine längere Probe ist robuster, weil sie gute Passagen mit schwächeren mittelt. Nimm also 20 bis 40 Sekunden auf: Das System braucht etwas Reserve zum Auswählen.

Die Position zählt so viel wie die Länge

Dieselben 12 Sekunden, einmal vom Anfang und einmal aus der Mitte einer Aufnahme genommen, liefern sehr unterschiedliche Ergebnisse: Das spektrale Rauschen im Ergebnis sank fast auf ein Drittel, wenn der richtige Abschnitt verwendet wurde. Das System schneidet deshalb nicht einfach den Anfang heraus. Es setzt die 24 Sekunden aus den am wenigsten rauen Ein-Sekunden-Stücken deiner Probe zusammen, nachdem die Stille mit einer Schwelle entfernt wurde, die sich am Hintergrundrauschen der Aufnahme orientiert. Bei einer 37,2 Sekunden langen Handyaufnahme entfernte diese Schwelle 5,6 Sekunden Pausen, eine feste Schwelle dagegen gar nichts.

Eine raue Probe ergibt ein raues Cover

Der Stimmwandler übernimmt die Stimmqualität der Probe. Gleicher Song, nur die Probe wurde getauscht: Eine saubere gesungene Probe ergab 0,92 % Rauheit im Ergebnis, eine raue Handyaufnahme 1,67 %, also 81 % schlechter. Eine längere Probe sorgt dafür, dass es nach dir klingt, gegen die kratzige Textur hilft sie nicht. Das schafft nur eine sauberere Probe.

Deshalb misst das System die Rauheit deiner Probe gleich zu Beginn des Auftrags, nach etwa 11 Sekunden, und zeigt ab 1,5 % eine Warnung. Diese Schwelle liegt zwischen den sauberen Singstimmen, die wir gemessen haben (0,94 bis 1,03 %), und der ersten rauen Probe, auf die wir gestoßen sind (2,14 %). Die Seite warnt auch, wenn die Probe weniger als 15 Sekunden Gesang enthält oder kaum deutlichen Gesang. Wenn du neu aufnimmst: sing, statt zu sprechen, halte die Stimme bis zum Ende jeder Phrase stabil, allein, ohne Begleitmusik, in einem ruhigen Raum, das Handy etwa eine Handbreit vom Mund entfernt.

Wie lange es dauert

Das sind Bearbeitungszeiten ohne Wartezeit in der Warteschlange. Der erste Durchlauf dauert länger, weil das System dabei deine Stimme lernt; spätere Durchläufe verwenden dieses Modell wieder. Du kannst den Tab schließen, die Ergebnisseite aktualisiert sich Schritt für Schritt von selbst.

Sprache wechseln und Geschlecht der KI-Stimme wählen

Hast du einen Song in einer anderen Sprache, transkribiert das System den Originaltext, übersetzt ihn mit gleicher Zeilen- und Silbenzahl, lässt das Gesangsmodell den neuen Text auf die alte Melodie singen und legt das Ergebnis auf den Original-Beat. Ein 189 Sekunden langer Song brauchte 580 Sekunden. Acht Zielsprachen stehen zur Verfügung; Japanisch ist noch nicht freigeschaltet, weil der gesungene Text noch schwer verständlich ist.

Du wählst Wie im Original, Weiblich oder Männlich. Die Wahl des Geschlechts ändert nur die Klangfarbe; das Gesangsmodell singt weiterhin in der Tonhöhe des Originalsongs. Landet das Ergebnis weit außerhalb des gewählten Bereichs (eine Männerstimme über 320 Hz, eine Frauenstimme unter 244 Hz), wird der gesamte Gesang um genau eine Oktave verschoben, damit er mit dem Beat harmoniert. Der Preis: Eine um eine Oktave nach unten verschobene Männerstimme klingt etwas rau. Den saubersten Gesang bekommst du, wenn du dasselbe Geschlecht wie der Originalsänger wählst.

Grenzen

• Vietnamesisch funktioniert schlechter als Englisch. Gemessen mit demselben Stimmwandler lag der Anteil der Frames, die ihren Klang verlieren, bei 2,9 % für Vietnamesisch und 1,0 % für Englisch. Das ist eine Grenze des Modells, kein Problem deiner Datei.
• Konsonanten können sich ändern. In unseren Tests wurde aus «Gà gáy vang trời» «cáo kẽ vang trời» und aus «hỏi» wurde «khỏi». Die Melodie bleibt erhalten, die Konsonanten nicht immer.
• Quellen in schlechter Qualität. Dateien, die mehrfach komprimiert wurden, sind oft schon bei etwa 16 kHz abgeschnitten. Der ausgegebene Gesang ist typischerweise 2- bis 3,6-mal verrauschter als der getrennte Gesang, eine schmutzige Quelle zieht das Cover also mit nach unten. Die Ergebnisseite sagt dir klar, wenn die Quelle unter 17 kHz liegt.
• Der verbleibende Schleier steckt in den Obertönen. Er ist keine Rauschschicht obendrauf, sondern Teil der Obertöne, die das Modell erzeugt; nachträgliches Entrauschen kann ihn daher nicht beheben. Wir haben das Ergebnis auf drei verschiedene Arten gefiltert, keine war besser.
• Unpassender Stimmumfang. Ein hoher Frauensong mit einer männlichen Probe: Behältst du die Tonart, wird deine Stimme in eine Frauenlage gedrückt und klingt eher nach der Originalsängerin; eine Oktave tiefer klingt mehr nach dir, aber dumpfer. Das ist eine physikalische Grenze, nicht die eines bestimmten Modells.
• Die Phrasierung bleibt die des Originalsängers. Glissandi, Phrasierung und Atemzüge bleiben erhalten; nur die Stimmfarbe ändert sich.

Datenschutz

Song und Stimmprobe werden sofort nach Abschluss des Auftrags gelöscht. Das aus deiner Probe gelernte Stimmmodell wird privat bis 24 Stunden nach der letzten Nutzung aufbewahrt, nur damit das nächste Cover mit derselben Probe schneller läuft, danach löscht es sich selbst; für andere Personen wird es nie verwendet. Das Cover wird 24 Stunden aufbewahrt, nur wer den Link hat, kann es hören, und die Audiodateien sind für Suchmaschinen gesperrt.

Wann du es nicht nutzen solltest

• Du willst ein Cover mit der Stimme eines Sängers oder einer anderen Person: Dieses Tool akzeptiert nur deine eigene Stimme.
• Du willst, dass das Cover so klingt, als würdest du den Song auf deine eigene Art singen.
• Du hast nur eine Datei in schlechter Qualität, oder der Song hat dichte Harmonien oder einen Chor.
• Für eine Veröffentlichung muss jeder vietnamesische Konsonant korrekt ausgesprochen werden.
• Du brauchst nur den Beat für Karaoke: Der Stem Splitter ist viel schneller.
• Du willst einen ganz neuen Song: Erstelle einen mit KI und komm dann hierher zurück.

Häufige Fragen

Kann ich die Probe mit dem Handy aufnehmen?

Ja. Vermeiden solltest du die kratzige Textur: Sprechen statt Singen, Absinken der Stimme am Phrasenende, ein lauter Raum. Zeigt die Seite an, dass deine Probe eine Rauheit von 1,5 % oder mehr hat, bringt eine neue Aufnahme meist mehr als jede andere Einstellung.

Warum ist der erste Durchlauf langsamer als die folgenden?

Beim ersten Durchlauf lernt das System deine Stimme aus der Probe, deshalb dauert ein 4-minütiger Song etwa 10 Minuten. Dieses Modell bleibt bis 24 Stunden nach der letzten Nutzung gespeichert, ein weiteres Cover mit derselben Probe dauert also nur etwa 6 Minuten.

Welche Datei sollte ich nehmen, und wo liegen die Grenzen?

Verwende nur Aufnahmen, die dir gehören oder für die du die Nutzungsrechte hast; MuziAI lädt keine Musik von YouTube oder anderen Plattformen herunter und hilft nicht beim Kopieren urheberrechtlich geschützter Songs. Zur Qualität: Eine mehrfach komprimierte Datei ist oft bei etwa 16 kHz abgeschnitten und klingt dumpf, denn Beat und Gesang können nicht sauberer sein als die Quelle. Eine Original-MP3 mit 320 kbps, M4A, WAV oder FLAC liefert ein deutlich besseres Ergebnis.

Warum klingen manche Zeilen dumpf oder brechen bei tiefen Tönen weg?

Meist rutscht die Zeile unter den Stimmumfang deiner Probe. Das System findet solche Zeilen automatisch, wandelt sie eine Oktave höher noch einmal um und fügt sie an der nächsten stimmlosen Stelle wieder ein. Klingt der ganze Song trotzdem dumpf, starte ihn erneut mit Originaltonhöhe beibehalten.

Verwandte Forschung

• Warum KI-Cover rau klingen, und wie wir es gemessen haben
• Vietnamesisch von KI gesungen: Wie viele Wörter bleiben?