AI cover nummers met je eigen stem

Drie fasen: scheiden, klankkleur vervangen, opnieuw mixen

Een AI-cover op MuziAI doorloopt drie fasen achter elkaar. Fase één splitst het nummer in een beat en een zangpartij met de zangscheider, dezelfde die ook de vocal remover gebruikt. Fase twee stuurt alleen de zang door de stemconverter: toonhoogte, timing en frasering blijven gelijk, alleen de klankkleur wordt vervangen door die van jouw sample. Fase drie mixt de nieuwe zang terug op de originele beat en brengt de luidheid van het hele nummer in balans.

Waarom laten we de machine niet het hele nummer opnieuw zingen? Omdat luisteraars de beat als eerste herkennen. Toen we hetzelfde bestand door de vocal remover en door de cover-pipeline haalden, kwamen er twee identieke beats uit met dezelfde bandbreedte als het bronbestand, dus de muziek gaat er niet verder op achteruit. Ook de vertolking blijft van het origineel: waar het harder of zachter wordt en waar de stem tussen noten glijdt, volgt de oorspronkelijke zanger. In onze eerste evaluatie week de melodie van de nieuwe zang met een mediaan van 0,00 halve tonen af van het origineel, en lag 92,6% van de frames binnen één halve toon.

Na de stemwissel volgen nog een paar nabewerkingsstappen, en elke stap haalt alleen iets weg wat het origineel niet heeft:

• Een gate die de originele zang volgt: de stemconverter levert nooit echte stilte, de ruisvloer ligt rond −48 dB. Overal waar de oorspronkelijke zanger zwijgt, wordt ook de nieuwe zang gedempt, waardoor de vloer zakt naar −93,6 dB.
• Envelope-matching: de luidheid volgt de oorspronkelijke zanger, wat de kleine wegvallers tussen woorden vermindert.
• Fluittonen verwijderen in drie banden, 2-4, 4-8 en 8-16 kHz, wanneer een frame ver boven zijn eigen gebruikelijke niveau uitschiet.
• Stereogalm: de omgezette zang is mono, dus er wordt galm toegevoegd en afgesteld tot de breedte overeenkomt met de originele zang.
• Mastering op basis van het originele nummer: de klankbalans volgt het nummer dat je uploadde (afwijking teruggebracht van 0,47 dB naar 0,24 dB), op de standaardluidheid van −14 LUFS.

Wat een stemsample goed maakt

Je sample bepaalt twee aparte dingen: of de cover als jij klinkt, en of hij schoon klinkt. Elk hangt af van een andere factor.

Lengte: 24 seconden wint van 12 seconden

Het systeem gebruikt ongeveer 24 seconden zang nadat ademhalingen en pauzes zijn weggehaald. Eerst gebruikten we maar 12 seconden, in de veronderstelling dat een langere sample niet meer op je zou lijken. Toen we het maten, vijf runs per variant, klonk elk venster van 24 seconden meer als de zanger dan elk venster van 12 seconden, op elke positie in de opname. Een langere sample is robuuster omdat hij de goede passages uitmiddelt met de zwakkere. Neem dus 20 tot 40 seconden op: het systeem heeft wat speling nodig om uit te kiezen.

De positie telt net zo zwaar als de lengte

Dezelfde 12 seconden uit het begin of uit het midden van een opname geven heel verschillende resultaten: de spectrale ruis in de uitvoer daalde bijna met een factor drie toen het juiste stuk werd gebruikt. Het systeem knipt dus niet zomaar het begin eraf. Het stelt 24 seconden samen uit de minst ruwe stukjes van één seconde uit je sample, nadat stiltes zijn weggeknipt met een drempel die zich aanpast aan de achtergrondruis van de opname. Bij een telefoonopname van 37,2 seconden haalde deze drempel 5,6 seconden aan pauzes weg, waar een vaste drempel er niets uithaalde.

Een ruwe sample geeft een ruwe cover

De stemconverter kopieert de stemkwaliteit van de sample. Zelfde nummer, alleen de sample veranderd: een schone gezongen sample gaf een uitvoer met 0,92% ruwheid, een ruwe telefoonopname gaf 1,67%, dus 81% slechter. Een langere sample zorgt ervoor dat het meer als jij klinkt, maar haalt de korrelige textuur niet weg. Dat lukt alleen met een schonere sample.

Daarom meet het systeem de ruwheid van je sample helemaal aan het begin van de taak, na ongeveer 11 seconden, en toont het een waarschuwing vanaf 1,5%. Die drempel ligt tussen de schone zangstemmen die we hebben gemeten (0,94 tot 1,03%) en de eerste ruwe sample die we tegenkwamen (2,14%). De pagina waarschuwt ook als de sample minder dan 15 seconden zang bevat, of bijna geen duidelijke zang. Neem je opnieuw op: zing, praat niet, houd je stem stabiel tot het einde van elke zin, alleen, zonder begeleidingsmuziek, in een stille ruimte, met de telefoon op ongeveer een handbreedte van je mond.

Hoe lang het duurt

Dit zijn verwerkingstijden, zonder de wachtrij. De eerste run duurt langer omdat het systeem tijdens die run je stem leert; latere runs hergebruiken dat model. Je kunt het tabblad sluiten, de resultaatpagina werkt zichzelf stap voor stap bij.

De taal wijzigen en het geslacht van de AI-stem kiezen

Heb je een nummer dat in een andere taal is gezongen, dan schrijft het systeem de originele tekst uit, vertaalt die met hetzelfde aantal regels en lettergrepen, laat het zangmodel de nieuwe tekst op de oude melodie zingen en zet het resultaat op de originele beat. Voor een nummer van 189 seconden kostte dat 580 seconden. Er zijn acht doeltalen beschikbaar; Japans is nog niet beschikbaar omdat de gezongen tekst nog moeilijk te verstaan is.

Je kiest Zoals het origineel, Vrouwenstem of Mannenstem. De keuze voor het geslacht verandert alleen de klankkleur; het zangmodel zingt nog steeds op de toonhoogte van het originele nummer. Valt de uitvoer ver buiten het gekozen bereik (een mannenstem boven 320 Hz, een vrouwenstem onder 244 Hz), dan wordt de hele zangpartij precies één octaaf verschoven zodat ze in harmonie blijft met de beat. De prijs: een mannenstem die een octaaf omlaag is gezet, klinkt wat ruw. Voor de schoonste zang kies je hetzelfde geslacht als de oorspronkelijke zanger.

Beperkingen

• Vietnamees is zwakker dan Engels. Gemeten met dezelfde stemconverter was het aandeel frames dat zijn klank verliest 2,9% voor Vietnamees en 1,0% voor Engels. Dit is een beperking van het model, geen probleem met je bestand.
• Medeklinkers kunnen veranderen. In onze tests werd «Gà gáy vang trời» tot «cáo kẽ vang trời», en «hỏi» tot «khỏi». De melodie blijft staan, de medeklinkers niet altijd.
• Bronnen van lage kwaliteit. Bestanden die meerdere keren zijn gecomprimeerd, zijn vaak al rond 16 kHz afgekapt. De zang in de uitvoer is doorgaans 2 tot 3,6 keer ruiziger dan de gescheiden zang, dus een vuile bron trekt de cover mee omlaag. De resultaatpagina zegt het je duidelijk als de bron onder 17 kHz blijft.
• De resterende waas zit in de boventonen. Het is geen ruislaag erbovenop maar een deel van de boventonen die het model genereert, dus achteraf ontruisen lost het niet op. We hebben de uitvoer op drie verschillende manieren gefilterd, en geen enkele was beter.
• Bereik dat niet past. Een hoog vrouwennummer met een mannelijke sample: houd je de toonsoort aan, dan wordt je stem omhoog geduwd naar een vrouwelijk bereik en klinkt het meer als de oorspronkelijke zanger; zak je een octaaf, dan klinkt het meer als jij maar ook dreuniger. Dit is een fysieke grens, geen eigenaardigheid van een bepaald model.
• De frasering blijft die van de oorspronkelijke zanger. Glijtonen, frasering en ademhalingen blijven behouden; alleen de stemkleur verandert.

Privacy

Het nummer en de stemsample worden verwijderd zodra de taak klaar is. Het stemmodel dat van je sample heeft geleerd, wordt privé bewaard tot 24 uur na het laatste gebruik, alleen zodat de volgende cover met dezelfde sample sneller gaat, en verwijdert zich daarna zelf; het wordt nooit voor iemand anders gebruikt. De cover wordt 24 uur bewaard, alleen mensen met de link kunnen hem beluisteren, en de audiobestanden worden afgeschermd voor indexering door zoekmachines.

Wanneer je het niet moet gebruiken

• Je wilt een cover met de stem van een zanger of van iemand anders: deze tool accepteert alleen je eigen stem.
• Je wilt dat de cover klinkt alsof jij het nummer op je eigen manier zingt.
• Je hebt alleen een bestand van lage kwaliteit, of het nummer bevat veel harmonieën of een koor.
• Voor een release moet elke Vietnamese medeklinker correct worden uitgesproken.
• Je hebt alleen de beat nodig voor karaoke: de vocal remover is veel sneller.
• Je wilt een gloednieuw nummer: maak er een met AI en kom daarna hier terug.

Veelgestelde vragen

Kan ik de sample met mijn telefoon opnemen?

Ja. Wat je moet vermijden is de korrelige textuur: praten in plaats van zingen, je stem laten wegzakken aan het einde van zinnen, een lawaaierige ruimte. Zegt de pagina dat je sample 1,5% ruw of meer is, dan levert één nieuwe opname meestal meer op dan elke andere aanpassing.

Waarom is de eerste run trager dan de volgende?

Bij de eerste run leert het systeem je stem uit de sample, dus een nummer van 4 minuten duurt ongeveer 10 minuten. Dat model wordt bewaard tot 24 uur na het laatste gebruik, dus een volgende cover met dezelfde sample duurt maar ongeveer 6 minuten.

Welk bestand gebruik ik, en wat zijn de grenzen?

Gebruik alleen opnames die van jou zijn of waarvoor je de rechten hebt; MuziAI downloadt geen muziek van YouTube of een ander platform en helpt niet bij het kopiëren van auteursrechtelijk beschermde nummers. Over kwaliteit: een bestand dat meerdere keren is gecomprimeerd, is vaak rond 16 kHz afgekapt en klinkt dof, want beat en zang kunnen niet schoner zijn dan de bron. Een originele MP3 van 320 kbps, M4A, WAV of FLAC geeft een duidelijk beter resultaat.

Waarom klinken sommige regels dreunend of breken ze op lage noten?

Meestal zakt de regel onder het bereik van je sample. Het systeem vindt zulke regels automatisch, zet ze een octaaf hoger opnieuw om en voegt ze terug in op het dichtstbijzijnde stemloze punt. Klinkt het hele nummer nog steeds dreunend, maak de cover dan opnieuw met Originele toonhoogte behouden.

Gerelateerd onderzoek

• Waarom AI-covers rasperig klinken, en hoe we dat maten
• Door AI gezongen Vietnamees: hoeveel woorden overleven?