Google heeft MusicLM-tool gemaakt die muziek kan maken op basis van tekstprompt – IT Pro – Nieuws

Google heeft een machinelearningtool uitgebracht die zelf muziekstukken kan genereren op basis van een ingegeven tekst. MusicLM is nog niet te gebruiken door iedereen, maar Google heeft wel een onderzoekspaper en samples online gezet.

Google schrijft in een paper dat het MusicML heeft gemaakt, een hiërarchisch sequence-to-sequencemachinalearningmodel. De tool kan op basis van een tekstprompt muziekstukken maken met een helderheid van 24KHz die enkele minuten duren. Naast tekst kan de prompt ook muziek maken op basis van fluiten of neuriën, of naar aanleiding van een foto of een schilderij. Google geeft een voorbeeld van een schilderij van Salvador Dali, waar MusicLM een eigen nummer van componeert.

De tool zelf is nog niet te gebruiken voor iedereen. Wel heeft Google op een aparte website samples online gezet met de bijbehorende prompts. Dat zijn beschrijvingen als ‘slow tempo, bass-and-drums-led reggae song. Sustained electric guitar. High-pitched bongos with ringing tones. Vocals are relaxed with a laid-back feel, very expressive’. MusicLM kan ook nummers van meerdere minuten maken in een zogenaamde verhalende modus waarbij de prompt doorgeeft wat er op verschillende momenten in het nummer gebeurt.

Google heeft de tool getraind op een dataset van 280.000 uur aan muziek. Google heeft naast de tool ook een dataset genaamd MusicCaps openbaar gemaakt voor onderzoekers. Die dataset bestaat uit 5500 muziekbeschrijvingen inclusief hun originele muziek. In het paper schrijft Google niets over auteursrechtelijk beschermd materiaal en hoe de tool daarmee omgaat.