Le « Chief AI Scientist » de Meta, Yann LeCun, a annoncé hier que Meta lançait une nouvel outil d’IA générative dédiée à la création de musique et de d’audio.

Une nouveauté dans la Gen-AI

Jusqu’à présent, ce sont les secteurs de l’image et du texte qui ont été le plus touchés par les modèles génératifs.

Avec la stable diffusion pour les images, fortement popularisée par Midjourney, et les Large Language Models (LLM) pour le texte, dont la figure de proue est ChatGPT que l’on ne présente plus, les IA génératives se sont imposées comme des outils incontournables.

Or, bien que certains outils en ligne proposaient déjà de faire de la génération de musiques, comme Soundraw, ce sentier était bien moins exploré.

Générer de l’audio à partir de texte

Dans son article annonçant la sortie d’AudioCraft, la revendication de Meta est d’avoir créé un modèle permettant de générer des musiques de haute qualité à partir de texte.

À l’image des modèles génératifs déjà existants, l’idée est de saisir une description de l’audio que l’on veut créer et AudioCraft s’occupera de le générer pour nous.

La musique est composée de motifs à courte et à longue portées, allant d’une suite de notes à une structure musicale globale avec de multiples instruments.

Toutefois, Meta IA annonce déjà la couleur en expliquant que la génération d’audio est plus complexe que celle de texte ou d’images car « la musique est composée de motifs à courte et à longue portées, allant d’une suite de notes à une structure musicale globale avec de multiples instruments ».

Un code open-source

À l’image de Llama, le code d’AudioCraft est accessible en open-source.

Meta AI poursuit donc sa politique de partage de connaissances, dont le but est d’accélérer la démocratisation de l’IA et son développement.

Des détails techniques sont aussi accessibles sur le blog IA de Meta.

Bonne lecture pour les plus curieux !