SPLEETER by DEEZER

Le moteur de séparation des sources réalisé par Deezer

En un mot
Nous publions Spleeter pour aider la communauté des chercheurs en Music Information Retrieval (MIR) à tirer parti de la puissance d’un algorithme de séparation de sources à la pointe de la technologie. Il se présente sous la forme d’une bibliothèque Python basée sur Tensorflow, avec des modèles pré-entraînés pour la séparation de 2, 4 et 5 pistes. Spleeter sera présenté et présenté en direct lors de la conférence ISMIR 2019 à Delft.

Un bref aperçu de la séparation des sources
Bien que le sujet ne soit pas largement connu, le problème de la séparation des sources intéresse une vaste communauté de chercheurs en signaux musicaux depuis deux décennies maintenant. Cela commence par une simple observation: les enregistrements musicaux sont généralement un mélange de plusieurs pistes d’instruments (voix principale, batterie, basse, piano, etc.). La tâche de séparation des sources de musique est la suivante: à partir d’un mixage, pouvons-nous récupérer ces pistes séparées (parfois appelées stems)? Cela a de nombreuses applications potentielles: pensez remixes, upmixing, écoute active, objectifs éducatifs, mais aussi pré-traitement pour d’autres tâches telles que la transcription.

À partir d’un mélange de nombreux instruments, un moteur de séparation de sources comme Spleeter génère un ensemble de pistes ou de stems individuelles.

Fait intéressant, notre cerveau sait très bien isoler les instruments. Concentrez-vous simplement sur l’un des instruments de cette piste (par exemple, le chant principal) et vous pourrez l’entendre assez distinctement des autres. Pourtant, ce n’est pas vraiment une séparation, vous entendez toujours toutes les autres parties. Dans de nombreux cas, il peut ne pas être possible de récupérer exactement les pistes individuelles qui ont été mélangées. Le défi consiste donc à les rapprocher du mieux possible, c’est-à-dire aussi près que possible des originaux sans créer trop de distorsions.

Pendant des années, de nombreuses stratégies de recherche ont été explorées par des dizaines de brillantes équipes de recherche du monde entier. Si vous êtes intéressé par ce voyage fascinant, vous devriez aller lire cet aperçu de la littérature, ou celui-ci. Le rythme des progrès a récemment fait des pas de géant, principalement grâce aux progrès des méthodes d’apprentissage automatique. Pour garder une trace, les gens ont comparé leur algorithme dans les campagnes d’évaluation internationales. C’est ainsi que nous savons que les performances de Spleeter correspondent à celles des meilleurs algorithmes proposés.

De plus, Spleeter est très rapide. Si vous utilisez la version GPU, vous pouvez vous attendre à une séparation 100 fois plus rapide qu’en temps réel, ce qui en fait une bonne option pour traiter des ensembles de données volumineux.

Que puis-je faire avec Spleeter?
Je dirais pas mal de choses. Si vous êtes un chercheur travaillant sur la recherche d’informations musicales et que vous avez toujours pensé que des artefacts de séparation de sources le rendaient inadéquat comme étape de pré-traitement de votre pipeline … Eh bien, vous devriez probablement reconsidérer et essayer Spleeter. Si vous êtes un hacker de la musique et que vous voulez construire quelque chose de génial avec Spleeter, alors n’hésitez plus. En fait, Spleeter est sous licence MIT, vous êtes donc vraiment libre de l’utiliser comme vous le souhaitez. Il va sans dire que si vous envisagez d’utiliser Spleeter sur des chansons protégées par le droit d’auteur, assurez-vous d’obtenir au préalable l’autorisation appropriée de leurs détenteurs.

Comment puis-je utiliser Spleeter?
Sous le capot, Spleeter est un moteur assez complexe et conçu, mais nous avons travaillé dur pour le rendre vraiment facile à utiliser. La séparation réelle peut être obtenue avec une seule ligne de commande, et cela devrait fonctionner sur votre ordinateur portable quel que soit votre système d’exploitation. Pour les utilisateurs plus avancés, il existe une classe d’API python appelée Separator que vous pouvez manipuler directement dans votre pipeline habituel.
Nous nous sommes efforcés de produire une documentation complète. N’hésitez pas à nous faire part de vos commentaires, à signaler des problèmes ou à suggérer des améliorations grâce aux outils traditionnels de github!

Pourquoi libérer Spleeter?
Réponse courte: nous l’utilisons pour nos recherches et pensons que d’autres pourraient en vouloir aussi.

Nous travaillons depuis longtemps sur la séparation des sources (et nous avions déjà une publication à ICASSP 2019). Nous avons comparé Spleeter à Open-Unmix, un autre modèle à code source ouvert publié récemment par une équipe de chercheurs de Inria-, et avons enregistré des performances légèrement meilleures à une vitesse accrue (notez que les données de formation ne sont pas identiques).

L’une des principales difficultés rencontrées par les chercheurs de MIR est le manque d’ensembles de données accessibles au public en raison de problèmes de droits d’auteur. Chez Deezer, nous avons accès à un catalogue assez volumineux que nous avons exploité pour créer Spleeter. Puisque nous ne pouvons pas partager ces données, en faire un outil accessible est un moyen pour nous de rendre notre recherche reproductible par tous. D’un point de vue plus éthique, nous estimons qu’il ne devrait pas y avoir de concurrence déloyale entre les chercheurs sur la base de leur accès au matériel protégé par le droit d’auteur ou de son absence.

Dernier point mais non le moindre, la formation de ce type de modèles nécessite beaucoup de temps et d’énergie. En le faisant une fois et en partageant le résultat, nous espérons sauver aux autres des problèmes et des ressources.

Un dernier mot
Depuis que nous avons publié Spleeter, nous avons reçu de nombreux retours, dont la plupart très positifs, et nous sommes ravis de voir toute cette attention portée à notre travail. Cependant, certaines de ces réactions peuvent être un peu trop enthousiastes, alors rappelons simplement quelques points. Spleeter est un outil soigné, mais en aucun cas nous ne prétendons avoir une séparation de source «résolue». Des centaines de chercheurs et d’ingénieurs travaillant depuis des décennies ont réalisé les avancées et construit les outils sur lesquels Spleeter est basé. C’est notre contribution à un écosystème vivant, croissant et ouvert, et nous espérons que les autres pourront également en tirer parti.

Enfin, il convient de souligner que le mixage de musique est un art et que la maîtrise des ingénieurs du son sont des artistes à part entière. De toute évidence, nous n’avons pas l’intention de nuire à leur travail de quelque manière que ce soit ni d’affecter le crédit de qui que ce soit. Lorsque vous utilisez Spleeter, veuillez le faire de manière responsable.


Cela étant dit, heureux piratage tout le monde!

Pour récupérer Spleeter, rendez-vous sur github.com/deezer/spleeter, la présentation du projet est en ligne sur deezer.io. Vous pouvez écouter des tests réalisés par Andy Baio sur cette page.

NOTE : Source de l’Article : https://deezer.io/releasing-spleeter-deezer-r-d-source-separation-engine-2b88985e797e

Add a Comment

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Show Buttons
Hide Buttons