DSP Background - Deep Learning for Audio Classification p.1

Summary

Cette série de tutoriels vidéo présente les bases de l'apprentissage automatique pour la classification audio en Python. Le but est de classer des instruments de musique à partir de données audio en utilisant des modèles d'apprentissage profond. Ce premier épisode se concentre sur la théorie des techniques de traitement du signal numérique, notamment la transformation de Fourier rapide (FFT), la création de spectrogrammes et l'utilisation de la transformée de Fourier courte (STFT). L'objectif est de prétraiter efficacement les données audio, en extrayant des caractéristiques pertinentes comme les coefficients cepstraux en fréquence Mel (MFCC), pour améliorer la classification des instruments.

Takeaways

• 😀 Ce tutoriel vidéo est destiné à ceux qui souhaitent commencer à travailler avec l'apprentissage automatique sur des données audio, en se concentrant sur la classification d'instruments de musique.
• 😀 Le traitement du signal numérique (DSP) est essentiel pour le prétraitement des données audio, facilitant ainsi la classification des instruments.
• 😀 Les données audio sont souvent enregistrées avec une profondeur de bits de 16, permettant de capturer des valeurs allant jusqu'à 2^16.
• 😀 Le signal audio dans le domaine temporel est difficile à analyser, c'est pourquoi on utilise la transformation de Fourier, plus précisément la transformée de Fourier rapide (FFT), pour obtenir un spectre de fréquences.
• 😀 Le signal audio peut contenir des fréquences qui ne peuvent être représentées correctement à cause de la limite de fréquence de Nyquist (la moitié de la fréquence d'échantillonnage).
• 😀 Une étape de prétraitement commune consiste à sous-échantillonner les données audio pour réduire la fréquence d'échantillonnage à 16 kHz, ce qui permet de supprimer les informations non pertinentes.
• 😀 Le spectrogramme est un outil utile pour observer les changements du signal audio dans le temps, en représentant les fréquences et magnitudes à travers des images.
• 😀 La transformation de Fourier à court terme (STFT) divise l'audio en fenêtres temporelles plus petites pour mieux capturer les changements rapides du signal.
• 😀 L'échelle de Mel ajuste les fréquences audio pour mieux correspondre à la perception humaine, en mettant l'accent sur les fréquences basses et réduisant l'importance des fréquences élevées.
• 😀 Le calcul des coefficients cepstraux en fréquence Mel (MFCC) consiste à appliquer un filtre Mel à l'audio, suivi d'une transformation cosinus discrète pour extraire des caractéristiques pertinentes et réduites du signal audio.

Q & A

Qu'est-ce qu'un réseau neuronal convolutionnel et un réseau neuronal récurrent ?

Les réseaux neuronaux convolutionnels (CNN) et les réseaux neuronaux récurrents (RNN) sont deux types de réseaux utilisés dans l'apprentissage automatique. Les CNN sont principalement utilisés pour traiter des données sous forme d'images ou de séquences, tandis que les RNN sont conçus pour traiter des données séquentielles, comme l'audio ou le texte.

Pourquoi la transformation de Fourier est-elle importante dans le traitement de l'audio ?

La transformation de Fourier permet de transformer un signal audio du domaine temporel au domaine fréquentiel, ce qui rend plus facile l'analyse de l'audio. Cela permet de visualiser les différentes fréquences présentes dans un signal, ce qui est essentiel pour classer des instruments de musique dans un contexte de classification audio.

Qu'est-ce qu'un spectrogramme et pourquoi est-il utilisé dans le traitement de l'audio ?

Un spectrogramme est une représentation graphique de l'intensité des fréquences d'un signal audio sur une période de temps. Il est utilisé pour observer comment l'énergie se répartit sur différentes fréquences et comment cette énergie évolue dans le temps, facilitant ainsi la classification des sons.

Quelle est la différence entre un spectrogramme classique et une transformée de Fourier à court terme (STFT) ?

Alors qu'un spectrogramme est simplement une accumulation de transformations de Fourier sur des fenêtres temporelles fixes, la transformée de Fourier à court terme (STFT) utilise une fenêtre glissante, permettant d'analyser le signal audio de manière plus détaillée, en traitant des morceaux plus courts du signal à la fois.

Pourquoi est-il important de downsampler les données audio avant de les traiter ?

Le downsampling réduit la fréquence d'échantillonnage d'un signal audio, ce qui permet de supprimer les fréquences inutiles et de réduire la taille des données. Cela simplifie l'analyse sans perdre d'informations essentielles, en particulier pour l'audio qui dépasse la capacité de l'oreille humaine à distinguer certaines fréquences.

Qu'est-ce que la fréquence de Nyquist et pourquoi est-elle importante ?

La fréquence de Nyquist est la moitié de la fréquence d'échantillonnage d'un signal audio. Elle détermine la fréquence maximale qui peut être représentée sans perte d'information. Par exemple, pour un signal échantillonné à 44,1 kHz, la fréquence de Nyquist est de 22,05 kHz.

Que sont les coefficients de Mel-frequency cepstral (MFCC) et à quoi servent-ils ?

Les MFCC sont des caractéristiques dérivées de la transformation de Fourier et de la mise en échelle Mel qui capturent les caractéristiques importantes du signal audio. Ils sont utilisés dans la classification audio pour transformer l'information en un format plus adapté aux modèles d'apprentissage automatique, en particulier ceux qui traitent des sons humains comme la parole.

Qu'est-ce que la fenêtre de Hanning et pourquoi est-elle utilisée dans le traitement audio ?

La fenêtre de Hanning est utilisée pour minimiser les effets de 'fuites spectrales' lors du calcul de la FFT (Transformée de Fourier Rapide). Elle aide à lisser les bords du signal dans chaque fenêtre d'analyse, réduisant ainsi les distorsions qui pourraient fausser les résultats.

Pourquoi utilise-t-on la transformation cosinus discrète (DCT) dans le calcul des MFCC ?

La transformation cosinus discrète (DCT) est utilisée pour réduire la redondance dans les caractéristiques extraites et obtenir des coefficients plus compacts, ce qui permet de simplifier les données et de rendre les modèles d'apprentissage automatique plus efficaces.

Quels sont les avantages de pré-traiter les données audio avant de les utiliser dans l'apprentissage automatique ?

Le pré-traitement permet d'extraire des caractéristiques pertinentes des données audio, réduisant ainsi la complexité des modèles d'apprentissage automatique. Cela améliore la précision de la classification des sons, comme la distinction entre différents instruments de musique, en se concentrant sur les informations importantes et en éliminant le bruit inutile.