How DeepSeek Rewrote the Transformer [MLA]

Summary

En janvier 2025, la société chinoise Deep Seek a choqué le monde avec la sortie de son modèle R1, un modèle linguistique révolutionnaire nécessitant beaucoup moins de puissance de calcul que ses homologues américains. Grâce à une innovation majeure appelée 'multi-head latent attention', Deep Seek a réussi à réduire la taille du cache clé-valeur de 57 fois, permettant au modèle de générer du texte six fois plus rapidement. Ce progrès s'inscrit dans une série d'améliorations de l'architecture Transformer, une avancée importante pour l'IA moderne.

Takeaways

• 😀 Deep Seek a révélé R1, un modèle de langage révolutionnaire en janvier 2025, qui nécessite une fraction de la puissance de calcul des modèles concurrents.
• 😀 Ce modèle est unique car ses poids, son code d'inférence et ses rapports techniques ont été publiés publiquement, contrairement à de nombreux modèles américains.
• 😀 La technique innovante introduite par Deep Seek en juin 2024, appelée 'multi-head latent attention', modifie le cœur même de l'architecture Transformer.
• 😀 Cette innovation réduit la taille du cache clé-valeur (KV) d'un facteur 57, permettant au modèle de générer des textes plus de six fois plus rapidement que les Transformers traditionnels.
• 😀 L'attention dans les modèles de langage est gérée par des matrices appelées 'patterns d'attention', qui connectent des positions de tokens dans le flux résiduel du modèle.
• 😀 Le modèle GPT-2 Small utilise 12 têtes d'attention par couche, alors que le Deep Seek R1 en utilise 128, avec 61 couches au total, créant 7 808 patterns d'attention.
• 😀 L'attention permet de lier des tokens entre eux en fonction de leur pertinence, comme relier 'flag' à 'red' et 'white' pour prédire 'blue'.
• 😀 Une approche autorégressive est utilisée pour générer des tokens un à un, avec un mécanisme d'attention qui calculera les relations entre tous les tokens passés.
• 😀 Deep Seek utilise une astuce pour réduire les calculs dans le modèle via un mécanisme de mise en cache des clés et valeurs, appelé KV caching, ce qui réduit la complexité des calculs au fur et à mesure que les tokens sont générés.
• 😀 L'innovation de Deep Seek, l'attention latente multi-têtes (MLA), permet de compresser et de partager efficacement les informations clés et valeurs entre les têtes d'attention, offrant ainsi une réduction de la mémoire nécessaire de 57x.

Q & A

Qu'est-ce que le modèle R1 de Deep Seek et pourquoi a-t-il choqué le monde ?

Le modèle R1 de Deep Seek, lancé en janvier 2025, a choqué le monde car il offre des performances compétitives tout en nécessitant une fraction des ressources de calcul utilisées par d'autres modèles de pointe. En plus de cela, Deep Seek a publié les poids du modèle, le code d'inférence et des rapports techniques détaillés, ce qui est rare pour les modèles de cette envergure.

Qu'est-ce que la technique de l'attention latente multi-tête développée par Deep Seek ?

L'attention latente multi-tête (Multi-head Latent Attention) est une technique introduite par Deep Seek en 2024 qui modifie le mécanisme d'attention dans les modèles Transformer. Cette innovation permet de réduire la taille d'un goulot d'étranglement appelé cache de clés-valeurs (KV) d'un facteur de 57, ce qui rend le modèle capable de générer du texte plus de six fois plus rapidement qu'un Transformer traditionnel.

En quoi consiste le mécanisme d'attention dans les modèles de langage comme GPT-2 ?

Le mécanisme d'attention dans les modèles de langage fonctionne en calculant des matrices appelées motifs d'attention. Ces matrices représentent l'interaction entre les tokens d'une séquence donnée, permettant au modèle d'établir des relations entre les mots. Les modèles comme GPT-2 utilisent plusieurs têtes d'attention pour gérer ces interactions.

Comment le modèle Deep Seek R1 utilise-t-il l'attention pour générer du texte ?

Le modèle Deep Seek R1 génère du texte de manière autorégressive, ce qui signifie qu'il génère un token à la fois. Chaque nouveau token est une fonction de tous les tokens générés précédemment, et les interactions entre ces tokens sont gérées par le mécanisme d'attention.

Pourquoi les modèles de langage utilisent-ils la technique du cache de clés-valeurs (KV) ?

Le cache de clés-valeurs (KV) permet de rendre le calcul des modèles de langage plus efficace. Lorsqu'un modèle génère un nouveau token, il n'a pas besoin de recalculer les clés et les valeurs pour tous les tokens précédents. Au lieu de cela, il les récupère du cache, ce qui réduit considérablement la charge computationnelle.

Quel est le principal avantage de l'attention latente multi-tête par rapport à l'attention multi-tête traditionnelle ?

L'attention latente multi-tête permet de réduire la taille du cache KV d'un facteur de 57 tout en améliorant les performances. Contrairement à l'attention multi-tête traditionnelle, où chaque tête utilise des clés et des valeurs uniques, l'attention latente multi-tête projette les entrées dans un espace latent compressé, puis utilise ce cache commun de manière plus efficace.

Comment la taille du cache KV est-elle affectée par l'attention latente multi-tête dans le modèle R1 de Deep Seek ?

Dans le modèle R1 de Deep Seek, la taille du cache KV ne dépend plus du nombre de têtes d'attention par couche, mais de la taille du cache KV partagé. Cela permet de réduire la taille du cache KV à seulement 70 Ko par token, contre 4 Mo par token dans un Transformer traditionnel.

Quels sont les inconvénients des solutions classiques au problème du cache KV dans les modèles de langage ?

Les solutions classiques, comme l'attention multi-requêtes ou l'attention par groupe de requêtes, réduisent la taille du cache KV en partageant les matrices de clés et de valeurs entre plusieurs têtes d'attention. Cependant, cela impacte les performances du modèle car cela réduit la spécialisation des différentes têtes d'attention.

En quoi le processus de compression dans l'attention latente multi-tête est-il différent de l'attention multi-requêtes ?

Contrairement à l'attention multi-requêtes, où les têtes d'attention partagent exactement les mêmes clés et valeurs, l'attention latente multi-tête utilise une compression dans un espace latent partagé. Cette compression permet de maintenir une plus grande flexibilité et d'améliorer les performances sans sacrifier la spécialisation des têtes.

Quel est l'impact de l'innovation de Deep Seek sur l'architecture Transformer ?

L'innovation de Deep Seek avec l'attention latente multi-tête améliore de manière significative l'architecture Transformer, permettant des générateurs de texte plus rapides et plus efficaces tout en réduisant la charge computationnelle. Cela marque une avancée majeure dans l'optimisation des modèles de langage et des réseaux neuronaux en général.