Scaling Argo CD: From Symptoms To Solution - Alexandre Gaudreault, Intuit

Summary

Dans cette présentation, Alexander, ingénieur logiciel chez INT et mainteneur d'Argo CD, explore les défis liés à la mise à l'échelle d'Argo CD, en se concentrant sur la gestion des problèmes de performance tels que l'utilisation élevée du CPU et de la mémoire. Il explique comment identifier les causes profondes de ces problèmes, notamment les boucles de réconciliation et les interactions avec l'API Kubernetes. Alexander propose des solutions pratiques, telles que l'optimisation des ressources surveillées, l'usage de la mise en cache et la configuration de la réconciliation avec des techniques comme le jitter. L'approche pragmatique et les conseils concrets permettent d'améliorer la scalabilité d'Argo CD et de prévenir les problèmes futurs.

Takeaways

• 😀 Argo CD est un outil puissant pour la gestion de l'infrastructure Kubernetes, et son scalabilité est cruciale pour de grandes infrastructures.
• 😀 Les problèmes de scalabilité d'Argo CD peuvent entraîner une surcharge de CPU et de mémoire, affectant les performances globales du système.
• 😀 Un des problèmes les plus fréquents est l'alerte de CPU élevée, souvent causée par une surcharge des réconciliations dans Argo CD.
• 😀 La réduction des réconciliations inutiles est essentielle pour optimiser les performances d'Argo CD, notamment en excluant les ressources non pertinentes.
• 😀 L’utilisation de profils de performance, comme 'puff', peut aider à identifier les processus qui consomment trop de ressources CPU et à résoudre les problèmes.
• 😀 Il est conseillé de configurer des 'timeouts' de réconciliation et d'utiliser des mécanismes comme le 'jitter' pour éviter des pics de charge imprévus.
• 😀 Une autre source de surcharge est l'Horizontal Pod Autoscaler (HPA), qui génère des mises à jour de statut inutiles, entraînant des réconciliations supplémentaires.
• 😀 Pour gérer la mémoire, Argo CD peut être configuré pour ignorer certains objets et ressources, et il est conseillé de restreindre les espaces de noms observés pour réduire la consommation mémoire.
• 😀 La répartition du travail à travers plusieurs instances d'Argo CD (sharding) permet de mieux gérer la mémoire et la charge des ressources dans les grands environnements.
• 😀 Pour les problèmes de lenteur d'Argo CD, il est important de vérifier la file d'attente de travail et d'examiner les dépendances externes comme les API Git et Kubernetes.
• 😀 Lors de la configuration de la scalabilité d'Argo CD, il est important de procéder par étapes, comme un barista qui ajuste chaque paramètre pour obtenir un espresso parfait.

Q & A

Quelles sont les causes communes des problèmes de mise à l'échelle dans Argo CD ?

Les problèmes de mise à l'échelle dans Argo CD peuvent être causés par des alertes CPU élevées, des augmentations de mémoire, des pics de reconcilation et des problèmes d’interaction avec Kubernetes. L’un des problèmes majeurs est l'inefficacité dans la gestion des ressources et des réconciliations, entraînant des surcharges sur les serveurs.

Quel est le rôle du moteur GitHub dans Argo CD ?

Le moteur GitHub dans Argo CD surveille les mises à jour des ressources dans les clusters connectés. Il évalue si la ressource appartient à une application et, si c’est le cas, déclenche la boucle de réconciliation pour s'assurer que l'application est synchronisée avec le dépôt.

Comment diagnostiquer une alerte CPU élevée dans Argo CD ?

Lorsqu'une alerte CPU élevée survient, il est essentiel de vérifier les activités de réconciliation dans Argo CD. Par exemple, un taux constant élevé de réconciliations, comme 32 000, peut indiquer des problèmes liés à des ressources inutiles surveillées par Argo CD, comme le Horizontal Pod Autoscaler (HPA).

Comment réduire la consommation CPU causée par les réconciliations dans Argo CD ?

Pour réduire la consommation CPU, il est conseillé d'exclure les ressources non nécessaires de la surveillance d'Argo et de configurer les mises à jour de ressources à ignorer. Il est également recommandé d’ajuster les délais de réconciliation et d’appliquer une stratégie de 'jitter' pour éviter les pics de charge CPU.

Pourquoi les pics de CPU peuvent-ils être problématiques dans Argo CD ?

Les pics de CPU peuvent mettre une pression importante sur plusieurs composants du système distribué d’Argo CD, tels que le serveur de dépôt. Cela peut entraîner une surcharge des files d'attente et des retards dans le traitement des demandes, affectant ainsi la performance globale du système.

Quelle est l'importance de la configuration du 'jitter' dans la gestion des pics de charge dans Argo CD ?

Le 'jitter' permet de répartir de manière aléatoire les tâches de réconciliation sur une période donnée, ce qui aide à éviter des pics brusques de charge CPU. Par exemple, si la réconciliation est configurée pour durer une heure, un 'jitter' de 30 minutes permettra à la réconciliation de se répartir entre une heure et une heure et demie.

Quel est l'impact des ressources orphelines sur la mise à l'échelle d'Argo CD ?

Les ressources orphelines, qui ne font pas partie des applications surveillées mais qui changent dans un espace de noms, peuvent entraîner une augmentation des réconciliations et une pression accrue sur le CPU et la mémoire. Désactiver la surveillance des ressources orphelines peut améliorer considérablement les performances.

Comment améliorer l'utilisation de la mémoire dans Argo CD ?

L'utilisation de la mémoire peut être réduite en limitant le nombre de ressources surveillées par Argo CD, en excluant les ressources inutiles et en configurant un filtre de namespace pour ne surveiller que les namespaces nécessaires. Une autre option consiste à utiliser des contrôles RBAC pour restreindre les ressources qu'Argo peut observer.

Qu'est-ce que le 'sharding' et comment peut-il aider à la mise à l'échelle d'Argo CD ?

Le 'sharding' consiste à diviser le contrôleur d'application en plusieurs segments afin de mieux répartir la charge de travail entre différentes instances d'Argo. Cela permet de mieux gérer la mémoire et d'éviter une surcharge sur une seule instance, particulièrement dans des environnements avec de nombreux clusters.

Quelles sont les étapes à suivre si Argo CD devient lent ?

Si Argo CD devient lent, il est crucial de vérifier si les files d'attente sont remplies et si les appels à l'API Kubernetes sont performants. Il est aussi conseillé de vérifier si les ressources externes (comme Kubernetes ou Git) sont correctement configurées pour éviter une surcharge, et d'augmenter le parallélisme si nécessaire.