Mind the gap, connecting high performance systems at a leading Crypto Exchange @ Spring I/O 2024

Summary

Cette vidéo explore l'optimisation des systèmes de trading en temps réel, mettant l'accent sur la gestion des ordres, la correspondance des transactions et les techniques de minimisation de latence pour des transactions ultra-rapides. L'architecture de l'infrastructure repose sur des techniques avancées telles que le clustering de mémoire et l'utilisation de frameworks spécialisés. La vidéo aborde également l'optimisation des signatures JWT en utilisant des algorithmes de chiffrement symétriques et les ajustements JVM avec Asso Prime pour améliorer la stabilité et la performance. Les pratiques comme le benchmarking, l'optimisation des lots et la gestion de la mémoire sont également explorées.

Takeaways

• 😀 Le système d'optimisation des flux de commande garantit que les achats de Bitcoin sont exécutés efficacement, en vérifiant la disponibilité des fonds et en réservant les soldes pour éviter les achats en double.
• 😀 L'architecture utilise des messages à faible latence (microsecondes) pour la transmission de données critiques, assurant une exécution rapide des commandes et une réponse instantanée aux utilisateurs.
• 😀 Le système applique une réplication en mémoire via IronCluster pour garantir la disponibilité des données, même en cas de défaillance d'un serveur, avec un minimum de perte de données.
• 😀 Les données de marché et les informations de portefeuille sont synchronisées et stockées à la fois dans des bases de données permanentes (comme MySQL) et sur Kafka pour garantir l'accès en temps réel par d'autres systèmes.
• 😀 La gestion des transactions avec un moteur de correspondance en mémoire permet d'effectuer des correspondances rapides tout en réservant des soldes pour éviter les incohérences de compte.
• 😀 L'optimisation des performances inclut l'utilisation d'algorithmes de cryptage symétriques (HMAC) au lieu d'algorithmes asymétriques (RSA) pour la signature JWT, améliorant ainsi le débit des opérations.
• 😀 Les tests de performance (via JMH) ont permis d'identifier que le HMAC (cryptage symétrique) offre un débit bien plus élevé (200 fois plus rapide) que RSA pour les signatures JWT.
• 😀 L'optimisation JVM a été réalisée en utilisant Aul Prime, un JDK optimisé, qui réduit la latence de réponse et garantit une gestion stable de la mémoire et de l'utilisation CPU.
• 😀 La configuration de l'application via des paramètres de taille de heap (10 Go) permet d'atteindre des performances prévisibles et une gestion stable des ressources dans un environnement de production.
• 😀 L'activation de 'Ready Now' dans Aul Prime permet d'effectuer un préchauffage du code avant la mise en production, réduisant ainsi les pénalités de démarrage et optimisant les performances dès le lancement.

Q & A

Pourquoi est-il important d'optimiser le chemin de commande dans un système de trading à haute fréquence ?

L'optimisation du chemin de commande est cruciale car elle garantit la rapidité et la fiabilité des transactions. Dans un système de trading, chaque seconde compte et des erreurs peuvent entraîner de graves pertes financières. Cela nécessite des solutions à faible latence pour éviter des erreurs coûteuses.

Comment la gestion des ordres assure-t-elle la protection contre les erreurs de transaction dans un système de trading ?

La gestion des ordres veille à ce que les soldes des utilisateurs soient réservés avant toute exécution d'ordres, évitant ainsi les achats multiples avec les mêmes fonds. Cela se fait grâce à une réservation de solde, ce qui empêche le double achat et assure la précision des transactions.

Qu'est-ce qu'un 'Iron Cluster' et pourquoi est-il utilisé dans ce système ?

L'Iron Cluster est un mécanisme de réplication de données en mémoire avec consensus, permettant d'assurer la disponibilité des données même en cas de défaillance d'une machine. Il garantit que même en cas de panne, les informations restent disponibles sans perte de données.

Quelles sont les techniques utilisées pour optimiser la latence dans le traitement des transactions ?

Les techniques utilisées incluent la communication directe via UDP au lieu d'un broker traditionnel, l'utilisation de la réplication en mémoire avec l'Iron Cluster, et des optimisations comme la gestion des buffers et des agents indépendants pour gérer le flux de données de manière efficace.

Pourquoi le système utilise-t-il Spring Boot et quelles optimisations sont faites pour garantir une performance élevée ?

Spring Boot est utilisé pour sa simplicité et sa flexibilité. Les optimisations comprennent le recours à des pools d'objets pour minimiser la collecte des ordures (GC), la gestion de la pression de retour, et la taille des lots de données pour améliorer l'efficacité sans nuire à la performance.

Quels sont les avantages de l'utilisation de la symétrie dans les algorithmes de signature JWT par rapport à l'asymétrie ?

Les algorithmes de signature symétrique, comme HMAC, sont beaucoup plus rapides que l'asymétrie (RSA) car ils utilisent une clé secrète partagée au lieu d'une paire de clés publique/privée. Cela permet de réduire le temps de traitement des signatures JWT, ce qui est crucial pour des applications à faible latence.

Comment la bibliothèque JMH aide-t-elle dans l'optimisation des performances des algorithmes de signature ?

JMH permet de réaliser des benchmarks précis et fiables des performances des algorithmes. Elle fournit des informations détaillées sur le débit et les performances des algorithmes de signature, ce qui permet d'identifier la meilleure solution pour un cas d'utilisation donné.

Qu'est-ce que l'Aul Prime et comment améliore-t-il les performances d'une application Java ?

Aul Prime est une implémentation optimisée du JDK, qui offre des latences de réponse plus faibles, une plus grande stabilité et une consommation mémoire prévisible. Il permet d'améliorer les performances en réduisant la charge sur le processeur et en optimisant la gestion de la mémoire.

Quels résultats ont été obtenus après l'activation de l'Aul Prime dans ce système ?

Après l'activation de l'Aul Prime, le temps de traitement des requêtes est passé de 500 microsecondes à 250-260 microsecondes. De plus, la gestion de la mémoire et l'utilisation du CPU sont devenues plus prévisibles et stables, ce qui a amélioré la performance générale.

Pourquoi la gestion de la mémoire et l'optimisation de la collecte des ordures (GC) sont-elles essentielles dans ce type de système ?

La gestion de la mémoire et l'optimisation de la collecte des ordures sont cruciales pour garantir que le système puisse traiter un grand nombre de requêtes sans être ralenti par des opérations de nettoyage de la mémoire. Une gestion inefficace de la mémoire peut entraîner une surcharge du système, affectant ainsi la performance et la latence.