Alibaba HPN: A Data Center Network for Large Language Model Training | Jiaqi Gao

Summary

アリババのJaalが最新のデータセンターネットワーク「HPN 7.0」について語ります。このネットワークは、大型言語モデルのトレーニングに特化しており、従来のクラスターとは異なる新しい課題に対処します。低エントロピーのトラフィック、高いトラフィックボリューム、グローバルに同期されたエンドホル、そして長時間にわたる大規模なトレーニングジョブが特徴です。HPN 7.0は2階層トポロジー、マルチレール、デュアルプレーン、フロントバックエンド分離の設計を採用し、高性能なインターコネクトを実現しています。これにより、130,000台のアクセラレータを接続し、99.6％の線形スケーリング効率と98.22％のクラスター可用性を達成しました。

Takeaways

• 🚀 AlibabaのHPN 7.0は、大規模言語モデルトレーニングのために設計された次世代データセンターネットワークです。
• 💡 トランスフォーマーのサイズは2年ごとに750倍に成長しており、計算能力が企業の競争力の鍵となっています。
• ⚡️ 単純にクラスターの規模を拡大するだけでは、性能が低下し、効率が落ちるリスクがあるため、慎重な設計が必要です。
• 📊 大規模言語モデルのトレーニングは、低エントロピーで、クラスター全体で同期される新たなトラフィックパターンをもたらします。
• 🔧 HPN 7.0は、2層トポロジーとマルチレール接続により、低レイテンシーと高いスケーリング効率を提供します。
• 🔄 デュアルプレーントポロジーにより、冗長性を確保し、1つのネットワークに障害が発生してもバックアップが存在します。
• 🖥 HPN 7.0は、130,000以上のアクセラレータを接続でき、51.2Tbpsのスイッチを使用しています。
• 🔍 カスタムLACPモジュールにより、リンク障害やフラッピング時のパフォーマンス低下を最小限に抑えます。
• 🛠 アリババ独自の通信ライブラリや高性能トランスポート層プロトコルを活用して、最適な性能と安定性を実現しています。
• 📈 HPN 7.0は、クラスタ可用性98.22%、3週間連続稼働、96%の線形スケーリング効率を達成しています。

Q & A

AlibabaのHPN 7.0とは何ですか？

HPN 7.0はAlibabaが開発した第7世代の高性能ネットワークで、AIインフラ向けに設計されたデータセンターネットワークです。大規模なアクセラレータクラスタでEXAスケールの計算能力を実現するために設計されています。

HPN 7.0が従来のデータセンタークラスタと異なる点は何ですか？

従来のデータセンタークラスタでは、トラフィックの低エントロピーやグローバルな同期によってネットワークが負荷を受けやすいのに対し、HPN 7.0はこれらの問題を解決するために特別に設計されたネットワークトポロジーを採用しています。

HPN 7.0のトポロジーの特徴は何ですか？

HPN 7.0は二層トポロジーを採用し、アクセラレータを直接接続することで、低レイテンシーと低ハッシュ複雑性を実現しています。また、マルチレールおよびデュアルプレーントポロジーを導入し、冗長性と拡張性を強化しています。

HPN 7.0はどのくらいのアクセラレータをサポートできますか？

HPN 7.0は最大で130,000台以上のアクセラレータをサポートできます。これは、1,000台のアクセラレータを1つのセグメントに、128セグメントをフルマッチングで接続できる設計によるものです。

HPN 7.0で採用されているデュアルプレーントポロジーの利点は何ですか？

デュアルプレーントポロジーにより、アクセラレータが2つの独立したネットワークに接続されるため、1つのプレーンが障害を起こしてももう一方がバックアップとして機能します。また、冗長性が向上し、ネットワークの安定性も高まります。

HPN 7.0の通信と計算の最適化はどのように行われていますか？

HPN 7.0では、ハードウェアのカスタマイズと高速な反復を行い、また独自に開発した通信ライブラリやプロトコルを使用することで、計算と通信の効率を最適化しています。これにより、ネットワークの混雑やリンク障害に迅速に対応できます。

Alibabaはどのような通信ライブラリを開発しましたか？

Alibabaは、エコー（ECHO）という集団通信ライブラリを開発しました。これはHPN 7.0トポロジーに最適化されており、グローバルに調整された通信を提供し、従来のソリューションよりも高いパフォーマンスと安定性を実現します。

HPN 7.0の管理スタックはどのように構成されていますか？

HPN 7.0の管理スタックは、AI Piというプラットフォームを使用しており、トポロジーに基づいたジョブの割り当てや、計算と通信の重複を最大化するためのスケジューリングを行っています。これにより、クラスタ全体の効率が向上します。

HPN 7.0がもたらすパフォーマンスの向上はどの程度ですか？

HPN 7.0は、従来のソリューションと比較して、最大100%の性能向上を達成しています。また、さまざまな規模のトレーニングジョブにおいても、最大14.4%のトレーニングスループット向上を提供しています。

HPN 7.0の可用性と信頼性についてはどうですか？

HPN 7.0はクラスタの可用性が98.22%に達し、クラスタがトレーニングジョブに使用される時間がほとんど途切れることなく、高い信頼性を誇ります。また、障害発生時には数分で復旧可能です。