Innovative Architectures to Break Memory & IO Walls for Gen AI ASICs & Systems

Summary

このプレゼンテーションでは、AIチップのボトルネックを解決するためのチップレット技術について詳しく説明しています。主に、メモリ帯域幅の制約やI/O帯域幅の問題、電力供給の課題に焦点を当て、これらの問題を解決するためにチップレット技術がどのように進化してきたかを解説しています。特に、ダイ間インターフェースの効率を向上させる新しい技術や、複数のHBMを活用したソリューションにより、AIチップのパフォーマンス向上が可能になることを強調しています。

Takeaways

• 😀 AIチップのボトルネック解消には、メモリ帯域幅とI/O帯域幅が重要な課題である。
• 😀 メモリ帯域幅とI/O帯域幅（メモリI/Oウォール）は、過去20年間のコンピュータ性能向上にも関わらず大きな課題となっている。
• 😀 チップレットソリューションは、パッケージ間の高密度接続により、低消費電力で高帯域幅を提供し、これらの課題を解決する可能性がある。
• 😀 高帯域幅メモリ（HBM）の接続方法として、チップ上のHBMを横に配置する方法が依然として優れた選択肢である。
• 😀 BlackwellのようなGPUでは、メモリ帯域幅と演算強度の間にギャップがあり、演算性能向上よりも帯域幅の強化が重要である。
• 😀 シリコンインターポーザー（SiP）やシリコンブリッジがチップレット間の接続に用いられており、これらのインターフェースは高帯域幅を提供するが、配置精度や熱膨張問題が課題である。
• 😀 高性能のFinFET技術をベースにしたメモリダイが、従来のDRAMベースのメモリダイを置き換えることで、より高帯域幅の提供が可能になる。
• 😀 チップレット間の接続において、双方向通信を活用することで、帯域幅の効率が2倍になる。
• 😀 HBMを複数接続することで、帯域幅を増加させ、同じビーチフロントでより多くのメモリ帯域幅を提供できる。
• 😀 新しい接続技術（New Link X）は、低消費電力で非常に高い帯域幅を提供し、AIチップやデータセンターの効率を向上させる可能性がある。

Q & A

AIチップのボトルネックとは何ですか？

AIチップのボトルネックは主にメモリ帯域幅とI/O帯域幅（メモリI/Oウォール）です。過去20年間、コンピュータの計算性能は劇的に向上しましたが、パッケージ内の接続速度やサイズはそれほど進化していません。このギャップがボトルネックを引き起こしています。

チップレットソリューションがこの問題をどう解決するのですか？

チップレットソリューションは、パッケージ内での接続密度を高め、低消費電力で高帯域幅を提供することにより、メモリ帯域幅とI/O帯域幅のボトルネックを解決します。また、異なるチップをより効率的に接続するための革新的なアーキテクチャも提案されています。

HPMとは何ですか？

HPM（High Performance Memory）は、高速メモリの一形態で、AIチップが大量のデータを迅速に処理するために使用されます。現在、AIチップでは8TB/sなどの帯域幅を提供するためにHPMを利用しています。

Blackwellの性能における制限について言及していますが、具体的な問題は何ですか？

BlackwellのGPUは、FP8演算で10,000テラフロップスの性能を持っていますが、メモリ帯域幅の制限により、AIモデルの演算強度が高い場合でもその性能を十分に活用できていません。特に演算強度が低いAIモデルでは、GPUの活用率が10％程度にとどまります。

チップレット接続におけるシリコンインターポーザーの限界について説明してください。

シリコンインターポーザーは、複数のチップレットを接続するための大きな基板ですが、そのサイズは最大で約3レチクルに制限されています。これを超えるサイズでの接続は困難であり、大規模なチップレットシステムの構築には他のソリューションが必要となります。

シリコンブリッジとその課題について説明してください。

シリコンブリッジは、チップレット間を接続するための手段であり、より大きな基板を使用してチップレット間の接続を可能にします。しかし、シリコンブリッジの配置精度が非常に重要であり、熱膨張による問題（CTEの差）も課題です。これにより、接続が壊れる可能性があります。

HPMをチップ上に積み重ねる構造の利点と欠点は何ですか？

HPMをチップ上に積み重ねることで、メモリ帯域幅が大幅に向上しますが、DRAMは非常に温度に敏感であるため、過剰な発熱が問題となります。これを回避するため、通常はDRAMをチップの側面に配置し、効率的な接続手段を用います。

UCI規格とその利点について説明してください。

UCI（Universal Chiplet Interconnect）規格は、チップレット間の通信を標準化するための規格です。特に、動的双方向および同時双方向通信をサポートしており、これにより通信効率を2倍に高め、より効率的に帯域幅を活用できます。

次世代のAIチップ向けのインターフェース技術にはどのようなものがありますか？

次世代AIチップ向けには、高速なD2D（Die-to-Die）通信、カスタムHBM、そして新しいリンク技術（例えば、New Link X）が重要な要素として挙げられます。これらの技術は、帯域幅の向上、消費電力の削減、そしてスケーラビリティの向上を実現します。

New Link Xの特徴と利点は何ですか？

New Link Xは、非常に低い消費電力で高帯域幅を提供する新しいリンク技術です。この技術は、パッケージ間のデータ転送において重要な役割を果たし、低電力で最大1テラビット/秒の帯域幅を提供できるため、エネルギー効率の高いインターコネクトを実現します。