OCP Data Formats for Deep Learning

Summary

Michael Schy氏（AMD）は、OCPデータフォーマットについてのプレゼンテーションを行い、9社および40人以上の貢献者による低精度データタイプの標準化の重要性を強調しました。共通のデータフォーマットは、AIエコシステムのモデル移植性を向上させ、パフォーマンスと効率を改善します。FP8およびマイクロスケーリング（MX）仕様が発表され、イノベーションが進んでいます。参加者には、これらの仕様を読み、実際に使用することを奨励しました。

Takeaways

• 😀 9社と40人以上の貢献者が協力してOCPデータフォーマットを開発した。
• 😀 AIにおいては、異なるプラットフォーム間でのモデルの移植性が重要である。
• 😀 8ビット浮動小数点フォーマット（FP8）とマイクロスケーリング（MX）フォーマットが新たに導入された。
• 😀 低精度データタイプにより、性能、電力効率、ストレージ容量が向上する。
• 😀 標準化されたデータフォーマットがないと、AIのエコシステムが断片化するリスクがある。
• 😀 FP8とMXの仕様は、異なる機械間での一貫した解釈を可能にするバイナリ形式を定義している。
• 😀 FP8ではE4M3とE5M2の2つの形式があり、トレーニングや推論に使われる。
• 😀 MXフォーマットは、共有スケールファクターとプライベート要素のブロックで構成される。
• 😀 ハードウェアとソフトウェアの両方で新しいデータフォーマットに対応したイノベーションが進行中。
• 😀 規格やその活用方法についてのフィードバックが求められている。

Q & A

OCP FP8仕様の主な目的は何ですか？

OCP FP8仕様の主な目的は、AIエコシステム全体におけるデータフォーマットの標準化を促進し、異なるプラットフォーム間でのモデルのポータビリティを確保することです。

なぜ低精度データ型の導入が重要なのですか？

低精度データ型を使用することで、演算時に必要なビット数が減り、全体的な性能と電力効率が向上します。これにより、AIや機械学習の要求が急増する中でのスケーラビリティが確保されます。

MXデータ型とは何ですか？

MXデータ型は、マイクロスケーリングに基づいた新しいデータフォーマットで、FP8に続いて導入され、8ビット浮動小数点、6ビット浮動小数点、4ビット浮動小数点、8ビット整数のフォーマットを含んでいます。

OCP FP8仕様の開発にはどのような企業が関与していますか？

OCP FP8仕様の開発には、AMDを含む9つの異なる企業と40人以上の貢献者が関与しており、共同で仕様を作成しました。

FP8仕様で定義された二つのバイナリインターチェンジフォーマットは何ですか？

FP8仕様では、E4M3（符号ビット4ビット、指数ビット4ビット、仮数ビット3ビット）とE5M2（符号ビット5ビット、指数ビット5ビット、仮数ビット2ビット）の二つのフォーマットが定義されています。

なぜ標準化されたデータフォーマットが必要なのですか？

標準化されたデータフォーマットが必要な理由は、異なるプラットフォーム間でのモデルの互換性を確保し、研究者や開発者が異なるシステムで一貫したデータ型を使用できるようにするためです。

データ型のフレームワークやライブラリのイノベーションについて教えてください。

データ型の導入により、多くのソフトウェアライブラリやフレームワークが開発され、特に量子化やエミュレーターにおいて、FP8およびMXデータ型のサポートが強化されています。

OCP FP8とMXデータ型はどのように実装されるのですか？

OCP FP8とMXデータ型は、ハードウェア、ソフトウェア、またはその両方の組み合わせで実装することができます。

仕様に関するフィードバックはどのように送信できますか？

仕様に関するフィードバックは、指定されたメールアドレス（DF DL OC pro.org.net）に送信するように促されています。

今後の仕様の進化についてはどう考えていますか？

MX仕様は現在も進化しており、言語の明確化などが進められています。将来的にはさらなる改善が期待されています。