Fine-tuning Gemma for the world's languages

Summary

Robert Dadashiが紹介するGemma 2日本モデルは、Googleのミッションに基づき、日本語に特化した新しい2億パラメータのポストトレーニングモデルです。このモデルは、強化学習を活用した日本語性能の向上を実現しており、従来の英語中心のトレーニングに比べ、言語の一貫性と精度が大幅に改善されています。日本語での優れたパフォーマンスを発揮するGemma 2は、開発者向けに新しいプロンプト戦略を試す機会を提供し、多言語対応の強化を続けています。

Takeaways

• 😀 Gemma 2は、日本向けにリリースされた2ビリオンパラメータのポストトレーニングモデルで、特に日本語におけるパフォーマンス向上が図られています。
• 😀 Googleのミッションに基づき、Gemma 2は世界の情報を整理し、普遍的にアクセス可能で有益なものにすることを目指しています。
• 😀 Gemma 2のトレーニングには2つのステージがあります。最初は膨大なデータを使ってモデルに世界について学ばせる前処理、次にモデルを特定のタスクに合わせて調整する後処理です。
• 😀 後処理段階では、スーパーバイズド・ファインチューニングと、強化学習による人間のフィードバックを活用した調整が行われます。
• 😀 強化学習では、プロンプトに対する最適な回答を予測するため、モデルに対して報酬スコアを付けるための「報酬モデル」が使用されます。
• 😀 「言語崩壊」という問題が、Gemma 2Bで発生しましたが、日本語のデータセットを増やし、プロンプトを指示する報酬モデルを導入することでこの問題を解決しました。
• 😀 言語崩壊の問題を解決するために、プロンプトに「言語の一貫性を守る」という指示を加え、日本語のプロンプトに日本語の回答を出すように促しました。
• 😀 新しいモデルでは、難易度の高いプロンプトに対する言語エラー率が29.6%から0.6%に大幅に減少しました。
• 😀 日本語話者による評価で、Gemma 2 for Japanは、Gemma 2Bに比べて大きな品質向上が確認されました。
• 😀 新しいモデルの使用時には、「貪欲サンプリング」の使用が推奨されており、サンプリングの多様性が高いと依然として言語エラーが発生しやすくなります。
• 😀 プロンプトチューニングの戦略を工夫することで、モデルのパフォーマンスを大きく向上させることができ、例えば具体的なスタイルや長さ、内容の指示をプロンプトで与えることが重要です。

Q & A

Gemma 2日本モデルの特徴は何ですか？

Gemma 2日本モデルは、日本語に特化した性能向上を目指した2ビリオンパラメータのGemmaポストトレーニングモデルです。Googleのミッションに沿って、世界の情報を整理し、普遍的にアクセス可能かつ有用にすることを目指しています。

Gemma 2の日本語能力を向上させるために使用された技術は何ですか？

Gemma 2の日本語能力を向上させるために、ポストトレーニングの段階で新しいレシピが設計されました。このプロセスでは、スーパーバイズドファインチューニングと強化学習による人間のフィードバックを使用して、日本語に特化した調整が行われました。

ポストトレーニングの2つの主要な段階は何ですか？

ポストトレーニングには、スーパーバイズドファインチューニングと強化学習による人間のフィードバックの2つの主要な段階があります。スーパーバイズドファインチューニングでは、プロンプトとレスポンスのデータセットを使用して学習が行われ、強化学習では、報酬モデルを使って応答の評価が行われます。

強化学習による人間のフィードバックとは何ですか？

強化学習による人間のフィードバック（RLHF）は、プロンプトに対する最適なレスポンスを予測するために報酬モデルを訓練するプロセスです。モデルは、予測された応答がどれだけ良いかを基にスコアを受け取り、そのスコアを最大化するように学習します。

Gemma 2Bで発生した「言語崩壊」とは何ですか？

Gemma 2Bモデルでは、「言語崩壊」と呼ばれる現象が発生しました。これは、モデルが英語のプロンプトに対して英語で応答する傾向が強く、日本語のプロンプトに対しても英語で回答してしまう問題です。この問題に対処するため、新しい方法が設計されました。

言語崩壊に対処するためにどのような改善が行われましたか？

言語崩壊に対処するために、追加で日本語のプロンプトデータを収集し、プロンプト指示型報酬モデル（prompt-instructed reward models）を導入しました。これにより、プロンプトが日本語である場合、モデルが日本語で応答することを強調することができました。

Gemma 2日本モデルのパフォーマンスはどのように向上しましたか？

Gemma 2日本モデルでは、言語エラー率が29.6%から0.6%に大幅に低減しました。また、日本語話者による評価では、指示のフォローや全体的な質の向上が確認されました。

Gemma 2日本モデルの使用に関してのアドバイスはありますか？

Gemma 2日本モデルを使用する際には、貪欲なサンプリング（greedy sampling）を使用することをお勧めします。これは、言語崩壊の問題を減少させるためです。また、良いプロンプトチューニング戦略を見つけることが重要で、具体的なスタイルや長さ、内容を指定することでパフォーマンスを大きく向上させることができます。

プロンプトチューニングとは何ですか？

プロンプトチューニングは、モデルに与えるプロンプトの内容を工夫することで、モデルの出力を望ましい結果に近づける手法です。例えば、回答のスタイルや長さ、具体的な内容を指定することで、より精度の高い応答を得ることができます。

英語以外の言語でのプロンプト戦略はどのように異なりますか？

英語以外の言語、例えば日本語では、英語で効果的なプロンプト戦略がそのまま通用するかは不明です。英語では「step by step」などの方法が有効ですが、日本語で同じ効果が得られるかはまだ検証されていません。