Zuck's new Llama is a beast

Fireship

24 Jul 202404:13

Summary

TLDRマーク・ザッカーバーグのメタは、GoogleやOpen AIと人工知能の優位性を競うために、最大で4050億パラメータの巨大な言語モデル「LLaMA 3.1」をリリース。オープンソースであり、開発者には大きな利便性があるが、特定の条件を満たすアプリではライセンスが必要な制限がある。モデルは3つのサイズがあり、より多くのパラメータで複雑なパターンを捉えることができるが、実際にはパラメータの数だけ優れているわけではない。トレーニングコードはシンプルで、Fairscaleライブラリを使用して複数のGPUに分散トレーニングが行われた。モデルは自社アプリで使用可能で、クラウドプロバイダーのGPUをレンタルする必要がある。初期のフィードバックでは、大きなLLaMAはいくつかの欠点がある一方で、小さなLLaMAは印象的であると報告されている。

Takeaways

🌊 マーク・ザッカーバーグは、人工知能の優位性を追求するために、GoogleやOpen AIと競争しています。
🚀 Metaは、最大かつ最も強力な言語モデル「LLaMA 3.1」をリリースし、無料で利用できるとされています。
💰 LLaMAは、16,000台のNvidia H100 GPUで数ヶ月かけてトレーニングされ、そのコストは数億ドルに上ります。
🔋 LLaMAのトレーニングには、小さな国を供給するのに十分な電気が必要でしたが、4050億パラメータのモデルが完成しました。
📊 LLaMAは、Open AIのGPT-40やClaude 3.5 Sonetを上回る性能を持つとベンチマークテストで示されています。
🔍 LLaMAはオープンソースですが、特定の条件（700百万の月間アクティブユーザーを超える場合）ではメタからのライセンスが必要です。
🤖 LLaMAのトレーニングデータはオープンソースではありませんが、実際のコードは公開されており、開発者がAIアプリケーションを構築するのに役立ちます。
💡 LLaMAは、カスタムデータで微調整が可能で、将来的には「dolphin」のような素晴らしい未検証の微調整モデルが登場すると期待されています。
📚 LLaMAは、コーディングや創造的な書くこと、詩などにおいても良い結果を示していますが、最も優れたものではないと評価されています。
🌐 異なる企業が巨大なコンピュータで巨大なモデルをトレーニングしており、それらは同じ能力レベルでプラトーしています。人工知能の進化は、まだ光速エンジンに達していません。

Q & A

マーク・ザッカーバーグはどのような趣味を持っていますか？
-マーク・ザッカーバーグはウェイクサーフィンとタキシードを着ること、そしてタホ湖の荘館でプカシェルのネックレスをしていて、K's yellow belliesをクラッシュさせる趣味を持っています。
メタがリリースした新しい大きな言語モデルの名前は何ですか？
-メタがリリースした新しい大きな言語モデルの名前はLLaMA 3.1です。
LLaMA 3.1のトレーニングにはどれだけの時間と費用がかかりましたか？
-LLaMA 3.1のトレーニングには数ヶ月かかり、16,000のNvidia h100 GPUを使用し、何百millionドルのコストがかかったと推定されます。
LLaMA 3.1のパラメーター数はいくつですか？
-LLaMA 3.1のパラメーター数は405 billionです。
LLaMA 3.1はオープンソースですか？
-LLaMA 3.1のモデルウェイトはオープンソースですが、トレーニングデータはメタによって管理されており、特定の条件を満たす場合に限り使用が許可されています。
LLaMA 3.1のトレーニングに使われたコードはどのくらいの長さですか？
-LLaMA 3.1のトレーニングに使われたコードは300行のPythonとPyTorchコードです。
LLaMA 3.1はどのようにしてカスタムデータでファインチューンできますか？
-LLaMA 3.1はカスタムデータを使ってファインチューンでき、将来的にはいくつかの素晴らしい未検閲のファインチューンモデルが提供される予定です。
LLaMA 3.1のコードをローカルで使用するために必要な条件は何ですか？
-LLaMA 3.1のコードをローカルで使用するためには、230GBのウェイトをダウンロードし、RTX 490などのGPUで実行する必要がありますが、その大きさゆえにローカルでの使用は容易ではありません。
LLaMA 3.1はどのプラットフォームで無料で試すことができますか？
-LLaMA 3.1はメタやGro、NVIDIAのPlaygroundなどのプラットフォームで無料で試すことができます。
インターネット上のランダムな人々からのLLaMA 3.1の初期フィードバックはどうでしたか？
-初期フィードバックでは、大きなLLaMAは若干失望させたとされがちでしたが、小さなLLaMAはかなり印象的だと評価されています。
LLaMA 3.1はコーディング能力についてどう評価されていますか？
-LLaMA 3.1はコーディング能力に関してはかなり良いとされていますが、CL 3.5 Sonetと比較するとまだ後れているとされています。
AI技術の進歩について、このスクリプトはどのような見方を持っていますか？
-スクリプトでは、AI技術の進歩が期待された飛躍的な進化ではなく、現在は小さめの段階的な改善にとどまっていると述べています。
メタはAI分野でどのように位置づけられていますか？
-メタはAI分野でリアルさを維持している唯一の大きなテック企業と位置づけられていますが、どこかで隠された悪意があるかもしれないと述べています。