シンプル詐欺な自称最強LLM「Reflection 70B」の手口と真相

Summary

この動画では、自称最強のオープンAIモデル「リフレクション」が実際にはクロード3.5ベースのモデルだったと明らかにされる騙し詐事件を追う。最初はその性能がGPT4やゾネットを超えると宣伝され、コミュニティから期待の声が上がった。しかし、デモ版と公開されたモデルの性能の違いに疑問が生じ、最終的にはデモ版がクロード3.5で動作していることが明らかになる。制作者は誤解を招いたり、意図的に騙し詐を行っていた可能性があるが、真実は不明である。

Takeaways

• 😀 この動画は、自称最強のLLM（Large Language Model）の騙し合いをテーマにしています。
• 🕵️‍♂️ 動画制作者は、有名掲示板のRedditでGPT-4を超えるオープンモデルの広告を見つけました。
• 📈 提供されたベンチマークスコアは、GoogleのモデルやZennetよりも優れていると主張されています。
• 🤔 広告は、リフレクションチューニングやリマ3.1などの技術を用いて性能が向上したと述べていますが、説明はあまりにも専門的で理解しにくくなっています。
• 😅 コミュニティの反応は最初は好意的でしたが、その後、懐疑的な声が増えていきました。
• 💻 公開されたモデルは70Bモデルで、一般的なPCでは実行しにくく、ネット上のデモサービスを試してみました。
• 🔍 モデル性能に対する疑問が高まり、特にダウンロード可能な公開モデルが実際には山3.1以下であると指摘されました。
• 😲 制作者が間違った重みをアップロードしたと突然発表し、状況が一変しました。
• 🚫 特定のプロンプトを用いると、デモ版のリフレクションが強制的に停止することが判明し、それが単なるクロード3.5であることが明らかになりました。
• 😱 この事件は、オープンAIの分野で信頼性の問題を提起し、コミュニティ全体が騙された可能性があると示唆しています。
• 🔎 最終的には、制作者が誤解を招いたり、意図的に騙しを仕掛けた可能性があると予想されていますが、真の理由は不明です。

Q & A

ビデオのタイトルは何ですか？

「自称最強llmの顛末」というタイトルです。

ビデオで話されている詐欺とはどのようなものですか？

ビデオでは、ある無名企業または個人がGPT-4を超える性能を持つオープンモデルを公開したと主張し、それが偽りであるとされる詐欺について話されています。

ビデオで言及されている「リフレクション」とは何ですか？

「リフレクション」とは、ビデオ内で詐欺として主張されているオープンモデルの名称です。

ビデオで言及されている「リフレクションチューニング」とは何を指していますか？

「リフレクションチューニング」とは、ビデオ内で詐欺的な宣伝の一部として、リフレクションモデルを改良して最高性能にすると主張されたプロセスです。

ビデオで言及されている「プロンプトインジェクション」とは何ですか？

「プロンプトインジェクション」とは、AIモデルに特定の文字列を入力することで、そのモデルの挙動を特定の方法で変更または停止させる技術です。ビデオでは、この技術がリフレクションモデルの真偽を判断する手立てとして使用されました。

ビデオで言及されている「NABASE64」とは何を意味していますか？

「NABASE64」とは、ビデオ内でプロンプトインジェクションの一環として使用された文字列で、BASE64エンコードされたものであり、特定のAIモデルの出力を強制停止させる合図です。

ビデオで言及されている「クロード3.5ソネット」とは何ですか？

「クロード3.5ソネット」とは、ビデオ内でリフレクションモデルが実際にはこのモデルを使っている可能性が示唆されています。これは、リフレクションが偽りであるとされる根拠の一つです。

ビデオで言及されている「デモ版」と「公開版」の違いは何ですか？

ビデオでは、デモ版のリフレクションモデルが実際にはクロード3.5ソネットを使っており、公開された重みはリマスリーのチューニングモデルであるとされる違いについて話されています。

ビデオで言及されている「作者」とは誰を指していますか？

ビデオで言及されている「作者」とは、リフレクションモデルを公開し、それが最高性能のオープンモデルであると主張した人物を指しています。

ビデオの結論として、リフレクションモデルは実際にはどのようなものだったとされていますか？

ビデオの結論では、リフレクションモデルは実際にはクロード3.5ソネットを使っていたり、リマスリーのチューニングモデルだったりと、最高性能のオープンモデルであると主張されていたものとは異なったとされています。