Anthropic function calling for structured LLM outputs

Summary

このビデオスクリプトは、Anthropicがリリースしたツールを使用して構造化された出力を生成する方法について説明しています。pip install Lang chain anthropicコマンドを使用して簡単に開始でき、構造化出力メソッドを用いてJSON文字列を生成し、APIやパーサーに渡すことができます。また、エラーが発生した場合のリトライ機能も紹介されています。

Takeaways

• 🚀 Anthropicが新たにリリースしたTool Use APIを利用することで、構造化された出力が生成できます。
• 📦 初期設定は簡単で、pip install Lang chain anthropicというコマンドで始められます。
• 🔧 Tool Useは、構造化された出力生成に特化した機能として使用されます。
• 📈 構造化された出力は、通常JSON文字列として生成され、APIやパーサーに渡されます。
• 🔄 Lang Chainのstructured outputsメソッドを使用して、LLMに構造化出力生成のためのTool Useをバインドします。
• 💠 スキーマを定義し、それをLLMに渡すことで、期待される構造化された出力が得られます。
• 🔍 内部的に、Lang Chainはスキーマを内部関数スキーマに変換し、LLMに通知します。
• 📊 モデルの出力を解析し、エラーがなければ、構造化された結果を取得できます。
• 🛠️ ツールの呼び出しに問題が発生した場合、パーサーが解析できないエラーが発生する可能性があります。
• 🔄 検証エラーが発生した場合、フォールバックチェーンを使用して再試行できます。
• 🔧 フォールバックチェーンは、エラーをキャッチして、LLMに再び問題を解決するように指示します。
• 📝 構造化された出力のスキーマを強化するために、フォールバックを使用してバリデーションエラーをキャッチできます。

Q & A

Anthropicがリリースしたツールを使用するために最初に行う必要がある操作は何ですか？

最初に行う必要がある操作は、pip install Lang chain anthropicというコマンドを実行することです。

構造化された出力を生み出すためにツールを使用する方法について説明してください。

構造化された出力を生み出すために、Lang chainのstructured outputsメソッドを使用します。これにより、LLMに構造化出力の生成を要求することができます。スキーマを渡すと、预期されるオブジェクトが生成されます。

ツール使用（tool use）の背後にある仕組みを説明してください。

ツール使用は、LM（Language Model）にペイロード（ここでは通常はJSON文字列）を生成するように指示することを意味しています。このペイロードは、例えばWeb検索のようなAPIに渡すことができますし、パーサーに渡して構造化された出力を生成することもできます。

Lanceが紹介したコード生成の例では、どのような3つの要素を含んでいましたか？

Lanceが紹介したコード生成の例では、前缀（prefix）、コード解決方案（code solution）、インポート（imports）の3つの要素を含んでいました。

LLMが構造化出力を生成するために内部でどのようなプロセスを実行しますか？

LLMは、内部でJSONのような関数スキームを変換し、LMにツールの呼び出しを認識させるプロセスを実行します。問題を受け取ると、LMはツールを呼び出してJSON文字列を返します。その後、定義した出力スキーマを使用してパーサーを作成し、文字列を出力に変換します。

Lanceが使用したLLMの種類は何でしたか？

Lanceが使用したLLMの種類はCLA three Opusでした。

構造化出力の例で、Anthropicが最初に行った「thinking step」は何を目的としていますか？

「thinking step」は、質問を理解し、LMが呼び出すべきツールを適切に選択するために行われるプロセスです。

コード生成において、Lanceはどのようにしてツールの呼び出しをキャッチし、再試行することができますか？

Lanceは、モデルの出力を解析できなかった場合にエラーをキャッチし、再試行するロジックを実装しています。これには、raw outputとerrorを抽出し、ValueErrorを発生させ、tool outputを返す関数が使用されます。

fallback chainを使用する際の利点は何ですか？

fallback chainを使用することで、ツール使用の検証エラーをキャッチし、問題を修正して再試行することができます。これにより、構造化された出力を強制することができ、期待されるスキーマに従って出力を生成することができます。

Lanceが紹介した例で使用した「Lang chain expression language」とは何ですか？

「Lang chain expression language」は、Lanceが紹介したコード生成の例で使用された、Lang chainのドキュメントの一部である表現言語です。

コード生成において、Lanceはどのようにしてユニットテストを適用することができますか？所以は何か？

Lanceは、コード生成ステップの出力を前述のprefix importsとcodeのパンティックオブジェクトとして設定し、その後にユニットテストを適用することができます。これは、実際の世界でのコード生成の动机として、出力を適切に検証し、エラーや問題を修正するためです。