Introduction: Monitoring and Automations Essentials with LangSmith

LangChain

2 Apr 202403:39

Summary

TLDRハリソンがLang Chainの「Lang Smith」というLLMシステム運用プラットフォームの新機能について紹介します。このプラットフォームは、ログ記録、監視、デバッグ、テスト、評価を行い、特にプロダクションモニタリングと自動化に焦点を当てています。新機能として、効果的なフィルタリング体験、監視チャート、スレッドビュー、自動化オプションが追加されました。これらの機能を組み合わせて実際の問題を解決する方法について、詳細なビデオと実用例を通じて解説します。Lang SmithはLang Chainに依存しない独立したSaaSプラットフォームで、無料でアカウントを登録できます。

Takeaways

📢 Lang SmithはLLMシステムのOpsプラットフォームで、ログ、監視、デバッグ、テスト、評価に利用できます。
🚀 最近、Lang Smithに生産環境の監視と自動化に特化した新しい機能が追加されました。
🔍 より多くのログを扱うことで、生产環境でのサブセットのフィルタリングが重要になりました。
📊 監視チャートが追加され、アプリケーション全体の状況を集約的に把握できます。
💬 チャットがLLアプリケーションの主要なUXの1つであるため、会話の異なるターンをグループ化し、スレッド全体を一目で確認できるビューが追加されました。
🤖 自動化機能は、データのフィルタリングされたサブセットを自動的に処理する方法です。
🔄 自動化を使用して、データセットやアノテーションキューに送信できます。
📝 オンライン評価は、生産環境のトラフィックに対するランタイムの実行を自動的に評価し、フィードバックを提供する方法です。
🎥 これらの機能について詳しく説明するビデオや、実際のユースケースを紹介するエンド 투 エンドのビデオが公開される予定です。
💼 Lang SmithはChainを使用しているかどうかに関係なく、ログ、監視、テスト、評価を行うためのSaaSプラットフォームです。
🔗 Lang Smithのアカウントを無料で登録するには、smith.chain.comにアクセスしてください。

Q & A

ランスミスとは何ですか？
-ランスミスは、ロギング、監視、デバッグ、テスト、評価のためのLLM（Large Language Model）システム運用プラットフォームです。
ランスミスで新たに追加された機能は何ですか？
-ランスミスで新たに追加された機能には、プロダクション監視と自動化に関する機能が含まれています。
プロダクションサービスでログが増えた場合、どのように対処しますか？
-ランスミスでは、フィルタリング機能が強化されており、必要なサブセットに簡単にフィルタリングできます。
ランスミスの監視チャートは何ですか？
-ランスミスの監視チャートは、アプリケーション内の状況を集約的に把握するための視覚的なツールです。
ランスミスで会話のスレッドを整理するにはどうすればよいですか？
-ランスミスでは、会話の異なるターンをグループ化し、スレッドレベルでのビューを提供することで整理できます。
自動化とは何ですか？
-自動化とは、フィルタリングされたデータのサブセットを自動的に処理し、データセットに送信したり、注釈に使用したりすることができる機能です。
オンライン評価とは何ですか？
-オンライン評価は、プロダクショントラフィックに入ってくるトレースの一部に対して、プロンプトを実行しフィードバックを残し、自動的に評価を行う機能です。
ランスミスを使用するためにはどのような条件が必要ですか？
-ランスミスはLLMアプリケーションの運用に使用でき、ランチェーンを使用していなくても利用可能です。
ランスミスのアカウントを作成するにはどうすればよいですか？
-ランスミスのアカウントを作成するには、smith.chain.comにアクセスし、無料アカウントを作成できます。
ランスミスで提供される詳細なビデオとは何ですか？
-ランスミスでは、新機能に関する詳細なビデオだけでなく、これらの機能を組み合わせて実際の問題に適用する方法についてのエンドツーエンドのユースケースビデオも提供されます。
ランスミスで提供される機能はどのようにしてリアルワールドの問題を解決するのに役立ちますか？
-ランスミスの機能を使用することで、プロダクション監視と自動化を通じて、リアルワールドの問題を解決するための具体的なアプローチを提供できます。
ランスミスのプラットフォームはSaaSですか？
-はい、ランスミスはSaaS（サービスとしてのソフトウェア）プラットフォームであり、ロギング、監視、テスト、評価を行えるサービスを提供しています。