Introduction: Monitoring and Automations Essentials with LangSmith
Summary
TLDRハリソンがLang Chainの「Lang Smith」というLLMシステム運用プラットフォームの新機能について紹介します。このプラットフォームは、ログ記録、監視、デバッグ、テスト、評価を行い、特にプロダクションモニタリングと自動化に焦点を当てています。新機能として、効果的なフィルタリング体験、監視チャート、スレッドビュー、自動化オプションが追加されました。これらの機能を組み合わせて実際の問題を解決する方法について、詳細なビデオと実用例を通じて解説します。Lang SmithはLang Chainに依存しない独立したSaaSプラットフォームで、無料でアカウントを登録できます。
Takeaways
- 📢 Lang SmithはLLMシステムのOpsプラットフォームで、ログ、監視、デバッグ、テスト、評価に利用できます。
- 🚀 最近、Lang Smithに生産環境の監視と自動化に特化した新しい機能が追加されました。
- 🔍 より多くのログを扱うことで、生产環境でのサブセットのフィルタリングが重要になりました。
- 📊 監視チャートが追加され、アプリケーション全体の状況を集約的に把握できます。
- 💬 チャットがLLアプリケーションの主要なUXの1つであるため、会話の異なるターンをグループ化し、スレッド全体を一目で確認できるビューが追加されました。
- 🤖 自動化機能は、データのフィルタリングされたサブセットを自動的に処理する方法です。
- 🔄 自動化を使用して、データセットやアノテーションキューに送信できます。
- 📝 オンライン評価は、生産環境のトラフィックに対するランタイムの実行を自動的に評価し、フィードバックを提供する方法です。
- 🎥 これらの機能について詳しく説明するビデオや、実際のユースケースを紹介するエンド 투 エンドのビデオが公開される予定です。
- 💼 Lang SmithはChainを使用しているかどうかに関係なく、ログ、監視、テスト、評価を行うためのSaaSプラットフォームです。
- 🔗 Lang Smithのアカウントを無料で登録するには、smith.chain.comにアクセスしてください。
Q & A
ランスミスとは何ですか?
-ランスミスは、ロギング、監視、デバッグ、テスト、評価のためのLLM(Large Language Model)システム運用プラットフォームです。
ランスミスで新たに追加された機能は何ですか?
-ランスミスで新たに追加された機能には、プロダクション監視と自動化に関する機能が含まれています。
プロダクションサービスでログが増えた場合、どのように対処しますか?
-ランスミスでは、フィルタリング機能が強化されており、必要なサブセットに簡単にフィルタリングできます。
ランスミスの監視チャートは何ですか?
-ランスミスの監視チャートは、アプリケーション内の状況を集約的に把握するための視覚的なツールです。
ランスミスで会話のスレッドを整理するにはどうすればよいですか?
-ランスミスでは、会話の異なるターンをグループ化し、スレッドレベルでのビューを提供することで整理できます。
自動化とは何ですか?
-自動化とは、フィルタリングされたデータのサブセットを自動的に処理し、データセットに送信したり、注釈に使用したりすることができる機能です。
オンライン評価とは何ですか?
-オンライン評価は、プロダクショントラフィックに入ってくるトレースの一部に対して、プロンプトを実行しフィードバックを残し、自動的に評価を行う機能です。
ランスミスを使用するためにはどのような条件が必要ですか?
-ランスミスはLLMアプリケーションの運用に使用でき、ランチェーンを使用していなくても利用可能です。
ランスミスのアカウントを作成するにはどうすればよいですか?
-ランスミスのアカウントを作成するには、smith.chain.comにアクセスし、無料アカウントを作成できます。
ランスミスで提供される詳細なビデオとは何ですか?
-ランスミスでは、新機能に関する詳細なビデオだけでなく、これらの機能を組み合わせて実際の問題に適用する方法についてのエンドツーエンドのユースケースビデオも提供されます。
ランスミスで提供される機能はどのようにしてリアルワールドの問題を解決するのに役立ちますか?
-ランスミスの機能を使用することで、プロダクション監視と自動化を通じて、リアルワールドの問題を解決するための具体的なアプローチを提供できます。
ランスミスのプラットフォームはSaaSですか?
-はい、ランスミスはSaaS(サービスとしてのソフトウェア)プラットフォームであり、ロギング、監視、テスト、評価を行えるサービスを提供しています。
Outlines
🚀 新機能紹介: Lang Smithの生産環境監視と自動化
この段落では、HarrisonがLang Chainの新しいシリーズの機能について語っています。Lang Smithは、ログ、監視、デバッグ、テスト、評価をするためのLLMシステムのOpsプラットフォームです。新機能は、生産環境の監視と自動化に特化しています。Lang Smithは、開発時だけでなく、アプリケーションがライブで生産環境で動作している時も、何が起こっているのかを把握するのに役立ちます。Harrisonは、これらの新機能を紹介し、それらに基づいて詳細な動画や実際のユースケースを解説する予定です。
Mindmap
Keywords
💡Lang Smith
💡プロダクションモニタリング
💡オートメーション
💡フィルタリング
💡監視チャート
💡スレッド
💡オンライン評価
💡データセット
💡注釈(Annotation)
💡エンドツーエンドのユースケース
💡SaaSプラットフォーム
Highlights
Lang Smith is an llm systems Ops platform for logging, monitoring, debugging, testing, and evaluation of llm apps.
New features are being released focusing on production monitoring and automation.
Lang Smith is useful for understanding what's happening in your application during development and in live production.
The platform has added a robust filtering experience to easily explore subsets of increasing production logs.
Monitoring charts have been introduced to provide an aggregated view of application performance.
Threads feature has been added for a better chat user experience in LL applications by grouping conversation turns together.
Automations allow for automatic actions on filtered data subsets, such as sending data to a dataset or an annotation CU.
Online evaluation is a major new feature that enables defining prompts and leaving feedback for automatic evaluation of production traffic.
Lang Smith is a SaaS platform that can be used independently of Lang chain.
Users can sign up for a free account on smith.chain.com to utilize Lang Smith.
Detailed videos and end-to-end use case videos will be available to demonstrate the use of these new features.
The features aim to help users understand and take action based on the performance and issues within their applications.
The chat thread view provides a bird's eye perspective of conversations, enhancing UX for LL application users.
Annotation CU is a concept introduced for automations that will be explained in further detail.
Production monitoring and automations can solve real-world problems and improve the efficiency of llm app management.
The introduction of these features signifies a step forward in the comprehensive management and optimization of llm applications.
Transcripts
hi Harrison from Lang chain here and
today I want to talk about a series of
features that we're releasing as part of
Lang Smith so if you haven't used Lang
Smith already it's our llm systems Ops
platform for logging monitoring
debugging testing evaluation of your llm
apps and we're releasing a series of new
features specifically around production
monitoring and automation
so lsmith is really handy for getting
the sense of what's going on in your
application and that doesn't just mean
what's going on during development time
or or in offline mode it also means
what's going on when your application is
live and in production and so we've
added a bunch of new features to help
you understand what's going on and then
take action based on that so as a quick
overview I'm going to talk about the
features here
and then we're going to have detailed
videos on all of these features and then
also some more endtoend use case videos
on how to combine and use these features
for very real
situations so as an overview of what
we'll be covering first we're going to
talk about filtering so as you get more
and more logs in your Production Service
you need to be able to filter into
subsets that you want to explore really
easily and we've added a really good
filtering
experience we're then going to talk
about some of the monitoring charts that
we've added and all the things that you
can do with them so this provides a
really great way to get an aggregate
view of what is going on in your
application after that we're going to
talk about threads so one of the main
uxs for LL applications is chat and so
being able to group different turns of
the conversation together into a
sensible View and and have a kind of
like a great Bird's eyye view of that
thread or or that conversation is really
important and so we've added a a view
specific not at the trace level um but
at the thread
level and finally we'll we'll dive into
automations and so automations are
basically ways of taking filtered
subsets of data automatically and doing
things with it so one thing that you can
do with it is you can send it to a data
set another thing you can do with it is
you can send it to an annotation CU and
I'll explain what an annotation CU is
and then the Third thir thing you can do
with this and this is a really big new
feature we've added is online
evaluation so with online evaluation you
can define a prompt to run over some
subset of traces and leave some feedback
and automatically evaluate your runs
that you see coming in to the production
traffic so I'm going to cover all these
things and then I'll also cover a few
use cases and so what you can do with
these and and and really like real world
problems that you can solve with this
concept of production monitoring and
automations all of these features are
part of lsmith which is our SAS platform
for doing logging monitoring testing
evaluation you can use Lang Smith
whether you are using Lang chain or not
so it is completely independent in order
to sign up for an account you can go to
smith. chain.com and you can sign up for
an account for
free you will probably want to do that
before before we continue with the rest
of this video once you've done that come
back and jump into a future guide let's
get
started
Weitere ähnliche Videos ansehen
LangChain Agents with Open Source Models!
How to Use LangSmith to Achieve a 30% Accuracy Improvement with No Prompt Engineering
Gumloop Chrome Extension
Evaluations in the prompt playground | LangSmith Evaluations - Part 8
Eval Comparisons | LangSmith Evaluations - Part 7
Auto UV Unwrap in Substance Painter | Does it work?
5.0 / 5 (0 votes)