Code-First LLMOps from prototype to production with GenAI tools | BRK110

Summary

このビデオスクリプトでは、Azure AIチームのCassieとDanがコードファーストのLM（大規模言語モデル）アプリケーション開発プロセスを紹介しています。開発者がAIを活用して顧客体験を向上させる方法と、モデルのパフォーマンス向上やデバッグの課題に対処するための新しいツールと機能について詳しく説明しています。Promptyという新しいツールやAI Studioの統合、GitHub Actionsを使った評価と自動化、そしてプロンプトフロートレーシングSDKを活用したローカル開発環境でのトレースとデバッグが紹介されています。さらに、CI/CD環境での評価と、App Insightsを使ったプロダクションでの監視と評価スコアの可視化もカバーされています。

Takeaways

• 🌟 Azure AIチームのCassieとDanによる「コードファーストLMアプリケーションのプロトタイプからプロダクションへの移行」というトークを紹介しています。
• 🛠️ 顧客からのフィードバックに基づいて、モデルを構築し、ローカルとプロダクションでのデバッグ、非決定性の扱い方など、LMアプリケーションの開発における課題に対処する新しいツールを作成しました。
• 🔄 LMアプリケーションの開発プロセスには、アイデーション、開発、プロダクションという3つの反復ループがあります。それぞれの段階で異なる焦点を持つことが重要です。
• 🚀 ASOSはAIを活用して顧客体験を向上させる例として挙げられています。彼らはAIパワードの経験を開発し、顧客との絆を築きながら好みを学習しています。
• 🛠️ 新しいツールの紹介として、Azure Developer CLIのAI Studio統合、Prompty、VS Code拡張、GitHub Actionsなどが挙げられています。これらは開発者にとってAIをより使いやすいものに変えるものです。
• 📝 Promptyは言語に依存しないプロンプトアセットで、VS Code上でプロンプトエンジニアリングを簡単に行えるよう設計されています。
• 🔧 Promptyファイルを使用することで、開発者はプロトタイピングのループを開始し、AIがどのように応答するかを理解しやすくなります。
• 🔄 開発者はPromptyを用いてコードを迅速に作成し、C#などの言語を使用してプロンプトを実行できます。
• 📈 Azure Developer CLIを使用することで、AI Studioのテンプレートを利用してインフラストラクチャのコード化と自動化を行うことができます。
• 🤖 クリエイティブエージェントの例では、AIがウェブ検索やベクターデータベース検索を活用し、記事を作成するプロセスを紹介しています。
• 🔧 記事の途中で切れる問題が発生している場合、開発者はアプリケーションコードを掘り下げて、パラメータの調整を行うことができます。
• 📊 評価指標として関連性、流暢性、一貫性、信頼性などが挙げられており、Prompt Flow Evaluators SDKを用いてアプリケーションの品質を評価できます。
• 👀 トレーシングとデバッグは、AIモデルの動作を理解し、問題を迅速に特定し解決するのに非常に役立ちます。
• 📊 App Insightsを使用した監視ダッシュボードを介して、プロダクションでのLMアプリケーションのパフォーマンスを監視できます。
• 🔄 GitHub Actionsを用いたCI/CDにより、変更を自動的にテストし、アプリケーションの品質とパフォーマンスを継続的に向上させることができます。

Q & A

コードファースト言語モデル(LM)アプリケーションの開発にはどのような課題があるとカスタマーから報告されていますか？

モデルが良好に機能し、ローカルとプロダクションの両方でのデバッグ、非決定性の特性、そしてtrue/falseに慣れている開発者にとっての新たな課題があります。

言語モデルアプリケーションの開発プロセスにはどのような3つの反復ループがありますか？

アイデアの創出、初期のProof of Conceptの構築、単一のユーザー入力での出力を確認する開発の初期段階、Proof of Conceptを超えたアプリケーションの開発、そしてアプリケーションを本番環境に移し、実際のユーザーからのフィードバックをもとに品質を向上させるプロダクションへの移行の3つのループがあります。

ASOSはどのようにAIを活用して顧客体験を向上させていますか？

ASOSはAIを活用して顧客との絆を築き、彼らの好みを学習するAIパワードの体験を開発しています。

Promptyツールとは何で、どのような利点がありますか？

Promptyは言語に依存しないプロンプトアセットで、VS Code内でプロンプトを反復的に操作し、言語モデルとやり取りするプロンプトエンジニアリングを簡単に行うことができます。

Azure Developer CLIにAI Studioの統合が追加されたことによる利点は何ですか？

AI Studioテンプレートを使用してインフラストラクチャをコードとして扱い、自動化を行うことができます。

GitHub Actionsはどのようにして評価と自動化に使われますか？

GitHub Actionsはプロンプトの評価と自動化に使用され、コードの変更やインフラの変更をテストし、最新バージョンのアプリケーションを常にテストすることができます。

AIツールが開発者に与える主な変化とは何ですか？

AIは開発者ツールとして開発者のツールベルトに加わり、研究やデータサイエンティストの手元から開発者全員の手に渡り、アプリケーション開発に活用されるようになりました。

プロンプトフロートレーシングとは何であり、どのように動作しますか？

プロンプトフロートレーシングは、コード内の特定の関数の入力と出力を記録し、アプリケーションの動作を理解しやすくするためのツールです。オープンテレメトリーに基づいて構築されており、Azure MonitorのトレースエクスポーターをインポートしてApplication Insightsに情報を送信できます。

アプリケーションのトレース情報をApplication Insightsに送信することの利点は何ですか？

トレース情報をApplication Insightsに送信することで、開発者はアプリケーションのパフォーマンスを監視し、問題をトラブルシューティングし、改善することができます。

プロンプトフローエバリュエーターSDKとは何であり、どのようにアプリケーションに統合されますか？

プロンプトフローエバリュエーターSDKは、生成された記事の結果に対して評価を行うツールです。アプリケーション内で評価を行うことで、記事の品質を自動的に評価し、フィードバックを得ることができます。

GitHub ActionsをCICD環境で使用することの利点は何ですか？

GitHub ActionsをCICD環境で使用することで、コードの変更がプッシュされるたびに自動的にインフラのプロビジョニングとアプリケーションのデプロイが行われ、常に最新バージョンのアプリケーションをテストできます。

Azure MonitorとAI Studioのどちらを使用してアプリケーションを監視するべきか、その理由は何ですか？

どちらのツールを使用するかは開発者の選択によるが、Azure Monitorは高度な監視機能を提供し、AI Studioは評価とトレーシングを組み込み、異なる実行を比較するためのツールを提供します。

プロンプトの変更がアプリケーションの評価スコアにどのように影響を与えるかを理解するために重要なポイントは何ですか？

プロンプトの変更が行われた後に、GitHub Actionsを通じてバッチ評価を行い、アプリケーションのパフォーマンスがどのように変化しているかを監視することが必要です。

トレースとデバッグがAIアプリケーション開発において重要な理由は何ですか？

トレースとデバッグは、言語モデルに何が送信され、何が返ってくるのかを理解し、アプリケーションが特定の方法で動作する理由を理解するのに非常に役立ちます。

プロンプトのパラメータを調整することで開発者が得られる主な利点は何ですか？

プロンプトのパラメータを調整することで、開発者はアプリケーションのパフォーマンスを最適化し、生成されたコンテンツの品質を向上させることができます。

プロンプトフローSDKを使用してカスタムエバリュエーターを作成することの利点は何ですか？

プロンプトフローSDKを使用してカスタムエバリュエーターを作成することで、開発者は特定のビジネスニーズに合わせて評価プロセスをカスタマイズできます。

プロンプトのパラメータを調整する際に主に注意すべきポイントは何ですか？

プロンプトのパラメータを調整する際には、言語モデルが生成するトークンの最大数と、生成された記事の長さを適切に設定することが重要です。