New AUTOGEN 3.0 Update | Amazing UI

Summary

オートジェン・スタジオの最新バージョンに関するこの動画では、視覚的に大きく進化した新機能や改善点について解説しています。特に、ドラッグ＆ドロップによるエージェントのワークフローの設定、プロファイラビューによるデバッグ機能の強化、さらには新しいコスト解析やツールの可視化機能が導入され、使いやすさが大幅に向上しています。また、再利用可能なテンプレートやワークフローの簡単なエクスポート・デプロイが可能となり、複雑なマルチエージェントシステムのプロトタイピングと管理が容易になりました。視聴者は、このバージョンに対する期待を高められる内容となっています。

Takeaways

• 🚀 Autogen Studioの新バージョンは大幅に改善され、前バージョンよりも多くの新機能が追加されています。
• 🖥️ ドラッグ＆ドロップUIを使用して、エージェントワークフローを簡単に指定・評価できるようになりました。
• 📊 新機能として、メトリクスの可視化やメッセージのプロファイリングが導入され、エージェントの動作をより詳細に確認できるようになりました。
• 📂 Autogen Studioでは、複数のエージェント間でスキルやツールを簡単に割り当て可能になっています。
• 🛠️ デバッグがより容易になり、エージェントの失敗原因やワークフローコストが明確に表示されます。
• 🗂️ 再利用可能なエージェントコンポーネントのギャラリーがあり、テンプレートの再利用と共有が可能です。
• 👨‍💻 コード不要で、Pythonアプリケーションにワークフローをエクスポート・デプロイできる新機能が追加されています。
• 🎯 Playgroundビューを使用してタスク実行やデバッグができ、ワークフローを迅速にプロトタイプ化できます。
• 🤖 Autogen Studioは、マルチエージェントシステムのデザインと最適化に向けた新しいツールを提供しています。
• 📈 プロファイラビューで、エージェントの動作と成果物の生成がすべて可視化され、複雑なシステムでも効率的に管理できます。

Q & A

Autogen Studioとは何ですか？

Autogen Studioは、マルチエージェントワークフローのプロトタイピング、デバッグ、および評価を迅速に行うためのノーコード開発ツールです。直感的なドラッグ＆ドロップUIを提供し、エージェントのワークフローを簡単に設計できます。

Autogen Studioの最新バージョンで何が改善されましたか？

最新バージョンでは、ドラッグ＆ドロップによるUIの大幅な改善、プロファイリング機能の追加、エージェント間のメッセージやアクションの可視化、コストの追跡などが強化されました。

新バージョンのAutogen Studioでどのような機能が追加されましたか？

エージェント間のメッセージやアクションの可視化、タスクの進行状況の監視、ワークフローのコスト計算、ツールの成功・失敗を追跡するプロファイリング機能などが追加されました。

エージェントワークフローを作成する際にどのようなモデルやツールを使用できますか？

GPT-4 Turboなどのモデルを選択して使用することができ、コンテンツ生成、画像生成、ウェブ検索などのスキルをエージェントに追加することが可能です。

Autogen Studioの新しいプロファイリング機能とは何ですか？

プロファイリング機能は、エージェントのメッセージ、アクション、コスト、成功したツールや失敗したツールを可視化し、ワークフローのデバッグや最適化をサポートします。

Autogen Studioはどのようにワークフローのエクスポートをサポートしていますか？

Autogen Studioでは、ワークフローをJSON形式でエクスポートでき、Pythonアプリケーションで実行したり、Dockerコンテナとしてデプロイしたりすることが可能です。

Autogen Studioの最新バージョンでの課題は何ですか？

マルチエージェントワークフローの設計は複雑であり、特にエージェントの失敗や問題点を特定するのが困難ですが、新しいプロファイリングツールでこれを解決しようとしています。

Autogen Studioで作成されたワークフローのデバッグ方法はどのように改善されましたか？

デバッグ機能が強化され、エージェントが実行するタスクの進行状況や生成されたファイル（画像、コード、ドキュメントなど）をリアルタイムで観察できるようになりました。

Autogen Studioの『Playground View』とは何ですか？

Playground Viewは、タスクの実行やワークフローのデバッグを行うためのインターフェースで、エージェントの動作や生成物を視覚的に確認できます。

Autogen Studioのエージェントはどのような用途に使用できますか？

エージェントは、ユーザープロキシ、コンテンツ生成、画像生成、QAエージェントなど様々な役割を持つことができ、グループチャットやドキュメント作成などのタスクに応用可能です。

Outlines

00:00

🛠️ オートジェンスタジオの大幅な改善

オートジェンスタジオの新バージョンについての紹介。このツールはマルチエージェントワークフローのプロトタイプ作成、デバッグ、評価を簡単に行えるノーコード開発ツールです。新バージョンはドラッグ＆ドロップのインターフェースを採用し、直感的な操作性が大幅に向上しています。オートジェンスタジオの目標は、より複雑なシステムを管理しやすくすることです。エージェントを使ったプロセスの効率化が期待されており、プロファイリング機能や可視化が追加され、ワークフロー全体のコストやエージェント間のやりとりが一目でわかるようになっています。

05:02

🎛️ プレイグラウンドビューとワークフローのデバッグ

プレイグラウンドビューは、タスク実行やワークフローのデバッグに使われる新機能で、エージェントの行動を簡単に追跡できます。このビューでは、セッションを作成し、ワークフローを割り当て、タスクを実行できます。ワークフローは、単発タスクやマルチターンのタスクとして動作します。デバッグをサポートするために、タスクの進行状況やエージェントのメッセージがリアルタイムで表示され、生成された成果物が確認できます。また、新しいインターフェースが導入され、ユーザーはより多くの情報を容易に取得できるようになっています。

10:03

📘 新しい機能とエクスポートの改善

オートジェンスタジオでは、ワークフローをJSONファイルとしてエクスポートでき、Pythonアプリケーションに直接組み込むことが可能になりました。また、エージェント間のやり取りの可視化やコスト計算の詳細な表示など、全体的な操作性が大幅に改善されています。デバッグやシステムの挙動を理解するためのツールが強化され、複数エージェントによるワークフローの作成が簡単になりました。このバージョンでは、エージェントを迅速にプロトタイピングできるだけでなく、将来の研究やデザインパターンの向上に向けた方向性も示されています。

Keywords

💡Autogen Studio

Autogen Studioは、マルチエージェントワークフローの迅速なプロトタイピング、デバッグ、および評価をサポートするノーコード開発ツールです。このツールは、エージェントのワークフローを直感的なドラッグアンドドロップUIで構築できる点が強調されています。動画内では、新バージョンが大幅に改善され、特に視覚的なインターフェースやエージェント間の相互作用がわかりやすくなったことが示されています。

💡マルチエージェントワークフロー

複数のエージェントが協力してタスクを実行するシステムを指します。Autogen Studioでは、このマルチエージェントワークフローを容易に設計し、デバッグできる点が強調されています。ビデオでは、各エージェントが独自の役割を果たし、エージェント間の相互作用を視覚的に確認できる機能が紹介されています。

💡ドラッグアンドドロップUI

Autogen Studioの新しい機能として、エージェントやスキルを簡単にドラッグアンドドロップで配置するUIが導入されました。この操作により、ユーザーはプログラミング知識がなくてもワークフローを直感的に構築できます。ビデオでは、エージェントやツールの追加がどれだけ簡単になったかが強調されています。

💡プロファイリング機能

プロファイリング機能は、各エージェントがどのようにタスクを実行したか、どのツールを使用したか、コストはどれくらいかかったかなどの詳細な情報を提供します。特に、ワークフローのデバッグ時に重要な役割を果たし、失敗した箇所やその原因を特定するのに役立ちます。

💡タスクデバッグ

タスクデバッグは、エージェントがタスクを正しく実行できるかを確認し、問題が発生した場合にその原因を探るためのプロセスです。Autogen Studioでは、視覚的なフィードバックを通じて、エージェントの動作を簡単に追跡できる機能が追加されました。

💡エージェントテンプレート

再利用可能なエージェントテンプレートは、開発者が同様のタスクを迅速に設定できるように設計されています。ビデオでは、テンプレートがギャラリーで提供され、ユーザーがそれを共有したり、特定のワークフローに適用できることが示されています。

💡ノーコード開発

プログラミングの知識がなくても、視覚的な操作だけでワークフローを構築できる開発方法を指します。Autogen Studioでは、ユーザーはコードを一切記述せずに複雑なマルチエージェントワークフローを作成できる点が強調されています。

💡エージェント間のメッセージ可視化

エージェントが相互にどのようなメッセージを送受信しているかを視覚的に表示する機能です。この機能により、タスクの進行状況や問題点を簡単に把握できるようになります。ビデオでは、メッセージの数やツールの呼び出しの成否が表示される様子が示されています。

💡ワークフローのエクスポート

Autogen Studioでは、作成したワークフローをJSON形式でエクスポートでき、それをPythonアプリケーションやAPIエンドポイントで使用できるようになっています。これにより、開発者は柔軟にワークフローを他のシステムに統合できます。

💡GitHubイシューの可視化

GitHubのリポジトリにおけるユーザーフィードバックやイシューが視覚化され、問題点や改善点が一目でわかるようになります。Autogen Studio 3.0では、この機能を活用してユーザーからのフィードバックを整理し、次期バージョンの改善に役立てています。

Highlights

Huge improvement from the previous version of Autogen Studio.

Introduction of new features with a more intuitive drag-and-drop UI.

Built off the Autogen framework developed over the past year.

No-code developer tool for rapidly prototyping, debugging, and evaluating multi-agent workflows.

Provides reusable agent components and new profiling capabilities.

Significant visual changes to the interface with added tools for debugging.

Allows drag-and-drop functionality to assign tasks and skills to agents.

New feature that tracks costs, tools executed by agents, and workflow outputs.

Debugging multi-agent workflows with improved observability.

Supports long-term memory and vector databases integration.

Playground view for task execution and workflow debugging.

Supports reusable templates for agents like assistant agents and group chat agents.

New gallery view for sharing and reusing templates.

Support for exporting workflows as JSON config files.

Workflows can be deployed in Python applications or wrapped in Docker containers.

Transcripts

I have to say this looks absolutely

amazing this is such a huge improvement

from the previous version of Auden

Studio it seems that it's been a little

while since we really heard something

about autogen Studio or at least

anything significant until now I'm

really excited to go over this paper

with you and see what all there is with

the new version so let's get into it

okay so this is the new paper and as you

can see just from this screenshot that

is going to look so much different than

what it currently does mainly because

there are new features but let's just go

over if you're new to aen Studio and

what it is let's just go over what this

paper is saying and we'll get to these

features the idea of autogen studio is

that it's built off the autogen

framework which has developed over the

past year into something wonderful

however with that comes complexity right

the more you're adding onto the

framework to do more the more complex it

can get and this is where autogen Studio

comes into play so to address this

situation they present aen Studio A no

code developer tool for rapidly

prototyping debugging and evalu evalua

these multi-agent workflows it provides

an intuitive drag and drop UI for agent

workflow specification interacting the

evalu interactive valuation and

debugging of workflows and a gallery of

reable agent components and if you see

with a screenshot right this is nothing

at all what autogen studio used to look

like this is now a drag and drop see

there's an agent a there's an agent B

look this is the um the agent a is a

user proxy and it is executing code B is

a book generation group chat manager and

inside of here there are three different

agents and it looks like they're just

dragging and dropping the model so right

here is GPT 4 Turbo they're just

dragging dropping the models and adding

skills right so this one's getting a

Content agent is getting web search and

image agent is getting an image

generator skill or tool and I have to

say that is an this this screenshot

right here is an amazing Improvement of

what it used to look like now that I see

this I'm loving this but what's

interesting is this introduction of

profiling capabilities with

visualizations of messages and actions

and well this metrics right here metrics

is the main thing here is it looks like

they're they're going to have a UI to

show you um you know what the costs are

what tools were executed by which agents

what are the output for each of the

agent and so forth so if something if

something failed you can now see where

it was and then also how much your

workflow cost you and it is hard to

debug some of these mod multi- agent

workflow especially the more complex

they get right if something fails yeah I

mean you can have you can have logging

and print statements and what or however

you do it but still to see exactly how

the agent that specific agent failed and

why it failed it can be difficult so

looks like here they have a related work

section where they talk about uh agentic

implementation such as react which is

the reason and acting for llms they have

L chain for Harrison Chase uh and so

forth this is just kind of um saying

about what some people have done and

some limitations to have better

architectures for multi-agents all right

and I'm just going to go over these

Concepts really quick just in case you

know some of you a lot of you may

already know these but these are like

going to be the main components of

autogen Studio which is why they're

highlighting here right it's this whole

drag and drop experience now so with the

with the model you know this is you're

going to be able to pick the model to

generate whatever it is image text uh

skills SL tools you know you're going to

I think you can it looks like you can

still if you want to code your own tool

and then you can probably drag and drop

that onto whichever agent and it looks

like they may be implementing memory so

shortterm you know this is the normal or

long-term right so they can we can have

Vector databases which would be nice to

have um with autogen Studio I will'll

look further in the research paper see

if they're going to implement that but

that would be really nice to have and of

course the agent and then you can looks

like you can combine um like workflows

together to create these groups of

Agents or like a group chat or you can

have a single agent or whatever it is

you know and scrolling down a little bit

here what they're kind of just getting

at is that you know there are

limitations um whenever you have all of

these together that like you know it can

be hard to basically have reusable

templates or be able to bootstrap some

workflow you know it can be hard so they

try to get rid of that just by providing

this visual interface and they're going

to and they're going to kind of hone in

on the design goals which is to have

rapid prototyping developer tooling so

these tools um you know we can help

understand what's happening with agent

behaviors and this is going to help us

you know facilitate the Improvement of

these systems by understanding quicker

and easier what's happening and they

have reusable templates now this they

had a gallery section right that present

a gallery of reusable sharable templates

it could be just still in the same

Gallery section but you know that was a

little different so hopefully it's

improved with um with this next version

of autogen studio so they have a

playground view which is going to be

used for tax task execution workflow

debugging and options to export and

deploy the gallery view fac facilitates

the ReUse and sharing of the templates

which is what I just talked about now

this kind of confirms it and then here

they're you know they're just going over

some templates they have for um for

agents like assistant agent a group chat

uh agent and so forth right this is

that's all pretty standard stuff with

autogen saying workflows can be tested

in the build view which you know we

could we did already um in the previous

version I believe or was made the

playground view but more systematically

explored within the playground view okay

so the playground view allows users to

create sessions which again we were able

to do in the previous version attach

workflows to the session and then run

tasks so either single shot or

multi-turn basically group chats or just

a onetoone um or just an Interactive in

with one agent aen Studio provides two

features to support debugging first it

provides an observe view whereas task

progress messages and actions performed

by agents are streamed to the interface

and all generated artifacts are

displayed so files uh such as images

code and documents and now let's go

ahead and look at the new interface and

here all they're really saying is the

backend API the frontend web UI and kind

of what it looks like but look at just

look at how this looks this looks abs

absolutely amazing this is a huge

upgrade from the way it used to look and

the amount of information that you can

gather from this so it looks like

they're in the playground session right

now and so they asked you to create a

children's uh PDF book with four pages

each describing the weather in Seattle

so then the it says the agents have

completed the task right so this again

this was uh part of the group chat

manager the all these agents so it's

saying the agents have completed the

task and then the children's PDF book

titled weather in Seattle uh has been

created with descriptions and everything

the book should now be available as

Seattle weather children book.pdf on

your system you can now View and ensure

that it meets your expectations if

everything looks good that completes our

task if you need any further assistance

or modifications please let me know so

it gave a total of seven files so I

guess just uh like it created the

children's book compiled with seven

images and and on the right side here is

talking about the profiler which which

now it says the group chat manager right

these the amounts of tokens that were

generated it cost 15 cents the uh then

it breaks it down you know so the

content this is probably that the agent

that was creating the images the user

proxy or no I'm sorry here's the image

generator uh you know this is only 1

cent and the content is 12 cents so I

can't imagine the image generator only

being one penny um but then they have a

QA um agent so this is it this is

amazing right the way this looks and

then um how many the total messages

between all of the agents so it looks

like maybe they were uh between the user

proxy and the group chat there were

probably you know here's about 17 and

then the user proxy probably had like

six so you know a fair amount of you

know it's been a fair amount of messages

sent from everybody and then tool and

then here's all the tool calls right it

says which ones were successful and

which ones failed so you know it looks

like uh it some of these failed and the

thing about this is it's telling you and

giving you the metrics for what has

happened with this right that's the

amazing part about this and now you can

deploy workflows auten Studio does

enable users to export workflows as a

Json config file which they kind of did

have before but the what they what

you're able to do now is an exported

workflow uh can be put into any python

application right so if you just have

some python code or you know how to do

that then you can execute this uh as an

API endpoint using the autogen studio

CLI or wrapped in a Docker container

right so they you know you just you

don't have to actually um pip install

autogen you can just do from autogen

Studio import workflow manager you can

give it the Json file that you exported

and then it can run it right and then um

you know this is basically the workflow

that you had created so you can say what

is the height of the Eiffel Tower for

instance this is probably just a simple

onetoone agent interaction but I mean

this is such an improvement of what you

were able to do and then now finally

we're going to come down to the usage

and evaluation and what it looks like

here is the this is the autogen studio

uh GitHub issue visualization right so

they kind of grouped uh everything

together and you know said the plot of

GitHub issues from the autogen studio

repo user feedback range from support

with workflow uh authoring tools to

General installation so they kind of

grouped everything together and probably

tried to figure out how can we solve the

problem for everybody that was kind of

that we were kind of having with autogen

Studio because at the end of the day it

was kind of I don't want to say bare it

did get you it allowed you to prototype

um agents really quickly but even like

after you did that right there wasn't

much it felt like there wasn't much more

you can do with it like something was

kind of missing and it looks like

they're trying to fix all of that with

this new version of autogen and then

we're they're talking about design

patterns and research directions um so

you know we kind of already talked about

the Define and compose workflow this is

allows users to author workflows by

basically dragging and dropping

everything together to create the

multiagent workflow and then the

debugging and sensemaking tools um this

is what we've also talked about like the

profiler views all the metrics these

help you debug interpret and uh

understand the behavior and output of

your systems using the no code method

right again because this is no code you

don't have the typical logging methods

which aren't easy with multi-agents so

they came up with something so that we

could have we could see more of what's

Happening under the hood you know and

then they have export and deployment

there's uh collaboration and sharing you

know and how do we understand uh the

multi-agent system designs you know and

then optimizing the multi-agent systems

you know so this is kind of the the

questions that they're asking that they

want to improve upon in the future well

this is autogen 3.0 and I would actually

say that because this is such an

improvement from the previous version I

am really excited for this I hope you

are excited too and in the meantime I

have a couple courses you can take

related to Ai and one of them is autogen

thank you for watching I'll see you next

video