キャラクター制御のためのプロンプト術 for LINE Bot | うえぞうさん @uezochan
Summary
TLDRこのトークでは、キャラクター制御のためのプロンプト技術とLINEボットの活用が紹介されました。キャラクターの感情や表情、身振り手振りをAIで制御し、会話の自然さを目指す方法が解説されています。さらに、LINEボットのアイコンやアニメーションをリアルタイムで変化させるテクニックも紹介され、ユーザーとのインタラクションを強化する方法が提案されています。最後に、LINEボット開発の楽しさと100万円の獲得を呼びかけ、興味を引く内容となっています。
Takeaways
- 😀 スピーカーはLINE APIのエキスパートで、LINEのコミュニティで活動していると紹介されています。
- 🏆 2017年のLINE Botアースでグランプリを受賞し、1000万円の賞金を得た経験を共有しています。
- 🤖 キャラクター制御について話す予定で、LINEボットの要素を組み合わせたプロンプト術を使用して制御する方法を説明します。
- 🗣️ キャラクターの感情や口調、見た目、声などをChatGPTを利用して制御し、VRM形式でキャラクターを作成しています。
- 🎭 表情制御にはAIを使って自立的に制御し、感情パラメーターを会話の中で制御し、それに応じた表情をさせる方法を提案しています。
- 😜 表情タグ方式を提案し、セリフの中で表情を埋め込むことで表情制御をシンプルに行うことができます。
- 🔄 LINEボットのアイコンを変化させることで、メッセージの都度表情を変更し、表現力豊かな対話を実現します。
- 💃 身振り手振りの制御もアニメーションタグを用いて実現でき、GPTがポーズを選択して身振り手振りを制御します。
- 🔧 チャットボットの処理フローは意図を判定し、必要な処理を実行し、結果を返すという流れが古典的であり、生成AIを適用することで改善が見込まれます。
- 📞 LINEボットと通話機能を模した体験を実現し、リフとWebGLを組み合わせてユーザーの認証情報や会話コンテキストを利用して新しい体験を提供する可能性を示唆しています。
Q & A
キャラクター制御技術とはどのようなものですか?
-キャラクター制御技術とは、キャラクターの感情や口調、表情、身振り手振りなどをコントロールする技術です。これにより、キャラクターがよりリアルで魅力的に振る舞うことができます。
LINEボットアークスとは何ですか?
-LINEボットアークスは、LINEのコミュニティで活動しており、2017年に1000万円の賞金を獲得したグランプリチームです。彼らはLINEボットの開発と運用に詳しい専門家です。
表情制御にはどのような方法が使われていますか?
-表情制御には、感情パラメーターを用いた制御方法と、表情タグ方式というシンプルな方法が使われています。前者は感情を数値化して制御し、後者はテキストに表情を埋め込むことで実現されます。
LINEボットで表情を表現するにはどうすればよいですか?
-LINEボットで表情を表現する場合、アイコンを変えることができます。メッセージの都度、表情アイコンを変更することで、キャラクターの感情を表現できます。
身振り手振りの制御にはどのようなテクニックがありますか?
-身振り手振りの制御には、アニメーションタグを用いた方法があります。特定のポーズや動作を指定するタグをテキストに埋め込むことで、キャラクターの動きを制御できます。
チャットボットの処理フローとはどのようなものでしょうか?
-チャットボットの処理フローとは、ユーザーからの質問やリクエストを理解し、それに応じた処理を実行し、結果を返す一連の流れです。必要であれば足りない情報を聞き返すなどの対話制御も行われます。
生成AIを適用することでどのような変化が生まれますか?
-生成AIを適用することで、チャットボットのほとんどの処理が自動化され、自然な会話を実現できるようになります。これにより、ユーザーとのインタラクションがよりスムーズになります。
リフトプラットフォームとは何ですか?
-リフトプラットフォームは、LINEボットとの会話の中で使えるWebアプリケーションです。これにより、ユーザーの認証情報や会話のコンテキストを引き継いで通話を行うことができます。
クイックリプライとはどのような機能ですか?
-クイックリプライは、長い説明や応答に対して、サーバーサイドでストリームで受け取り、必要な部分だけをユーザーに返す機能です。これにより、ユーザー体験が向上し、混乱を招く長い応答を避けることができます。
キャラクター制御技術を応用することで実現できるものは何ですか?
-キャラクター制御技術を応用することで、キャラクターの感情や表情、身振り手振りを細かく制御し、よりリアルな対話を実現できます。また、LINEボットやリフトプラットフォームを用いることで、ユーザーとのインタラクションをさらに豊かにすることができます。
Outlines
😀 キャラクター制御とプロンプト技術の紹介
初段落では、話者が自己紹介をし、LINEボットの開発に携わるエキスパートであることを明かします。LINEボットアークスとは何か、2017年のLINE Bot Grand Prixで受賞した経験、そしてAI技術を用いたキャラクター制御技術について触れています。特に、感情パラメーターを用いた表情制御技術について詳しく説明しており、AIが自立的に表情を制御する仕組みを紹介しています。しかしながら、表情の変化がトリガーとなる条件が難しいこと、表情の変更ができないなどの課題についても触れています。
😉 表情タグ方式による制御のシンプル化
第二段落では、表情制御の課題を解決するために提案された「表情タグ方式」について説明しています。この方式では、セリフの中に表情を直接埋め込むことで、より簡単かつ柔軟な表情制御が可能になるというアイデアです。また、LINEボットにおけるアイコンの変更や、アニメーションタグを用いた身振り手振りの制御についても触れています。LINEのメッセージングAPIを活用し、メッセージの都度アイコンを変更することができるという利便性を強調しています。
😎 チャットボットの制御と生成AIの活用
第三段落では、チャットボットの制御について話が進み、生成AIを活用して対話の流れをスムーズに進めることができると説明しています。リクエストとレスポンスの流れをコントロールし、必要に応じて聞き返すプロセスについて触れています。さらに、生成AIを用いた応答生成のプロンプトの重要性と、生成された応答の長さや内容を細かく制御する必要性についても議論しています。最後に、LINEボットと通話機能を模したユーザー体験の向上について触れ、新しいテクノロジーの活用方法を提案しています。
Mindmap
Keywords
💡キャラクター制御
💡プロンプト術
💡LINEボット
💡表情タグ方式
💡アニメーションタグ
💡チャットGPT
💡感情パラメーター
💡メッセージングAPI
💡リフ
💡キャラクターメイク
Highlights
キャラクター制御のためのプロンプト術を紹介。
LINEボットの要素を加えたキャラクター制御について話す。
LINEAPIエクスパートとして、LINEボットアークスの開発に参加し、1000万円の賞金を獲得した経験を共有。
ChatGPTを業務で活用し、キャラクターの性格や口調を制御する技術を開発中。
vrm形式で見た目やボイスボックスで声を制御するキャラクターメイクアプリの開発について。
キャラクター制御には性格、口調だけでなく、身振り手振り、表情も要素として考えられる。
表情を制御する際には感情パラメーターを用いてAIをトレーニングする。
表情タグ方式を用いて、セリフの中に表情を埋め込むことで表情制御が可能に。
LINEボットでアイコンを変えることで表情の変化を表現することができる。
身振り手振りの制御にはアニメーションタグを用い、GPTがポーズを選んでくれる。
チャットボットの処理フローは生成AIによって大部分が自動化される。
対話の流れを生成AIで制御し、自然な会話を実現する。
リクエストの不足情報に応じて生成AIが聞き返す機能を活用する。
応答生成のプロンプトを細かく制御することで、適切な回答を得られる。
LINEボットとリフプラットフォームを組み合わせて、ユーザー体験を向上させる。
生成AIの応答が長くなるとユーザー体験が低下する問題とその対策について。
クイックリプライの仕組みを用いて、長い説明を分割して提供する。
キャラクター制御の分野は性格や口調だけでなく、表情や身振り手振りも重要である。
タグの挿入方式を用いて、表情やアイコン、スタンプを効果的に活用することができる。
処理フロー全体を生成AIに任せることで、良いユーザー体験を作ることが可能になる。
LINEボット開発を通じて100万円の賞を得るという目標を掲げ、楽しんで開発するよう励ます。
Transcripts
[音楽]
え上と申しますよろしくお願いしますまず
ちょっとトップバッターということでです
ねえっと私がお話しさせていただくのはえ
キャラクター制御のためもうキャラクター
を制御するためのえプロンプト術でここに
ですねちょっとLINEボットの要素とを
加えましてお話しさせていただきます
よろしくお願いしますでえっと私ですね
自己紹介ちょっと今日時間ないんでこれ
資料配布しますん後で見ていただければと
思うんですけどもLINEAPI
エクスパートのですねバッチついてます
ようにLINEのえコミュニティでですね
活動させていただいてましてLINE
ボットアーズという意味ですとこれ
2017年にですね先ほどあの
オープニングの動画にもあったこの
2017年のですねボットア実は私参加し
てるんですねでこちら見ていただいて
分かる通りですねま賞金1000万円を
獲得したグランプリはという形でま
ちょっと私の方ですね写真載ってるんです
けどこれどう見てもですね私が1000万
撮ってるんですけどこれ実は私別これ
1000万取ってないですなんですけど気
に入ってるんでですねよく使ってるんです
けどもこの頃からですねちょっとやらさせ
ていただいておりますで他にもですね生成
愛絡みですとあのチャットGPTをですね
ちょっと業務で活用するような本書かせて
いただいたりですとかあと本日のですねお
話の内容にも関係するんですけれどもま
キャラクターのですねえ対話アプリですね
もChatGPTで性格だったりとか口調
だったりとかを制御してvrmという形式
でま見た目でボイスボックスで声とかです
ねまこういったものをま制御するようなま
キャラメイクできるようなアプリを作って
いますもしですねあの興味終わりましたら
ですね今回今日お話しするテクニックも
ふだに盛り込んでいますので興味あられ
ましたら是非お願いしますはいえそれでは
ですね中身の方入ってまいりましてえまず
ですねお話しさせていただくのがその
キャラクター制御ですねまお題にもして
ますけどこれ何なのかというところですね
でえっと皆さんですねおそらく
キャラクター制御って言うと1番上ですね
例えばこう性格をこうチャットGPTで
どうするかとか口調どうするか多分この辺
をですね皆さん想像されると思うんです
けれどもまですねイニシエのう枠組でこう
審議たですねまこれにはめるのが正しいか
わかんないですけどまこういう風にですね
整理していくとま他にもですねどんな仕事
をしてもらうのかみたいなま技に相当する
ものだったりですとかま身振り手振り表情
まこういった体の制御ですねこういった
ものも要素としては考えられますで1番上
のところはですねまインターネットにも
色々情報ありますしまちょっと本日はです
ね割させていただいてこのと体この一部に
ですねフォーカスしてお話をさせて
いただきたいと思いますえ始めにまずです
ね体の制御についてですでまずはですね
表情制御というところなんですけれども
まずちょっとイメージ膨らませていただき
たいんで動画見ていただければと思います
木哀楽の表情をしながらそれにふさわしい
セリフを言ってと言ってますやっぱねする
とこんな感じで悲しい楽しすちょっと
びっっくり足りないんですけどちょっと
こんな感じでですね顔がニコニコしたり
怒ったりとかしてると思うんですねで
ちょっと早かったでもう1回最高だねどう
しようワクワクするねマジでまちょっと
こんな感じでまたちょっと踊るきたないん
ですけどもいずにしてもですねこんな風に
コロコロ表情を変えていきますでこれです
ね実はAIでまチトGPT使ってですね
自立的に制御をしているんですけどもあの
こちらのですねやり方みたいなところをお
話しますでまずですねその表情って何なの
かっていうとこま制御する前にそれを
ちょっと深く掘り下げていますでまず最初
仮説渡し立てましたえっと表情ってのはま
感情が現れたものであるとですねまこんな
風に仮説を立てましたのでまであればまず
は感情を制御すべきだとAIですねま
そんなことを考えましたでえ感情
パラメーターというやり方がですねこれ
あのググっていただければすぐ出るんで
本日詳細お話しないんですけどもまずは
ですねその輝度哀楽の感情というのを会話
の中で制御していってそれに応じた表情を
させるというのがこれがまやり方として
妥当なんじゃないかとまずこのように考え
ましたまこんな感じですねプロンプトで
感情を制御させるようなプロンプトにして
でえっと真ん中応答ですね例えばこの場合
だとジョイが5喜びが5ということなので
まこの人喜んでるねっていうことで1番
右側ですねモデルに適用して喜んだ顔をさ
せるとまこんなこと考えましたでこれです
ね結果的にすごいうまくいきますちゃんと
これで表情を制御することはできるんです
けれども結構課題があるんですよ実際運用
してみるとでこの課題がですね主なものが
4つですねまず半減のトリガーが難しいと
いうことでま今5で笑ってますとで次の
ターン4あまだ笑ってるなとでどんどん
どんどんターン続けていって例えばジョイ
が2になって他が全部0だったらこれ
ジョイと判定すべきなのかとかそんな話
あると思うんですねずっと笑ってるべきな
のかっていうのはありますしまそうすると
やっぱ式位置の制御だったりとか色々やっ
ていかなきゃいけないですねで真ん中の1
タ1表情とかセリフの途中で表情変更が
できないというのはあのこれパラメーター
の更新タイミングがその会話のターンごと
に行れていくんでそれごとの表情変更に
どうしても限られてしまうというところが
あってなんか例えばですけどもあ辛いこと
あったねっていう風にちょっと残念そうな
顔してでも大丈夫だよてこう笑って慰める
とかですねたなかそういうのができないっ
ていうことでちょっと豊かさが足りない
あと以前はですねちょっと処理が重かった
んですであんまり安定しなかったりもした
んでちょっとこれ色々課題あるなという
ことでえ編み出したのがですねこちらの
方法です非常にシンプルですえっと表情
タグ方式というやつですねこれ考えます
でこれ簡単でえセリフのト書きみたいに
ですねあのセリフのあの発言の中に表情を
埋め込みます作でで具体的にはですね
スライド下段のプロンプトの1番下の例の
ところですね見ていただきますとま
フェイスジイ海が見えたよフェイスファン
ねねごよこんな形で返したよっていう風に
チャットGPTにプロンプトでお願いし
ますまこうすることでですね先ほど冒頭で
ご覧いただいたような表情制御ってこんな
シンプルなやり方で実はできてますでこれ
すごいシプなんですけも先ほど申し上げた
ような課題全部解決できるんですよね
ちょっと時間ないんで1個1個は追わない
んですけどもちょっと頭の中で後で資料を
すぐお配りしますので見ていただければと
思いますこれで全部解決しますでえっと
こういったですね表情制御先ほどあの3d
のモデル動かしたんですけれどもLINE
ボットでこれどうやってするのっていう
とこでちょっとお話しさせていただきます
と実はですねLINEのメッセージング
APIですねLINEボットを作るあれは
ですねアイコンをことができますアイコン
を変えることができますのでえちょっと
もしかしたら潰れちゃってるかもしれない
ですけども表情ですね普通の表情だったり
とかニコニコしたものとかっていうのを
メッセージの都度ですね変えることができ
ますので例えばこういった形で表現する
こともあのできるんじゃないかなという風
に思いますこれあの無限に表現できますと
で実装でこんな感じですねすごい簡単なん
ですよここ全部は説明しませんけれども下
からえっと1番下の行ですね72行目
ちょっとちっちゃいですねンダーという
ですねあの1業で1つのパラメーターで
画像のURLを送るとそれに変えられ
るっていうぐらいそれぐら簡単にできるん
ですねっていうことであのこういうこと
やっていただけると思いますであとはです
ねま人間とLINEであの会話してる時に
アイコン変わらないと思うんでもしかし
たらやってる中でですねちょっと気持ち
悪いよみたいなことていうのも出てくるか
もしれませんまそういった時はですねま
LINEらしくま例えばスタンプ使って
みるとかまいろんな方法で表情の変更あの
感情の表現っていうところを確かめていた
ければという風に思いますでえっと合わせ
てですね似たようなお話で今度身振り
手振りの制御ですねで先ほどのあの動画
もう実は体が動いておりましてもう1回
こうあのちょっと違う動画見ていただき
ますけれども本当になんでそんなことする
の私が楽しみにしていたのにですとか本当
に本当は私が別の美味しいスイーツを買っ
てきてみんなで楽しもうね一緒に美味しい
もの食べるのって最高だよ
はいこんな感じでですね勝手にやって
くれるんですねこれも実は全く同じやり方
してますミブリテブもえアニメーションタ
ググっていうのをつけてですねちょっと
英語で書いてるんですけどもあの書いて
ある内容同じですアニメーションさせたい
時にはエグザンプルのところですねえ1番
下アニメーションえウェイブウイング
アームヘイオーバダヤって書いてあるん
ですけどもまこれをですねお願いすると
やってくれるようになりますすごい簡単だ
と思うんですねでえっと1個ポイントが
あるとすれば例えばこれアニメーションの
種類がですねポーズ00とかえ
アニメーション01とかまそれだと
チャットGPTの方で選べないので例えば
この一覧の1番上ですねアングリーハンズ
オンウエストって書いてあるんですけども
ま怒って両方の手を腰に当てるっていうつ
ですねまなんか想像すくと思うんですよね
ちゃんとGPTもこれを手がかりにどう
いうポーズをつければいいかっていうのを
ちゃんと選んでくれるんでまこれでですね
身振り手振りっていうのも実は制御する
ことができますこんな簡単にできますえ
ここまでがですねえっとまずはえ体の制御
というとところでしたでもうちょっと半分
以上過ぎちゃってるんで技の制御相当
ちょっと飛ばしていきます次技の制御です
ねえチャットボットの処理フローっていう
のがですね大体どのチャットボットも大体
こんな形になってんじゃないかなと思い
ますえこれはですね佐賀の天気はと言って
から1番下え晴れ最高気温は38°ですと
答えるまでの流れなんですけれども基本的
にはですねえこの人がユーザーがどういう
ことを言ってるのかという意図を判定して
えその意図を解決するための何か処理
APIの呼び出しとか処理を実行してその
後ですね結果の処理結果を問合にして返す
大体こんな処理をしてますで足りない情報
があったら聞き返すみたいなタバフローの
制御っていうのもこん中でやってますとで
古典的なやり方ちょっと今日は飛ばしさせ
ていただいてでこれ生成AI適用すると
ですね実はほとんどがですね生成AIで
打ち取れるようになるしかも行動化できる
ようになるという風に考えてますこれあの
すごいパラダイムシフトだと思ってますも
極論するとですねこの例えば天気のAPI
呼び出すみたいなもうここ以外はですね
全部生成にまやらせると非常に良い結果が
得られるということがえっと見えてきてい
ますといったところですねはいでこの中で
もですねまやっぱりそうは言っても今の見
ていただいて詳しい方はファンクション
コーリング使えばいいでもそれだけじゃな
いっていう風に思うかもしれないんです
けれどもやっぱりちょっと気にしなければ
いけないポイントはあってですねま対話
制御をちゃんとやっていく中では
リクエストの中でま足りない情報があっ
たらちゃんと聞き返させるっていう話だっ
たりとかまあるいは文脈の中から拾って
くるってような指示もあった方があのな
なめらかな会話になりますしあと応答生成
のプロンプトということで例えば天気情報
を聞いた時にですねそのまま
ファンクションコーリングってAPIの
結果渡すと勝手に吉に文言作ってくれるん
ですけどそうするとですねこう3時間起き
の天気の結果とか出すともずらっと長い
文章を作っちゃったりとか過剰書きで返し
てきたりとかするんですねなのでどれ
ぐらいの長さでですとか加えてその傘が
必要なのかどうかみたいな情報を加えて
くれとかそういったところはですねこ細か
にちゃんとプロンプトで制御してあげた方
がいいですよというお話でございます
ちょっとだいぶ飛ばしていきますでえっと
最後にですねおまけのテクニックについて
のご紹介になりますえ今日お話ししたのが
ですね結構こうチャットボットだけじゃ
ないところちょっとお話したんですけれど
も実はですねこれLINEでも活用する
ことができるっていうのをちょっとお見せ
していきますでこれ今見ていただいてるの
はま普通のLINEボットですね皆さんが
よくご存知のLINEボットでえま
ちょっとおしりしようよみたいなことを
こう話しかけていきますとでここでですね
通話したいと言ってみますでちょちょっと
これ反応しなかったんでえっともう1回
ですねしつこく通話しようよいう風に言っ
てみるとこんな感じでですね通話のボタン
が出てきますおはよう今日なしてるのこれ
ですね今音声で会話をしていますそれは
楽しそう何をしてるのはいこんな感じで
ですね実はこうLINEツアみたいなこと
ができるんですねでこれ実際にですねあの
LINE通話をかけているそういった
APIがあるわけではなくてえこれ
LINE通話に見せかけた何かを使って
ますでこれ何かと言いますとえっとリフと
呼ばれているプラットフォームがありまし
てこれざっくり言うとですねLINEの
LINEボドとの会話の中で使えるえ
Webアプリケーションですねまこんな
仕組みがありますでこれを使ってですね
そのの上でwebglというですね仕組み
を使って動かしてるブラウザー上で動く
あのプログラムを使っているとですね
こんな仕組みになってますでこのリフと
いうのを使うとですねユーザーのその認証
ユーザー情報を使えたりですとかできます
しこれまでですですねあのそれを使って
さらに使うとえ会話の中のコンテキスト
だったりとかも引き継いだままで通話に
行ったりとかもできますので非常に良い
体験が作り込んんじゃないかなという風に
思いますあとはですねちょっともうこれ
プロンプと全く関係ないんですけども生成
愛の応答ってすごい長かったりしますよね
でそれずっと待って1分待ってから応答と
か帰ってくるとややこしいんちょっと体験
悪いんでこんな感じでですねちょっと回と
思いますかねはいえっとこんな感じで
こんな感じでですねはい続きを見るという
のを出すですねこんな感じでですねえっと
1回サーバーサイドでストリームで受け
といて受けたら1回返すでその時に合わせ
てこうクイックリプライという仕組みが
あったですねそういうボタンを一緒に送っ
てえそれを押せばまた続きが見れるような
形にすればすごく長い説明であったとして
も体験よく見れますよていうですねこんな
テクニックもですね是非使いこなして
いただければと思いますはいということで
えっとまとめですえ生生によるですね
キャラクター制御の領域ってですね冒頭
申し上げましたようにま性格とか口調とか
ですねおもちゃちゃうんですけどまそれ
だけじゃなくてあのもう全般に渡りますよ
と新規対思い出していただければと思い
ますでえっと表情とかですね身振り手振り
まアイコンだったりあのステッカーだっ
たりとかしますけれどもスタンプだったり
しますけどもまそういうのはですねタグの
挿入というやり方を使うと結構うまくいく
んじゃないかなっていうのをご紹介させて
いただきましたあとですねちょっと駆け足
でしたけれども処理フロー全体ですねこう
いったところも生成愛に任せるとすごく
体験の良いものが作れるといったところ
だったりとかあとちょっと今日申し上げ
られなかったんですけれどもまそうは言っ
てもですねあの先ほど申し上げましたよう
なえインテント判定してスキル実行して
みたいなあの流れでですね
アーキテクチャー分解して中小化していっ
た方が多分補修性が高くなるんでそういっ
たところ意識されると良いのではないかと
思いますで最後ですねおまけでご紹介させ
ていただいたようなリフトの組み合わせ
ですねこういったとこ是非ですねやって
いただけるとチャットだけだとですね実現
できないような体験っていうところも
できるんでいいんじゃないかなという風に
思いますはいえということでですねえ最後
になりますが是非ですねLINEボト開発
楽しんでいただいてえ100万円ですねえ
ゲットしていただければと思いますはい私
からのお話以上で終わりますありがとう
ございました
Weitere ähnliche Videos ansehen
5.0 / 5 (0 votes)