NVIDIA ACE | NVIDIA x Inworld AI - Pushing the Boundaries of Game Characters in Covert Protocol

NVIDIA GeForce

18 Mar 202402:24

Summary

TLDRNVIDIA ACEは、生成AIを用いたデジタルヒューマンを開発者が生み出すための技術群です。この技術を展示するために、パートナーであるInworldと共同で「Covert Protocol」というデモを開発しました。このプレイ可能な技術デモでは、InworldプラットフォームがゲームにACE技術を統合する方法を紹介しています。Inworldエンジンはゲームにおける革新的なゲームメカニズムを解放し、AIのワークフローを合理化します。各プレイヤーはNPCがゲーム内の行動に応じて動的に変化するため、Covert Protocolのユニークな体験を楽しむことができます。InworldのNPCは周囲の世界を感知し、学習し、適応し、自主的に行動を開始することができます。また、NVIDIA ACEのマイクロサービスを利用して、音声認識やアニメーションパイプラインを強化しています。開発者はリアルタイム体験にInworld AIエンジンを統合したり、開発パイプラインの異なる段階でデザインタイムやインフラソリューションを利用することができます。

Takeaways

🚀 NVIDIA ACEは、生成AIを用いてデジタルヒューマンを実装するための技術群です。
🤖 Inworldは、ゲーム向けのリーディングAIエンジンで、革新的なゲームメカニクスを提供し、AIのワークフローを簡素化します。
🎮 Covert Protocolは、InworldのプラットフォームとACE技術を統合して、ゲームにAI NPCを追加するデモです。
🔄 Inworldエンジンは、プレイヤーの行動に応じて応答するマルチモーダルAIエージェント、ナラティブ、そして世界を開発者に追加できる機能を提供します。
🌟 Covert Protocolでは、各プレイヤーがNPCの動的な適応によって一意の体験をします。
🧠 InworldのNPCは周囲の世界を認識し、学習し、適応して、ニュアンスのあるパフォーマンスを提供し、自主的に行動を開始します。
🗣️ NVIDIA ACEのマイクロサービス、特にRiva ASRとaudio-to-faceは、スピーチ認識とアニメーションパイプラインを強化します。
🎭 Inworldエンジンは、キャラクター、声、アニメーション、そして行動を個々のキャラクターの感情状態と文脈に応じて調整します。
🛠️ ゲーム開発者は、リアルタイム体験のためにInworld AIエンジンを統合するか、開発パイプラインの異なる段階でデザインタイムやインフラソリューションを活用できます。
💻 Covert Protocolのソースコードも公開され、開発者がこれを利用して独自のプロジェクトを構築することができるでしょう。

Q & A

NVIDIA ACEはどのような技術群ですか？
-NVIDIA ACEは、開発者が生成的AIを用いてデジタルヒューマンを生き生きと表現するのに役立つ技術群です。
Covert Protocolデモとは何ですか？
-Covert Protocolデモは、NVIDIA ACE技術をゲームに統合する方法を示す、Inworldと共同で開発された新しい技術デモです。
Inworldはどのようなプラットフォームですか？
-Inworldは、ゲームのためのリーディングAIエンジンであり、革新的なゲームメカニクスをアンロックし、AIのワークフローを合理化します。
Inworldエンジンが提供する機能には何がありますか？
-Inworldエンジンは、マルチモーダルなAIエージェント、ナラティブ、そしてプレイヤーの行動に応答する世界をゲーム開発者に追加する機能を提供します。
なぜ各プレイヤーがCovert Protocolでユニークな体験を得られるのですか？
-各プレイヤーがゲーム内で行った決定や行動に応じて、NPCが動的に適応するため、各プレイヤーはユニークな体験を得られます。
InworldのNPCはどのようにして周囲の世界を認識し、学習し、適応しますか？
-InworldのNPCは、周囲の世界を感知し、学び、適応することで、ニュアンスのあるパフォーマンスを提供し、自主的に行動を開始します。
Inworldの知覚、認知、行動システムはどのように機能しますか？
-Inworldの知覚、認知、行動システムは一緒に働き、ゲーム内のNPCのパフォーマンスを支えます。これは人間の脳の機能に似ています。
Covert ProtocolデモではどのようにしてNVIDIAとInworldの技術を統合していますか？
-Covert Protocolデモでは、NVIDIAのACEマイクロサービスであるRiva ASRやAudit-to-Faceを活用して、音声認識やアニメーションパイプラインを強化しています。
ゲーム開発者はInworld AIエンジンをどのように活用できますか？
-ゲーム開発者は、リアルタイム体験のためにInworld AIエンジンを統合したり、開発パイプラインの異なる段階でデザインタイムやインフラソリューションを活用することができます。
Covert Protocolのソースコードは公開されますか？
-はい、開発者がこのデモを独自のものにカスタマイズし、Inworld AIエンジンとNVIDIAのACEマイクロサービスを使用して何を構築できるかを見せるために、Covert Protocolのソースコードが公開されます。
Inworldエンジンはどのようにしてキャラクターの声、アニメーション、行動をオーケストレーションしますか？
-Inworldエンジンは、キャラクターの個性、感情状態、そして文脈に応じて声、アニメーション、行動をオーケストレーションします。

Outlines

00:00

😀 NVIDIA ACEとInworldの技術デモ「Covert Protocol」

NVIDIA ACEは、生成AIを用いてデジタルヒューマンを生き生きと表現する技術群です。Inworld社と共同で開発された「Covert Protocol」というプレイ可能な技術デモでは、ゲームにAI NPCを統合する方法を紹介しています。Inworldはゲーム向けの先進的なAIエンジンで、プレイヤーの行動に応じて反応するマルチモーダルAIエージェント、ナラティブ、世界を提供します。各プレイヤーはNPCが動的に行動に応じて変化するため、一意の「Covert Protocol」体験をします。InworldのNPCは周囲の世界を感知し、学習し、適応し、ニュアンスのあるパフォーマンスを提供し、自主的に行動を開始できます。Inworldの知覚、認識、行動システムは、ゲームにおけるNPCのパフォーマンスを支え、人間の脳の機能に似ています。各システムの背後では、複数のモデルが調整され、開発者が期待する反応性と感情的なニュアンスを提供します。

Mindmap

Keywords

💡NVIDIA ACE

NVIDIA ACEは、開発者が生成的AIを用いてデジタルヒューマンを生活に带入るための技術のセットです。この技術は、デジタルキャラクターの生成や動作の自然さを向上させるのに役立ちます。ビデオでは、この技術がゲームにどのように統合され、NPC（非プレイヤーキャラクター）をよりリアルに動作させるかを示しています。

💡Inworld

Inworldは、ゲームのためのリーディングAIエンジンです。プラットフォームは、革新的なゲームメカニクスをアンロックし、AIのワークフローを効率化します。ビデオでは、InworldがどのようにAI NPCをゲームに統合し、プレイヤーの行動に応じて動的に適応する様子が紹介されています。

💡デジタルヒューマン

デジタルヒューマンとは、コンピュータグラフィックスやAIを用いて作られた、リアルな外観と行動を持つ仮想キャラクターのことです。ビデオでは、NVIDIA ACE技術がデジタルヒューマンを作り出すプロセスにどのように貢献するかを説明しています。

💡AI NPCs

AI NPCsは、人工知能を用いて動作する非プレイヤーキャラクターのことであり、ゲームのストーリーや世界観を豊かにします。ビデオでは、InworldのプラットフォームがAI NPCsを通じて、プレイヤーの行動に応じて独自の経験を提供する仕組みを紹介しています。

💡マルチモーダルAIエージェント

マルチモーダルAIエージェントは、視覚、音声、テキストなど、複数の感覚チャネルを処理できるAIのことです。ビデオでは、Inworldエンジンがこれらのエージェントを用いて、プレイヤーの行動に応じてゲーム世界を動的に変化させる方法を示しています。

💡リアルタイム体験

リアルタイム体験とは、ゲームがプレイヤーの入力に対して即座に反応し、状況がリアルタイムで変化することを指します。ビデオでは、Inworld AIエンジンがリアルタイム体験を提供する機能について説明しています。

💡Riva ASR

Riva ASRは、音声認識サービスを提供するNVIDIA ACEマイクロサービスの一つで、ゲーム内のキャラクターの音声を認識し、応答に使います。ビデオでは、Riva ASRがスピーチ認識とアニメーションパイプラインを強化する役割を果たしている例が示されています。

💡Audit-to-Face

Audit-to-Faceは、音声から顔の表情を生成する技術であり、キャラクターの表情をより自然に動かすのに役立ちます。ビデオでは、この技術がNVIDIA ACEマイクロサービスとして、キャラクターのアニメーションを強化する方法について触れています。

💡パーソナリティ

キャラクターのパーソナリティは、その個性や特性を指し、ゲームのキャラクターが異なる行動を起こす要因となります。ビデオでは、Inworldエンジンがキャラクターのパーソナリティを考慮して、彼らの声、アニメーション、行動を調整するプロセスを紹介しています。

💡ソースコード

ソースコードは、ソフトウェアやプログラムがどのように動作するかを記述したテキストです。ビデオでは、Covert Protocolのソースコードが公開され、開発者がそれを利用して独自の創作物を作り上げることを期待しています。

Highlights

NVIDIA ACE 是一套帮助开发者使用生成性 AI 将数字人类带入生活技术。

与合作伙伴 Inworld 合作开发了名为 Covert Protocol 的新技术演示。

Inworld 平台可以集成 AI 非玩家角色（NPC）和 ACE 技术到游戏中。

Inworld 是领先的游戏 AI 引擎。

Inworld 引擎允许游戏开发者添加多模态 AI 代理、叙事和响应玩家行动的世界。

每个玩家在 Covert Protocol 中都会有独特的体验，因为 NPC 会动态适应玩家在游戏中的决策和行动。

Inworld 的 NPC 能够感知周围世界，学习并适应，提供细腻的表演并自主启动行动。

Inworld 的感知、认知和行为系统协同工作，为游戏中的 NPC 表演提供动力。

Covert Protocol 演示采用了模块化方法，结合了 NVIDIA 和 Inworld 技术的精华。

利用 NVIDIA ACE 微服务，如 Riva ASR 和 Audio-to-Face，增强了我们的语音识别和动画流程。

Inworld 引擎根据角色的个性、情感状态和上下文协调他们的角色、声音、动画和行为。

游戏开发者可以实时集成 Inworld AI 引擎，或在开发流程的不同阶段利用我们的设计时间和基础设施解决方案。

Covert Protocol 的源代码也将发布，期待开发者利用这些资源创造出自己的作品。

演示只是触及了可能性的表面，开发者可以利用 Inworld AI 引擎和 NVIDIA 的 ACE 微服务构建更多。

展示开发者使用 Inworld AI 引擎和 NVIDIA ACE 微服务可以构建的内容。