NVIDIA ACE | NVIDIA x Inworld AI - Pushing the Boundaries of Game Characters in Covert Protocol
Summary
TLDRNVIDIA ACEは、生成AIを用いたデジタルヒューマンを開発者が生み出すための技術群です。この技術を展示するために、パートナーであるInworldと共同で「Covert Protocol」というデモを開発しました。このプレイ可能な技術デモでは、InworldプラットフォームがゲームにACE技術を統合する方法を紹介しています。Inworldエンジンはゲームにおける革新的なゲームメカニズムを解放し、AIのワークフローを合理化します。各プレイヤーはNPCがゲーム内の行動に応じて動的に変化するため、Covert Protocolのユニークな体験を楽しむことができます。InworldのNPCは周囲の世界を感知し、学習し、適応し、自主的に行動を開始することができます。また、NVIDIA ACEのマイクロサービスを利用して、音声認識やアニメーションパイプラインを強化しています。開発者はリアルタイム体験にInworld AIエンジンを統合したり、開発パイプラインの異なる段階でデザインタイムやインフラソリューションを利用することができます。
Takeaways
- 🚀 NVIDIA ACEは、生成AIを用いてデジタルヒューマンを実装するための技術群です。
- 🤖 Inworldは、ゲーム向けのリーディングAIエンジンで、革新的なゲームメカニクスを提供し、AIのワークフローを簡素化します。
- 🎮 Covert Protocolは、InworldのプラットフォームとACE技術を統合して、ゲームにAI NPCを追加するデモです。
- 🔄 Inworldエンジンは、プレイヤーの行動に応じて応答するマルチモーダルAIエージェント、ナラティブ、そして世界を開発者に追加できる機能を提供します。
- 🌟 Covert Protocolでは、各プレイヤーがNPCの動的な適応によって一意の体験をします。
- 🧠 InworldのNPCは周囲の世界を認識し、学習し、適応して、ニュアンスのあるパフォーマンスを提供し、自主的に行動を開始します。
- 🗣️ NVIDIA ACEのマイクロサービス、特にRiva ASRとaudio-to-faceは、スピーチ認識とアニメーションパイプラインを強化します。
- 🎭 Inworldエンジンは、キャラクター、声、アニメーション、そして行動を個々のキャラクターの感情状態と文脈に応じて調整します。
- 🛠️ ゲーム開発者は、リアルタイム体験のためにInworld AIエンジンを統合するか、開発パイプラインの異なる段階でデザインタイムやインフラソリューションを活用できます。
- 💻 Covert Protocolのソースコードも公開され、開発者がこれを利用して独自のプロジェクトを構築することができるでしょう。
Q & A
NVIDIA ACEはどのような技術群ですか?
-NVIDIA ACEは、開発者が生成的AIを用いてデジタルヒューマンを生き生きと表現するのに役立つ技術群です。
Covert Protocolデモとは何ですか?
-Covert Protocolデモは、NVIDIA ACE技術をゲームに統合する方法を示す、Inworldと共同で開発された新しい技術デモです。
Inworldはどのようなプラットフォームですか?
-Inworldは、ゲームのためのリーディングAIエンジンであり、革新的なゲームメカニクスをアンロックし、AIのワークフローを合理化します。
Inworldエンジンが提供する機能には何がありますか?
-Inworldエンジンは、マルチモーダルなAIエージェント、ナラティブ、そしてプレイヤーの行動に応答する世界をゲーム開発者に追加する機能を提供します。
なぜ各プレイヤーがCovert Protocolでユニークな体験を得られるのですか?
-各プレイヤーがゲーム内で行った決定や行動に応じて、NPCが動的に適応するため、各プレイヤーはユニークな体験を得られます。
InworldのNPCはどのようにして周囲の世界を認識し、学習し、適応しますか?
-InworldのNPCは、周囲の世界を感知し、学び、適応することで、ニュアンスのあるパフォーマンスを提供し、自主的に行動を開始します。
Inworldの知覚、認知、行動システムはどのように機能しますか?
-Inworldの知覚、認知、行動システムは一緒に働き、ゲーム内のNPCのパフォーマンスを支えます。これは人間の脳の機能に似ています。
Covert ProtocolデモではどのようにしてNVIDIAとInworldの技術を統合していますか?
-Covert Protocolデモでは、NVIDIAのACEマイクロサービスであるRiva ASRやAudit-to-Faceを活用して、音声認識やアニメーションパイプラインを強化しています。
ゲーム開発者はInworld AIエンジンをどのように活用できますか?
-ゲーム開発者は、リアルタイム体験のためにInworld AIエンジンを統合したり、開発パイプラインの異なる段階でデザインタイムやインフラソリューションを活用することができます。
Covert Protocolのソースコードは公開されますか?
-はい、開発者がこのデモを独自のものにカスタマイズし、Inworld AIエンジンとNVIDIAのACEマイクロサービスを使用して何を構築できるかを見せるために、Covert Protocolのソースコードが公開されます。
Inworldエンジンはどのようにしてキャラクターの声、アニメーション、行動をオーケストレーションしますか?
-Inworldエンジンは、キャラクターの個性、感情状態、そして文脈に応じて声、アニメーション、行動をオーケストレーションします。
Outlines
😀 NVIDIA ACEとInworldの技術デモ「Covert Protocol」
NVIDIA ACEは、生成AIを用いてデジタルヒューマンを生き生きと表現する技術群です。Inworld社と共同で開発された「Covert Protocol」というプレイ可能な技術デモでは、ゲームにAI NPCを統合する方法を紹介しています。Inworldはゲーム向けの先進的なAIエンジンで、プレイヤーの行動に応じて反応するマルチモーダルAIエージェント、ナラティブ、世界を提供します。各プレイヤーはNPCが動的に行動に応じて変化するため、一意の「Covert Protocol」体験をします。InworldのNPCは周囲の世界を感知し、学習し、適応し、ニュアンスのあるパフォーマンスを提供し、自主的に行動を開始できます。Inworldの知覚、認識、行動システムは、ゲームにおけるNPCのパフォーマンスを支え、人間の脳の機能に似ています。各システムの背後では、複数のモデルが調整され、開発者が期待する反応性と感情的なニュアンスを提供します。
Mindmap
Keywords
💡NVIDIA ACE
💡Inworld
💡デジタルヒューマン
💡AI NPCs
💡マルチモーダルAIエージェント
💡リアルタイム体験
💡Riva ASR
💡Audit-to-Face
💡パーソナリティ
💡ソースコード
Highlights
NVIDIA ACE 是一套帮助开发者使用生成性 AI 将数字人类带入生活技术。
与合作伙伴 Inworld 合作开发了名为 Covert Protocol 的新技术演示。
Inworld 平台可以集成 AI 非玩家角色(NPC)和 ACE 技术到游戏中。
Inworld 是领先的游戏 AI 引擎。
Inworld 引擎允许游戏开发者添加多模态 AI 代理、叙事和响应玩家行动的世界。
每个玩家在 Covert Protocol 中都会有独特的体验,因为 NPC 会动态适应玩家在游戏中的决策和行动。
Inworld 的 NPC 能够感知周围世界,学习并适应,提供细腻的表演并自主启动行动。
Inworld 的感知、认知和行为系统协同工作,为游戏中的 NPC 表演提供动力。
Covert Protocol 演示采用了模块化方法,结合了 NVIDIA 和 Inworld 技术的精华。
利用 NVIDIA ACE 微服务,如 Riva ASR 和 Audio-to-Face,增强了我们的语音识别和动画流程。
Inworld 引擎根据角色的个性、情感状态和上下文协调他们的角色、声音、动画和行为。
游戏开发者可以实时集成 Inworld AI 引擎,或在开发流程的不同阶段利用我们的设计时间和基础设施解决方案。
Covert Protocol 的源代码也将发布,期待开发者利用这些资源创造出自己的作品。
演示只是触及了可能性的表面,开发者可以利用 Inworld AI 引擎和 NVIDIA 的 ACE 微服务构建更多。
展示开发者使用 Inworld AI 引擎和 NVIDIA ACE 微服务可以构建的内容。
Transcripts
NVIDIA ACE is a suite of technologies that helps developers bring digital humans to
life with generative AI. To showcase these latest ACE technologies we've worked with our partner
Inworld to develop a new technology demo, Covert Protocol. In this playable tech demo we showcase
how Inworld's platform can be used to integrate AI NPCs with ACE technologies into games.
Inworld is the leading AI engine for games. Our platform unlocks groundbreaking game mechanics
and streamlines workflows of AI. The Inworld engine allows game developers to add multimodal
AI agents narratives and worlds that respond to players actions. Every player will have a
unique experience of Covert Protocol because NPC's dynamically adapt to the decisions and actions
they take in the game. Inworld NPCs can perceive the world around them, learn and adapt deliver
nuance performances and autonomously initiate actions.
[NPC] I'm sure he'll be thrilled to receive such a top secret life-altering parcel.
I'll go confirm it myself. Excuse me. Can you imagine giving a speech without any sleep.
Inworld's perception cognition and behavior system work
together to power NPC performances in games. It's similar to how the human brain functions. Behind
each of the systems we are orchestrating several models to deliver responsiveness and emotionally
nuanced experiences that Developers expect. The Covert Protocol demo takes a module approach
to bringing together the best of NVIDIA and in world technologies. While leveraging NVIDIA
ACE microservices, namely Riva ASR and audit-to-face to augment our speech recognition and animation pipelines.
[NPC] Shall I try dialing another room for you?
The Inworld engine then orchestrates their characters, voices, animations and behavior according to their personalities emotional states and context.
Game devs can integrate the Inworld AI engine for real-time experience or leverage our
design time and infrastructure solutions at different stages of the development pipeline.
We know this demo just begins to scratch the surface of what's possible so we will
also be releasing Covert Protocol's source code. We're excited to see developers take this and
make it their own. Show us what you can build using the Inworld AI engine and NVIDIA's ACE microservices.
浏览更多相关视频
Google復活の狼煙?世界生成AI「Genie」がやばすぎた
Introducing Generative Physical AI
🚀 VivaTech 2024 : Keynote - More than a Model: The Gen AI Essentials for Business Innovation
Inside Disney’s ‘Area 51,’ Where Lightsabers and Other Tech Are Invented | WSJ
モデルベースデザインで次世代のロボット・自動化設備開発を加速! ~モデルベースの基礎からAI活用、PLC連携まで~
【Python入門①】Pythonの特徴とPythonでできることを徹底解説!
5.0 / 5 (0 votes)