RTMaps Embedded with the NVIDIA® Jetson AGX Orin™

Summary

このビデオでは、NVIDIA Jetson AGX OrinボードにIMU、Lidar、Webカメラの3つのセンサーを統合し、データのキャプチャと処理アプリケーションをデプロイする方法を解説しています。RTMaps StudioとDaemonサービスを使用して、センサーの接続、データの処理、視覚化、さらにはデータの同期とストリーミングを実行します。AIアルゴリズムの統合や、センサーデータのリアルタイム処理が行われ、最終的にネットワーク越しに同期されたデータのストリーミングが実現されます。

Takeaways

• 😀 NVIDIA Jetson AGX Orinボードに3つのセンサー（IMU、Lidar、Webカメラ）をデプロイする方法を紹介。
• 😀 SBG IMUとカメラはUSB接続で、LidarはEthernet接続で、ボードと接続する。
• 😀 RTMaps Daemonサービスをボード上で起動し、RTMaps Studioをラップトップで起動。
• 😀 RTMaps StudioをボードのRTMaps Daemonサービスに接続し、'test'というダイアグラムをボード上で実行。
• 😀 Lidarデータのキャプチャを開始し、UDPソケットコンポーネントとVelodyneパッケージを使用してデータを受信。
• 😀 3Dビューアを作成して、ボード上のディスプレイでキャプチャされたポイントクラウドを表示。
• 😀 SBG IMUセンサーの統合を行い、デコードコンポーネントとスコープコンポーネントでデータを表示。
• 😀 カメラのJPEG圧縮ビデオストリームをキャプチャし、画像ビューアで表示。
• 😀 AIアルゴリズムを統合し、ビデオストリームを処理。
• 😀 データをボードからラップトップにストリームし、JPEG圧縮して帯域幅を削減。
• 😀 RTMapsのマスター/スレーブ分配を設定して、ボードとラップトップ間でクロック同期を保ちながらデータを送受信。

Q & A

NVIDIA Jetson AGX Orinボードにセンサーキャプチャと処理アプリケーションをデプロイするための最初のステップは何ですか？

最初のステップは、SBG IMUをNVIDIA JetsonボードにUSB経由で接続し、カメラも同様に接続することです。

LidarセンサーをNVIDIA Jetson AGX Orinにどのように接続しますか？

Lidarは、スイッチ経由でイーサネットインターフェースを使用して接続します。

RTMaps Daemonサービスはどのデバイスで開始しますか？

RTMaps DaemonサービスはNVIDIA Jetsonボードで開始します。

RTMaps Studioはどのデバイスで使用し、何を接続しますか？

RTMaps Studioはラップトップで使用し、JetsonボードのRTMaps Daemonサービスに接続します。

RTMapsダイアグラム「test」をボードで実行するために必要な手順は何ですか？

まず、ボードにRTMaps Runtimeプロセスを要求し、「test」というダイアグラムを実行します。

Lidarデータのキャプチャに必要なコンポーネントは何ですか？

Lidarデータキャプチャには、UDPソケットコンポーネント、Velodyneパッケージ、およびLidarストリームデコーディングコンポーネントが必要です。

SBG IMUセンサーをRTMapsに統合するために必要なコンポーネントは何ですか？

SBG IMUセンサーを統合するためには、SBGデバイスコンポーネント、デコーダ、デベクターコンポーネント、およびスコープコンポーネントが必要です。

カメラのデータをRTMapsで処理するために必要なパッケージとコンポーネントは何ですか？

カメラのデータ処理には、rtmaps_video4linux.pckパッケージとキャプチャコンポーネントが必要です。また、JPEGデコーディング用のコンポーネントも追加します。

AIアルゴリズムを統合する手順は何ですか？

AIアルゴリズムは、ラップトップの別のダイアグラムからPython Bridgeコンポーネントをコピーし、ボード上でアクティブなダイアグラムに貼り付けて、ビデオデータを処理します。

RTMapsのマスター/スレーブ分布はどのように設定しますか？

RTMapsのマスター/スレーブ分布は、ボードのRTMaps Runtimeをスレーブとして設定し、ラップトップのRTMaps Runtimeをマスターとして設定して同期を取ります。