PyTorch at Uber - Sidney Zhang, Uber

Summary

Sydney, ingénieure logiciel chez Uber ADG, présente les défis de la conduite autonome, en décrivant trois approches principales : l'approche par réseaux neuronaux, la pile d'ingénierie traditionnelle et la vision d'Uber ADG. Elle explique comment Uber combine la flexibilité des modèles neuronaux avec une interprétation et une optimisation efficaces. Sydney met en avant l'importance de PyTorch dans la recherche et la production, en soulignant ses avantages en termes de flexibilité, de gestion des données complexes et de flux de contrôle, tout en facilitant le développement continu et le débogage dans les systèmes de production.

Takeaways

• 🚗 Le problème de la conduite autonome consiste à transformer les données des capteurs et les instructions de navigation en actions de contrôle telles que l'accélération, la décélération et la direction.
• 🤖 Il existe trois approches principales pour les recherches en conduite autonome : les réseaux neuronaux internes, l'ingénierie traditionnelle et une approche hybride.
• 🔄 Les réseaux neuronaux internes sont faciles à créer mais manquent de transparence et nécessitent de nombreux exemples étiquetés.
• 🛠️ L'approche traditionnelle divise le problème en sous-composants, permettant une meilleure explication et exploitation des connaissances préalables, mais souffre de limitations liées à l'incertitude et à l'efficacité.
• 🔧 Uber ADG adopte une approche hybride, qui combine la simplicité du réseau tout en exploitant les données des capteurs à différents niveaux pour apprendre de manière conjointe.
• 🧠 Le modèle de production d'Uber intègre plusieurs modalités de capteurs et prédit les futures positions des acteurs dans l'environnement en tenant compte des incertitudes du monde réel.
• 📚 Uber ADG a publié de nombreuses recherches sur la fusion de modalités sensorielles et sur l'apprentissage conjoint de la perception et de la prédiction.
• 💻 L'utilisation de PyTorch permet une grande flexibilité, que ce soit pour la recherche, les évaluations expérimentales ou la production, tout en ajustant les compromis entre flexibilité et optimisation.
• 🔄 L'accès à des structures de données telles que des tableaux et des dictionnaires en PyTorch facilite la gestion des capteurs différents et des architectures de réseau variables.
• 🚀 L'optimisation progressive des modèles en Python, avec des fonctionnalités telles que les classes définies par l'utilisateur et les opérations personnalisées, permet de prendre en compte les exigences de latence en production.

Q & A

Quel est le rôle de Sydney dans l'entreprise Uber ?

Sydney est ingénieure logicielle chez Uber, où elle travaille sur les voitures autonomes au sein de l'ADG (Advanced Development Group).

Comment Sydney décrit-elle le problème des voitures autonomes ?

Sydney décrit le problème des voitures autonomes comme un problème où en entrée, on reçoit des entrées sensorielles et des instructions de navigation, et en sortie, il faut traduire cela en commandes qui sont l'accélération, la décélération et la direction.

Quels sont les trois approches de la recherche sur les voitures autonomes mentionnées par Sydney ?

Les trois approches sont : 1) L'approche par réseau neural interne qui nécessite un grand nombre d'exemples étiquetés mais manque d'explicabilité. 2) La pile d'ingénierie traditionnelle qui divise le problème en composants intermédiaires et encode des connaissances préalables. 3) La vision d'Uber ATG qui utilise des représentations interprétables pour simplifier le système et exploiter les données sensorielles à tous les niveaux.

Quels sont les défis spécifiques de l'approche par réseau neural interne ?

Les défis incluent la nécessité d'un grand nombre d'exemples étiquetés, l'absence d'explicabilité, la difficulté à améliorer la sécurité et la raison pour laquelle les améliorations dans une partie du système ne se traduisent pas nécessairement par des améliorations de la performance globale.

Quels sont les avantages de la pile d'ingénierie traditionnelle ?

Les avantages sont la compositionnalité, la capacité d'encoder des connaissances préalables sur le problème, et la possibilité d'expliquer pourquoi le véhicule prend certaines actions.

Quels sont les inconvénients de la pile d'ingénierie traditionnelle ?

Les inconvénients comprennent la difficulté à propager l'incertitude, à récupérer des mauvaises décisions, l'inefficiente en termes de calcul car il n'est pas partagé entre les modules, et le temps passé par les ingénieurs pour régler les choses si une partie change.

Comment Uber ATG aborde-t-elle le problème des voitures autonomes ?

Uber ATG aborde le problème en utilisant des représentations interprétables pour renforcer la certitude, en ayant un système plus simple, et en exploitant les données sensorielles à tous les niveaux pour incorporer des connaissances préalables tout en apprenant conjointement pour l'ensemble du système.

Quels sont les domaines de recherche publiés par Uber ATG pour améliorer la perception et la prédiction ?

Les domaines de recherche publiés par Uber ATG incluent la fusion et l'exploitation de différentes modalités sensorielles, l'apprentissage conjoint de la perception et de la prédiction, et le fonctionnement dans un environnement incertain.

Quel est le réseau de production de perception et de prédiction d'Uber ATG ?

Le réseau de production de perception et de prédiction d'Uber ATG est un réseau neural unique qui prend en entrée plusieurs entrées sensorielles à travers le temps et une carte haute résolution, et prédit les emplacements futurs des acteurs dans le monde avec plusieurs trajectoires servant de prédicteur pour mieux prendre en compte l'incertitude inhérente au monde réel.

Comment Sydney explique-t-elle l'utilisation de PyTorch et la transition d'un modèle complexe en production ?

Sydney explique que l'utilisation de PyTorch permet de faire varier le compromis entre la flexibilité et l'optimisation pour répondre aux besoins de développement à chaque étape, allant de la recherche à l'expérimentation en passant par la mise en production. Elle souligne que PyTorch offre une syntaxe de Python et une grande expressivité pour exprimer la logique, ainsi que l'accès facile aux optimisations.

Quels sont les avantages des structures de données de base dans PyTorch par rapport aux tenseurs uniquement ?

Les structures de données de base telles que les tableaux, dictionnaires et tuples sont des citoyens de première classe dans PyTorch, ce qui permet de modéliser naturellement les différents capteurs avec leurs propres informations de calibration et de fréquences d'échantillonnage.

Quels sont les défis spécifiques auxquels PyTorch fait face en termes de contrôle de flux dans les réseaux de neurones ?

Les défis incluent la nécessité d'utiliser des boucles et des instructions conditionnelles, qui sont traditionnellement plus complexes à exprimer en termes de code personnalisé, mais PyTorch les prend en charge de manière élégante en compilant un sous-ensemble de la syntaxe Python.

Quels sont les avantages de l'utilisation de classes personnalisées dans PyTorch pour les systèmes de voitures autonomes ?

Les classes personnalisées permettent de tirer parti des paradigmes de programmation orientée objet, ce qui est utile pour gérer l'état historique et encapsuler les opérations de gestion d'état, comme dans le cas des voitures autonomes qui nécessitent de suivre des informations historiques.

Comment PyTorch aide-t-il dans le débogage et l'optimisation des problèmes de production ?

PyTorch permet d'inspecter les couches intermédiaires des activations et de les sérialiser directement dans le chemin de production, ce qui facilite le débogage des problèmes de production, notamment à l'intérieur des véhicules. De plus, le format de sérialisation JIT de PyTorch est un sous-ensemble lisible de Python, ce qui permet de visualiser et de déboguer plus facilement les modèles en production.