Google I/O 2024 keynote in 17 minutes

The Verge

14 May 202417:03

Summary

TLDRDans cette conférence Google IO, la société a annoncé une série d'améliorations et de lancements technologiques impressionnants. Le nouveau système Gemini 1.5 Pro, avec un contexte étendu à 1 million de jetons, sera disponible pour les développeurs et les consommateurs dans 35 langues. Google prévoit d'élargir la fenêtre de contexte à 2 millions de jetons, un pas en avant vers l'objectif ultime de contexte infini. Les outils génératifs de médias, tels que Image 3, Music AI Sandbox et le modèle de vidéo VR, offriront des expériences plus immersives et personnalisées. La sixième génération de TPU, Trillium, apportera une amélioration significative des performances de calcul. De nouvelles fonctionnalités dans Google Search, comme la raison multi-étapes et la recherche vidéo, rendront la recherche d'informations plus efficace. Les utilisateurs de Gmail mobile bénéficieront de nouvelles capacités telles que la synthèse et la réponse aux questions directement dans l'application. Gemini Nano, avec ses capacités multimodales, améliorera l'accessibilité pour les utilisateurs. Les modèles Gemini 1.5 Flash et Pro seront tarifés compétitifs, et l'introduction de Poly Gemma, le premier modèle de langage vision open, promet de nouvelles possibilités pour les développeurs. L'ensemble de ces annonces montre l'engagement de Google pour l'innovation et l'amélioration continue de l'expérience des utilisateurs.

Takeaways

🚀 Lancement d'une nouvelle expérience de recherche améliorée avec Gemini, qui sera disponible pour tous les développeurs à l'échelle mondiale.
📈 Gemini 1.5 Pro, avec un contexte de 1 million de tokens, sera directement accessible pour les consommateurs dans Gemini Advanced et sera utilisable dans 35 langues.
🔍 Expansion de la fenêtre de contexte à 2 millions de tokens, représentant une étape supplémentaire vers l'objectif ultime du contexte infini.
📱 Progrès dans l'assistance IA avec le projet Astra, qui comprend des outils génératifs pour l'image, la musique et la vidéo.
🎥 Introduction d'Imagine 3, un modèle plus photoréaliste avec des détails enrichis et moins d'artefacts visuels.
🎼 Mise en place de Music AI Sandbox, un ensemble d'outils IA musicale professionnel pour créer de nouvelles sections instrumentales et transférer des styles entre pistes.
📹 Présentation du modèle de vidéo génératif le plus performant appelé VR, capable de créer des vidéos 1080p de haute qualité à partir de textes, d'images et de vidéos.
🧠 Intégration de la raisonnement à plusieurs étapes dans Google Search pour répondre à des questions plus complexes.
📧 Nouveaux développements dans Gmail mobile avec des fonctionnalités telles que la synthèse des e-mails et la réponse aux questions directement dans les cartes mobiles.
📊 Prochain lancement de la sixième génération de TPUs appelée Trillium, offrant une amélioration significative des performances de calcul par rapport à la génération précédente.
💬 Prochaine disponibilité d'un nouveau tableau de bord Gemini pour Gmail, avec des capacités telles que la création de documents et la visualisation des revenus.

Q & A

Quelle est la nouvelle expérience que Google lance pour les utilisateurs américains ?
-Google lance une expérience entièrement repensée des aperçus de l'IA, qui sera disponible pour tous les utilisateurs américains cette semaine et sera étendue à d'autres pays sous peu.
Comment Gemini facilite-t-il le processus de paiement dans une station de stationnement ?
-Gemini utilise la reconnaissance des images pour identifier la voiture qui apparaît fréquemment, triangule la vôtre et vous donne directement le numéro de plaque. Cela permet de simplifier le processus de paiement.
Quels types de recherches peut-on effectuer avec Gemini 1.5 Pro ?
-Avec Gemini 1.5 Pro, on peut effectuer des recherches multimodales qui reconnaissent différents contextes, allant de la natation en bassin à la plongée sous-marine, et cela avec un contexte long pouvant traiter des centaines de pages de texte, des heures d'audio ou de vidéo, voire des dépôts de code complets.
Quelle est la capacité de contexte de Gemini 1.5 Pro ?
-Gemini 1.5 Pro peut gérer jusqu'à 1 million de jetons de contexte, ce qui permet d'obtenir des réponses plus riches et détaillées.
Comment Gemini peut-il aider dans la planification d'un voyage ?
-Gemini peut rassembler diverses informations à partir de la recherche, des extensions utiles comme Maps et Gmail, pour créer un plan de vacances personnalisé présenté dans la nouvelle interface dynamique de Gemini.
Quels sont les avantages de l'utilisation de Gemini pour la résolution de problèmes scolaires ?
-Gemini peut aider à résoudre des problèmes scolaires complexes en fournissant des instructions étape par étape directement là où l'utilisateur travaille, par exemple en circonscrivant la partie exacte d'un problème qu'un élève est bloqué.
Quelle est la fonctionnalité de Gemini qui permet de répondre à des questions complexes directement dans Gmail mobile ?
-La nouvelle fonctionnalité de carte mobile de Gemini permet de lire un résumé des informations clés dans une carte superposable, d'où il est possible de poser des questions directement et d'obtenir des réponses rapides sur n'importe quoi dans la boîte de réception sans avoir besoin de rechercher ou d'ouvrir les e-mails.
Comment Gemini aide-t-il dans l'organisation et le suivi des reçus de facture ?
-Gemini propose de créer un dossier Drive, de déplacer les reçus dedans, d'extraire les informations pertinentes et de générer automatiquement une feuille de calcul pour suivre les dépenses, tout en offrant la possibilité de visualiser la répartition par catégorie.
Quelle est la nouvelle fonctionnalité de Gemini qui permet de personnaliser l'IA pour créer des experts personnels sur n'importe quel sujet ?
-Les 'gems' sont des fonctionnalités Gemini qui permettent aux utilisateurs de créer des experts personnels sur des sujets spécifiques en écrivant une seule fois des instructions. Ces 'gems' seront disponibles pour répondre aux besoins futurs des utilisateurs.
Quels sont les avantages de l'utilisation de Gemini Nano dans le contexte de l'accessibilité ?
-Gemini Nano améliore l'accessibilité en fournissant des descriptions plus riches et plus claires des photos envoyées aux utilisateurs, même sans connexion réseau, grâce à ses capacités multimodales.
Quels sont les prix pour l'utilisation de Gemini 1.5 Pro et Gemini 1.5 Flash ?
-Gemini 1.5 Pro coûte 7 dollars pour 1 million de jetons, avec un rabais de 50% pour les prompts jusqu'à 128k jetons, soit 3,50 dollars. Gemini 1.5 Flash commence à 35 cents pour 1 million de jetons.

Outlines

00:00

🚀 Lancement de Gemini 1.5 Pro et nouvelles capacités

Le texte décrit le lancement de la nouvelle expérience Gemini 1.5 Pro avec une fenêtre de contexte de 1 million de jetons, qui sera disponible pour tous les développeurs à travers le monde. Cela inclut la possibilité d'interroger des contextes longs tels que des pages de texte, des heures d'audio ou de vidéo, et du code. Gemini 1.5 Pro permettra aux utilisateurs de traiter des questions complexes et de recevoir des réponses détaillées. La fonctionnalité de multimodalité permet de poser des questions plus larges et de recevoir des réponses plus riches. Le texte mentionne également l'expansion de la fenêtre de contexte à 2 millions de jetons et l'introduction de Gemini 1.5 Flash.

05:01

🎥 Projet Astra et génération de médias

Dans ce paragraphe, on annonce Project Astra, une avancée future de l'IA. On parle également de l'introduction de nouveaux outils génératifs pour l'image, la musique et la vidéo. Imagine 3 est présenté comme un outil plus photoréaliste avec des détails enrichis et moins d'artefacts visuels. On mentionne également la création de vidéos haute qualité avec le modèle VR, qui prend en charge des instructions textuelles, des images et des vidéos. Un outil expérimental appelé Video FX est également mentionné pour éditer des vidéos plus longue et créer des storyboards.

10:01

🧠 Amélioration des TPUs et nouvelles fonctionnalités de recherche

Le texte parle de la sixième génération de TPUs, Trillium, qui apporte une amélioration significative des performances de calcul par rapport à la génération précédente. Il annonce également l'introduction de la raison multi-étapes dans Google Search, permettant aux utilisateurs de poser des questions complexes et d'obtenir des réponses détaillées et structurées. On décrit également de nouvelles capacités pour Gmail mobile, notamment la possibilité de résumer des emails et de poser des questions directement à partir des cartes mobiles.

15:03

🤖 Intégration d'IA dans les outils de productivité

Ce paragraphe décrit l'intégration d'IA dans divers outils de productivité, y compris la création d'un assistant virtuel nommé Chip, qui peut effectuer des tâches spécifiques telles que le suivi des projets et l'organisation des informations. On mentionne également la possibilité d'avoir des conversations approfondies avec Gemini à l'aide de la voix et la création de 'gems', des experts personnels sur des sujets spécifiques. On décrit également une nouvelle expérience de planification de voyages qui permet de créer des itinéraires personnalisés en utilisant les informations de recherche et les extensions utiles comme Maps et Gmail.

📈 Analyse de données et nouvelles fonctionnalités Gemini

Le texte explique comment Gemini peut aider à analyser des données et à générer des visualisations, comme pour visualiser les revenus d'une activité annexe. On annonce également l'élargissement de la fenêtre de contexte à deux millions de jetons plus tard dans l'année. Gemini devient contextuellement conscient, permettant aux utilisateurs d'interagir de manière plus intuitive avec les applications. On mentionne également l'amélioration de l'accessibilité avec Gemini Nano, qui fournira des descriptions plus riches et claires des photos, même sans connexion réseau.

📉 Coûts et nouveaux modèles Gemini

On donne des informations sur les coûts de l'utilisation de Gemini 1.5 Pro et Gemini 1.5 Flash, ainsi que l'annonce de la prochaine génération de Gemini, Gemini 2, qui sera disponible en juin. On mentionne également l'expansion de Synth ID à de nouvelles modalités et l'ouverture de Synth ID text watermarking. On introduit également Learn LM, une nouvelle famille de modèles basés sur Gemini et finement ajustés pour l'apprentissage, avec des 'gems' préfabriqués qui seront disponibles dans l'application Gemini et l'expérience Web.

Mindmap

Keywords

💡Google IO

Google IO est une conférence annuelle organisée par Google qui met en avant les nouvelles technologies et les innovations de l'entreprise. Dans le script, cela marque le début de l'annonce de nouvelles fonctionnalités et de produits liés à l'intelligence artificielle.

💡AI overviews

AI overviews fait référence à une fonctionnalité qui fournit des aperçus détaillés et des informations structurées sur divers sujets à l'aide de l'intelligence artificielle. Dans le contexte du script, cela signifie l'amélioration de l'expérience utilisateur en fournissant des réponses plus riches et contextuelles.

💡Gemini

Gemini est le nom d'un produit ou d'une fonctionnalité dans le script qui semble offrir des capacités de recherche avancées et de traitement du langage naturel. Il est mentionné comme capable de reconnaître les contextes variés et d'interagir avec les utilisateurs sur de nombreux sujets.

💡Multimodality

Le terme 'multimodality' fait référence à la capacité d'un système d'intelligence artificielle à traiter et à intégrer des types de données multiples, tels que le texte, l'audio et la vidéo. Dans le script, cela est lié à l'expansion des questions que l'on peut poser et des réponses que l'on reçoit, améliorant ainsi l'interactivité et la richesse de l'information.

💡1 million token context window

Un 'token' en traitement du langage naturel est une unité de texte, généralement un mot ou un caractère. Un contexte de 1 million de tokens permet à Gemini 1.5 Pro de traiter et de comprendre de grandes quantités d'informations. Cela est crucial pour la compréhension approfondie du contexte et pour fournir des réponses détaillées et précises.

💡Project Astra

Project Astra est mentionné comme un progrès futur dans le développement de l'aide à l'intelligence artificielle. Bien que le script ne fournisse pas de détails spécifiques, il est présenté comme une innovation qui devrait améliorer les capacités d'assistance et les expériences des utilisateurs.

💡Imagine 3

Imagine 3 est décrit comme un modèle génératif de média qui produit des images plus photoréalistes avec des détails enrichis et moins d'artéfacts visuels. Cela indique une évolution dans la capacité de l'IA à générer du contenu médiatique de haute qualité.

💡TPUs (Tensor Processing Units)

Les TPU, ou Unités de Traitement Tensoriel, sont des unités de calcul spécialisées développées par Google pour l'apprentissage automatique et les tâches liées à l'IA. La sixième génération, Trillium, offre une amélioration significative en termes de performance de calcul, ce qui permettra d'exécuter des modèles d'IA plus complexes et plus rapidement.

💡Google Search updates

Les mises à jour de Google Search mentionnées dans le script incluent la raison de plusieurs étapes et la capacité à traiter des questions plus complexes, comme trouver les meilleurs studios de yoga avec des offres d'introduction et des informations sur la distance. Cela montre l'intégration croissante de l'IA pour améliorer l'expérience de recherche des utilisateurs.

💡Gmail mobile

Le script fait référence à de nouvelles fonctionnalités pour Gmail mobile, notamment la possibilité de résumer des emails et de poser des questions directement à partir des cartes mobiles. Cela montre comment l'IA est intégrée dans les produits existants pour offrir une expérience utilisateur plus efficace et personnalisée.

💡Gemini Advanced

Gemini Advanced est mentionné comme une version améliorée d'un produit ou d'une fonctionnalité qui offre des capacités étendues, telles que la planification de voyages personnalisés et la création d'experts personnels sur n'importe quel sujet. Cela met en évidence l'élaboration continue des outils d'IA pour répondre aux besoins spécifiques des utilisateurs.

Highlights

Google IO 2023 introduced a fully revamped AI experience with new features and improvements.

Gemini, Google's AI assistant, is set to launch a new version with expanded capabilities across 35 languages.

The context window for Gemini 1.5 Pro is being expanded to 2 million tokens, a significant step towards infinite context.

Google is introducing a lighter weight model called Gemini 1.5 Flash, offering more accessible AI capabilities.

A new feature called 'flash' is being introduced, which is a lighter model compared to Pro, with up to 1 million tokens available in Google AI studio and Vertex AI.

Project Astra is a new initiative in AI assistance that will allow users to interact with AI through sound and code analysis.

Imagine 3, a new generative media tool, offers more photorealistic images with richer details and fewer visual artifacts.

Google and YouTube are building Music AI Sandbox, a suite of professional music AI tools for creating and transforming music.

A new generative video model called VR is capable of creating high-quality 1080p videos from text, image, and video prompts.

TPUs are advancing with the sixth generation, Trillium, offering a 4.7x improvement in compute performance per chip.

Google search will soon feature multi-step reasoning to help users find the best solutions to complex questions.

Google is working on integrating video into search queries, allowing users to ask questions directly with a video.

A new Gemini powered side panel will be available next month with three new capabilities for Gmail mobile.

Gmail mobile will receive updates including a summarize option and a Q&A feature for quick answers within emails.

Google is prototyping a virtual Gemini powered teammate, Chip, designed to monitor and track projects, organize information, and provide context.

Live, a new Gemini feature, will allow users to have in-depth conversations with Gemini using voice and visual input.

Gems, personalized AI experts on any topic, will be introduced, allowing users to create personal experts for various subjects.

Gemini Advanced is introducing a new trip planning experience that gathers information from various sources to create a personalized vacation plan.

Google is expanding the capabilities of its AI models, including doubling the long context window to two million tokens and introducing context awareness.

Talk Back, an accessibility feature, is being enhanced with multimodal capabilities of Gemini Nano for richer and clearer descriptions.

Google is introducing new pricing models for Gemini 1.5 Pro and 1.5 Flash, making them more accessible to developers.

Poly Gemma, the first Vision language open model, is now available, and Jimma 2, the next generation of Gemma, will be available in June.

Synth ID is expanding to include text and video modalities, with plans to open source Synth ID text in the coming months.

Learn LM, a new family of models based on Gemini and fine-tuned for learning, is being developed with pre-made gems for educational purposes.