Conseils de data-driven design + mon retour d'expérience sur cette table ronde - Podcast

Summary

Dans cet épisode, Romain Pachna partage son expérience lors d'une table ronde sur le design axé sur les données, organisée par Amplitude et Big Blue. Il explore l'importance de combiner les données quantitatives avec des informations qualitatives pour prendre des décisions éclairées en design. Il discute aussi des différents types de tests A/B, de la culture du design data-driven, et des conseils pour réussir dans les discussions publiques. En conclusion, Romain encourage à oser participer à de telles initiatives pour apprendre et grandir en tant que professionnel.

Takeaways

• 😀 La data seule peut être dangereuse si elle n'est pas correctement analysée ou complétée par d'autres informations, comme des retours utilisateurs qualitatifs.
• 😀 La data est essentielle pour identifier des problèmes, détecter des opportunités et mesurer l'impact des actions de design, mais elle doit être utilisée avec précaution.
• 😀 En B2B, la data peut être moins fiable en raison du volume réduit d'utilisateurs. Il est crucial de compléter les analyses avec des informations qualitatives et des métriques spécifiques.
• 😀 Les tests A/B peuvent être détaillés (petits changements comme un wording) ou plus larges (modifications complètes de flux). Il est important de choisir le bon type selon le volume d'utilisateurs.
• 😀 Les tests A/B à grande échelle peuvent être risqués, car on ne sait pas toujours pourquoi une modification a eu un impact négatif. Il est parfois nécessaire de revenir à des tests plus détaillés.
• 😀 Les probabilités bayésiennes peuvent aider à déterminer la fiabilité des tests A/B, indépendamment du nombre d'utilisateurs, et permettent d'optimiser la durée des tests.
• 😀 Un test AA (groupe A et groupe B voient exactement la même chose) est crucial pour vérifier que la répartition des utilisateurs dans un test n'est pas biaisée.
• 😀 Pour instaurer une culture du design driven par la data dans une entreprise, commencez par un projet précis et de petite envergure, puis élargissez progressivement les initiatives en partageant les réussites.
• 😀 Anticiper dès le début du projet les KPIs à mesurer et les opportunités futures à détecter est essentiel pour maximiser la valeur de la data tout au long du processus.
• 😀 Participer à des événements comme des tables rondes est une excellente opportunité pour apprendre, échanger, et se former, même si on se sent moins expérimenté que d'autres participants.

Q & A

Qu'est-ce que signifie 'Data Driven Design' ?

Le 'Data Driven Design' consiste à prendre des décisions de conception basées sur des données concrètes plutôt que sur des intuitions. Cela implique de mesurer l'impact des choix de design en utilisant des données quantitatives et qualitatives pour orienter les décisions.

Pourquoi la donnée seule peut-elle être dangereuse dans le processus de design ?

La donnée seule peut être trompeuse si elle n'est pas correctement interprétée. Elle peut fausser les conclusions, surtout si elle est mal traitée ou si des informations contextuelles importantes sont ignorées. Il est donc essentiel de la compléter avec des données qualitatives ou d'autres types d'insights pour valider les résultats.

Quel est le rôle des tests A/B dans le Data Driven Design ?

Les tests A/B permettent de comparer deux versions différentes d'une fonctionnalité ou d'un design auprès de groupes d'utilisateurs. Cela aide à mesurer l'impact de chaque version sur des indicateurs de performance, afin de déterminer laquelle génère les meilleurs résultats.

Quelle différence existe-t-il entre les tests A/B de détails et les tests A/B larges ?

Les tests A/B de détails concernent des changements mineurs, comme l'ajustement d'un mot ou la modification d'une interaction. Ils sont adaptés aux gros volumes d'utilisateurs. Les tests A/B larges impliquent des changements plus significatifs, comme la refonte complète d'un parcours utilisateur, et sont utilisés lorsque les bases d'utilisateurs sont plus petites.

Comment utiliser la méthodologie des probabilités bayésiennes pour analyser les résultats des tests A/B ?

Les probabilités bayésiennes sont une méthode statistique qui permet d'estimer la fiabilité des résultats d'un test, indépendamment du nombre d'utilisateurs impliqués. Cela aide à déterminer si un test A/B doit être poursuivi ou non, en fonction de la probabilité que les résultats observés soient significatifs.

Qu'est-ce qu'un test AA et pourquoi est-il important dans les tests A/B ?

Un test AA consiste à afficher la même version du produit à deux groupes d'utilisateurs différents pour s'assurer que la segmentation des utilisateurs dans un test A/B n'est pas biaisée. Cela permet de vérifier que les groupes sont bien comparables avant de tirer des conclusions sur l'impact des changements de design.

Comment créer une culture de design piloté par les données dans une entreprise ?

Pour instaurer une culture de design data-driven, il est recommandé de commencer par de petits projets pilotes avec une équipe motivée. Une fois les résultats positifs obtenus, ils peuvent être partagés pour encourager d'autres équipes à adopter cette approche. L'objectif est d'intégrer progressivement la méthodologie dans l'entreprise.

Pourquoi est-il crucial d'anticiper les métriques dès le début d'un projet ?

Anticiper les métriques dès le début d'un projet permet de définir clairement les objectifs et de suivre l'évolution des actions. Cela permet également de mettre en place les bons trackers et de maximiser la valeur des données collectées, afin d'améliorer l'impact du projet tout au long de son développement.

Comment un jeune designer peut-il se sentir légitime dans une table ronde avec des experts expérimentés ?

Même un jeune designer a une expérience unique à partager, notamment sur des projets plus petits ou des contextes startup. Il est important de se rappeler que ce qui est perçu comme une expérience limitée peut en réalité apporter des perspectives fraîches et pertinentes, souvent plus proches des préoccupations des autres participants.

Quels conseils donneriez-vous à quelqu'un qui participe à une table ronde pour la première fois ?

Il est essentiel de dire 'oui' à l'opportunité, même si cela peut paraître intimidant. En partageant ses propres expériences, on crée une atmosphère authentique. Il faut aussi accepter de ne pas avoir toutes les réponses et être à l'aise avec le fait de dire 'je ne sais pas' quand c'est nécessaire. Cela renforce la confiance et la crédibilité.