Métriques et critères de réussite
Glissez pour afficher le menu
Lors de la conception d'un test A/B, le choix des bons indicateurs est essentiel pour déterminer si votre expérience est réussie. Les indicateurs sont des valeurs mesurables qui reflètent le comportement des utilisateurs ou les résultats commerciaux. Parmi les indicateurs les plus courants des tests A/B, on trouve :
Taux de conversion – le pourcentage d'utilisateurs qui réalisent une action souhaitée, comme effectuer un achat ou s'inscrire à une newsletter.
Taux de clics (CTR) – la proportion d'utilisateurs qui cliquent sur un lien ou un bouton spécifique parmi ceux qui l'ont vu.
Revenu par utilisateur - le montant moyen de revenu généré par utilisateur pendant la période de test.
La sélection de la métrique à utiliser dépend de vos objectifs commerciaux. Par exemple, si votre objectif est d’augmenter les ventes, le taux de conversion ou le revenu par utilisateur sont des choix pertinents. Si vous souhaitez accroître l’engagement, le taux de clics ou le temps passé sur le site peuvent être plus appropriés.
Bonnes métriques : celles qui sont étroitement liées à vos objectifs commerciaux et suffisamment sensibles pour détecter des changements significatifs. Si vous gérez un site e-commerce et lancez un nouveau processus de paiement, mesurer le taux de conversion du panier à l’achat constitue un indicateur direct de succès.
Mauvaises métriques : lorsque vous choisissez des métriques qui ne sont pas alignées avec vos objectifs, qui sont trop générales ou facilement manipulables. Mesurer le nombre de pages vues alors que votre objectif est d’augmenter les achats peut prêter à confusion : les utilisateurs peuvent consulter plus de pages sans effectuer d’achat.
12345678910111213141516import pandas as pd # Sample data: user actions from an A/B test data = { "user_id": [1, 2, 3, 4, 5, 6, 7, 8, 9, 10], "group": ["A", "A", "B", "B", "A", "B", "A", "B", "A", "B"], "converted": [0, 1, 1, 0, 0, 1, 1, 0, 1, 1] # 1 = purchase, 0 = no purchase } df = pd.DataFrame(data) # Calculating conversion rate for each group conversion_rates = df.groupby("group")["converted"].mean() # Printing results with business context print("Conversion Rate for Group A:", round(conversion_rates["A"] * 100, 2), "%") print("Conversion Rate for Group B:", round(conversion_rates["B"] * 100, 2), "%")
Définir des critères de réussite consiste à établir des seuils clairs qui déterminent si le résultat du test est significatif pour votre entreprise. Au lieu de simplement se demander « Le métrique a-t-il augmenté ? », précisez de combien il doit augmenter pour être considéré comme un succès. Vous pouvez décider qu'une nouvelle fonctionnalité n'est considérée comme réussie que si elle augmente le taux de conversion d'au moins 2 %.
Il convient également de prendre en compte l'impact commercial global. Parfois, une légère amélioration de votre métrique principale peut avoir un effet important sur le chiffre d'affaires ou la satisfaction des utilisateurs, tandis que dans d'autres cas, le changement peut ne pas justifier le coût de mise en œuvre.
Attention à l'utilisation des métriques de vanité – des chiffres qui semblent positifs mais qui ne reflètent pas la véritable valeur commerciale. Une augmentation des téléchargements d'application n'est utile que si ces utilisateurs s'engagent réellement avec votre produit ou effectuent des achats.
- Métriques principales : indicateurs principaux de réussite, directement liés à votre hypothèse ;
- Métriques secondaires : éléments de preuve complémentaires ou permettant de détecter des effets secondaires non souhaités, mais ne doivent pas détourner l'attention de votre objectif principal.
Toujours s'assurer que vos métriques sont actionnables, alignées avec vos objectifs et résistantes à la manipulation.
Merci pour vos commentaires !
Demandez à l'IA
Demandez à l'IA
Posez n'importe quelle question ou essayez l'une des questions suggérées pour commencer notre discussion
