[Tribune] 7 erreurs d’A/B Testing et comment les éviter

7 erreurs d’AB testing et comment les eviter

À moins d’avoir vécu dans une grotte, vous savez que l’A/B testing est une pratique nécessaire pour prendre de meilleures décisions marketing. Ceci dit, il serait bon que vous sachiez ce qui fonctionne  pour vous éviter de perdre temps et argent.

Si vous faites déjà de l’A/B testing, pensez-vous maitriser la pratique ? Je pose la question parce que dans les faits, un nombre inquiétant de marketeurs obtiennent de faux résultats.

Pourquoi ?

L’A/B testing suit des lois mathématiques, et chaque étape du processus demande une rigueur particulière, au point qu’en rater une rend vos résultats invalides. Mais ne vous inquiétez pas, nous sommes là pour aider. Nous allons dans les prochaines semaines aborder toutes les erreurs d’A/B testing qu’il est possible de commettre, et vous indiquer comment les éviter.

Commençons aujourd’hui avec 7 erreurs d’A/B testing que font la plupart des débutants.

  1. Commencer par des tests compliqués
  2. Ne pas avoir d’hypothèse pour chaque test
  3. A/B tester sans roadmap ni process
  4. Ne pas prioriser ses tests
  5. Ne pas optimiser pour les bon KPIs
  6. Négliger les petits gains
  7. Ne pas tester en permanence

Erreur 1 : Vous commencez par des tests (trop) compliqués

Pour votre premier test, restez simple. Le succès de l’A/B testing dépend d’un processus rigoureux. Il est important que vous débutiez en comprenant comment il fonctionne.

Regardez où la théorie et la réalité se rencontrent, ce qui fonctionne ou ce qui coince. Réfléchissez à comment vous allez implémenter la pratique à échelle, quels seront les impacts sur votre organisation.

Finalement, A/B tester, c’est un peu comme faire de la musculation. Si vous essayez de soulever très lourd tout de suite, vous échouerez (et vous vous retrouverez potentiellement à l’hôpital assez rapidement).

[1] 7 erreurs d’AB testing - Baby steps

Non. Ne grillez pas d’étape. Il faut comprendre la technique de l’exercice avant de passer à des exercices plus difficiles d’accès. L’idée est de prendre les bonnes habitudes, dès le départ. C’est le seul moyen de livrer votre meilleure performance. 

Pareil. Avec. L’A/B Testing.

Commencez doucement. Concentrez votre attention sur chaque étape de l’exercice et assurez-vous de bien les comprendre pour ne pas être dans l’impasse ensuite.

L’échec du premier test A/B est en fait ce qui pousse la plupart des gens à abandonner cette pratique d’optimisation. C’est dommage ! D’où l’importance de vous mettre sur les bons rails dès maintenant. En plus, un résultat positif saura vous motiver – vous et vos collègues – à poursuivre l’aventure. Or, commencer par des tests simples vous permettra d’accumuler des « quicks wins » et de lancer la machine.

En d’autres mots, ne vous lancez pas dans l’A/B Testing avec des tests compliqués. Vous serez dépassés, obtiendrez vraisemblablement des résultats discutables et risquez d’être découragés.

Voici quelques exemples de tests avec lesquels vous pouvez commencer :

  • Testez le wording des offres, pages produits et landing pages (concentrez-vous sur ce qu’apporte le produit plutôt que sur ses caractéristiques. Assurez-vous également d’être clair dans vos propos).
  • Retirez les extras des pages clés (la barre latérale, un CTA (Call to Action) qui n’a pas de lien avec la page, etc.).

Erreur 2 : Vous n’avez pas d’hypothèse pour chaque test

7 erreurs d’AB testing - Tester sans hypotheseChaque test doit se baser sur des données et répondre à une hypothèse, qui découle d’une théorie plausible. Sans quoi vous risquez de vous trouver dans une situation où vous n’avez aucune idée de ce que vous faites.

Ne pas avoir d’hypothèse (où avoir une hypothèse erronée) est l’une des causes principales de l’échec d’un A/B Test.

Pourquoi ?

Chaque test doit se baser sur des données :

Qu’elle soit quantitative ou qualitative, chaque test doit partir d’une analyse de données. Elle vous permettra d’identifier un problème, ou un élément en particulier à améliorer.

Un test A/B à l’intuition peut donner un résultat positif. Mais si vous faites de l’A/B testing, c’est justement parce que vous voulez prendre des décisions basée sur les données, alors soyons logiques jusqu’au bout !

Voici quelques éléments sur lesquels baser vos hypothèses […] :

  • Trafic sur votre site web
  • Cartes de chaleur
  • Sondages
  • Interviews
  • Tests d’usage
  • Analyse Heuristique (trouvez un super article – rédigé en anglais – par Peep Laja sur le sujet. Ne prêtez pas attention au titre, ça fonctionne même si vous avez beaucoup de trafic).

[ … ] Qui s’appuient sur une théorie réfléchie :

Mettez-vous à la place de vos clients. Pourquoi n’ont-ils pas fait ce que vous attendiez d’eux ? Que cherchaient-ils exactement ? Quel(s) élément(s) vous pousserait(ent) à ne pas convertir ?

Exemple : « Si j’étais client, je passerais probablement à l’étape suivante si le formulaire était plus court » (à ce sujet, découvrez notre billet de blog pour générer plus de leads en A/B Testant vos formulaires).

Ne négligez pas cette étape. Prenez un peu de recul, et trouvez le temps de regarder le problème sous un autre angle.

[ … ] une hypothèse tangible [ … ]

Appuyé(e) par les données et une théorie réfléchie, vous pouvez définir votre hypothèse de test.

Utilisez un format comme celui-ci :

  1. En {changeant cet élément}
  2. { votre KPI  } sera {légèrement / moyennement / grandement} impacté(e)
  3. Grâce à {raisons (données, théorie, etc.)}.

Une fois les éléments en gras remplacés, c’est tout de suite moins indigeste :

  1. En simplifiant mon menu
  2. Le taux de clic vers mon blog sera grandement impacté
  3. Grâce à l’optimisation de la hiérarchie visuelle.

Bon, arrivé(e) à cette étape, vous allez tester pour confirmer (ou infirmer) une hypothèse sans tirer à l’aveugle.

Erreur 3 : Vous n’avez pas de process, ni de plan

La bonne conduite de l’A/B Testing et de l’optimisation de la conversion nécessite deux choses :

  1. Un plan
  2. Un process
  1. Pourquoi ai-je besoin d’un plan ? Et en quoi consiste-t-il ?

Avoir un plan, c’est se donner les moyens de comprendre où nous devons concentrer nos efforts, découvrir ce qui fonctionne et savoir comment y parvenir. En fait, il mesure vos efforts et vous épargne tout test inutile.

7 erreurs d’AB testing - Tester sans plan

Un plan doit comporter :

  • les objectifs de votre entreprise : la raison d’être de votre site web. Soyez concis(e), simple et réaliste.
  • les objectifs de votre site web : comment allez-vous atteindre vos objectifs d’entreprise ? Quelles sont vos priorités ?
  • les pages les plus populaires : quelles sont celles qui ont la plus grande marge de progression ?
  • le détail de votre funnel de conversion : quels sont les points de friction ?
  • vos métriques clés : comment mesurez vous le succès ?
  • le Saint Graal : de quelle métrique dépend votre réussite ? (ex : Facebook = Utilisateurs actifs journaliers, AirBnB = Nuits réservées, Ebay = Volume global des ventes, etc.).
  1. Rédigez le plan.
  2. Assurez vous que votre équipe soit en phase.
  1. Le mot process peut générer des réactions allergiques. On l’oppose souvent à la créativité…

… mais pas en A/B testing. Au contraire, c’est justement GRÂCE au process que vous serez créatifs.

L’A/B testing est une expérience scientifique. Elle repose sur la rigueur et sur des paramètres que l’on peut mesurer et reproduire avec précision.

Si échouer est très simple, vous n’avez pas besoin de réinventer le fil à couper le beurre pour vous en sortir. Il faut simplement maitriser le processus, et définir une bonne hypothèse pour améliorer votre CRO.

Le détail de votre process est spécifique à votre entreprise, mais il peut ressembler à ça :

  1. Mesurer
  2. Formuler une hypothèse
  3. Prioriser
  4. Tester
  5. Apprendre
  6. Communiquer : Partagez les réussites, les échecs, et les leçons tirées de vos tests avec vos collègues. Discutez en en interne, et demandez des feedbacks. Vos collègues ont des compétences différentes des vôtres, et ils pourront vous conseiller pour optimiser vos prochains tests. Pensez aussi à tenir votre équipe IT informée pour éviter tout moment de panique.
  7. Recommencer

Si vous n’êtes pas sûr de travailler sur ce qu’il faut, utilisez la question de Brian Balfour (ex VP of Growth à Hubspot) :

« Quelle est l’action avec le plus grand impact potentiel sur mes objectifs d’entreprise sur laquelle je pourrais travailler dès maintenant, en prenant compte des ressources à ma disposition (temps, argent, équipe) ?

Erreur 4 : Vous ne priorisez pas vos tests

Avant de continuer, assurez-vous que la « culture du test » soit comprise dans votre entreprise. Et puis, l’exploitation de la matière grise de vos collègues vous donnera une looongue liste d’idées.

D’où le besoin d’établir un modèle de priorisation des tests avant de vous lancer. Il vous évitera de gaspiller votre argent, ainsi que de réaliser des tests inutiles.

7 erreurs d’AB testing - Perdre de l'argent

Excusez la mauvaise langue, mais permettez moi de chatouiller un peu les « on dit que ». Sur le web, on peut lire qu’ « UTILISER UN CTA ROUGE A AUGMENTÉ NOTRE TAUX DE CONVERSION DE 287% ». Dans un souci pacifiste, admettons qu’ils ont effectivement connu ce bon fulgurant de conversion. Mais autant être clair, il n’existe PAS de couleur qui convertisse plus qu’une autre. Ce qui compte, c’est la hiérarchie visuelle de votre page (votre CTA se démarque-t-il du reste des éléments de la page ?) 

Notez également que vous ne déplacerez pas de montagnes en vous attardant sur des détails aussi anodins que la couleur. En fait, ce genre de changement est souvent évident – si votre CTA n’est pas visible, ou si le titre de votre page n’est pas pertinent, changez en. Il n’est pas toujours nécessaire de conduire de test.

Attention, nous ne sommes pas en train de prêcher qu’il ne faut pas tester les éléments simples tels que le wording d’un CTA. N’en faites simplement pas votre priorité (sauf si vous débutez dans l’A/B testing, voulez construire votre processus et apprendre la pratique).

Tout est proportionnel. De petits tests auront de petites répercussions. Maintenant, il est vrai que vous devez tester autant que possible, mais vous n’êtes pas surhumain, et vos ressources sont probablement limitées.

Une fois confiant(e) pour faire vous lancer, concentrez-vous sur les tests décisifs. Ciblez les pages importantes et celles qui génèrent le plus de trafic. Nous vous conseillons de suivre le PIE Framework pour évaluer la priorité de vos tests.

Voici en quoi il consiste.

Chaque test est évalué selon les critères suivants :

  1. Le Potentiel ( … / 10) : potentiel d’amélioration de cette(ces) page(s).
  2. Importance ( … / 10) : qualité du trafic sur cette(ces) page(s).
  3. Installation ( … / 10) : simplicité d’application du test.

Faites une moyenne, et classez vos tests par ordre d’importance.

Erreur 5 : Vous n’optimisez pas pour les bons KPIs

Il existe deux types de conversions : micro & macro. Il faut mesurer les deux, mais prioriser l’optimisation des macro-conversions.

Une micro-conversion est une étape nécessaire (clic, partage, inscription à la newsletter, ajout au panier, etc.) vers les macro-conversions, qui correspondent à la raison d’être de votre site web (demande de démo, achat, etc.). Il faut faire la différence et les mesurer lors de chaque test (et ne pas seulement optimiser les micro-conversions).

Nielsen Norman Group considère qu’il existe deux types de micro-conversions :

  1. le milestone : C’est une conversion qui constitue un avancement important vers une macro-conversion. Garder un œil sur les milestones vous indique où améliorer votre UX (pour approfondir la lecture, découvrez notre article sur l’expérience utilisateur).
  2. les actions secondaires : Elles ne sont pas la raison d’être de votre site web, mais sont des indicateurs intéressants pour déterminer du potentiel de macro-conversions.

Mesurer les micro-conversions permet de comprendre où se trouvent les points de friction sur du funnel de conversion. N’en faites pas pour autant une priorité. Établissez plutôt vos objectifs pour générer plus de CA.

Imaginez qu’une variation de votre page d’accueil génère plus de trafic vers une landing page. Imaginez maintenant que ce trafic soit moins qualifié et génère moins de conversions. Ici, les micro-conversions ont augmenté, alors que les macro-conversions ont diminué.

En bref, gardez un œil sur les micro-conversions, mais ne les optimisez pas pour le simple fait d’optimiser.

Erreur 6 : Vous négligez les petites avancées

« C’est tout ou rien ».

Nous venons de voir qu’il faut se concentrer sur les tests qui auront l’impact le plus important. Pourtant, la multiplication des petits gains peut générer de beaux résultats.

Nous ne dirons jamais qu’un « test qui génère une faible variation positive mérite d’être abandonné ».

Pourquoi ? Parce qu’il s’agit de maths, tout simplement.

7 erreurs d’AB testing - I love Math

Prenons un exemple.

Vous réalisez des tests qui vous permettent de générer une amélioration de 5% de votre taux de conversion tous les mois. Ca à l’air faible comme ça, mais sur l’année, cela représente une amélioration de 80% en un an ! « Petit gain, vraiment ? ».

Notez également que plus votre site web est optimisé, moins les variations sont importantes. En fait, les variations importantes deviennent rares sur les sites « normaux ».

Erreur 7 : Vous ne testez pas en permanence

Chaque jour passé sans test représente un manque à gagner important.

7 erreurs d’AB testing - Aaaand it's gone

Notez quand même que mener à bien un test demande du temps, qu’il s’agisse de la préparation, de l’exécution et/ou de l’analyse. En bref, ne perdez pas de temps, testez. La durée d’un test varie et dépend du trafic des pages testées ainsi que des taux de conversion. De fait, plus votre test dure dans le temps, plus le résultat sera proche de la vérité mathématique.

Testez, testez, testez ! Et en cas de doute, testez à nouveau !

C’est tout pour aujourd’hui. La semaine prochaine, nous verrons les conditions à réunir de mettre fin à un A/B Test, pour ne pas le faire trop tôt et obtenir des résultats erronés.

7 commentaires

  1. Bonjour,
    C’est sûr que les e-commerçants connaissent le A/B testing, mais combien l’utilise ?

    Perso, je n’ai jamais eu l’occasion d’en faire. Je trouve que c’est trop compliqué à mettre en place mais je reste persuadé que l’on doit apprendre des choses intéressantes.

    Cependant, je pense que les test A/B testing sont réservés aux gros sites à fort trafic. Si vous avez 500 visiteurs jours, cela ne sert à rien de passer du temps sur les tests, il y a tellement mieux à faire pour gagner du trafic.

    Maintenant, si votre trafic est de 5 000 visiteurs jours et que vous plafonnez, il est temps de travailler les détails qui font la différence.

    A++
    Serge

    1. Bonjour Serge,

      En effet, vous avez raison, avec un trafic faible, vous ne pourrez de toutes façons avoir des résultats statistiquement valides. Une petite précision cependant, l’A/B Testing ne permet pas d’augmenter son trafic. Il permet d’améliorer votre site pour plus de conversions, une meilleure expérience utilisateur.

      C’est aussi un excellent outil d’aide à la décision. Pour toute décision d’amélioration du design de votre site, vous pouvez vous appuyer sur de la data fiable pour identifier ce que vos visiteurs préfèrent.

      Quant à la difficulté de mise en place d’un test A/B, ce n’est pas toujours le cas. Avec une solution comme la nôtre, il vous suffit d’installer (copier/coller) le script dans le code de votre site, de lancer l’éditeur graphique de Kameleoon, faire les modifications pour votre variation, et vous n’avez plus qu’à lancer le test 🙂

      Merci pour votre commentaire, n’hésitez-pas à me contacter si vous avez des questions !
      Jean-Baptiste

      PS: Si vous voulez aller plus loin, je vous conseille la lecture de notre livre blanc sur l’A/B testing => http://pages.kameleoon.com/ab-testing-white-paper

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Merci de taper les caractères de l'image Captcha dans le champ

Merci de saisir ces caractères dans le champ
ci-dessous afin de valider votre commentaire.

Jean Baptiste Alarcon

Article de : Jean Baptiste Alarcon

Jean-Baptiste Alarcon, l’auteur, est Growth Marketer chez Kameleoon, prestataire de solutions SaaS d’A/B testing et de Personnalisation qui permettent aux équipes marketing de délivrer des expériences optimisées et contextualisées à chacun de leurs visiteurs sans contraintes techniques.