Test utilisateur à distance ou en labo ?

(cet article fait suite à l’article Faut-il faire des tests utilisateurs ? / il est un un ensemble de bonnes pratiques suite à mon expérience des tests utilisateurs que je conduis quotidiennement avec mes équipes pour le compte de mon agence, Wexperience)

(Photo par Brooke Cagle sur Unsplash)
(Photo par Brooke Cagle sur Unsplash)

3 types de test utilisateurs

Le terme de tests utilisateurs peut recouvrir plusieurs réalités et prestations. Aussi quand on parle de tests utilisateurs faut-il savoir de quoi il s’agit réellement.

Pour moi, il y a 3 types de tests utilisateurs :

  • Test utilisateur en labo
  • Test utilisateur à distance guidé
  • Test utilisateur à distance non guidé

Chacun de ces protocoles permet de détecter des potentialités d’amélioration sur une application (site web, site mobile, app) et d’évaluer une niveau d’utilisabilité, mais à des niveaux différents de rendement. Un test en labo sera toujours beaucoup plus riche qu’un test à distance.

Rappel : qu’est-ce qu’un test utilisateur ?

Un test utilisateur consiste à faire utiliser une interface à une cible utilisateur qualifiée  selon des scenarios plus ou moins fermés (grande latitude de manoeuvre ou pas de l’utilisateur). L’objectif des tests est d’observer les utilisateurs finaux sans interférence extérieure, comme si ces utilisateurs étaient seuls chez eux ou dans la rue face à l’application.

Evidemment, il ne sera jamais possible de recréer parfaitement les conditions du réel, tout simplement parce que l’utilisateur sait qu’il est dans un test. Rien que pour cette raison, son comportement sera biaisée. Mais, en réalité, la manière dont sont conduits les tests permet bien évidemment d’atténuer cet effet.

Le protocole de test a été créé au départ pour des tests en labo. Forcément, dans les années 80-90, faire des tests à distance demandait des moyens techniques inexistants ou beaucoup trop chers.

Avec la généralisation du haut-débit et celles des PC multimédias, cela a changé et il est devenu parfaitement possible de conduire des tests à distance, tout en enregistrant les sessions pour pouvoir les étudier à postériori.

Impératifs du protocole de test

Faciliter/guider les tests

En labo, un test est toujours « facilité » par un facilitateur (conduit par un ergonome), c’est à dire un expert qui va assister l’utilisateur et surtout le faire parler. C’est une donne essentielle du test utilisateur : on appelle cela « penser à voix haute ». En effet, observer un utilisateur sans lui demander de s’exprimer revient à regarder un film sans le son : plutôt ennuyeux. Et sans le son, vous émettrez beaucoup d’hypothèses sans avoir beaucoup de réponses. L’on voit donc là l’importance primordiale du facilitateur.

Enregistrer

Dans tous les cas, les tests doivent être enregistrés. En local, c’est plutôt facile, avec un logiciel dédié. Et l’avantage par rapport aux tests à distance est de pouvoir obtenir une très bonne qualité d’enregistrement, contrairement à un test à distance dépendant de la qualité de la connexion de l’utilisateur et des aléas qui y sont liés. De la même manière, vidéo et son enregistrés à distance ne pourront se comparer à la qualité d’un enregistrement en local pour des raisons de bande passante.

Observer

Dans tous les cas, les tests doivent être observés. C’est une recommandation que nous faisons à tous nos clients : venez observer les tests et venez les observer en direct, en temps réel. L’intérêt et l’émotion d’une session de test en live en labo est comparable à assister à un match de foot en direct dans un stage plutôt que de le regarder en différé à la télévision.

En labo, cela est facile (il est d’ailleurs possible d’observer à distance des tests en labo). Il est aussi possible d’observer les tests à distance, avec les mêmes contraintes techniques et risques de perte de signal comme lorsque vous utilisez Skype pour faire une conférence téléphonique.

Rémunérer les testeurs

Dans le cas de tests faisant appel à des utilisateurs non captifs (consommateur), les testeurs doivent être rémunérés. Un test utilisateur durant à minima 30mn, il est difficile de ne pas rémunérer un testeur pour son dérangement. Cette rémunération s’élève en général à 30€ (cf chez Wexperience, par exemple), mais cela peut varier en valeur et en nature en fonction de la durée du test ou de la difficulté à recruter le testeur.

Profiler les testeurs

Dans tous les cas, les panels de testeurs doivent être qualifiés. Ne pas segmenter et recruter de testeurs sans connaître leur profil et sans envisager plusieurs types de profil constitue une erreur dans le protocole de test. Ainsi demander à un geek de tester un site de mode n’a aucun sens.

Les questions à se poser

Un test utilisateur qui ne respecte pas ces prérequis n’est pas selon nous un vrai test.

Guider/faciliter ou pas les tests ?

Ainsi, les tests à distance non facilités présentent des inconvénients qui sont inacceptables :

  • rien ne motive particulièrement les testeurs à bien accomplir leur tâche s’ils ne sont pas « surveillés »
  • rien ne les force à s’exprimer
  • ils ne sont pas mis « en condition » par leur facilitateur et le bon respect du protocole dépend de leur bon vouloir

Faire venir les testeurs ou pas ?

C’est la grande limite des tests en labo. Il faut faire venir les testeurs dans un endroit parfois éloigné de chez eux. Dans certains cas, cela peut-être problématique. Par exemple, si vous souhaitez interwiever des professionnels dans le cadre de leur travail, il est évidemment très compliqué de les faire sortir du bureau pour participer à un test (sauf ordre hiérarchique). Dans ce cas, un test à distance peut être indiqué, malgré ses inconvénients.

Analyser les enregistrements ou pas ?

Il existe deux niveaux d’analyse aux tests utilisateurs.

  1. Se fier au temps réel, prendre des notes pendant les tests, se baser sur ses impressions pour élaborer des solutions

Cette approche permet de gagner du temps. Les résultats des tests sont instantanés et il est possible de conduire un test rapidement au cours d’un projet pour ajuster une interface, par exemple, en phase de conception. Mais son inconvénient est le manque de recul. Certaines choses vues en temps réel, à l’aune de l’analyse à postériori des enregistrements, peuvent très bien montrer que ces choses n’ont pas d’importance. Il est également possible de ne pas voir, en temps réel, des défauts d’interface important que seul l’analyse de un ou plusieurs enregistrements peuvent détecter.

2 – Analyser les enregistrements

C’est la méthode la plus sûre de faire un bon diagnostic. Elle nécessite plus de temps de travail et retarde la génération des résultats. Son avantage certain est de pouvoir être beaucoup plus juste et basée sur des constatations plus solidement éprouvées. C’est la méthode la plus recommandée.

Conclusion

Il n’y a pas photo, les tests en labo sont et demeurent le protocole le plus riche, le plus performant et le plus efficace pour auditer et analyser une interface. Plus compliqués à organiser, plus longs, ils restent le meilleur protocole.

Si parfois les conditions pour conduire un test en labo ne sont pas réunies (notamment du fait de la difficulté de faire venir les testeurs en un même endroit le même jour), un test à distance peut être conduit avec les inconvénients que cela implique. Dans tous les cas, ces tests doivent être « facilités », enregistrés et analysés d’après ces enregistrements. Des tests qui ne respecteraient pas ce protocole n’ont qu’une valeur très limitée et il vaut mieux se tourner alors vers de l’analyse d’enregistrements (comme avec une solution comme hotjar) ou, pourquoi pas, conduire des tests A/B.

4 commentaires

  1. Hello Olivier,

    Merci pour cet article complet sur les tests utilisateurs. Si tu l’acceptes, je veux bien compléter ton analyse sur les tests à distance.

    Sur la partie descriptive des tests, je préfère parler de tests modérés que de tests guidés. C’est peut-être juste de la terminologie (si j’ai bien compris le sens que tu souhaitais donner ici) mais cela place mieux le rôle du modérateur en présentiel. L’analyse aurait aussi pu être poussée en expliquant précisément en distinguant les tests synchrones et asynchrones. Peut être pour un prochain article ? 😉

    Voici quelques éléments pour préciser ou compléter ton point de vue : 😉

    « Mais, en réalité, la manière dont sont conduits les tests permet bien évidemment d’atténuer cet effet. » => Tu ne parles pas de la désirabilité sociale qui a au contraire tendance à maximiser ce biais ?

    « Et sans le son, vous émettrez beaucoup d’hypothèses sans avoir beaucoup de réponses. L’on voit donc là l’importance primordiale du facilitateur. » => sur la 1ère partie, 100% d’accord avec toi mais pas sur la 2ème. Tu peux tout à fait récupérer les commentaires de l’utilisateur sans la présence du facilitateur… Cf les outils de remote user testing qui existent avec la technique de think aloud identique au présentiel.

    « Et l’avantage par rapport aux tests à distance est de pouvoir obtenir une très bonne qualité d’enregistrement, contrairement à un test à distance dépendant de la qualité de la connexion de l’utilisateur et des aléas qui y sont liés. » => ça ne dépend pas uniquement de la connexion de l’utilisateur mais aussi des paramètres propres choisis par la solution de TU distants. D’ailleurs, il y a même la possibilité dans certains cas de réaliser le test utilisateur en local sans connexion. On n’a pas non plus besoin d’avoir du .wav pour des tests utilisateurs de qualité 🙂

    Sur les parties observer et profiler, je te rejoins. C’est d’ailleurs le discours que nous tenons aussi 🙂

    « les tests à distance non facilités présentent des inconvénients qui sont inacceptables : » => aucun des 3 arguments présentés ne correspond à la réalité d’un test utilisateur distant.
    – Rien ne motive particulièrement les testeurs à bien accomplir leur tâche s’ils ne sont pas « surveillés » => Selon toi, la surveillance permet de mieux motiver et donc de mieux réaliser les tâches ? Oula, je ne suis pas d’accord car on inclut un biais fort dans la pertinence de la mesure dans ce cas. Dans le cadre d’un test à distance si l’utilisateur ne réalise pas la tâche proposé, mécaniquement son test peut être refusé par le commanditaire.
    – Rien ne les force à s’exprimer => si je pousse ton raisonnement cela veut dire que sur un test en présentiel, le testeur va se forcer à parler + que ce qu’il aurait dit naturellement sans modérateur ? Plus sérieusement, c’est une consigne qui est demandé à l’utilisateur lors de la réalisation de son test.
    – Ils ne sont pas mis « en condition » par leur facilitateur et le bon respect du protocole dépend de leur bon vouloir => La mise en « condition » est réalisée par la présentation du scénario pré-test (posture / état d’esprit souhaité – exactement comme le fait un modérateur) et le respect du protocole est monitoré, puisque les outils sont construits pour que le testeur déroule les tâches qui lui sont demandées au fur et à mesure. Sur ce point, je peux te rejoindre sur les différences qui existent entre les outils. Par exemple, whatusersdo présente toutes les consignes en 1 fois et l’utilisateur voit donc le reste des consignes des TU en 1 fois. Méthodologiquement, je ne trouve pas cela acceptable. Les autres outils de TU distants ne fonctionnent pas ainsi.

    « les tests en labo sont et demeurent le protocole le plus riche, le plus performant et le plus efficace  » ==> Pour rappel, les TU ont pour objectif d’étudier l’utilisabilité. Sur ce point, les 2 méthodes sont en fait comparables : ttp://www.testapic.com/informations-pratiques/actualites/testapic-news/etude-comparative-tests-utilisateurs-a-distance-laboratoire/. D’autres papiers récents corroborent ces résultats. A ta disposition, pour partager l’état de l’art en se basant sur des données réelles et pas des partis pris 😉

    Tu prêches pour ta paroisse (TU labo) sur ton blog et je comprends à 100% mais je trouve dommage d’avoir un post à charge sur les TU distants.
    Soit c’est pour mettre en valeur les services que tu proposes, soit c’est par méconnaissance de ces méthodologies. On serait ravi de réaliser un test ensemble pour identifier concrètement les avantages et les inconvénients potentiels des tests à distance. Oui, il y en a aussi mais clairement pas ceux que tu cites 🙂
    Dans un univers où au contraire l’évangélisation et l’ouverture devraient faire place aux à-priori, ça me paraitrait plus constructif de montrer la complémentarité et l’intérêt de chaque méthodo en fonction des stades de développements (c’est plutôt le discours que l’on tient chez Testapic – même si on a aussi conscience des limites des TU Lab 😉

  2. Hello Sébastien,
    Tout d’abord, désolé, je ne sais pas pourquoi, tu as récupéré ma tête. Je vais essayer de rectifier ça 😉

    Plus sérieusement, je te remercie des précisions que tu as amenées ici sur mon blog. Elles s’avéraient nécessaires et parfois à l’encontre de mes arguments. Tant mieux ! Les gens percevront mieux la différence entre les deux méthodos et pourront s’en faire une meilleure idée.

    Reste que ma conviction personnelle est que le test en labo a l’immense avantage de pouvoir mettre le testeur en contact avec la personne chargée de l’étude. Ça a toujours été important pour moi, même si ça ne m’a jamais empêché de penser à faire des tests à distance. C’est une question de contact humain.

    Et ça serait donc avec plaisir que je viendrais un jour assister à un test chez Testapic !

  3. Merci pour ton retour Olivier. Nous aussi nous sommes persuadés que des tests en labo ont leur place dans la démarche de conception tout comme les tests distants, le choix de la méthodologie doit être fait en connaissance de cause (avantages et limites), des attendus, de l’étape de la démarche de conception, des contraintes de temps, de géolocalisation, de budget, etc. Mais nous ne plaçons pas une démarche au dessus d’une autre 😉

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Merci de taper les caractères de l'image Captcha dans le champ

Merci de saisir ces caractères dans le champ
ci-dessous afin de valider votre commentaire.

Capitaine

Article de : Capitaine

Olivier Sauvage est le fondateur de Capitaine-commerce.com et de Wexperience, agence spécialisée en expérience utilisateur digitale.