ITW de Caroline Chupin, product owner chez OUI.sncf « Décliner les parcours d’un site web en mode conversationnel ne marche pas ! Il faut vraiment partir d’une feuille blanche. Et tester, tester, tester ! »

Bonjour Caroline, vous êtes Product Owner de l’équipe qui est dédiée aux agents conversationnels pour OUI.sncf … et aujourd’hui nous allons parler de l’application que vous avez développée pour Google Home.

Faisons d’abord un peu d’histoire. Si je comprends bien, vous avez déjà plusieurs bots à votre actif ?

Caroline CHUPIN OUI.Sncf
Caroline Chupin, Product Owner du conversationnel chez OUI.sncf, passionnée des nouvelles technologies et nouveaux usages

Exactement. Nous avons commencé avec le chatbot Messenger lancé il y a maintenant 1 an et demi, en Septembre 2016 en tant qu’expérimentation. A cette période, il n’y avait pas encore réellement d’équipe dédiée et c’était l’équipe “Expérience Client” et le service “Innovation” qui étaient en charge du projet. Suite à ce premier chatbot, l’entreprise a décidé de créer une équipe entièrement dédiée aux développements des bots puisqu’elle y voyait une vraie opportunité autour de ces usages conversationnels.

Cette nouvelle équipe a donc a été lancée début avril 2017. Le travail s’est ensuite fait progressivement et, aujourd’hui, c’est à peu près une douzaine de personnes qui sont dédiées au conversationnel.

Nous nous sommes ensuite attaqués à Google ce qui représentait notre deuxième étape phare pour le projet, notamment autour de Google Assistant et Google Home. Depuis le 7 décembre dernier, jour du “OUI Day” et de la bascule de Voyages-sncf.com vers OUI.sncf, nous avons mis en ligne notre OUI Bot sur le site.

Pour les trois plateformes (Messenger, Google et notre propre site), il s’agit de la même intelligence. Les seules différences sont liées aux contraintes de l’environnement. Par exemple, nous avons beaucoup plus de libertés graphiques lorsque nous sommes au sein de notre propre environnement comme le site OUI.sncf.

J’aimerais maintenant qu’on parle plus spécifiquement de ce que vous avez fait sur Google Home. Pourriez-vous me dire quand vous avez commencé à travailler dessus ?

Nous l’avions à l’esprit depuis un petit moment et attendions que le produit sorte en France. Lorsque l’on a su qu’il y avait des opportunités, nous avons travaillé en avance de phase avec un accompagnement des équipes Google pour être prêts au moment de sa sortie officiel, le 26 octobre 2017.

A l’origine, c’est une UX Designer, spécialiste du conversationnel, qui a essayé de trouver un cas d’utilisation simple et efficace adapté à la plateforme. L’enjeu était de sortir quelque chose rapidement. Elle s’est alors demandée : “quels sont les use cases qu’attendent nos clients ? Et pourquoi demanderaient-ils à parler à OUI.sncf via Google Home ?”

Deuxième étape, on s’est demandé quel serait le use case pertinent dans un usage purement oral. En effet, aujourd’hui, il n’y a pas encore de continuité entre l’oral et l’écrit : je ne peux pas commencer mon parcours avec la voix puis basculer sur mon téléphone pour visualiser les résultats de ma recherche train par exemple. Même si ce sont des choses que Google va proposer prochainement, elles n’étaient pas encore réalisables à l’époque où l’on a débuté la réflexion. C’est donc avec ces contraintes-là que nous avons confirmé le use case de la recherche d’horaires de train qui est au coeur de notre valeur pour l’instant.

D’ailleurs, il y a également eu un premier POC sur l’utilisation d’Alexa (Amazon Echo) effectué sur ce même use case, il y a de ça plus d’un an maintenant. Cela nous avait permis de récupérer un nombre intéressant de retours client et c’est sur la base de ces derniers que nous avons travaillé notre parcours client. Nous avons soumis notre parcours Google Home (à la voix) à un premier test utilisateur qui nous a permis de récupérer de nombreux feedbacks. Grâce à ces feedbacks, nous avons pu construire notre parcours client afin de le mettre en ligne le 26 octobre 2017. Suite à sa sortie, nous avons continué la phase de tests utilisateurs pour nous permettre encore plus d’affiner ce use case.

Vous avez donc lancé votre POC le 26 octobre dernier. J’imagine que le développement a été fait en interne à partir des API fournies par Google?

C’est exact; néanmoins nous utilisons notre propre brique de compréhension de langage et non celle proposée par Google.

Pour ce qui est de la conception du dialogue, pourriez-vous me dire quelles méthodes ont été utilisées par votre “UX Designer” et  votre “concepteur rédacteur” ?

En réalité, Google met en ligne beaucoup de guidelines sur sa plateforme “Google for developers”. Il existe de nombreuses vidéos sur ce sujet qui donnent de précieux conseils. Ensuite, ce sont nos tests utilisateurs qui ont permis d’affiner notre conception du dialogue.

Concrètement, notre “UX designer” s’est intéressé au nombre d’informations que les gens pouvaient retenir à la fois dans une seule et même phrase. Elle s’est rendue compte que retenir deux informations était le maximum possible. C’est pour cela que, dans le choix de l’utilisateur, Google Home va en premier récupérer sa destination, son origine et sa date de voyage. Suivra une première information, par exemple “pour le 25 janvier, le train le moins cher est à 7h58”. Google Home demandera ensuite “vers quelle heure voulez-vous partir?” et l’utilisateur répondra, disons, “16h”. Dans ce cas, seules deux horaires de train seront livrées. Pour terminer cet exemple, l’assistant répondra : “le train de 15h55 et le train de 16h10”. Parallèlement, au cours de ces tests, on s’est rendu compte que la plupart préféraient en premier avoir l’information des horaires plutôt que celle du prix.

Comment faites-vous ensuite évoluer votre application ?

En fait, pour tous ces produits conversationnels, OUI.sncf et son équipe “Innovation” ont développé une propre brique NLP (Natural Language Processing) il y a maintenant plus de deux ans; elle s’appuie en outre sur de l’open source. Cette brique NLP est commune à tous nos canaux, que vous parliez à OUIbot sur Messenger, sur Google ou sur le site.

Avec cet outil, nous pouvons voir toutes les phrases qui ont été énoncées par l’utilisateur (qu’elles soient écrites, ou orales et retranscrites par Google). La première étape est de les qualifier et par la suite, au fur et à mesure, Le BOT comprendra automatiquement lorsque je dis « Paris-Marseille demain » qu’il s’agit d’une intention de voyage au départ de Paris et qui a pour destination Marseille avec pour date de voyage “demain”.

D’autre part, si par exemple, je lui dis “tu es nul”, il détecte automatiquement que c’est une intention d’insulte. Ceci étant dit, il y a toujours des phrases qu’il ne comprend pas et c’est la raison pour laquelle nous allons tous les jours dans notre brique pour requalifier certaines phrases si on remarque qu’elles ont été mal comprises.

Donc ça veut dire qu’il y a des gens qui regardent ces phrases et qui les corrigent ?

Exactement, mais pour l’instant, c’est géré en interne. Lorsqu’on passera à un volume d’utilisateurs assez important, il faudra que l’on étudie comment traiter cette problématique.

Comment vous mesurez la satisfaction des utilisateurs par rapport à ce service ?

Tout comme pour les applications mobiles, nous pouvons évaluer le bot en notant l’application. Aujourd’hui nous avons une note de 4,5/5 ce qui est très satisfaisant pour le moment.

La note se fait à travers l’application Google Home ?

Oui, dans Google Assistant. Il y a également une enquête de satisfaction qui arrive à la fin du parcours et sur laquelle on propose au client de nous donner son avis mais elle n’est disponible que sur la version écrite. La note actuelle est de ⅘.

Quelles sont les prochaines étapes ?

Nous allons bien évidemment continuer à faire des optimisations; le véritable objectif est d’améliorer le parcours client. Par exemple, indiquer quand un train est un Ouigo parce que ça peut être une information très utile pour notre client.

La prochaine étape dépend aussi des opportunités que les équipes de Google vont annoncer. Nous les suivons de très près et allons essayer d’avancer ensemble, notamment s’ils proposent prochainement la complémentarité entre l’oral et l’écrit. Ce sont des choses qui nous intéressent beaucoup.

Aujourd’hui, est-ce que vous pensez que ce n’est pas trop tôt de lancer ce genre de projet ? Est-ce que vous n’avez pas peur qu’en vous adressant tout de suite à un public très large, vous vous heurtiez à un phénomène de rejet ?

Il est très difficile de dire si cet usage va se démocratiser ou non aujourd’hui. Dialoguer est la façon la plus naturelle pour l’humain de s’exprimer. Cela est donc rassurant …

Quoiqu’il en soit, c’est intéressant pour nous d’être d’ores et déjà présent sur le sujet car le jour où l’usage se démocratisera, OUI.sncf aura une certaine avance. Nous aurons appris à construire les parcours utilisateurs les plus fluides possibles.

Et d’ailleurs, selon vous, quand arrivera l’adoption massif en France ?

Il est compliqué de prédire la tendance sur le sujet. Aux États-Unis, il y a 20% des recherches chez Google qui sont faites par le vocal, dont 25% chez les jeunes. D’ici fin 2018, 30% de nos interactions avec la technologie s’effectueront via des conversations avec des machines intelligentes.

Chose intéressante, des tests ont été réalisés sur des enfants et montraient que ces derniers étaient beaucoup plus aptes à échanger par la voix. Premièrement parce qu’ils comprennent plus rapidement comment fonctionne une tablette, un téléphone et que c’est très intuitif pour eux. Cela les a encouragé à pousser les enfants à parler avec des objets : ils pouvaient parler à une porte ou à plein d’autres objets afin d’avoir une réponse à leurs nombreuses questions. Ils se sont également rendus compte très vite que ces enfants-là, exposés très jeunes, se mettaient, au bout d’un moment, à parler plus aux objets qu’à leurs parents (!!!).

Si vous aviez un conseil à donner à une entreprise, autre que la vôtre évidemment, qui voudrait se lancer dans l’aventure, quel serait-il ? Quel serait le plus gros piège à éviter ?

Tout d’abord, il faut faire très attention à la technologie sur laquelle on se base parce qu’il en existe énormément sur le marché et elles ne sont pas toutes au même niveau. Il y a donc une vraie étude de marché à faire sur les technos avant de se lancer.

Deuxièmement, je conseillerais de travailler l’expérience client parce que construire une expérience pour un site ou une application versus pour une conversation à l’oral ou à l’écrit, ça n’a rien à voir! Il faut vraiment reprendre tout à zéro! Toute l’équipe dédiée et notre “UX Designer” apprennent quotidiennement, encore et encore car il y a très peu de documents de référence, très peu de choses qui existent pour le moment.

Et enfin, dernier conseil, ne pas essayer de décliner les parcours d’un site web ou d’une application mobile en mode conversationnel parce que ça ne marchera pas! Il faut vraiment essayer de partir d’une feuille blanche. Et tester, tester, tester !

5 commentaires

  1. L’approche de Oui.sncf me parait la bonne et graphiquement, c’et très réussi; le bot remplit parfaitement le job qu’on lui demande. on peut dire que c’est une réussite mais en même temps, je la trouve partielle car je n’ai pas fait la réservation par le bot. pour pouvoir répondre dans ce sens, il faudrait d’une part avoir une couche NLP encore plus construite et d’autre part un outil technique qui puisse prendre en compte la conversation au sens plus large avecdes scénaris plus complexes. Le bot est content d’être flatté et triste quand on lui parle mal, ne comprend pas si je dis ouioui …. mais il y avait tant de chose à faire pour pousser la problématique de la réservation encore plus loin. C’est à mon sens dommage mais cela se construit dans le temps….. et je reste persuadé que ce bot a de beaux jours devant lui

  2. Quel Dommage, à  aucun moment, d’interroger/challenger sur l’audience de cette expérimentation, les KPIs,.. ça compte un peu quand même non?

  3. Dernière partie de l’article ( il faut faire très attention à la technologie sur laquelle on se base parce qu’il en existe énormément sur le marché et elles ne sont pas toutes au même niveau.) comment faire en sorte pour concurrencer les tops site sur le net? je suis passionné et dévoue à se lancer dans le web marketing https://www.templatemonster.com/fr/type/modeles-powerpoint/ dont j’ai besoin des infos solides comment mettre sa boutique sur les top boutiques sur google.

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Merci de taper les caractères de l'image Captcha dans le champ

Merci de saisir ces caractères dans le champ
ci-dessous afin de valider votre commentaire.

Robin Commerce

Article de : Robin Commerce

Del, Robin ou encore Abdel ... certains pensent que je souffre d'un trouble dissociatif de l'identité haha. Vif et agile, votre Capitaine a fait de moi son compagnon d'armes dans sa quête sur le web :)