BotDefender : Comment empêcher vos concurrents de récupérer (automatiquement) vos prix ?

L’internaute qui cherche un produit dans la « jungle » des comparateurs et autres moteurs de recherche, fait souvent son achat en fonction du meilleur prix proposé. Même si ce n’est pas le seul point déterminant (Le SAV et les délais de livraison par exemple sont également importants), il est souvent décisif.

La surveillance des prix de la concurrence sur internet est donc une tâche permanente et obligatoire pour les ecommerçants, le but n’étant pas de « casser » les prix mais bien de savoir comment se positionner par rapport aux autres boutiques.

Il existe des programmes et scripts largement utilisés qui permettent d’extraire automatiquement le contenu d’un site web, en particulier les prix affichés de tous les articles. Cette technique est communément appelée « Web scraping » ou encore « Harvesting ».
Lokad propose depuis peu une solution anti-scraping nommée BotDefender pour empêcher cette méthode. Je me suis interessé à la version gratuite de BotDefender : l’Express Plan, qui utilise la méthode nommée « tar pitting » par l’éditeur.

botdefenderComment cela fonctionne

BotDefender remplace le prix affiché sur le site par un bout de code Javascript pour tous les utilisateurs, robots ou non. Pour décoder ce snippet, et ainsi afficher le prix en clair, le navigateur doit alors faire un très léger appel au serveur BotDefender. Ces appels vont permettre à la solution de repérer des utilisateurs humains, auxquels les prix seront servis immédiatement en réponse à l’appel, et des robots crawlers de prix, qui seront fortement ralentis par une méthode de Tar-pitting (littéralement « le bac de goudron »), rendant ainsi l’extraction de l’ensemble des prix impossible.

A noter : 

  • Ce snippet n’a pas d’impact sur le SEO.
  • La version payante de BotDefender « Enterprise Plan » permet de s’affranchir de l’appel client, éliminant tout ralentissement de la page.

12 commentaires

  1. Hum, initiative intéressant mais tout ce qui complexifie la page à tendance à être assez mauvais pour la conversion.

    Pas impossible que cela pose des problèmes de compatibilité avec un navigateur (tablette , mobile etc…)
    De plus : Quid de Google et des microformats ? Google continue de crawler le prix ou pas ?

    1. Quelques précisions,
      – pour être lisible sur tous les navigateurs mobiles, qui ne sont d’ailleurs pas les plus difficiles, car presque tous récents.
      – pour être complètement neutre vis à vis de Google; Google ne récupère plus les prix effectivement, mais l’impact SEO est vraiment très faible, en pratique non mesurable.

  2. Il est vrai que cela paraît intéressant. J’aurais peut être un doute pour les navigateurs où le javascript est désactivé, à savoir ce qu’il se passe à ce moment là pour l’affichage du prix.

    1. Lorsque le JS est désactivé, 95% des sites ecommerces sont cassés de toute manière. Il n’y a pratiquement plus de site où l’on puisse naviguer agréablement sans JS. Si le JS est désactivé avec BotDefender, le prix reste en blanc. Nous avons considéré le scénario de l’image de substitution, mais les enjeux sont juste trop faibles.

  3. En effet, comme le souligne Benoît, quid des microformats dans ce cas? J’ai bien peur que cela au final ne finisse par nuir au SEO (et à l’utilisateur qui aurait une config un peu spéciale).

    Je reste mesuré la dessus.

  4. Voilà quelque chose qui devrait énerver Pricemetry 😀

    A voir à qui est dédié un tel service… j’imagine aux grosse boîtes… est-ce qu’il y’a un intérêt pour les petits e-commerçants… pas sûr.

    1. Les grosses boites sont ceux qui crawlent le plus, et de manière large; ainsi ils crawlent beaucoup de « petits » concurrents. Ensuite effectivement, c’est une problématique qui toûche d’abord les gros. C’est d’ailleurs pour cela que notre version Express est gratuite.

  5. Mettre en place les mesures nécessaires pour empêcher (vraiment) une récupération automatisée des prix, générerait beaucoup trop de faux positifs et donc impacterait les clients légitimes… rapport risques/gains trop élevé.

    1. Les crawlers de prix sont aujourd’hui « naifs » pour la bonne raison que puisque personne ne les gênent, il n’y a pas de raison d’aller chercher la complication. Par exemple, sur votre site, on peut récupérer tous les prix avec un Regex qui cible .. (pourquoi faire plus compliqué?).

      Nous sommes extrêmement prudent avec les faux positifs, c’est vraiment un point clef. Cependant, les robots ont des comportement tellement anormaux qu’il n’y a pas besoin d’être très fin pour les exclure – à ce jour.

      Ensuite, il s’agit d’une course aux armements, mais à ce stade, c’est BotDefender qui mène. 🙂

  6. Forcément l’idée peut être séduisante même si je pense qu’en terme de veille concurrentielle, cela risque de ne pas suffire… Par contre, je reste très sceptique concernant l’impact SEO : un léger ralentissement, impact micro-formats, apparence des snippets… Peut-on se le permettre aujourd’hui quand on mène une stratégie SEO ?

    1. Il n’y a plus beaucoup de marchands qui ne mènent pas de stratégie SEO 🙂

      La latence est un point clef, c’est pourquoi la version payante vient avec une technologie différente « self-contained » qui génère pas d’appel réseau du tout (JavaScript strictement in-page).

      Même avec la version gratuite cependant, le ralentissement ne concerne que l’exécution JS, pas la generation de la page elle-même. Sur la plupart des sites, l’impact de BotDefender est vraiment faible par rapport à la latence totale du rendu des pages. Beaucoup d’éléments pèsent plus lourd (images, gros scripts, retargeting, trackers divers, etc).

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Merci de taper les caractères de l'image Captcha dans le champ

Merci de saisir ces caractères dans le champ
ci-dessous afin de valider votre commentaire.

Mecano Commerce

Article de : Mecano Commerce

Alexis Sauvage aka Mecano est webmaster du blog Capitaine Commerce. Dans le civil, il travaille comme webmaster/intégrateur freelance pour des E-commerçants (PME et grands comptes).