La sélection initiale d'un outil, ou son remplacement, sont toujours des tâches difficiles à mener à bien. En dépit d'une phase préparatoire intense, émaillée de cahier des charges, de benchmarks et d'entretiens, rien ne remplace la mise à l'épreuve d'une solution en situation réelle. Sur le Web, les systèmes de gestion des balises permettent de mettre en oeuvre en quelques clics une véritable expérimentation afin d'identifier la configuration la plus performante.
Comment définir sa version de contrôle et ses variations ?
La nature de la version de contrôle peut varier selon le contexte dans lequel le test est conduit. S'il s'agit de déterminer si l'utilisation d'un nouveau type d'outil présentera une valeur ajoutée, la version de contrôle sera la version originale du site, exempte de tout outil de ce type. A l'inverse, s'il s'agit de déterminer, plusieurs mois ou années après son installation, si l'utilisation d'un outil se justifie toujours, la version de contrôle sera celle où l'outil en question demeurera activé. Il en ira de même s'il s'agit de mettre à l'épreuve l'outil en place avec un système concurrent.
Les variations peuvent donc être, selon les contextes, une version du site vierge de tout outil ou une version alternative en intégrant un. Limiter autant que possible le nombre de variations au cours du test permettra d'écourter sa durée, car le volume de visiteurs nécessaire à l'obtention de résultats fiables en sera diminué.
Les paramétrages incontournables
La première étape va consister à ajouter à votre système de gestion des balises les codes des éditeurs logiciels que vous souhaitez mettre en compétition.
En deuxième étape vient la création d'une variable à même de générer, stocker et lire l'identifiant de l'audience à laquelle un visiteur aura été assigné. Un outil comme Tag Commander vous permettra nativement de procéder à un tel paramétrage, quand d'autres tels que Google Tag Manager ou Piwik Tag Manager nécessiteront que vous rédigiez vous même les codes permettant de créer vos bassins de population.
La troisième étape est la plus simple. Vous allez assigner aux balises des différents outils concernés par le test une règle de déclenchement limitant leur exécution à une valeur spécifique de la variable paramétrée à l'étape 2. Exemple : outil_nomoutil.
La quatrième étape porte sur l'injection de la valeur de la variable paramétrée à l'étape deux, dans votre outil de Web Analytics, afin de vous permettre de réaliser des analyses comparatives et d'identifier la version gagnante. Ainsi, si vous utilisez Google ou Piwik analytics, il vous faudra envoyer la valeur de la variable dans une dimension personnalisée.
Le bonus : l'utilisation d'un outil de tests A/B
Il est tout à fait possible de s'arrêter à la quatrième étape. A ce stade, vous disposez d'un mécanisme permettant de séparer les visiteurs de façon aléatoire en différents ensembles afin de les exposer de façon controlée à un outil, puis de mesurer l'impact de cette exposition sur leur comportement via votre solution de Web Analytics.
Il y a cependant des limites à une telle approche. Combien de temps le test doit-il durer ? Quel volume minimum de visiteurs doit être assigné à la version de contrôle et à chaque variation ? Quelle est la marge d'erreur au niveau des résultats enregistrés ? Les résultats obtenus sont-ils statistiquement significatifs ?
Autant de questions auxquelles les d'outils de tests A/B sont en capacité d'apporter une réponse. Ce type de solution est en capacité de gérer de façon autonome la ventilation des visiteurs entre les différentes versions testées. En outre, les algorithmes probabilistes utilisés afin d'analyser les résultats du test conduit permettront d'écourter la durée de l'expérimentation en comparaison d'une analyse reposant sur une approche fréquentiste plus classique.
En conclusion
Mettre en place un A/B test d'outils via un système de gestion des balises est l'affaire de quelques minutes tout au plus. L'utilisation d'un outil de tests A/B en complément accroît légèrement le laps de temps nécessaire à la configuration de l'expérimentation, mais permet d'en abréger la durée, tout en diminuant significativement le risque d'erreurs lors de l'interprétation des résultats.