Qu'il s'agisse de préparer une refonte, de trancher concernant le devenir d'une fonctionnalité coûteuse, ou tout simplement d'optimiser son dispositif sans autre motivation qu'une recherche d'augmentation de son taux de conversion, la question de l'outil à employer pour effectuer des mesures, ainsi que de la méthodologie qui sous-tend leur analyse, sont incontournables.
Rapide tour d'horizon des solutions existantes
Comme toujours, les différents outils peuvent être divisés en deux catégories principales : les solutions de mesure passives et celles actives, elles même séparables en fonction de la nature des données collectées, qu'elles soient quantitatives ou qualitatives.
Du côté des logiciels de mesure passifs se trouvent les cartes de chaleur et outils de Web Analytics. Parmi les représentants des solutions de mesure actives en revanche, l'analyste peut se tourner vers les questionnaires et leur forme figée que constituent les fils de discussion, particulièrement appréciés des chefs de produit. L'usage combiné de ces outils est-il possible ? Apporte-t-il un gain de valeur en comparaison d'un usage en silo, ou les données collectées par leur intermédiaires s'avèrent elles au contraire inconciliables ?
Cartes de chaleurs et outils de Web Analytics
Certains outils de Web Analytics tels que Google Analytics ou encore Piwik, pour ne citer qu'eux, intègrent leur propre solution de cartes de chaleur. Cependant, les performances de ces modules ne peuvent être comparées aux systèmes proposés par des éditeurs logiciels spécialisés dans cette niche de produit. C'est pour cette raison qu'il convient de maintenir une distinction nette entre les deux familles d'outils.
Les outils de Web Analytics sont adaptés à une mesure sur le temps long, car ils autorisent des volumes de collecte de données conséquents. Plus les fonctionnalités seront mesurées sur une durée conséquente, plus les analyses en découlant auront de la valeur. Avec leurs fonctionnalités de filtrage et de segmentation avancées, les outils de Web Analytics rendent possible l'identification de familles d'utilisateurs de certaines fonctionnalités sur des critères que fixe l'analyste au fur et à mesure de son enquête, contrairement à des catégories de segmentation qui auraient été définies en amont, dans le cadre de l'envoi d'un questionnaire. Plus important encore, les informations disponibles rendent compte de l'usage réel d'un dispositif et non de l'idée qu'en ont ses utilisateurs.
Les outils de Web Analytics ne sont cependant pas exempts de défauts. En effet, ils sont totalement inadaptés lorsqu'il s'agit de répondre à une situation où des réponses doivent être obtenues dans l'urgence. En effet, en l'absence de plan de marquage approprié, aucun historique de données ne sera disponible pour analyse, tandis que l'usage d'un outil de visualisation des données s'avérera pour ainsi dire incontournable, les données brutes s'avérant peu digestes.
A l'inverse, les outils de cartes de chaleur, avec leur enregistrement passif des zones de clics et des sessions des utilisateurs permettent de se rendre compte de façon extrêmement visuelle et instantanée de l'usage qui peut être fait d'une fonctionnalité. Extrêmement simples à installer et à utiliser, ces outils ne requièrent que rarement le déploiement de codes personnalisés et peuvent fournir des données prêtes à être analysées en quelques minutes. Ils sont cependant sujet à des limites au niveau des volumes de données enregistrables.
En outre, les possibilités de segmentation qu'ils offrent sont sans commune comparaison possible avec celles des outils de Web Analytics et s'avèrent largement inférieures. Par ailleurs, certains utilisateurs trouvent plus difficile de dégager des enseignements de certaines données collectées par ces solutions en comparaison d'un outil de collecte de données quantitatives, tandis que la consultation d'un volume conséquent d'enregistrements peut s'avérer nécessaire afin de ne pas aboutir à des conclusion biaisées.
Questionnaires et fils de discussions
Du fait de la nature qualitative des données collectées par leur intermédiaire, les questionnaires et fils de discussions sont également sujets aux soupçons de manque de représentativité qui pèsent sur les cartes de chaleurs. Y recourir présente malgré tout des avantages indéniables. Les questionnaires permettent aux utilisateurs de formuler par eux-même leurs attentes vis à vis des fonctionnalités utilisées et d'exprimer une appréciation sans ambiguïté. Ils constituent un formidable moyen d'identifier des opportunités d'amélioration insoupçonnées.
De la même manière un fil de discussion portant sur des souhaits d'évolution d'un dispositif, formulés par des utilisateurs constituent une source d'informations inestimable en vue d'établir et de faire évoluer une feuille de route. Il y est même possible de soumettre directement son projet à la critique des utilisateurs, le faisant par là même passer par une phase de test préliminaire au paramétrage d'un test A/B.
Néanmoins, tous comme les questionnaires, les possibilités de segmentation offertes par les fils de discussion demeurent moins importantes et surtout moins souples que celles disponibles au sein d'un outil de Web Analytics. Par ailleurs, la tournure des questions ou l'existence de certains fils de discussions, peuvent fortement influencer les retours formulés par les utilisateurs et par conséquent introduire un biais.
En conclusion
Sans surprise, les différentes solutions logicielles passées en revue présentent chacune des avantages et inconvénients. Rien ne s'oppose à leur usage simultané, qui est fortement recommandé. Cependant, en l'absence d'une clé de réconciliation permettant de rapprocher les différents ensembles de données constitués, l'analyste ne pourra réellement tirer partie de l'usage de chacun de ces outils.