Cela faisait un moment que nous avions envie de parler sur un ton décalé d’un marché sur lequel nous avons une activité depuis près de 5 ans, celui de l’e-réputation. Le terme est fourre-tout et mélange une diversité d’acteurs, de pratiques, d’approches qui ne facilite en rien sa lisibilité. Nous avons entendu tout et n’importe quoi sur ce domaine car si évidemment il existe nombre d’acteurs sérieux, une foultitude de flibustiers attirés par la promesse de profits rapides venant de clients incrédules ont usé d’arguments et de méthodes qui n’ont clairement pas aidé à la structuration de ce marché et à sa reconnaissance. C’est pour cela que nous avons travaillé sur cette présentation listant les 10 arnaques de la e-réputation.
Alors on vous souhaite bonne lecture et on espère évidemment que cela vous fera réagir !
Les 10 arnaques de la veille en e-réputation
Très bonne présentation qui a le mérite de remettre les pendules à l’heure dans ce marché de vendeurs d’huile de serpent (comme on dit outre-Atlantique) qu’est celui des outils de e-réputation.
Un point cependant sur lequel je ne puis être d’accord avec l’argumentaire, c’est – on s’en doute – celui de l’analyse automatique de sentiment.
Il est vrai que les technologies de text-mining ne peuvent prétendre à 100% de précision (ou alors on a là encore à faire à des charlatans), mais il y a un biais dans cette évaluation et ce pourcentage. En effet, quand on construit un tel système (d’analyse du sentiment) et qu’on cherche à l’évaluer objectivement, on construit une référence et on mesure l’automatique par rapport à cette référence. En clair, on fait marquer à la main des textes par des évaluateurs humains (par exemple, ce commentaire est-il positif, négatif ou neutre) et on regarde quand le système est en accord avec l’humain. Quand on fait les choses sérieusement, on fait faire cette évaluation par plusieurs personnes sur les mêmes données. Et là, systématiquement (quel que soit le domaine, pas forcément en analyse de sentiment), on converge au mieux vers 80% d’accord entre les humains.
Autrement dit, on a un « plafond de verre » qui se situe à 80% de précision au-delà duquel même des humains ne peuvent prétendre.
A cette aune, qu’un système automatique atteigne 70% (et certains font mieux dans des domaines précis) est plutôt une bonne nouvelle et les rend tout-à-fait crédibles. Et en tous cas parfaitement utilisables pour dégrossir les neuf dixièmes du travail humain.
Il est vrai que le système automatique ne se trompe pas de la même façon qu’un humain, mais il le fait de façon consistante. Cela implique donc que, même si l’on ne veut pas donner de crédit aux évaluations brutes d’un système automatique, les *tendances* qu’il fait émerger (dans le cadre d’un baromètre régulier, par exemple) sont tout-à-fait fiables… si on choisit bien son fournisseur, évidemment.
Je suis d’accord avec Hugues et j’ajouterais deux autres points:
1. Il ne s’agit pas de rendre visible l’invisible mais de détecter les contenus néfastes avant qu’ils n’émergent et deviennent gênants
2. Quant à la possibilité de ternir une réputation sur le net, je vous assure que c’est tout à fait possible de miner les premières pages de résultats avec des contenus néfastes qui auraient alors un pouvoir de nuisance important, surtout à une époque où une proportion écrasante de gens utilisent les moteurs de recherche pour trouver un prestataire…