De l'utilité de la notation... ou pas !

Petit rapport d'étonnement cette semaine, basé sur une question simple : les systèmes de notation sur le web sont-ils réellement représentatifs de l'avis des internautes ? En bref, peut-on faire valoir ses sentiments pour un contenu ou une marque par le biais des systèmes de notation actuels ?

Les faits

Alors qu'il y a une semaine j'hésitais entre plusieurs films à regarder en DVD, j'ai décidé (comme de nombreux internautes) de me reporter aux avis et critiques présents sur le site Allo Ciné. Je tape donc le nom du film, puis regarde rapidement les critiques spectateurs....

Et là, je m'aperçois que les critiques sont très divisées : 50% de 4 étoiles (le maximum dans le système de notation Allo Ciné), et 40% de critiques avec 0 étoiles. Cela m'intrigue, et pour aller plus loin je décide de lire les commentaires accompagnant parfois les notations (ou alors par simple déformation professionnelle :-).

Les commentaires accompagnant les notations les plus basses font part d'un « véritable nanar », un « film de série Z, digne des plus grands Steven Seagal », etc. Bref, un film d'action vu et revu, reprenant tout les poncifs du genre (le méchant qui veux tuer tout le monde, le flic alcoolique qui sauve le monde à grand coup de poings dans les dents des méchants, etc.).

Avec des commentaires aussi négatifs, je me demande ce que les 50% de spectateurs ayant mis la note maximum ont bien pu lui trouver ? Et là, je lis ça :

En résumé, la majorité des notes à 4 étoiles sont ironiques ou à double sens! Il s'agit effectivement d'un film de série Z (ou B au choix). Mais il faut savoir que ce type de films ont de réels fans, qui par dessus tout aiment les dialogues téléphonés, les voitures qui explosent au moindre choc, et les scénarios de moins de 10 pages...

Le constat

En partant du principe que je suis un internaute ne s'intéressant qu'aux étoiles mis sous les films (beaucoup moins fatiguant que de lire les commentaires), et que je souhaite trouver un film de qualité (ou tout du moins qui ne se résume pas à des fusillades et des bras cassés) alors les notes m'auraient induis en erreur (en tant qu'internaute, mais aussi en tant que professionnel qui souhaite évaluer rapidement l'opinion des spectateurs du film).

Autrement dit, la recommandation d'un contenu par la notation de celui-ci n'est pas fiable si elle n'est pas accompagnée d'un commentaire pour préciser réellement la valeur de cette notation.

M'aurait-on menti : les chiffres sont subjectifs ?

Nous sommes depuis longtemps dans une culture du chiffre : sondages, études, etc. Les chiffres s'appliquent maintenant à tout, et de plus en plus aux sciences humaines. Là où à mon avis les limites arrivent, c'est lorsque l'on demande à des individus de faire un choix, d'émettre un jugement, par le biais d'un échelle numérique. Là où les créateurs de l'échelle de valeur pensent pouvoir limiter les débordements par un système fixe et applicable à tous, on peut s'apercevoir (notamment par l'exemple ci-dessus) que le jugement humain est tout, sauf rationnel.

Et encore plus sur le web. La plupart des informations spécialisées se trouvent actuellement dans les forums (ou les ites dédiés comme Allo Ciné). C'est majoritairement là que les internautes vont trouver des réponses à leurs questions (ou qu'ils vont les poser). Mais les forums sont encore majoritairement utilisés par des spécialistes ou des fans (musique, cinéma, technologies, etc.) qui ont développé leurs propres codes. Dans le cas d'Allo Ciné, un néophyte du cinéma ne verra donc pas forcément de prime abord l'ironie dans l'utilisation des étoiles. Ou plutôt, le double sens : ce film est bien si vous aimez les séries B. Dur de comprendre cela avec seulement 4 étoiles...

Afin de pallier à ça, YouTube à récemment abandonné le système de notation par étoiles (échelle de 1 à 4), pour passer à un « j'aime », « je n'aime pas ».

Ce système permet (sur la même idée que le « like » de Facebook) de voter positivement ou négativement pour une vidéo ou un commentaire. Ce qui tout d'abord montre que YouTube à pris en considération les usages des internautes : généralement, soit les vidéos avaient 4 étoiles, soit elles n'en avaient pas. Cela paraît d'ailleurs logique : on regarde rarement jusqu'au bout une vidéo qui ne nous plait pas (et on ne perd pas de temps à la noter).

De plus, le fait de pouvoir voter pour un commentaire montre que l'on est d'accord avec les propos tenus, et l'on peut donc partir du principe qu'un certains nombre d'internautes pensent la même chose que celui qui s'est exprimé dans les commentaires.

Mais pour YouTube il s'agit d'un autre processus que pour Allo Ciné : on ne lit pas les commentaires et les notes avant de regarder la vidéo. On le fait pendant ou ensuite, ce qui a moins d'influence sur le choix du contenu.

Système binaire VS système abstrait

Pour les professionnels de l'e-réputation, et de la veille en particulier, nous nous retrouvons donc actuellement face à deux possibilités : un système binaire (oui ou non, j'aime ou je n'aime pas), ou un système abstrait (4 étoiles, une note de 0 à 10). En résumé un ersatz d'opinion qui, s'il permet d'avoir rapidement une idée de la tonalité des opinions exprimées, ne permet pas d'affiner l'analyse. Nous sommes donc à la deuxième étape de l'évaluation des opinions concernant un contenu, un produit, un service...

Schématiquement :

==> Engouement pour le contenu : données quantitatives (visites, partage, etc.)

==> Avis spontanés : notation

==> Compréhension du message et interaction : commentaires

==> Appropriation du message : relais, passage à l'acte.

Mais, comme le démontre l'exemple ci-dessus, les notations son inutiles sans une mise en contexte : communauté et codes qu'elle développe, actualité, question posé pour la notation, type de contenu... Il est par exemple évident que la note donnée à une vidéo amateur n'aura pas la même valeur (même avec le même système de notation) que celle donnée à un film. Elle ne fait pas appel aux mêmes références, à la même expertise, etc.

D'un point de vue du social media marketing, le rôle du community manager deviens évident : engager et inciter à la conversation afin de ne pas obtenir des données chiffrées abstraites ou binaires, mais bien des avis construits, ou qui tout du moins reflètent l'ambiguïté et la complexité du processus amenant à la formulation d'un avis, d'un jugement.

Quelles sont pour vous les limites de la notation sur le web ? A trop vouloir simplifier, ne risque t-on pas de perdre la réelle teneur de l'opinion des internautes ?

Comments

[Pedrolito]

Pour info, en plein dans le sujet : http://www.qui-est-le-meilleur.com permet de quasiment tout noter (ecoles, administrations, commerces, hommes politiques, medecins, son employeur, etc etc

[Mehdi Ben Tabet]

Merci pour ce post.

D'un coté, un contexte de profusion voir de "boulimie" dans lequel les internautes surfent en "zappant" d'un site à l'autre très rapidement, ce qui amène évidemment les sites à tenter de retenir le
plus longtemps possible l'internaute. Dans ce cas on comprendra qu'obliger l'internaute à rédiger un commentaire peut s'avérer suicidaire...
Statistiquement peu d'internautes prennent le temps de laisser des commentaires (10 à 15% je crois ???).
D'un autre côté, le désir de certains internautes non pas d'écrire ou de donner leur avis mais de consulter ces avis pour CONNAITRE la qualité du contenu proposé. Toujours dans le même objectif
d'ailleurs: ne pas PERDRE DE TEMPS avec une info ou un contenu non désiré.
Les sites cherchent eux aussi à capitaliser ces avis ou ces commentaires car ils augmentent le référencement et permettent d'alimenter la réflexion marketing.
L'idéal serait peut-être de mettre en place un système STANDARD d'évaluation par critères.
Pour reprendre l'exemple de ton film, on peut dire que les internautes l'ont aimé ou détesté mais pas pour les mêmes raisons.
Certains valorisaient plutôt l'action.
D'autres le scénario.
Certains d'ailleurs comme moi, aiment bien se marrer en regardant une bonne vieille série B, juste pour les répliques ou le "jeu" des acteurs...
Aux sites donc de développer des critères objectifs qui doivent bien sûr être spécifiques à chaque "objet".
Pour un bien de consommation courante les critères ne seront pas les mêmes que pour un contenu dit culturel...

Mehdi.

[Camille A]

Merci pour ton commentaire Mehdi !


 


D'accord avec toi : il faut savoir sortir d'un système binaire et proposer des formes de notation en adéquation avec le sujet/produit/service pour le quel on vote. Mais alors quid de la
"normalisation" nécessaire pour une compréhension globale ?!


On peut d'ailleurs observer que certaines communautés web déveoppent leurs propres critères, mais elles sont souvent hermétiques aux apports extérieurs...


 


 

[damien]

Merci pour cet article très interessant sur le fond qui donne à réfléchir sur les système de notation sur le web. Bien que bien établi au niveau des usages (on retrouve des étoiles sur tous les
sites d'avis et les comparateurs) je vois aussi des limites à ce système de notation :
--> Un internaute qui met 1 ou 2...est-il vraiment très négatif, peu négatif? dur de déterminer la nuance avec des petites étoiles. Je suis d'accord avec toi, l'analyse du commentaire est
nécessaire et ultime. Elle permet de savoir ce qu'un internaute a détesté ou qu'un autre a aimé.
--> Autre limite, sur les sites d'avis comme ciao, une moyenne est très vite atteinte si bcp d'avis "étoilés" ont été émis...une entreprise qui aurait une très faible moyenne mais qui aurait
amélioré ses produits et ses services en prenant en compte ces avis ne verra jamais son nombre d'étoiles augmenté...C'est un véritable problème d'e-réputation pour les marques qui ne pourront
jamais voir leur note augmentée "instantanément" mais seulement sur une très longue durée. Quand on voit les cycles de vie de certains produits, cela peut avoir un impact fort. Une solution serait
que ces sites d'avis décident que la moyenne des étoiles prennent en compte les avis les plus récents tout en sachant que cela pourrait ouvrir la porte à du black marketing intensif d'où
l'élaboration de systèmes défensifs appropriés.

[Camille A]

@Damien : Effectivement, les notations sont parfois sujettes à des actions de "black marketing"... Et comme tu le soulignes, l'analyse des notations sur les sites d'avis sont parfois totalement
faussés par la quantité de notes mises...


Merci pour ton commentaire

[Grummfy]

Comme système de notation on peux par exemple cité ideatorrent (à la base de ubuntu brainstorming) qui permet un vote positif, négatif et affiche le total

[Barthox]

Pour ce qui est du système à étoile, l'idée n'est-elle pas d'en faire un moyenne des votes qui lisserait les effets des votes trop positifs de fans et des votes trop négatifs de détracteurs?

[Camille A]

Effectivement, une moyenne permet de se donner une vue globale. Mais c'est alors une première étape, qui ne permet pas réellement de connaître qualitativement l'opinion des votants.


 


Sans compter ceux qui votent deux fois, etc.