Así hemos hecho el estudio de fake reviews
El primer objetivo ha sido identificar los mecanismos con que los vendedores de productos promueven la generación de opiniones falsas. En concreto nos hemos centrado en Amazon, donde nuestros mystery shopper han estado comprando y opinando durante varios meses sobre todo tipo de productos. Lamentablemente no tardamos en comprobar la impunidad con la que muchos vendedores del MarketPlace de Amazon, a través de Facebook y Telegram, ofrecen productos gratis o con un descuento muy importante a cambio de escribir una opinión 5 estrellas.
Ahora bien, ¿hasta qué punto son prácticas habituales?, ¿cómo de frecuentes son las fake reviews? Para cuantificar el problema hemos analizado alrededor de 6.360.000 opiniones sobre unos 47.000 productos comercializados en Amazon, TripAdvisor y Booking utilizando 11 pruebas. Cada una identifica una situación que consideramos no natural a la hora de escribir una opinión. Ninguna de ellas es indicadora de una opinión falsa, pero cuando estos comportamientos anómalos están acompañados de una diferencia significativa en la puntuación del producto y además coinciden varias en un mismo producto… lo etiquetamos como sospechoso de estar afectado por fake reviews.
Las que tienen en cuenta al usuario que opina
• Test 1: Usuarios con una única opinión. Para cada producto seleccionado se comprueba si las valoraciones de los usuarios que han escrito una sola opinión en la plataforma son significativamente distintas del resto de usuarios que opinan en ese producto.
• Test 2: Usuarios que opinan sobre varios productos el mismo día. Se identifican aquellos usuarios que opinan sobre varios productos el mismo día, y se verifica para cada producto, si la valoración de estos es significativamente diferente del resto.
• Test 3: Usuarios no verificados. Para cada producto seleccionado se identifican los usuarios cuyas opiniones siempre son sobre productos que no se ha verificado que hayan comprado, y se analiza si son significativamente diferentes del conjunto de usuarios verificados.
• Test 4: Usuarios con opiniones borradas. Identificamos a los usuarios que, pasadas varias semanas, alguna de sus opiniones ha sido borrada. Y verificamos si la puntuación que ofrecen para cada producto es significativamente diferente del resto de los usuarios. Esta prueba no es posible realizarla en Booking y Tripadvisor. En el primer caso porque todas las opiniones están verificadas y en TripAdvisor porque ninguna lo está.
• Test 5: Usuarios benevolentes. Identificamos los usuarios que escriben con mucha frecuencia opiniones 5 estrellas. Para cada producto seleccionado comprobamos si la presencia de usuarios identificados como “benevolentes” es significativamente mayor que en el resto de productos de esa categoría.
Las que tienen en cuenta la opinión
• Test 6: Distribución temporal de las opiniones. Producto a producto, el análisis verifica si las opiniones realizadas de forma concentrada en un corto periodo de tiempo (no siguen una distribución normal) es significativamente diferente del resto opiniones realizadas fuera de esos periodos anómalos.
• Test 7: Frases repetidas. Producto a producto, se analiza si existe un alto número de opiniones con las mismas frases repetidas (una vez eliminadas palabras comunes como preposiciones y artículos) y se compara su puntuación con las opiniones del resto de usuarios.
• Test 8: Longitud de las opiniones. Para cada producto se agrupan las opiniones en función del número de palabras que contengan. Si observamos que hay algún grupo especialmente numeroso (por ejemplo, con entre seis y diez palabras) respecto al mismo grupo de su categoría, comprobamos luego si las valoraciones son diferentes del resto de opiniones de ese producto.
• Test 9: Número de usuarios. Para cada producto se agrupan los usuarios con similar número de opiniones totales (por ejemplo, con entre 1 y 5 opiniones). Si observamos que hay algún grupo especialmente numeroso respecto al mismo grupo de su categoría, comprobamos luego si sus valoraciones son diferentes del resto de opiniones de ese producto.
• Test 10: Compras no verificadas. Compara para cada producto, la puntuación obtenida por opiniones no verificadas respecto al resto.
• Test 11: Opiniones borradas. Para cada opinión, hemos comprobado varias semanas después, si esta había sido borrada. Esta prueba nos permite verificar los productos con una presencia de opiniones borradas significativamente diferente al resto.