Hugo Chávez, President since 1999. (Photo credit: Wikipedia)

La muerte del presidente de Venezuela Hugo Chávez, personaje tan controversial y polémico en nuestra historia contemporánea se dió el día de hoy.  Sin duda el comandante Chavez @chavezcandanga y su gobierno estuvieron en el ojo del huracán por años y también lograron estarlo en el enfoque digital, tanto por las censuras e incluso arrestos que alguna vez se hicieron hacia gente que comentó cosas negativas en redes sociales, como por el buen uso de comunicación y engagemente que el propio Chávez tuvo con sus cuentas en redes sociales.

Monitoreamos la noticia de su muerte en las redes sociales usando Radian6 / Marketing Cloud para tener registro del impacto en redes que la noticia tuvo y también para usarlo de ejemplo en relación a lo difícil que puede ser el análisis de sentimiento en las redes sociales, aún cuando utilizas sistemas automáticos.

Después de hacer un breve monitoreo a las 6 pm CST algunos de los insights que se encontraron fueron:

Volumen

Unos 2 millones de menciones de keywords relacionados con el suceso que seguramente irán incrementando a un par de millones más durante los próximos días. Sin embargo, la cantidad de autores de dichas menciones rondaban los 300,000 siendo principalmente Twitter el canal más usado. A mi me parece una cantidad baja de usuarios considerando el personaje, aunque también recordemos las limitaciones del monitoreo en conversaciones de facebook donde seguramente este tema se ha de tratar más a fondo.

Cantidad de menciones por país

Tendencias en el tiempo

El crecimiento de la conversación fue fuerte durante la tarde pero decayó ampliamente en las siguientes horas, al parecer el suceso abandonó la atención rápidamente y otros temas, quizá relacionados como las inminentes elecciones y su sucesor así como los temas de luto en diferentes países tomaron el foco. Aún así la caída de conversación es un poco vertiginosa en mi opinión.

El volumen de menciones se disparó en un par de horas pero disminuyó considerablemente en las siguientes.

Análisis de Sentimiento

El punto educativo que podemos sacar de este fugaz monitoreo recae un poco en el análisis temático y de sentimiento del tema. La conversación alrededor de Chávez me sirve para poder mostrar las grandes dificultades y los resultados poco precisos que tenemos que esperar de los sistemas automáticos de análisis de sentimiento. Y no sólo hablo de Radian6 sino de cualquier herramienta por más que se precie de ser muy exacta.

Las conversaciones, tonos, gramáticas y formas de embellecer los lenguajes hacen jugarretas muy fuertes a estos sistemas e, inclusive, a los análisis humanos. La forma en que muchas conversaciones pueden considerarse ya sea positiva ya sea negativa dependiendo del punto de vista y el contexto es algo que aún nos reta mucho.

Aproveché que hubo conversación en inglés del tema para sacar análisis de sentimiento de Radian6, dado que este idioma es su fuerte y bueno los resultados son estos:

¿Qúe observamos?

• Ganó lo negativo – Según el análisis automático del sistema, las menciones negativas dominaron sobre las positivas. PERO si vemos la galería de imagenes descubriremos que no es tan simple un análisis de sentimiento. La palabra muerte afecta seriamente el análisis pues se toma como negativa y convierte a muchas noticias y comentarios neutrales en negativos.
• Volumen de análisis – De los cientos de miles de menciones en inglés solo una decena de miles pudieron ser analizados por el sistema, ciertamente una cantidad suficiente para llamarlo estadísticamente válido pero no podemos saber a ciencia cierta si la selección se puede considerar como tomada de forma distribuida y al azar. Uno de los eternos problemas de los sistemas automáticos: si bien hay mucha cantidad de comentarios neutrales y sin sentimiento, usualmente el volumen final analizado de manera confiable es bajo y permite información estadística pero no el poder hacer engagement en todos los posts que existen.
  
• Discrepancias e inexactitudes – Tan solo un vistazo rápido al River of News de Radian6 tanto para positivos como negativos vemos que el pobre sistema no puede solo.
  

Aqui podemos ver que Sean Penn ayudó a que el comentario fuera considerado positivo, pero no creo que a Chávez le hiciera mucha gracia.

La mención positiva de en medio es para Sean Penn.. ?¿no?

Esta persona en el principio de la imagen tan feliz del suceso está también en los comentarios positivos. La pregunta de siempre llega: ¿Positivos para quién?

Otro ejemplo de menciones positivas, sin embargo, el primer tweet de la imagen no parece serlo mucho

La conclusión es obvia: no podemos depender de los sistemas automáticos, sin duda tendremos que meter a nuestros analistas a revisar esto, pero aún así: Los análisis humanos tienen un 85% de confiabilidad. Esto es algo que se dice y se dice pero quería poner un buen ejemplo que ayude gráficamente a comprender el porqué no podemos depender de los sistemas automáticos

Algunas soluciones:

• Acotar nuestro monitoreo a resultados de alto valor. Como podemos ver el análisis automático fue solo para diez mil resultados de unos 500 mil. Cuando se trata de analizar un suceso así se entiende que busquemos la totalidad de menciones, pero debemos pensar que para una empresa el obsesionarse en monitorear absolutamente todo tipo de menciones podría ser un problema. Definamos menciones realmente valiosas e importantes y asi ayudamos a los sistemas a hacer mejor su trabajo
• Aparte del análisis automático y el humano consideremos crear nuestro propio diccionario de monitoreo de palabras o términos frecuentes negativos y positivos. Es una forma burda y manual de ayudar al sistema a darnos información con un poco más de input humano pero ayuda un poco.
• Revisar, revisar, revisar.  Siempre digo esto, no importa cuanto nos puedan ayudar las cosas automáticas y sistemas de monitoreo: nunca podremos sustituir totalmente a los análisis humanos y el tiempo requerido para que las cosas estén bien analizadas.
• Tocando el tema de análisis de sentimiento automático en español: Sin duda no es el fuerte de las plataformas extranjeras y tenemos 2 plataformas latinoamericanas que en cierta forma se especializan más en el lenguaje: SocialMetrix y Reputation Level.  Sin embargo esto no significa que no cuenten con las mismas limitantes tecnológicas que los sistemas de inglés. Pero los invito a probarlas si sus necesidades en este sentido son muy fuertes. También Brandwatch, Sysomos, Synthesio y otras tienen un poco de cuchara metida en el análisis en español. Incluso Radian6 tiene un modulo de costo extra que analiza en español ya, pero, repito, es de costo extra y no he podido probarlo como para recomendarlo ciertamente.

Un último detalle: utilizo Radian6 / Marketing Cloud siendo que es una de las herramientas que más conozco y que tengo una relación amistosa con ellos pero este problema aqueja a cualquier herramienta allá afuea, no importa lo que diga su marketing. Pero no busco atacar ni a Radian ni a nadie, sino más bien hacer ver al lector que hay consideraciones importantes en estos sistemas que tenemos que tener siempre en cuenta.

Revisa la galería de imágenes del monitoreo:

El pase de diapositivas requiere JavaScript.

¿Cuál fue su percepción humana entre sus redes respecto al suceso? ¿más positivo que negativo contrario a lo que Radian6 muestra aqui?

Otros análisis de Monitoreo: