Probablemente más de alguna vez hemos utilizado un chatbot, especialmente a la hora de tener que recurrir a algún soporte dentro de una página web, pero también los encontramos en los principales asistentes móviles, como Siri, Alexa, Google Assistant, etcétera.
El denominador común de estos chatbots es que las conversaciones que podemos tener con ellos pueden ser bastante limitadas, especialmente por el hecho de que no reconocen tan bien el contexto de lo que se les está hablando. Por esto, Google ha desarrollado un modelo de chatbot llamado Meena, el cual busca mejorar la calidad de las conversaciones con estos bots.
Meena consiste en una red neuronal conversacional que fue entrenada con más de 340 GB de texto — algo así como 40 mil millones de palabras, y está pensado para que pueda entender el contexto de una conversación, y así entregar una respuesta coherente a cualquier cosa que el usuario le escriba.
Para esto, Google también creó una nueva métrica llamada Sensibleness and Specificity Average (SSA), que busca medir la habilidad del chatbot para entregar respuestas que sean específicas y tengan sentido en el contexto de la conversación. Por ejemplo, si uno le dice al bot: “Soy de Chile”, y te responde “Qué bien”, entonces no es una respuesta específica. Pero si te responde: “Qué bien, a mi me gusta mucho el sur de Chile”, entonces es una respuesta específica, y es acorde al contexto de la conversación.
En este aspecto, los humanos evaluados obtuvieron un 86%, mientras que Meena obtuvo un 79% — el más alto de todos los bots conversacionales evaluados.
Todo esto se encuentra detallado en un paper que recientemente fue publicado por la compañía, y aunque este Meena ya se encuentra funcionando, Google por el momento aún no lanzará el bot de manera abierta.
