Lynn Reporting - KNOWLEDGE PERFORMANCE

El reporte proporciona una visión general del rendimiento de los contextos cognitivos, organizando la información por fechas. Los usuarios pueden visualizar, de manera resumida, el funcionamiento de los diferentes modelos cognitivos en un período específico, evaluando indicadores clave como la precisión, el tiempo de respuesta, la ejecución de las intenciones entrenadas, los motores cognitivos más utilizados en el tenant, entre otros.

Todos los gráficos del reporte incluyen una leyenda interactiva que permite explorar los datos de forma dinámica. Al hacer clic en un elemento de la leyenda, los valores de esa categoría se ocultan en el gráfico, lo que facilita el análisis de las demás categorías y mejora la interpretación.

Evaluaciones cognitivas

Este gráfico combina barras y líneas para mostrar la relación entre el número de evaluaciones y los tiempos de evaluación. En el eje X se representa el tiempo, cuya escala varía según el rango seleccionado en el filtro inicial del dashboard. El eje Y principal indica el tiempo medio de evaluación de las intenciones, medido en milisegundos (ms), mientras que el eje Y secundario muestra el número de evaluaciones realizadas.

Leyenda interactiva

La leyenda, que proporciona detalles sobre las variables representadas, se encuentra en el lateral derecho del gráfico

• Tiempo medio de evaluación: Promedio del tiempo que tarda el modelo en generar una respuesta, calculado dividiendo la suma de todos los tiempos de evaluación entre el número total de evaluaciones.
• Tiempo máximo de evaluación: Tiempo más largo registrado para generar una respuesta durante el período analizado.
• Tiempo mínimo de evaluación: Tiempo más corto registrado para generar una respuesta durante el período analizado.
• Número de evaluaciones: Total de evaluaciones realizadas por el modelo en un período específico, sin importar el resultado.

Evaluaciones cognitivas totales

La información se presenta en forma de gráfico de pastel donde se muestra el número total de intenciones cognitivas ejecutadas en el tenant, diferenciadas por el motor cognitivo utilizado para su entrenamiento. Cada área representada refleja la proporción de intenciones ejecutadas por cada motor cognitivo, con el tamaño de cada sección indicando su contribución al total. La leyenda al lado derecho detalla los motores cognitivos y la cantidad de intenciones asociadas.

Los motores cognitivos con los que Lynn se integra actualmente son:

• LEA
• IBM Watson
• DialogFlow
• Microsoft CLU

Intenciones cognitivas totales

Se presenta la información en formato tabla, proporcionando un desglose detallado de las intenciones cognitivas, con el nombre de cada intención, la cantidad total de interacciones asociadas y el motor cognitivo utilizado. Esto permite analizar la distribución de las interacciones entre las intenciones y motores cognitivos, evaluando el desempeño de cada motor e identificando áreas de mejora en el sistema.

• Nombre de la intención: Indica el nombre de cada intención cognitiva.
• Total de interacciones: Muestra el número total de interacciones asociadas a cada intención.
• Motor cognitivo: Especifica el motor cognitivo utilizado para ejecutar cada intención.

Este gráfico de pastel muestra la distribución de las intenciones cognitivas ejecutadas, segmentadas según las evaluaciones realizadas sobre el sistema. El tamaño de cada porción indica la frecuencia con la que se ha detectado cada intención. A partir del gráfico, podemos identificar las áreas donde el sistema es más efectivo, dónde es necesario mejorar, y cuáles intenciones son solicitadas con mayor frecuencia por los usuarios.

Caso de uso

Optimización del rendimiento de motores cognitivos en un sistema de atención al cliente

Descripción: En una empresa que utiliza múltiples motores cognitivos para gestionar interacciones con clientes (por ejemplo, LEA, IBM Watson, DialogFlow, Microsoft CLU), la tabla de "Intenciones Cognitivas Totales" se utiliza para evaluar el desempeño de cada motor. Los ejecutivos del sistema de atención al cliente necesitan saber qué motor cognitivo está generando más interacciones y qué intenciones son las más solicitadas para poder ajustar la configuración de los motores, mejorar la eficiencia en la asignación de tareas y realizar optimizaciones.

Cómo se usa la tabla: 1. Los responsables del sistema revisan la tabla para ver el número total de interacciones para cada intención, observando qué motor cognitivo está gestionando la mayor parte de las interacciones. 2. Analizan si algún motor cognitivo está sobresaturado o si algunos motores tienen un rendimiento inferior en ciertas intenciones, lo que podría indicar la necesidad de ajustes en el modelo o en la configuración del motor. 3. Utilizan la información para tomar decisiones sobre posibles actualizaciones, reentrenamiento de los motores cognitivos, o redistribución de las intenciones entre diferentes motores para mejorar la experiencia del usuario y la eficiencia operativa.

Confianza de la detección de la interacción

El gráfico ilustra el nivel de confianza que los modelos cognitivos configurados en el tenant tienen al identificar correctamente una intención en una interacción. Permite analizar cuán seguro está el sistema al asignar una intención específica a las entradas de los usuarios y muestra cómo el motor cognitivo detecta distintas intenciones, junto con el nivel de confianza que asigna a cada una.

El eje X agrupa las diferentes intenciones que el sistema ha detectado. Cada punto en este eje representa una intención específica, la cual puede variar en función del conjunto de frases de entrada y los datos de entrenamiento proporcionados al motor.

En el eje Y se muestra la confianza o confidencia del motor cognitivo, expresada como un porcentaje (de 0 a 100). Este valor refleja qué tan seguro está el motor de que la intención detectada es la correcta. Un valor cercano a 100 indica alta confianza, mientras que valores más bajos indican menor certeza en la detección. Además, se muestran dos líneas adicionales que ilustran el promedio de confianza en la detección de cada una de las intenciones entrenadas con el motor cognitivo y el promedio de confianza general del tenant.

Interpretación de los puntos:

• Puntos altos en el gráfico: Cuando una intención aparece con un nivel de confianza alto (cercano a 100), significa que el motor está seguro de que ha identificado correctamente la intención, basándose en patrones claros en la frase de entrada.
• Puntos bajos en el gráfico: Sugieren que el motor tiene dudas sobre si la intención detectada es la correcta. Esto puede deberse a frases ambiguas, similares a otras intenciones, o a falta de entrenamiento adecuado en esas áreas.

Este gráfico permite visualizar no solo qué intenciones son más frecuentes, sino también en qué casos el motor tiene menos confianza en su detección. Las intenciones con baja confianza pueden indicar áreas donde se necesiten más datos de entrenamiento o ajustes en el modelo para mejorar la precisión del sistema.

Tabla de Frases Cognitivas

Las frases cognitivas son ejemplos de expresiones o preguntas que un usuario podría utilizar al interactuar con un sistema cognitivo o motor de inteligencia artificial. Estas frases ayudan al sistema a identificar la intención detrás de la consulta y a generar una respuesta adecuada.

La tabla está estructurada en seis columnas distribuidas de la siguiente manera:

1. Texto: Entrada del usuario.
2. Nombre de la intención: Intención que el motor debe identificar.
3. Llamadas: Veces que la entrada del usuario se ha repetido textualmente.
4. Confdencia: Valor que indica cuán seguro está el motor de que ha interpretado correctamente la intención.
5. Confidencia mínima: valor mínimo de
6. Tipo de resultado: Salida o respuesta que genera el motor tras procesar una entrada de usuario.
   • NormalEvaluated: Indica que la entrada del usuario ha sido evaluada normalmente y el motor ha identificado la intención con un nivel de confianza aceptable. Esto significa que el sistema puede generar una respuesta adecuada.
   • SystemIrrelevant: Indica que la entrada del usuario no es relevante para el sistema. Puede ser una pregunta o un comentario que no está relacionado con las intenciones que el motor está entrenado para manejar.
   • SilentError: Refleja un error en el sistema que no proporciona mensajes de error visibles al usuario. El motor no pudo procesar la entrada correctamente, pero no comunica el problema.
   • NonCognitiveAbility: Significa que el motor no tiene la capacidad cognitiva para interpretar o responder a la consulta del usuario. Puede referirse a preguntas que requieren un conocimiento o habilidades que el motor no posee.
   • Deflection: Se utiliza cuando el motor redirige la consulta del usuario hacia otra área o tema. Esto puede ser parte de una estrategia para manejar preguntas que no puede responder directamente.
   • DeflectionClientIdentification: Indica que el motor ha identificado la necesidad de conocer más sobre el cliente antes de proporcionar una respuesta. Este tipo de salida puede requerir más información del usuario para personalizar la interacción.
   • Voice: Se refiere a respuestas generadas a través de interacciones de voz. Este tipo de salida se utiliza en aplicaciones de voz y asistentes virtuales.
   • CognitiveEvaluationError: Indica un error en la evaluación cognitiva, lo que significa que el motor no pudo analizar la entrada de manera efectiva. Esto podría deberse a ambigüedades o problemas en los datos de entrenamiento.
   • NotFoundError: Se produce cuando el motor no puede encontrar una intención o respuesta correspondiente a la entrada del usuario. Esto puede deberse a una falta de datos relevantes o a la formulación inusual de la pregunta.
   • LowConfidenceEvaluationError: Este error se genera cuando el motor evalúa la entrada con un bajo nivel de confianza. Significa que no está seguro de la interpretación de la intención y, por lo tanto, podría no generar una respuesta confiable.
   • Error: Un error genérico que indica que ha ocurrido un problema en el procesamiento de la entrada del usuario. Esto puede incluir fallos técnicos o problemas inesperados que impiden que el motor funcione correctamente.

Las frases cognitivas con baja confianza pueden señalar áreas donde el motor necesita más entrenamiento o ajustes, influyendo directamente en el funcionamiento del flujo de autoatención diseñado.