Agentes conversacionales en educación

En entradas anteriores hablamos de la inteligencia artificial en la educación y del amplio abanico de tecnologías y metodologías que han surgido en este campo, tales como robots y chatbots, tutores inteligentes, aprendizaje automático y analíticas de aprendizaje, que de forma más o menos significativa consiguen elevar los niveles de personalización, motivación y eficiencia en los procesos de enseñanza y aprendizaje.

El propósito de la inteligencia artificial en la educación es incrementar (e incluso predecir) el rendimiento y satisfacción del alumno, así como identificar y reducir el abandono en los distintos ciclos y modalidades formativas. 

En esta entrada vamos a focalizar en los chatbots, y en concreto en una variante llamada agente conversacional, como una de las tecnologías emergentes en el campo de la inteligencia artificial con más futuro en educación, según el último informe Horizon.

Vamos a ver una aplicación práctica y evaluada de agentes conversacionales en un entorno formativo real y a escala, como resultado de una experiencia piloto de un proyecto de investigación europeo llamado colMOOC en el que participa la UOC. Uno de los objetivos de este proyecto es el estudio de los agentes conversacionales para facilitar la discusión y promover la calidad del diálogo entre los participantes en actividades de aprendizaje colaborativo en entornos formativos masivos, como los MOOC.

La experiencia con agentes conversacionales se incluyó en un curso MOOC llamado «Tecnología educativa para apoyar la colaboración y evaluación en entornos de aprendizaje virtual» realizado entre febrero y marzo de este mismo año en la plataforma MiriadaX. El curso de 5 semanas iba dirigido principalmente a profesores interesados en conocer metodologías y tecnologías de apoyo al aprendizaje colaborativo y la evaluación online. El curso contenía lecciones en video y actividades de tipo formativo y sumativo, además de foros de discusión para apoyar el aprendizaje colaborativo y como medio para interactuar con los profesores. Unos 1.100 alumnos empezaron el MOOC y 320 terminaron lo que supone cerca de un 30% de ratio de finalización que dobla la media de finalización de cursos MOOC.

Para fomentar el aprendizaje colaborativo síncrono, el MOOC integró una herramienta llamada colMOOC Player desarrollada en el mencionado proyecto que permite la realización de actividades de discusión entre parejas de alumnos en salas de chat moderadas por un agente conversacional (siguiente figura). En total se realizaron 5 actividades de este tipo durante el curso en las que más de 1.000 participantes generaron unas 500 discusiones de chat entre parejas mediadas por un agente.

A modo de ejemplo, a continuación se muestra la transcripción de una de estas actividades de discusión que versaba sobre las ventajas e inconvenientes del uso de cuestionarios para la evaluación del aprendizaje online (se han resaltado las intervenciones del agente conversacional y por privacidad se han modificado los nombres reales de los participantes):

[11:34:16] MARIA: «Hola, Ana, estamos esperando a que otro compañero se una a la actividad. Por favor, ten paciencia.»

[11:35:05] Ana: «Hola, es que de repente me he encontrado con unos minutillos y si hay algún compañero por ahí, genial poder realizar la actividad!»

[11:35:13] MARIA: «Hola, Carmen, permíteme que te presente a Ana.»

[11:35:13] MARIA: «Ahora que ya os habéis conectado podemos empezar. En esta actividad colaborativa, se espera que proporcionéis una respuesta conjunta a la tarea mostrada en la parte superior. Comencemos nuestra conversación por decir algo sobre nosotros. Empiezo yo: me llamo MARIA y me apasiona el aprendizaje colaborativo.»

[11:35:45] Carmen: «Genial, yo también tengo un rato ahora. Encantada.»

[11:35:51] Ana: «Hola Carmen, encantada de saludarte. Qué bien que estés por aquí!»

[11:36:57] Carmen: «Yo ya había hecho otros MOOC y me ha sorprendido la utilización de cuestionarios intermedios después de cada vídeo. Me ha resultado mejor porque me ha ayudado a fijar conocimientos.»

[11:36:58] MARIA: «Ana, te gustaría añadir algo más a lo que Carmen ha dicho sobre cuestionarios?»

[11:37:49] Ana: «Si, estoy de acuerdo. Esos cuestionarios te ayudan a consolidar el aprendizaje. También lo hacen los cuestionarios finales de cada módulo»

[11:37:50] MARIA: «Ana y Carmen: ¿Creéis que la evaluación está relacionada con el autoaprendizaje? ¿De qué manera?»

[11:38:46] Ana: «Por mi parte que si. Por lo dicho antes, te ayuda a corregir errores y consolidar el aprendizaje»

[11:39:03] Carmen: «Claro, es importante saber si sabes, valga la redundancia.»

[11:39:16] Carmen: «Una ventaja de los cuestionarios intermedios y finales, para mi, que ayuda a fijar mejor los conocimientos.»

[11:39:17] MARIA: «Ana y Carmen: ¿Creéis que los cuestionarios están relacionados con la autoevaluación? ¿De qué manera?»

[11:39:55] Ana: «Si, porque te ayudan a medir tu propio proceso de aprendizaje. Tu evolución»

[11:40:48] Carmen: «Puedo ver algún inconveniente en la evaluación entre pares, por diferentes motivos, es que hay disparidad de conocimientos entre las personas que participamos en el curso y que puede haber también diferente nivel de implicación. No sé qué piensas sobre esto Ana»

[11:42:32] Ana: «Si, tienes razón pero a mi me parece enriquecedor.»

[11:43:38] Carmen: «¿Te parece bien que vayamos consensuando ventajas e inconvenientes y escribiéndolo a la izquierda?»

[11:43:50] Ana: «Claro, voy a por ello y me vas diciendo»

Podemos ver cómo las intervenciones del agente conversacional resultan adecuadas tanto en contenido como en el tiempo, consiguiendo que la discusión evolucione de manera natural hacia el objetivo de la actividad, a la vez que fomentan y guían de forma efectiva el diálogo entre los participantes y con el agente, con quien interactúan como si de un moderador humano se tratara. Sin embargo, para conseguir este nivel de automatización en las intervenciones del agente hay que realizar un trabajo previo de investigación y desarrollo importante. 

De manera simplificada, la estrategia de las intervenciones del agente conversacional se fundamenta en detectar y analizar cualquier evento que ocurra durante la discusión en el chat, que sea de interés para el agente y represente una oportunidad para intervenir. Un evento es una combinación de las expresiones de texto enviadas por los participantes junto con información contextual de lo que está ocurriendo en el chat, representado por 2 tipos de intervenciones: estáticas (al iniciar el chat, apretar el botón de ayuda, pérdida de conexión, etc.) y dinámicas (al enviar un mensaje al chat cuyo texto coincide con un patrón reconocido). Éstas últimas intervenciones son más complejas y las vamos a ver con un poco más de detalle.

Las intervenciones dinámicas se basan en el uso de enlaces conceptuales (conceptual links, en inglés) que identifican tanto los conceptos clave del dominio (palabras, frases y sinónimos) como los verbos o modificadores que enlazan estos conceptos en el texto de los mensajes durante la discusión. Existen distintos enlaces conceptuales según si el propósito de la intervención es elaborar sobre conocimiento previo, verificar conocimiento adquirido, pedir explicaciones, sugerir, opinar, etc. Por ejemplo, en el caso de elaborar sobre conocimiento previo, el agente detecta que se discute sobre un concepto clave e interviene en la discusión para pedir que se conecte este concepto con otro concepto relevante que es parte del mismo enlace conceptual (en la transcripción anterior aparecen varias intervenciones con este propósito).

Para cada actividad y tema de discusión hay que crear un modelo del dominio ad hoc con los conceptos y verbos (con sus sinónimos, acrónimos, etc.) más relevantes y que el profesor considera que sus alumnos deben conocer y utilizar correctamente durante la discusión. La creación de este modelo y la configuración del agente para cada actividad de discusión se realiza mediante un editor gráfico (llamado colMOOC Editor) fácil de usar para los profesores a cargo del diseño de la actividad, como se muestra en las siguientes figuras.

Además, el agente implementa internamente reglas propias que generan intervenciones predefinidas (las intervenciones estáticas que hemos mencionado antes) para, por ejemplo, dar la bienvenida a los participantes del chat, informar de aspectos procedimentales de la actividad, avisar de la desconexión de un participante por motivos técnicos, etc. (en el inicio de la transcripción anterior aparecen intervenciones con este propósito).

En resumen, el objetivo principal de diseñar actividades mediadas por agentes conversacionales es motivar y facilitar la discusión y al mismo tiempo promover la calidad del diálogo entre los participantes. En nuestra experiencia con el MOOC, los agentes conversacionales persiguieron este objetivo moderando de forma automática alrededor de 500 discusiones de chats entre parejas de alumnos distribuidas en 5 actividades de aprendizaje colaborativo. No todas las intervenciones de los agentes fueron acertadas en contenido y tiempo, y en algunos casos interrumpieron en exceso la discusión o con intervenciones fuera de contexto. Al tratarse de una experiencia piloto, se probaron diferentes estrategias para el modelo del dominio y la configuración de los agentes en cada actividad, y algunas resultaron en intervenciones del agente incorrectas pero necesarias dentro de los ciclos de investigación típicos (experimentación, evaluación y mejora en base al feedback recibido).

Aún siendo una experiencia piloto, los resultados de las encuestas de satisfacción de las actividades con agentes conversacionales del MOOC fueron muy positivos. Un 55% de los encuestados estaban satisfechos o muy satisfechos, mientras que un 30% se mostraron indiferentes y un 15% estaban insatisfechos. En una línea parecida, un 61% consideraron la experiencia muy interesante y solo un 9% la consideró negativa. Por otra parte, a la pregunta sobre si la discusión mediada con un agente había sido beneficiosa para su aprendizaje, un 55% estaban de acuerdo o muy de acuerdo, un 28% eran indiferentes y un 17% estaban en desacuerdo. Estos resultados están alineados con el 62% que manifestaron que les gustaría participar en más actividades similares mediadas con agentes conversacionales. 

Los resultados negativos, además de marginales, tienen que interpretarse en el contexto de una experiencia piloto con un sistema en desarrollo y por tanto con funcionalidades todavía incompletas y/o no testadas y con fallos técnicos que se irán subsanando en próximos pilotos. Otro aspecto importante que condicionó algunas respuestas negativas fue la dificultad para muchos participantes de coincidir en el tiempo con un compañero/a con quien realizar la actividad en pareja en el chat. Es un aspecto mejorable mediante ofrecer herramientas y apoyo a los alumnos para facilitar la gestión de su tiempo disponible y su participación en las actividades del chat. 

Estas mejoras y otras se incluirán en la segunda edición del MOOC que se abrirá en septiembre de este año (gratuito y sin requisitos de acceso) e incluirá de nuevo actividades colaborativas mediadas por agentes conversacionales como las explicadas aquí. Para los que estéis interesados en ver de cerca y experimentar de primera mano con tecnologías educativas innovadoras, os podéis inscribir aquí a la nueva edición del MOOC.

¡Os esperamos a todas y a todos en la segunda edición del MOOC!