Cómo ayudar en la evaluación de debates en aulas virtuales

En los Estudios de Informática, Multimedia y Telecomunicación de la UOC trabajamos, entre otras cosas, para mejorar la calidad docente en los cursos que impartimos. Una de las dimensiones asociadas a la calidad docente tiene que ver con la evaluación, y su mejora cubre la investigación en técnicas y herramientas enfocadas a ayudar al equipo docente a valorar (o calificar) el trabajo de los estudiantes. En este artículo os queremos presentar una propuesta para facilitar la evaluación de debates en aulas virtuales; un trabajo que presentaremos en la XXV Edición de las Jornadas sobre la Enseñanza Universitaria de la Informática (JENUI), que se celebrará los días 2-5 de junio de 2019 en Murcia. Puedes encontrar el artículo aquí.

Los foros de debate en aulas virtuales y su evaluación

El uso de medios electrónicos de comunicación es especialmente relevante en modelos docentes virtuales, donde el medio fundamental de comunicación es el aula virtual. Un aula virtual organiza los estudiantes de una asignatura y ofrece mecanismos para facilitar la docencia, como calendarios de actividades, chat, tablón o foros de debate.

Los foros de debate ofrecen una canal bidireccional donde los estudiantes participan creando hilos de discusión (a diferencia de un tablón, donde la comunicación es unidireccional hacia el estudiante); así, además de contribuir creando hilos de debate, también pueden responder otros hilos. Los foros de debate son comúnmente utilizados para promover la participación de los estudiantes en un tema, como dudas sobre el temario o deliberación sobre algún tema de la asignatura.

Precisamente por su capacidad de ofrecer al estudiante un medio para expresarse y discutir sobre un tema, los foros de debate se pueden utilizar como actividades de evaluación de las asignaturas. Por ejemplo, una actividad de una asignatura puede ser evaluada en base a la participación de los estudiantes en un debate. Aunque este procedimiento favorece la participación de los estudiantes (al utilizar un medio asíncrono y virtual), la evaluación de la contribución de cada estudiante es una tarea complicada. Así, el uso de estos medios de comunicación requiere de mecanismos especializados para ayudar a la evaluación de los estudiantes.

Propuesta para la ayuda en evaluación de debates

Nuestra propuesta consiste en una herramienta para facilitar la evaluación de los debates en foros virtuales mediante el uso de grafos de colaboración. Estos grafos permiten visualizar el entorno discursivo del foro, incluyendo los actores principales y las interacciones más importantes. También estudiamos las métricas típicas de grafos y su aplicación en la evaluación de los debates. A continuación os describimos con un poco más de detalle la propuesta. 

En un grafo de colaboración tenemos los nodos, que representan a los estudiantes y las aristas, que representan las interacciones en el debate entre estudiantes, en nuestro caso existe una arista entre dos estudiantes si uno de ellos ha respondido a otro. La figura siguiente muestra un ejemplo de grafo de colaboración (generado a partir de un debate real). El grafo muestra el nombre de cada nodo (por motivos de confidencialidad, estos datos se han anonimizado) mientras que su tamaño es proporcional al número de contribuciones del estudiante. Por otro lado, el grosor de las aristas es proporcional al número de mensajes entre los dos estudiantes involucrados. 

Grafo de colaboración generado a partir de un debate real

La visualización del grafo de colaboración ya es por sí misma una ayuda para tener una idea de cómo ha transcurrido el debate, facilitando la evaluación. Así, es fácil reconocer a los estudiantes que más han participado y las principales interacciones (o grupos de discusión) del debate.

Además de la visualización, nuestra propuesta también explora el uso de métricas propias de los grafos que permitan dar más precisión a la evaluación del debate. Algunas de estas métricas son:

  1. Número total de contribuciones y media por estudiante, que nos permiten conocer cuantitativamente la riqueza del debate,
  2. Cálculo del número de componentes, que nos permite conocer los grupos de discusión de estudiantes, o
  3. Análisis del componente de tamaño mayor (componente gigante) para identificar el grupo discusión más grande, entre otras.

Otros ejemplos de grafos se muestran en las siguientes figuras. La figura 1 ilustra un caso con dos componentes, o grupos de alumnos que debaten de forma independiente; mientras que la figura 2 muestra un caso donde existe solamente un componente y un estudiante que acapara todo el debate (el nodo de tamaño mayor).

Figura 1. Grafo donde se muestra componentes, o grupos de alumnos que debaten de forma independiente
Figura 2. Grafo donde se muestra un caso donde existe solamente un componente y un estudiante que acapara todo el debate (el nodo de tamaño mayor).

Hemos evaluado nuestra herramienta en debates llevados a cabo en diferentes aulas virtuales y la experiencia ha sido muy positiva, siendo valorada de gran utilidad para las tareas de evaluación. Podéis encontrar más información acerca de la evaluación en nuestro artículo publicado en las actas de las JENUI.

¿Qué falta por hacer?

En su estado actual, hemos diseñado una herramienta que genera este tipo de grafos y sus métricas para los foros de la UOC pero nos gustaría extender el soporte a otros entornos docentes virtuales como Moodle. Además, nos queda realizar una validación más extensa para identificar métricas adicionales y estudiar métodos automáticos de evaluación (p.ej., estudiando la correlación entre métricas y notas de los alumnos). Esta validación queremos hacerla en diferentes asignaturas para ver la aplicabilidad de la herramienta en diferentes contextos educativos. En este sentido, si queréis utilizar la herramienta o comentarnos cualquier idea, no dudéis en contactarnos.

Javier Luis Cánovas Izquierdo es doctor en Ingeniería Informática por la Universidad de Murcia, profesor agregado de los Estudios de Informática, Multimedia y Telecomunicación, e investigador del grupo SOM Research Lab en el Internet Interdisciplinary Institute, ambos de la Universitat Oberta de Catalunya

2 Comments

  1. Hola,
    Enhorabuena por vuestra iniciativa y muchas gracias.
    Era una necesidad obvia (tanto mayor [no he calculado las complejidades] cuanto mayor el nº de alumnos en el aula).
    Yo mismo lo solicité (con 2 aulas de unos 60 alumnos cada!) en 2017: copio abajo la consulta y su respuesta.
    En teoría de grafos, sigo siendo un aprendiz; pero si en algo puedo colaborar, pf contad conmigo.
    Manolo Palao, Profesor Colaborador, Estudios de Informática, Multimedia y Telecomunicación
    mpalaog@uoc.edu
    🙂

    Número de consulta: 504084
    https://cv.uoc.edu/cau/entrada/consultarPeticionTancada.do?subaccio=consultaResposta&s=96be0b33405ce5912f7b77d1ab7724499273679613fe46b6915c301ffaf9503d760a62304f9b4a1cedd1d31d593d478c8c83cf065d57b8b7326cfa050122bafd&modul=CAU_OGD.ENTRADA_PETICION&apjsessionid=944653240805314A417A038E11FD60E4.cerdanyola_gestio-public-apps_918043_96be0b33405ce5912f7b77d1ab7724499273679613fe46b6915c301ffaf9503d760a62304f9b4a1cedd1d31d593d478c8c83cf065d57b8b7326cfa050122bafd&entidad_gestora=IRIS&sec_peticion=5040841

    Hola,
    Me pregunto si se dispone de alguna herramienta analítica de los debates en el aula virtual.
    Sería algo que proporcionara información como:
    1. estudiantes (cantidad y lista) que han participado
    2. estudiantes (cantidad y lista) cuyos posts han sido más comentados por otros
    3. estudiantes (cantidad y lista) que han comentado más posts de otros
    Si no la hubiera, creo que sería muy interesante y relativamente fácil de implementar el algoritmo.
    Muchas gracias.

    Apreciado Manuel,
    Primero de todo perdimos disculpas por el tiempo de respuesta.
    Actualmente no existe la herramienta que incluya estas características, pero ha sido trasladado al equipo técnico para que lo puedan tener presnete en próximos desarrollos de Campus.
    Lamentamos las molestias.
    Quedamos a tu disposición para cualquier consulta o aclaración.
    Cordialmente,
    Servicio de atención
    Saludos.

    Reply
    • Hola Manolo,

      gracias por el interés! Tenemos pensado integrar la herramienta en el navegador web para generar los grafos al vuelo así evitamos tener que integrarlo en las aulas y también podremos adaptarlo a otros MOOCs (como moodle).

      Un saludo,

      Reply

Comentar

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.