¿Qué piensan los estudiantes y profesores de la evaluación en línea? Algunas pistas y expectativas en el contexto del proyecto TeSLA
Son muchas las investigaciones que han analizado el auge de los sistemas de evaluación en línea desde el ámbito institucional, económico o pedagógico en contextos de formación semipresencial. Sin embargo, existen pocos estudios que analicen las vivencias y perspectivas de profesores y estudiantes en experiencias de evaluación en línea en entornos completamente virtuales. ¿Qué experiencias previas tienen? ¿Qué ventajas y desventajas prevén? ¿Qué datos personales están dispuestos a compartir? A estas y a otras preguntas da respuesta el proyecto TeSLA.
Como ya comentamos en un post anterior, el proyecto TeSLA tiene por objeto desarrollar un sistema de evaluación en línea que permita identificar a los estudiantes y verificar la autoría de las actividades de evaluación que entregan gracias a tecnologías como el reconocimiento facial y de voz, los patrones de teclado, el análisis del estilo de escritura y el antiplagio. Sin embargo, sabemos que el uso de este tipo de tecnologías puede generar recelo y desconfianza entre aquellos que deben usarlas. Por este motivo, en paralelo al proceso de desarrollo y testeo del sistema TeSLA, a lo largo de cada piloto se ha recogido la opinión de estudiantes y profesores sobre la evaluación en línea a través de cuestionarios (pre y post piloto) y grupos de discusión (durante el piloto).
En el segundo piloto, los estudiantes firmaron un consentimiento informado. Además, realizaron actividades de registro de usuario destinadas a construir un modelo biométrico a ser usado por las tecnologías antes citadas. Posteriormente a la construcción de dicho modelo, los estudiantes realizaron actividades de evaluación donde se activaron dichas tecnologías. En este contexto, se pasó un cuestionario inicial a estudiantes y profesores con el fin de conocer sus experiencias, opiniones y expectativas sobre aspectos relacionados con la evaluación en línea (confianza, privacidad y ética, engaño y plagio). Al finalizar el piloto se pasó de nuevo un cuestionario similar, donde se puso el foco en la experiencia vivida con el sistema TeSLA. De los 937 estudiantes participantes en el piloto, 756 respondieron el cuestionario previo y 391 el cuestionario posterior. Entre ellos, encontramos una mayoría de hombres (61%) con una media de edad de 22 a 30 años (38%), y que están empleados a tiempo completo (67%). Por lo que respecta a los profesores, de los 64 que participaron, 45 respondieron el cuestionario previo y 32 el cuestionario posterior.
Como sabemos por la literatura previa, los estudiantes suelen tener una actitud positiva hacia la evaluación en línea, aunque entre sus opiniones aparecen siempre ventajas y desventajas. Por ejemplo, para la mayoría de estudiantes y profesores que respondieron nuestro cuestionario posterior al piloto, las mayores ventajas de la evaluación en línea son: ahorrarse tiempo en el desplazamiento a un centro físico (73,9% estudiantes, 59% profesores), evitar la evaluación presencial (67% estudiantes, 66% profesores) y aumentar la adaptación a sus necesidades/o a las necesidades de sus estudiantes (61,9% estudiantes, 41% profesores). Sin embargo, algunos estudiantes temen que les implique más trabajo (41,7%) y desconfían del hecho de tener que compartir datos personales (23,8%). Para los profesores, la principal preocupación es el tiempo extra que deberán dedicar a la evaluación (44%) y el trabajo añadido que les puede implicar (44%).
Figura 1. Ventajas y desventajas de la evaluación en línea (post cuestionario estudiantes).
Aún con estas reticencias, los resultados nos indican que tanto los estudiantes como los profesores confían en cómo la UOC está tratando de mejorar la calidad de la evaluación en línea (87,7% estudiantes, 91% profesores), confían en un sistema como el TeSLA donde toda la evaluación se lleve a cabo en línea (80,6% estudiantes, 69% profesores) y no sienten que la universidad desconfíe de ellos por el hecho de usar un sistema de identificación y autoría (67% estudiantes, 84% profesores). Además, la mayoría de estudiantes siente que sus datos personales han sido tratados de modo seguro durante el piloto (82,6%), sienten que han sido bien informados (90,5%) y se sienten satisfechos con la experiencia de evaluación en línea (78,6%). Sólo algunos estudiantes afirman que han sentido que el nivel de vigilancia había aumentado debido al piloto TeSLA (20%) y se han sentido más nerviosos al realizar las actividades de evaluación debido al uso de mecanismos de seguridad (18,6%). Si analizamos los resultados por instrumento, vemos que cuanto más intrusivo es el instrumento (por ejemplo, el reconocimiento facial), más incómodos se sienten. Estas opiniones han sido contrastadas y ampliadas en dos grupos de discusión donde participaron seis estudiantes y cuatro profesores y en los que se ha confirmado su buena disposición para la evaluación en línea. En estas sesiones, el mayor problema observado han sido algunos fallos técnicos. Por lo que respecta a la privacidad, los estudiantes defienden que han sido bien informados y que no tienen problemas en compartir sus datos personales con fines formativos puesto que confían en el uso que la universidad hará de ellos. De hecho, consideran que el sistema TeSLA les hace confiar más aún en la universidad y en su sistema de evaluación y acreditación.
Figura 2. Disposición a compartir datos personales (post cuestionario estudiantes)
En definitiva, parece que la actitud positiva de estudiantes y profesores respecto de la evaluación en línea nos indica que el sistema TeSLA está ofreciendo un espacio seguro donde los estudiantes sienten que sus datos personales están siendo usados de modo fiable y en el que los profesores están obteniendo nuevas informaciones para evaluarlos. En siguientes pilotos esperamos poder mejorar los problemas técnicos y así disminuir la sensación de sobrecarga que pueden percibir estudiantes y profesores. Vamos por el buen camino.
Ingrid Noguera es investigadora en el proyecto TeSLA de la UOC, donde participa en tareas relacionadas con la definición del marco de enseñanza-aprendizaje y los modelos de evaluación. Licenciada en Pedagogía y doctora en Multimedia Educativo por la Universitat de Barcelona, sus áreas de conocimiento e investigación incluyen e-learning, aprendizaje colaborativo y metodologías de enseñanza-aprendizaje.
M. Elena Rodríguez es profesora de los Estudios de Informática, Multimedia y Telecomunicación de la UOC y forma parte del proyecto TeSLA, participando en tareas que se centran en el diseño del sistema TeSLA y en el desarrollo de pruebas piloto en la UOC. Licenciada en Informática por la Universitat Politècnica de Catalunya y doctora por la Universidad de Alcalá, sus áreas de conocimiento e investigación incluyen las bases de datos y la ingeniería de ontologías para el desarrollo de sistemas de e-learning basados en estándares.
Sobre el valor de los Sistemas y Tecnologías de la Información
¿Cuánto valen o qué valor aportan los productos y servicios informáticos? Por ‘valor’ (en sentido económico) entendemos “una medida del beneficio que se puede obtener de bienes o servicios” [1]. Muchos economistas (y otros pensadores) han adoquinado la historia con sus teorías del valor: desde T. de Aquino a R. Nozick, pasando por A. Smith, D. Ricardo, K. Marx, L. Walras o J. Schumpeter, por citar solo algunos muy señeros.
Dimensiones del valor económico
No parecen haber alcanzado los expertos una teoría común sobre el valor (como se acepta que la hay sobre la cosmogénesis o la evolución). Quedémonos con dos grandes polarizaciones:
- el debate sobre la naturaleza “objetiva o subjetiva” del valor; y
- la dialéctica “valor de uso vs valor de cambio” (la paradoja del diamante de Adam Smith).
La cuestión es que, cuando queramos comparar, priorizar, elegir, necesitaremos recurrir al ‘valor de cambio’ y a su referente, la moneda. Según el propósito y la circunstancia interesan uno u otro de los paradigmas. (Es algo así como lo de la partícula y la onda, pero aún menos claro).
Nos interesan estos temas para poder reflexionar sobre el valor de sistemas y tecnologías de la información en concreto y —por ejemplo— su inclusión o no y su priorización y administración en nuestra cartera (portafolio) de inversiones del próximo año. Algo a lo que el profesor José Ramón Rodríguez ha dedicado un post reciente en este blog. Permitidme hoy una excursión un poco teórica sobre las paradojas del valor en sus diferentes dimensiones.
Un ejemplo de la primera dicotomía resultará claro para quienquiera que en esta crisis haya querido/necesitado vender su casa. El valor, en economía, no es necesariamente el precio de mercado. Por otra parte, el valor de algo no es igual para mí que para otros; y depende de las circunstancias.
En cuanto a la segunda dicotomía, una botella de agua tendría (en general) alto valor de uso en una situación de sedientos perdidos en el desierto; en cambio, un diamante tiene (en general) alto valor de cambio en el Passeig de Gràcia y nulo valor de uso (y de cambio) entre sedientos en el desierto.
Es más frecuente establecer el valor como valor de cambio, sobre todo el referido a una moneda (aunque antaño también valía lo de “te cambio estos dos huevos por tres tomates y una lechuga”, la economía del trueque). Recurrir a la moneda, al precio, es una forma ‘finalista’ de referenciar, de comparar. Cuando en el mercado se produce una transacción, el comprador manifiesta (explícita o tácitamente) que el precio acordado compensa su valor (esperado) de uso [1] y el vendedor manifiesta que el precio acordado coincide con o le compensa del coste de producción [2].
El recurso masivo a servicios informáticos en el mercado (muchos de pago dinerario; otros, muy populares como redes gratuitas), encubren pagos en especie, como la atención a publicidad o la disposición de los datos del usuario y su perfil de interés o de compra). Recientemente, el ransomware ha puesto de relieve otra faceta del valor de cambio.
Desde el siglo XVIII ha habido corrientes importantes que postulan que el valor depende del trabajo incorporado al proceso productivo, aunque ya Adam Smith (1723-1790) introdujo el concepto de coste de producción, incluyendo el coste de los otros factores de producción (la tierra y el capital, en el modelo de la época). El marxismo también deviene de esa corriente.
El valor de los sistemas de información ha sido considerado tradicionalmente como (principalmente) un coste de producción, o sea, el coste del trabajo necesario para desarrollarlos, desde la época (no tan lejana, hará 30-40 años) en que el coste de los equipos inició su acelerada reducción relativa. Así, las técnicas y métricas más o menos refinadas de valoración-presupuestación de sistemas de información se han basado en la valoración-presupuestación del software (SW), quizá mayorándolo con un coeficiente para cubrir otros costes.
Los métodos usados intentan generalmente establecer una correlación entre el trabajo necesario (en horas-persona o meses-persona de un determinado perfil técnico) y una(s) métrica(s) del tamaño y complejidad del SW. Entre estas métricas está la clásica (y aun en uso frecuente) de la cuenta de líneas de código fuente —SLOC; los estimadores de complejidad o de entropía; CoCoMo de Boehm; y el más moderno FPA (Análisis de Punto Función), normalizado por ISO, cuyos estimadores son certificables.
Dichos métodos nos permiten, con mayor o menor precisión (y esfuerzo), estimar tamaños del SW, cantidad de recursos de desarrollo (meses-persona [4]) y plazos, pero no nos permiten gestionar una cartera de inversiones en informática ni menos aún una cartera de inversiones en la que las de informática compitan con otras como invertir en máquinas-herramienta o comprar una empresa. Para esto se han establecido otros métodos, a los que dedicaremos algunas entradas en las próximas semanas.
Notas y referencias
- https://en.wikipedia.org/wiki/Value. (URL consultado 20170917). Sorprende que no tenga versiones en castellano ni catalán.
- Excepcionalmente, en el caso de un comerciante, sería su valor de cambio.
- Aquí ya estoy haciendo una gran simplificación, pues —en las decisiones de vendedor y comprador— el coste tiene gran influencia, pero no es determinante.
- Al referirme a “meses.persona” no puedo dejar de recordar —y recomendar a quienes no los conozcan— los ensayos de Brooks Jr., F. P. (1975). The mythical man-month. Essays on Software Engineering. Addison-Wesley Publishing Company Inc. Si el Capítulo 2 (con el mismo título que el libro) es interesante, el Cap. 1: “The Tar Pit” [El Pozo de Brea] debiera ser de lectura obligatoria.
Manolo Palao Garcia-Suelto es colaborador docente de las asignaturas de Planificación y Dirección Estratégica de Sistemas de Información de la Universitat Oberta de Catalunya y miembro de ISACA y del ITTrends Institute.
IoT Solutions World Congress, las novedades en el sector del Internet de las Cosas
Barcelona acogió, del 3 al 5 de octubre, una nueva edición del congreso Internet of Things Solutions World Congress (IoTSWC), organizado por la Fira de Barcelona en el recinto de Gran Vía. Otro año más ha sido uno de los certámenes de referencia en soluciones de Internet of Things (IoT) y todas las áreas de negocio relacionadas. El IoTSWC ha combinado sesiones de conferencias con una extensa área de exposición en la que los testbeds y demos han tenido un protagonismo especial. Igual que en la anterior edición, las soluciones IoT para las Smart Cities han tenido una gran visibilidad, junto con la aplicación de IoT en la industria, y la presencia cada vez más importante de empresas cuyo foco de negocio es el cloud y la seguridad en IoT.
Esta edición del IoTSWC ha demostrado la madurez del sector de las Smart Cities, en la que los principales operadoras de telecomunicación han seguido ofreciendo sus soluciones para la ciudad inteligente. Desde aplicaciones de alumbrado inteligente, pasando por “smart beacons” capaces de proporcionar información de la ciudad de forma personalizada, hasta aplicaciones de eficiencia energética y monitorización ambiental, parece que las Smart Cities han adoptado plenamente las soluciones IoT como parte esencial para generar valor en la ciudad. Junto con las ciudades inteligentes, este año también se han podido ver soluciones IoT para la automatización del hogar, especialmente dedicadas a la climatización inteligente y al uso de la voz para el control de los dispositivos que en él se encuentran, en lo que parece el inicio de un sector prometedor.
Otro de los ámbitos de aplicación de IoT con gran presencia en esta edición ha sido el cloud y la seguridad. Por un lado, actores tan importante como Google, Microsoft o Intel han mostrado soluciones para transportar los datos desde dispositivos IoT a la nube, y explotar las capacidades del big data y el análisis de datos en la nube. Por otro lado, un gran número de pequeñas o medianas empresas han empezado a ofrecer soluciones de seguridad y privacidad, tanto a nivel hardware como software. No es casualidad que este año se haya celebrado el Blockchain Solutions Forum junto al IoTSWC, ya que esta tecnología puede ser clave en la mejora de la seguridad en IoT.
Uno de los sectores que han irrumpido con fuerza en este IoTSWC es el de las aplicaciones industriales, o Industria 4.0. De hecho, la asociación americana Industrial Internet Consortium ha co-organizado este año el IoTSWC, y se ha podido comprobar como el IoT Industrial (IIoT) está empezando a transformar industrias y modelos de negocio gracias a mejoras en la eficiencia de producción y la reducción de costes. Soluciones de digital twin, en el que una máquina se puede replicar en un modelo de software digitalizando parte del proceso productivo, o soluciones de mantenimiento predictivo, han tenido gran protagonismo en esta edición.
Como conclusión, en esta edición del IoTSWC se ha podido comprobar la madurez del sector de las Smart Cities, la irrupción de la Industria 4.0, y la presencia de soluciones de seguridad y privacidad para IoT. A destacar también la gran cantidad de pequeñas empresas o start-ups con productos muy especializados, aprovechando el auge y proliferación del IoT. Este IoTSWC ha tenido también espacio para introducir las novedades en redes de nueva generación como por ejemplo 5G, y avances en estandarización, siendo un aspecto clave para la creación de servicios, normalización e interoperabilidad del IoT. Por último, se han empezado a ver dispositivos y aplicaciones funcionando sobre Narrow Band IoT (NB-IoT), que seguro tendrá un mayor protagonismo en la próxima edición del IoTSWC.
Joan Melià es Ingeniero de Telecomunicación por la Universitat Politècnica de Catalunya, y Doctor por la Universidad Oberta de Catalunya. Actualmente trabaja como profesor en la Universitat Oberta de Catalunya, donde participa en el Posgrado en “Smart Cities: Ciudad y Tecnología”.
Carlos Monzo es Ingeniero de Telecomunicación y Doctor por la Universidad Ramon Llull. Actualmente trabaja como profesor en la Universitat Oberta de Catalunya, donde es el Director académico del Posgrado en “Smart Cities: Ciudad y Tecnología”.
¿Beneficios para qué?
Tuve un jefe que decía que la gente invierte en informática 1) para ganar dinero, 2) para ahorrar dinero y 3) para hacer su vida más fácil. Gane y Sarson son famosos en la ingeniería del software por su contribución temprana al análisis y diseño estructurado y fueron quizá los primeros autores en representar un diagrama de flujo de datos de uso general; pero también produjeron un modelo de análisis de beneficios que se llama IR-AC-IS, que viene a decir lo mismo que mi jefe, o sea, que la gente hace proyectos que aumentan sus ingresos (Increased Revenue), reducen sus costes (Avoided Costs) o mejoran el servicio interno o externo (Improved Services).
La notación original de Gane y Sarson
Parker y Benson, dos económetras, establecieron una taxonomía de más de 100 tipos de beneficios que pueden obtenerse de la TI para el negocio. El PMI distingue entre dos categorías: beneficios para la eficacia (effectiveness) y beneficios para la eficiencia (efficiency). Las últimas versiones de Val-IT y de COBIT incluyen un modelo de identificación de beneficios que aspira a hacer un plan estratégico de SI, una gestión integral del portfolio o la preparación de un caso de negocio de una inversión en IT… en un fin de semana (intento ser irónico en materias de iglesias y religiones).
Por mi parte, he sugerido y estoy aplicando en algunos trabajos la conveniencia de incluir en el modelo IR-AC-IS (que encuentro más sencillo y comprensible), una categoría de beneficios relacionados con el cumplimiento de obligaciones legales o reputacionales (el compliance), o sea lo que aparentemente no podemos dejar de hacer para seguir en el negocio. Son objetivos de mitigación de riesgos (llamémosles Reduced Risks, RR).
Sólo los argumentos cuantificables permiten defender un proyecto delante de los comités de inversión y luego comparar el resultado con los beneficios esperados (a través de ejercicios de revisión de beneficios o de auditorías de post-implantación). Es claro que los dos primeros (ganar dinero o ahorrar costes) deberían ser clara y directamente cuantificables, como pedía Manolo Palao en un comentario a propósito de mi post anterior.
Con relación a la gestión de riesgos, la presión regulatoria y algunos lobbies profesionales han venido produciendo últimamente una enorme literatura y conjuntos de prácticas, incluida una norma ISO y muchos indicadores.
El tercero (mejorar el servicio) puede ser un poco más subjetivo y cualitativo, pero también se puede cuantificar casi siempre mediante algunos proxys. Por ejemplo, no sabemos cuántos clientes ganaremos o repetirán o nos recomendarán si implementamos un mejor sistema de atención, pero sí que podemos cuantificar el coste de adquirir o fidelizar un cliente, con o sin el sistema propuesto.
En realidad, la gestión de beneficios no es principalmente una técnica de análisis de inversiones sino un instrumento para el gobierno de TI (sobre el que se publicaba aquí un post estupendo la semana pasada): una manera de obtener un acuerdo y un compromiso de la dirección y un consentimiento (más o menos feliz) del resto de la organización sobre el destino y la utilidad del dinero empleado en informática.
José Ramón Rodríguez es profesor de dirección de las TIC en diferentes programas de la UOC y consultor independiente. Investiga la planificación y gestión de proyectos de transformación empresarial facilitados por los sistemas y tecnologías de la información.
Margaret Hamilton, la primera ingeniera de software
Coincidiendo con el Día internacional de Ada Lovelace, que este año se celebra el 10 de octubre para conmemorar los logros de las mujeres en ciencia, tecnología, ingeniería y matemáticas (STEM – del inglés “science, technology, engineering and maths”), tal como os explicamos en esta entrada, hoy queremos hablaros de Margaret Hamilton.
Margaret Hamilton (Estados Unidos, 1936), licenciada en matemáticas y diplomada en filosofía, es considerada la primera ingeniera de software. Y no solo eso, también es la mujer que llevó al hombre a la luna! ¿Queréis conocer su historia?
En 1959 comenzó a trabajar en el proyecto MAC (Mathematics And Computers) del MIT, desarrollando programas para hacer predicciones meteorológicas. Más adelante, trabajó en el proyecto SAGE, que permitía controlar el espacio aéreo de los Estados Unidos.
En 1963 se incorporó en el laboratorio Charles Stark Draper, también del MIT, donde debían desarrollar el software de navegación “a bordo” para el Programa Espacial Apolo. En 1965 se hizo cargo de la dirección del equipo de desarrollo, que en 1968 estaba formado por más de 400 personas.
Hamilton planteó la misión como un sistema que debía integrar tres componentes (el software, el hardware y las personas que lo iban a usar), teniendo en cuenta la interacción entre estos componentes y cómo esa interacción podría afectar al funcionamiento del sistema. Hamilton defendía la necesidad de diseñar programas a prueba de errores. Esta forma de pensar la llevó a crear un sistema que permitiera dar prioridad a las funciones imprescindibles, descartando las que no lo eran. Gracias a este hecho, el Apolo 11 pudo evitar una crisis en el momento del alunizaje, cuando la computadora se vio sobrecargada y se tuvieron que priorizar las funciones más importantes.
En 1986 fundó su propia compañía, Hamilton Technologies Inc., que se desarrolló alrededor del Lenguaje Universal de Sistemas basado en su paradigma de “Desarrollo antes del hecho” (DBTF del inglés Development Before the Fact) para sistemas de diseño de software.
Hamilton fue una pionera de la ingeniería del software, ella es la primera persona que acuñó este término (que se adoptó formalmente durante la NATO Software Engineering Conference, celebrada en 1968, ¡hace casi 50 años!) y trabajó por su reconocimiento cuando el software se consideraba “arte y magia”. Como tal pionera, el trabajo de su equipo en el proyecto Apolo abrió algunos de los conceptos básicos que luego se han consolidado a la ingeniería del software de sistemas informáticos críticos, como la tolerancia a fallos, el diseño optimizado de interfaces, las arquitecturas abiertas de sistemas de software y el análisis y modelización de sistemas y procesos, entre otros.
Sus contribuciones científicas y técnicas han merecido importantes premios, como el Augusta Ada Lovelace (1986), concedido por la Asociación para la Mujer en Tecnología a las mujeres que han hecho destacadas contribuciones en el campo de la informática; el Premio de la Acción Excepcional de la NASA (2003) por sus contribuciones a la misión del Apolo 11; y la Medalla Presidencial de la Libertad, el más alto galardón que se puede conceder a un civil en Estados Unidos de América (2016). Próximamente, será investida doctora “honoris causa” por nuestros colegas de la Universitat Politècnica de Catalunya.
¿Queréis contar esta historia a l@s niñ@s? No os perdáis el precioso cuento Margaret and the Moon.
Elena Planas es Ingeniera en Informática y Doctora por la Universitat Politècnica de Catalunya. Actualmente es profesora de los Estudios de Informática, Multimedia y Telecomunicación (UOC), donde es responsable de asignaturas del área de Ingeniería del Software, e investigadora del grupo del SOM Research Lab (UOC-IN3).
