-Mi visión es bastante negativa. Un lugar común entre los profesores de la Universidad es decir que los alumnos cada vez llegan peor preparados. No es culpa de los alumnos sino del sistema que no funciona bien, no prima la cultura del esfuerzo. Se dan circunstancias tan perversas como que los políticos entiendan por fracaso educativo el número de suspensos y con medidas como la que pretendió poner en marcha la Junta de dar incentivos a los profesores según el rendimiento, entendido como el número de aprobados, se solventa el problema. El problema no es que haya más o menos suspensos, sino que haya gente con mayor o menor formación. La formación media del alumno que entra en la Universidad es mucho más baja que la de hace 15 ó 20 años.

Miguel Ángel Medina Torres, Catedrático de Bioquímica y Biología Molecular (entrevista en Málaga Hoy)

Pero no se preocupen: todo seguirá igual. Pocos poderes públicos están dispuestos a reconocer que esto está pasando, porque ellos son muy optimistas y muy buena gente y mu enrollaos; no como nosotros, que somos un puñado de malpensados y amargados, cuando no algo peor -ellos no dan clase, por cierto-.

Para más muestra, un botón especialmente cercano.

La Universidad pierde nivel y seriedad con tanta rapidez que, de ajustar una curva a alguna medida temporal del asunto, probablemente sería exponencial. Pero tengan en cuenta que esto es el blog de un don nadie -por suerte- y no han de hacerme mucho caso cuando digo estas cosas: es que yo soy alarmista, pesimista y seguramente tengo alguna disfunción en la pestaña veinticinco.

Además, a los alumnos de los cursos universitarios que listan aquí no se les va a exigir que sepan lo que es una curva exponencial, que es algo que no sirve para nada en la vida (se lo digan a los banqueros), al contrario que el Reiki, la astrología o la homeopatía.

Los de ese enlace son casos extremos por lo llamativo, salvo para los cargos universitarios que han permitido que existan, a quienes por supuesto les resultarán de lo más lógico, ético y formativo. Hay bastantes más situaciones de descerebre que éstas, no tan llamativas y que probablemente no sean portada nunca -los aprobados por procedimiento administrativo o la evaluación del profesorado por el porcentaje de alumnos que aprueba, por poner sólo un par de ejemplos al azar-. Han de recordar ustedes que en este país en el que la mediocridad mola mazo, en el que al verdaderamente excelente (no me refiero a esa patochada de la excelencia que venden ahora en las universidades) se le castiga y hunde de mil formas y desde mil frentes distintos para que no se atreva a provocar la envidia y el descontento de los que no son capaces, aprendemos desde muy chicos que todos somos iguales, por muy diferentes que parezcamos, y nos llega a importar todo bastante poco, menos el mundial de Sudáfrica.

Así que nuestro futuro promete. Mucho. Permanezcan atentos en los próximos diez o veinte años a sus universidades favoritas, y en general a la preparación intelectual de su ciudadanía en todos los niveles educativos. Les aseguro que van a divertirse de lo lindo. Mientras tanto, les dejo aquí abajo una analogía para que la completen como gusten.

No, no se trata de exigir más, que eso es de elitistas asquerosos, ni de fomentar el esfuerzo y la responsabilidad, que eso es de fachas, ni suspender a quien se lo merezca y aprobar a quien no, que eso es ya directamente de neonazis.

Qué va. Lo que necesitamos realmente para que nuestros adolescentes lleguen bien preparados a la Universidad o al mundo real (sabiendo hacer reglas de tres y esas cosillas) es esto.

Por supuesto, también encaja con las necesidades de austeridad para esta región del país tan próspera, especialmente en épocas de recesión o desconsuelo.

Me resulta curioso ver que los “diseñadores boloñeses” que insisten en que una nota numérica no puede reflejar clara y objetivamente los conocimientos de un alumno son los mismos que no encuentran reparos en establecer el porcentaje de aprobados de una asignatura (que es una función de las notas numéricas) como indicador claro y objetivo de los defectos o virtudes del profesor…

Hacía tiempo que no escribía una nota técnica, y como el otro día se me ocurrió una idea metarreferencial de las mías (en particular, aplicar la regla de Bayes para estimar la nota más probable de un alumno en base a sucesivas notas de evaluación continua… en una asignatura bastante basada en Bayes), me parece interesante dejarlo escrito por aquí.

EL ESCENARIO

El escenario es el siguiente: tenemos un grupo de alumnos que son evaluados a lo largo de una asignatura veces. Supongamos que la evaluación i-ésima del alumno j-ésimo produce una nota . La cuestión es: dado que al principio no sabemos nada de la nota final que deberíamos asignarle al alumno j-ésimo, y dadas las notas que ha sacado en cada una de las evaluaciones intermedias (junto con una incertidumbre sobre las mismas), ¿cuál es nuestra certidumbre sobre la nota que debería tener finalmente? A partir de ahí, ¿cuál debería ser su nota final?

Ahora dejaremos de lado el superíndice “j” que identifica el alumno, porque supondremos que las notas de un alumno son independientes de las de los demás (suponemos que no se copian durante las pruebas de evaluación). Así, tenemos sólo un alumno con notas intermedias denotadas . Cada nota asignada a un alumno, por muy mal que quede decirlo, tiene una incertidumbre asociada. Sí, la vida es así de dura y casi ninguna cosa se puede calificar con certeza.

Para cada alumno podemos definir la probabilidad (o mejor dicho, “verosimilitud” o “likelihood”) de que, dado que sus conocimientos y desempeño en el examen se corresponden con una calificación , obtenga cualquiera de las otras calificaciones. En un soporte continuo entre 0 y 10, se podría modelar bastante aceptablemente con una gaussiana, que asume que el error es simétrico (se le puede calificar más alto o más bajo con la misma probabilidad), con la media situada en la nota real que el alumno debería tener y la varianza, suponiendo un profesor con cierta experiencia, no demasiado grande (vamos a poner que para ese tipo de profesor la nota caería entre dos puntos por debajo y por encima de la media el 95% de las veces):

En la figura hemos mostrado una gaussiana con media y desviación estándar , con resolución de una centésima de punto y normalizada para que la integral en el soporte (que está restringido a ) sea 1. Algebraicamente sería:

Falta por definir qué conocimiento tenemos sobre la incertidumbre de la nota final del alumno cuando todavía no hemos observado sus notas intermedias (probabilidad a priori). En nuestro caso, suponemos que el profesor no tiene ningún dato sobre el alumno (si lo tuviera, podría incorporarse como una nota intermedia más), y por tanto el “prior” sería una distribución uniforme sobre todas las notas: .

Para terminar de establecer el escenario, haría falta saber si las notas intermedias se influyen unas a otras. Es decir, si el hecho de que el profesor puntúe a un alumno de cierta manera en una nota influye en cómo le puntúe en las demás. Nadie está libre de ser influenciado por la historia previa del alumno, especialmente conforme se avanza el curso y se tiene información sobre éste. Como hay un número finito de notas intermedias, se podría hacer el razonamiento en el caso de que exista esta deriva, pero para simplificar los razonamientos posteriores, supondremos que no, es decir, que .

EL ESTIMADOR

Ya que tenemos todos los elementos, podemos plantearnos cómo estimar la nota final del alumno, junto con la incertidumbre que deberíamos asociarle, usando la regla de Bayes. En particular, incluyendo la independencia entre las notas intermedias y el hecho de que su probabilidad conjunta es la misma para cualquier valor que la nota final pudiera tomar, el reverendo Bayes nos diría que:

Si sustituimos la verosimilitud por la gaussiana que habíamos definido y el conocimiento a priori por la uniforme (que queda absorbida por la proporcionalidad), nos queda:

Reagrupando términos llegamos a:

Es decir, que la forma resultante para la incertidumbre que tenemos en la nota final se parecerá muchísimo a una gaussiana (puesto que para todo excepto en las notas extremas o si es muy grande, será muy próximo a 1), con media la media de las notas intermedias () y varianza la de la incertidumbre de las notas intermedias reducida por el número de éstas (), con lo que, a más notas intermedias disponibles, menor incertidumbre tendremos, como es lógico.

Esta ecuación nos dice la forma de la incertidumbre en la nota final, dadas las notas intermedias y nuestro desconocimiento inicial. La nota final puede estimarse a partir de ella de varias formas. El estimador más común es el MMSE, que trata de minimizar el error cuadrático medio entre el valor de la estimación y el valor real, y en nuestro caso (unimodal) coincide con otros estimadores, como el MAP y el MED. El MMSE no es otra cosa que la esperanza de la probabilidad a posteriori mostrada anteriormente, con lo que si quisiéramos estimar la nota final a ponerle al alumno, debería ser muy parecido a la media de sus notas intermedias.

Entonces, ¿qué hemos ganado? Pues que este estimador, al contrario que la media de las notas, nos dice la forma de la incertidumbre que deberíamos tener en nuestra calificación final (que no es exactamente una gaussiana centrada en la media de las notas intermedias). Si el profesor quisiera ser conservador, podría usar como estimador el límite superior del intervalo de confianza del 95% de la incertidumbre de la nota final, por ejemplo.

Aquí abajo pongo tres ejemplos de estimación (la raya roja) de nota final en base a 7 notas intermedias, para un alumno malo, otro medio y otro bueno, con un profesor medianamente experto (). Como se ve en las figuras, la incertidumbre es menor que la que tenemos en cada calificación intermedia, dado que hemos hecho varias observaciones (compárense con la figura del apartado anterior).

Obviamente, la incertidumbre se incrementa si tenemos pocas notas intermedias (obsérvese en las figuras cómo cuando las notas intermedias son más extremas o cuando hay mayor varianza, aparece diferencia entre su media y el resultado del estimador; esto es por el factor ):

o si el profesor no tiene mucha experiencia o está inseguro (, aunque obsérvese cómo la inseguridad del profesor no termina reflejándose por completo en la gráfica: es amortiguada por disponer de varias notas intermedias):

y tendremos más certeza en la nota final que ponemos si medimos muchas notas intermedias (en este caso 25 alrededor del 6):

o si el profesor tiene mucho acierto al ponerlas (en este caso, ):

AFINANDO

Las suposiciones que hemos tomado en el razonamiento anterior son:

1. El error que comete el profesor al puntuar cada nota intermedia es un error de medida cuya incertidumbre puede modelarse bien con una función de densidad gaussiana.
2. El profesor no aplica ningún conocimiento para estimar a priori la nota final del alumno, antes de observar las notas intermedias.
3. Los alumnos no se copian.
4. El profesor no es influenciado por las notas intermedias anteriores a la hora de poner la siguiente nota intermedia.

En general son suposiciones razonables, y, por tanto, el modelo propuesto debería ajustarse suficientemente bien a la realidad. Sin embargo podemos relajar alguna de ellas, por ejemplo la no-influencia de las notas anteriores en la calificación de las siguientes, y proponer los primeros pasos bajo esa relajación.

Antes hemos supuesto que esta influencia es nula: . Si no lo fuera, tendríamos en su lugar:

Como se ve en esta cadena, el último factor sería equivalente a la gaussiana que hemos usado antes para la verosimilitud (el profesor no se vería influenciado por nada en la primera nota salvo por la evidente relación entre ésta y lo que el alumno realmente merece), pero a partir de ahí necesitaríamos un modelo nuevo para su labor de corrección de las restantes, que dependería de las notas ya puestas, no sólo de la nota que el alumno merece.

Lo más lógico parece suponer que el profesor se vea influenciado por la media de las notas anteriores y la que el alumno merece. De hecho sería aún más fino suponer que el peso en esa media de las notas anteriores es mayor que el de la nota que el alumno realmente merece (siempre impresionan más las notas que uno ve que la supuesta verdadera nota). El modelo que nos falta sería entonces:

Hemos llamado a la media ponderada de las notas anteriores a la k-ésima y la nota real, y a la desviación estándar del error del profesor (alrededor de esa media) cuando es influenciado por las k-1 notas disponibles, que es lógicamente menor conforme más notas disponibles tiene.

El producto completo sería entonces:

Siguiendo a partir de aquí el mismo razonamiento que en las secciones anteriores, se llega a algo muy parecido a una gaussiana. Se deja al valiente que ha llegado hasta aquí deducir en dónde estará centrada y qué varianza tendrá (seguramente menor debido al escalado de la varianza que hemos introducido).

…lo demuestra enfrentándose a lo que quiere, de cara, a pesar de estar al tanto de su dificultad. Esto no es muy común verlo. Por eso le alegra a uno sobremanera asistir en primera persona al momento en que un estudiante se atreve a enfrentarse a un problema para el que han recibido poca formación pero que le resulta interesante, con el único fin de ampliar sus conocimientos.

Esto de aquí abajo es una versión ya antigua de un prototipo que ha realizado un alumno que quería aprender algo más y que ha ido construyendo paso a paso, con esfuerzo y bastantes tropezones (de los que ha salido muy bien), hasta llegar a algo que realmente funciona. Si hubiera cursado otra titulación es posible que el resultado no fuera considerado nada del otro mundo, pero desde luego sí es más que llamativo en la suya. El aspecto (y mi foto) no es muy bueno; si lo pongo aquí es porque no es lo que importa en todo este asunto…

En menos de cinco segundos, adivine a qué segmento de la escala educativa (a-infantil, b-primaria, c-secundaria, d-formación profesional, e-universidad) pertenece el edificio cuyos baños albergan esta maravilla de la literatura escrita con rotulador rojo:

[...] Nadie era poco agraciado; no se permitía que nadie fuera feo; nadie podía ser muy diferente de los demás. En el colegio, los alumnos tontos sacaban las mismas notas que los listos, de modo que los archiveros educativos hacían unas pequeñas marcas secretas en las fichas, por si se daba la circunstancia de que alguien importante necesitaba una referencia verídica. [...]

Las Siete Margarets, Sheri Tepper
(Colección Nova Ciencia-Ficción, Ediciones B, 2010)

En esta noche de insomnio, posiblemente fruto de ese insomnio, pero también del conocimiento profundo y de primera mano sobre las barbaridades que yo mismo hice como alumno en su día (de las que me arrepiento), y de la convicción cada vez mayor de que no se le puede obligar a nadie a hacer lo que no le va a dar la gana hacer (de hecho suele obtenerse el efecto exactamente contrario), me ha dado por pensar en soluciones docentes innovadoras, y qué menos que compartirlas con las dos personas que suelen leer este blog (perdón, bitácora) a menudo.

En los tiempos que se avecinan, en que va a valorarse más o menos directamente (más más que menos) el “éxito” de una asignatura no por lo que los alumnos que quieran aprender realmente aprendan, sino por, entre otras exquisiteces, el número de aprobados y el número de presentados a examen, que como cualquiera puede intuir son estimadores fuertemente consistentes del “éxito”, se me ha ocurrido una manera de que los profesores a quienes aún les quedan ganas de conseguir que los alumnos que quieren aprender, aprendan, no se vengan abajo del todo y puedan salvaguardar algo de honestidad y coherencia. Así podrán quizás conservar el ánimo más o menos intacto para cuando sean mayores y no les sea permitido jubilarse, que es algo que les podría venir muy bien.

La solución es simple: se diseñarían dos itinerarios para cada asignatura, que paso a describir a continuación.

-El itinerario “A” (nótese como se le asigna la primera letra del alfabeto, como para darle un toque de distinción -en la letra-) consistiría en que, un poner, por asistir a clase o por trabajitos o examencitos muy sencillitos, o por debatir amigablemente, o todas esas cosas a la vez -pero qué exigente me estoy poniendo-, se garantice el aprobado. Y nada más que el aprobado, por supuesto, puesto que por esas cosas tan sencillas no se podría distinguir mayor detalle en el rango de notas. Si no se llegaran a cumplir estos requisitos, suspenso que te crió.

-El itinerario “B” consistiría en un examen final único e intensivo de todo el contenido de la asignatura, cuya preparación se vería facilitada (sólo la preparación, malpensados) por parte del profesor aportando el material necesario: bibliografía, ejercicios resueltos, tests de autoevaluacion, tutorías, y cuantos elementos pudieran ser útiles para superar tal examen, de manera exhaustiva y puntual desde el primer día de clase. Incluso con un planning de trabajo para el alumno, si se quiere “bolonizar” el asunto un pelín. Puesto que es probable que el itinerario “B” resulte bastante más exigente que el “A”, habría que aplicar un adecuado factor de corrección en la evaluación. Por ejemplo, quienes lo suspendieran estarían obviamente suspensos, pero quienes aprobaran el examen del itinerario “B” tendrían como mínimo notable; sobresaliente si sacaran notable; matrícula si sacaran sobresaliente y la normativa les dejara tener matrícula por no saturar el porcentaje de matrículas por curso que está permitido; y matrícula con caramelo de menta de regalo en caso de sacar ya de entrada matrícula y cumplirse el punto anterior.

Por supuesto, este plan sería flexible, transversal y dinamizador: en cualquier momento cualquier alumno (¡o alumna, so machista!) podría pasarse de un itinerario a otro con sólo indicarlo por escrito o con su firma electrónica en el ordenador portátil de última generación que el erario público habría puesto a su disposición (el primer día de clase tendrían que establecer por primera vez sus preferencias, claro). Es importante señalar esto: el asunto sería responsabilidad exclusiva del alumno, privando al profesor por todos los medios concebibles de la posibilidad de ejercer acción coercitiva alguna que pudiera cambiar estas decisiones. Se podría argumentar que pasarse al itinerario “B” desde el “A” supondría un hándicap cuando ya hubiera transcurrido una parte importante del curso, pero esta posibilidad debe verse como una ventaja que se les proporcionaría a los alumnos, no un inconveniente: podrían haber escogido el “B” desde el principio. Igualmente podrían abandonar el “B” hasta el último día de clase, inclusive, con sólo indicarlo: de nuevo sólo ventajas.

También habría que implantar el sistema con la debida protección a los datos personales de los alumnos, de manera que ninguno pudiera consultar en un tablón ni web ni documentos públicos (actas) la asociación de los susodichos a los itinerarios, para no crear así posibles traumas y comparaciones, que, como todo el mundo sabe, son odiosas.

Estoy bastante convencido de la situación resultante que generaría tal plan; en particular de qué alumnos optarían por el itinerario “A” y cuáles por el “B” (estadísticamente hablando), e incluso me atrevería a hacer una serie temporal aproximada. También estoy convencido de que los profesores con inquietud porque los alumnos deseosos de aprender, aprendan -recordemos que los alumnos universitarios son personas mayores de edad-, quedarían bastante satisfechos tanto por los resultados obtenidos como por la posibilidad de concentrar sus esfuerzos allí donde se necesitan (aunque esa parte del “éxito” de la asignatura no quedaría reflejada en estadísticas oficiales, probablemente). Y claro, los alumnos deseosos de aprobar con el mínimo esfuerzo también quedarían contentos, al menos durante lo que durara su paso por la Universidad (la vida real es otra cosa, pero ellos -personas mayores de edad, ¿lo había dicho ya?- ya hicieron su elección, y cualquier persona mayor de edad debe saber que toda elección tiene consecuencias que hay que asumir). Para terminar, los índices de calidad de la Universidad, basados en la nueva definición de “éxito” que se está imponiendo en los últimos años, subirían como la espuma, y las posibles futuras acreditaciones del profesor, para las que ya están pidiendo encuestas de alumnos y otros materiales parecidos de gran valor objetivo a la hora de evaluar su calidad docente, no podrían verse sino facilitadas.

Como además hay que fomentar el uso de soluciones abiertas en docencia e investigación universitarias (como la habitual valoración por publicaciones científicas que indexa una empresa privada), este plan tiene una licencia de Creative Commons, así que sólo queda que alguien se atreva a implantarlo y me cuente, porque esto de no verle ningún fallo a un plan siempre me ha dado muy mala espina…

El “Acuerdo del Consejo de Gobierno [de la Universidad de Málaga] por el que se aprueban las normas reguladoras de la realización de las pruebas de evaluación del rendimiento académico de los estudiantes de enseñanzas oficiales de primer y segundo ciclo” ha sido remitido para su publicación en BOJA y posterior aplicación a partir del curso próximo.

Me ha resultado de especial interés el artículo 13, por el que habrá ciertos estudiantes que podrán aprobar una asignatura a pesar de suspender sus exámenes insistentemente; obviamente no en base a un examen, pero sí en base, entre otros, al percentil de aprobados de la asignatura. Es fácil imaginar lo que podrían pensar algunos alumnos de esa posibilidad de superar una asignatura, cuando se enfrenten a una que les resulte difícil.

También el artículo 2, sección “Programación Académica”, punto e, en el que se dice que se publicará, previamente a cada curso, una programación docente de cada asignatura con información sobre la misma (eso ya se hace ahora), lo que incluirá el porcentaje de éxito de los alumnos en esa asignatura durante los últimos tres años (eso no se hace ahora). No sé qué se entiende por “porcentaje de éxito” (probablemente porcentaje de aprobados), pero es aquí igualmente fácil imaginar a qué conclusiones podrían llegar algunos a la hora de decidir si matricularse de una asignatura optativa u otra. Sí que hay que reconocer que este punto “sólo” viene a dar forma de norma a, y por tanto fomentar, lo que más o menos venía sucediendo ya en la práctica.

Un documento, por tanto, de recomendable lectura.