Jorge Vaca Uribe^*

La conmoción que está causando, en México en general y en Veracruz en particular, el procesamiento paulatino de los resultados alcanzados por los jóvenes de 15 años en las pruebas de alfabetización en lectura y en matemáticas, está generando una serie de acciones educativas, reflexiones e investigaciones de interés indudable.

Antes que nada, quiero decir que celebro que esto suceda, porque por primera vez en mucho tiempo se debe reconocer que algo anda mal, y quizá muy mal, en la educación nacional y estatal. Sin embargo, puede suceder que esa idea de hacer de la evaluación un instrumento para el cambio sea más bien ingenua, en un sistema político y burocrático experto en maquillaje de datos; maquillaje que, sin embargo, puede incrementar el capital político de uno que otro funcionario... Tenemos la oportunidad de reorientar la educación y tenemos la evidencia de que eso es necesario. Podemos tomarlas y trabajar genuinamente para los estudiantes, las escuelas, los maestros y los investigadores, o podemos, en cambio, buscar la manera de darle la vuelta al problema y, sin embargo, “triunfar”.

Una manera de tratar de darle la vuelta al problema es muy similar a lo que sucede con la “práctica de los cuestionarios”: un estudiante pudo no haber sido muy constante y pudo no haber entendido muchos temas de estudio durante un curso. Sin embargo, trabajar, al final del año, con los cuestionarios comprados (en el mercado negro o gris) muchas veces por indicación de las propias escuelas y/o los maestros, permite a ese estudiante pasar los exámenes, aunque no aprender. “Cuestionario” podría ser un término por incorporar al Prontuario de la corrupción en México, de Tomás Dehesa.

¿Queremos que los alumnos aprendan lo que tienen que aprender, que puedan hacer lo que se supone pueden hacer después de 10 años de escolarización o queremos que “aprueben” los exámenes internacionales? ¿Vamos a resolver el problema “a la mexicana”, o le vamos a entrar en serio?

Por nuestra parte, queremos empezar a colaborar con la solución, desde nuestro puesto de batalla, que es el de la investigación. Por eso, queremos expresar, en este documento urgente, algunas reflexiones que nos parece que vale la pena comenzar a difundir. El problema es de tal magnitud que es necesario hacerlo entre muchos. Por eso, no queremos esperar a que pasen dos, tres o cinco años a que acabemos de hacer nuestros planteamientos desde una plataforma académica, y luego publicarlos. Si, en cambio, compartimos algunas de las reflexiones, otros pueden valorarlas y, eventualmente, trabajarlas.

En este pequeño ensayo nos proponemos expresar algunas reflexiones que giran en torno a las siguientes preguntas: ¿Puede una sociedad de tradición oral aún muy vigente en la vida cotidiana obtener globalmente puntajes elevados en las pruebas PISA? ¿Es la lectura una habilidad (o un conjunto de habilidades)? ¿Es objetivamente medible la “habilidad” de lectura?

Por supuesto que las tres preguntas están relacionadas, pero abordémoslas una por una.

1. ¿Puede una sociedad de tradición oral aún muy vigente obtener globalmente puntajes elevados en las pruebas PISA?

Jean-Marie Besse –estudioso francés de la apropiación de la lengua escrita por parte de niños, jóvenes y adultos llamados “iletrados”– retrata algo de lo que sucede de hecho en las sociedades europeas respecto de la necesidad de servirse de la escritura en la vida cotidiana:

Así, nuestras sociedades se sirven más y más de la escritura para facilitar la autonomía individual: desde hace algunos años, muchas administraciones o empresas permiten acceder a sus servicios sin tener ningún contacto humano; así pasa para comprar un boleto de tren o de avión, para retirar efectivo de los cajeros automáticos del banco, comprar gasolina con ayuda de una tarjeta en estaciones de servicio abiertas las 24 horas, para ocupar un cuarto de hotel, para administrar una cuenta y el correo desde la computadora. Sin duda, esos usos modernos de la escritura requieren una capacidad de situarse en consignas, de “navegar” entre diversas informaciones; en resumen, de utilizar “textos” complejos. Pero la escritura, hoy, permite evitar el encuentro con el otro. (Besse, 2003, p. 203)

Este es un acercamiento al marco social de los países pertenecientes a la Organización para la Cooperación y el Desarrollo Económicos (OECD, por sus siglas en inglés), y por eso las pruebas se orientan a saber si los jóvenes pueden usar la lengua escrita en contextos funcionales, prácticos, además de probar otros contextos. En esas sociedades se requiere ese manejo, y evidentemente los niños crecen en él: ven a sus papás, tomados de su mano, comprar boletos de tren o avión en máquinas dispensadoras automáticas; los ven así, cotidianamente, retirar dinero de cajeros automáticos, comprar gasolina en gasolineras automatizadas y consultar sus correos electrónicos en sus computadoras del hogar o del trabajo.

En México, en cambio, la gran mayoría de las personas no viaja, ni en tren ni en avión; cuando mucho en camión, y compran su boleto, por lo regular, en una ventanilla atendida por una persona, más o menos amable, que indica “oralmente” los horarios opcionales, precios, disponibilidad, etc. En México, la gran mayoría de la gente no tiene cuentas bancarias que administrar ni tarjetas para retirar efectivo de los cajeros y, cuando tienen que acudir al banco, se encuentran nuevamente con funcionarios o personal que les orienta “verbalmente”. Ya ni siquiera hay que llenar las fichas de depósito y retiro. Una proporción muy baja de mexicanos tenemos automóvil propio y, de esos, menos conocemos gasolineras totalmente automatizadas (de hecho, no sé si existan en el DF, pues soy felizmente provinciano por adopción pero donde yo vivo, Xalapa la bella, no hay ninguna). Siempre nos bajamos en la gasolinera y “cotorreamos” un poco con el despachador; comentamos sobre el clima y el tránsito; si nos ven de buenas y ellos lo están, le dan una limpiadita al parabrisas para que la propina aumente, pues muchas veces trabajan sin sueldo, ni siquiera mínimo. Finalmente, en México, es reducida la cantidad de gente que tiene línea telefónica en su casa; menor, la que tiene computadora y menor aún la que tiene servicio de internet.

Con los ejemplos anteriores, nuestro argumento puede quedar esbozado: en los países desarrollados, existe una organización tal que la alfabetización en lectura es INDISPENSABLE para la vida en sociedad y, además, los niños conviven durante su crecimiento con esas prácticas sociales de uso de la escritura, tomados de la mano de sus padres. Sabemos que la alfabetización, al menos la de los niños urbanos de clase media o superior, no comienza en la escuela, sino desde el hogar.

Por eso nos preguntamos si en sociedades como la de México, Guatemala, El Salvador, Argentina, que aún conservan y practican ciertas “tradiciones” orales, muchos contactos personales (afortunadamente), y que a su vez no están tan organizadas como para tener horarios de autobuses urbanos cuyo uso supone el dominio de la tecnología escrita, la gente desarrolla ciertas “habilidades” de uso de la lengua escrita.

En otras palabras: las pruebas PISA pueden ser muy “eurocéntricas” y, por lo tanto, estar necesariamente sesgadas hacia ciertas poblaciones que puntean bien, porque la lógica de la prueba coincide con la lógica social en la que crecen sus habitantes (entre otras muchas diferencias, como las escuelas, los sueldos de los maestros, etc.).

Seguramente, esa no es la única razón que explica las abismales diferencias entre las poblaciones y entre sub-poblaciones (compárese ahora Nuevo León –y recuérdese que todo Nuevo León es Monterrey– con Veracruz o Chiapas), pero creemos decididamente que aporta su grano de arena.

Si lo anterior fuera cierto, podríamos decir que es la organización social la que impulsa la lectura eficiente, y no a la inversa.

Cuando nace un niño, no se nos ocurre que no vaya a aprender a hablar eficientemente, que no desarrolle habilidades comunicativas orales. Cuando mucho, nos preguntamos si aprenderá a hablar más o menos rápido. Sucede así porque en nuestra sociedad, hablar es fundamental. Todo el mundo habla y se comunica eficazmente mediante el lenguaje: preguntamos a qué hora cierra la tienda, a pesar de que está escrito el horario en la puerta; preguntamos cuál camión nos lleva para... a los conciudadanos que esperan en la parada del camión (que muchas veces lo es por usos y costumbres y no porque esté bien señalada y mucho menos haya un techito...). Y, efectivamente, todos los niños aprenden a hablar su lengua (sin considerar casos específicos). Yo digo que todos aprenden a hablar porque todos necesitan hablar. Porque la sociedad, en sus diferentes esferas, nos lo exige. Lo mismo exactamente está sucediendo con la adquisición de la lengua escrita, aunque en las sociedades en desarrollo la escritura es mucho menos importante para la vida cotidiana. Hay ahí una línea de investigación y razonamiento.

2. ¿Es la lectura una habilidad (o un conjunto de habilidades)?

Planteamos esa pregunta no en un sentido puramente académico. La planteamos porque, en la operación misma de la prueba, en su diseño, en el proceso de generación de reactivos, etc., tendrá sus repercusiones.

Lahire (1997) nos recuerda que la lectura es un mito. Que esa palabra se aplica a tal diversidad de prácticas sociales, que es un abuso del lenguaje designarlas con la misma palabra.

Los ensayos de definición del “iletrismo” han sido, hasta ahora, dolorosos. Con definiciones aparentemente simples, cubrimos competencias muy variadas, múltiples prácticas de lectura y de escritura. En el fondo, nos percatamos de que si no podemos definir las competencias mínimas en materia de lectura y escritura, es porque ya no formamos parte de sociedades con alfabetización restringida. [...] Sin embargo, hoy, esas prácticas de escritura y de lectura son co-extensivas con el conjunto de prácticas sociales. Entre leer una novela o leer el horario del autobús, hay tal diferencia, que se puede considerar, ayudándose de Wittgenstein, que hay un abuso del lenguaje en emplear una misma palabra para designar realidades tan diferentes. [...] Existen diferentes formas de lectura que dependen de la naturaleza de los géneros discursivos leídos, de las funciones sociales de esas prácticas (leer para aprenderse algo de memoria, para recordar algo, para informarse, para soñar, etc., son prácticas muy diferentes) lo mismo que de las maneras de leer (lectura continua o discontinua, rápida o lenta, con o sin tomar notas, lectura como actividad principal o secundaria). (Lahire, 1996, p. 19).

Concebir la lectura como una habilidad, o conjunto de habilidades, persigue la ilusión de poder definir ese conjunto de competencias mínimas que todo lector debe tener o desarrollar.

En este punto, ya es muy interesante observar que, por un lado, se da crédito a la concepción de la lectura como una habilidad básica y, al mismo tiempo, se enfatiza en los programas y documentos oficiales en México el estudio de las prácticas sociales de la lectura y la escritura. Hay una contradicción, sin duda difícil de resolver.

Quizá valga la pena explorar algunas alternativas de conceptualización de la lectura y hacer un poco de historia de la psicología.

Es muy importante para nosotros discutir las implicaciones que se pueden extraer de concebir la lectura como una actividad o concebirla como una habilidad. Concebir la lectura de una manera o de otra tiene importantes implicaciones, que deseamos comenzar a develar.

La OECD-PISA define de maneras ligeramente diferentes la alfabetización en lectura (reading literacy) en los años 2000 y 2001. Además, la traducción al español introduce nuevos cambios. Veamos las definiciones (los señalamientos en negritas son nuestros).

En el año 2000:

Reading literacy: The capacity to understand, use and reflect on written texts, in order to achieve one´s goal, to develop one´s knowledge and potential and participate in society. (Organisation for Economic Co-operation and Development [OECD], 2000. p. 10)

Nosotros lo traduciríamos así: “La alfabetización en lectura [es] la capacidad para entender y usar textos escritos, además de la de reflexionar sobre ellos para lograr las metas propias, para desarrollar el propio conocimiento y potencial, así como para participar en la sociedad”.

En el año 2001 se define así:

Reading literacy is defined in PISA as the ability to understand, use and reflect on written texts, in order to achieve one´s goals, to develop one´s knowledge and potential, and to participate effectively in society. (OECD, 2001, p. 21)

Hay dos cambios en la definición: se adopta el término “ability” en lugar del término “capacity” (“habilidad” en lugar de “capacidad”) y se agrega el adjetivo “effectively” (de manera efectiva), a la participación en la sociedad.

En la traducción al español, el término “ability” es traducido como “capacidad”:

La aptitud para la lectura se define en PISA como la capacidad de comprender, emplear y reflexionar sobre textos escritos con el fin de lograr las metas individuales, desarrollar el conocimiento y potencial y participar eficazmente en la sociedad (OECD, 2002, p. 22).

La traducción al español que es pública nos parece desafortunada, pues no rescata dos aspectos importantes: la especificación de qué se entiende por “alfabetización en lectura”, como paralelo a “alfabetización en matemáticas” y “alfabetización en ciencias”. Evidentemente, se hace un uso del término alfabetización poco ortodoxo. Por otro lado, se hace muy circular la definición de lectura: la aptitud para leer es concebida como la capacidad de comprender, emplear y reflexionar sobre textos escritos. Trátese como una o como tres capacidades, se usan sinónimos en las definiciones. Es como si definimos a los perros como canes, y viceversa.

Quien habla de la lectura en términos de habilidades, capacidades, aptitudes e incluso facultades, está viendo el fenómeno, en este caso la lectura:

• En términos individuales, al margen de los contextos y condicionamientos sociales particulares en los que se desenvuelve. Se la convierte en una “cualidad psíquica”, que el sujeto individual tiene o no tiene.

• En términos absolutos, en el sentido de que se considera como dicotómico el aprendizaje: se tiene o no la habilidad (capacidad, facultad o aptitud, escoja usted el sinónimo), sin puntos intermedios; de la misma manera, se comprende o no, se es capaz o no de usar..., se es capaz o no de reflexionar acerca de....

• Se ubica claramente en la psicología diferencial, en el marco conceptual de la psicología de la primera mitad del siglo XX, cuando esta disciplina intentaba evaluar “objetivamente” la personalidad y las capacidades generales o específicas de los individuos.

• Tiene preocupaciones claramente centradas en la evaluación, en la medición (que implica la comparación respecto de un parámetro o baremo) y, por consecuencia, tarde o temprano, en la discriminación.

• Como una cualidad descontextualizada, que no está sujeta a diferencias según los objetivos de la actividad, la representación particular que el sujeto se haga de una tarea específica de lectura, en un lugar y un tiempo igualmente específicos.

Así, inmerso en el campo de la psicología diferencial, el proyecto PISA tiene la ilusión de poder definir con precisión las habilidades y sub-habilidades que todo “buen lector” debe tener: “extraer información”, “realizar inferencias”, “descubrir posicionamientos del autor del texto”, “descubrir intenciones”; sub-habilidades que serán sujetas de evaluación mediante reactivos o grupos de reactivos específicos, aplicados a textos de diferente función (personal, laboral, escolar) y formato (texto informativo, en prosa o en formato no lineal, como en un mapa, por ejemplo).

Por actualizada que parezca esta postura, tomando en cuenta la diversidad de textos circulantes en nuestra sociedad y tomando también en cuenta diferentes estratos de sub-habilidades, sigue siendo una visión adaptada a la medición, que hace recaer en el sujeto (por cualquier circunstancia) la presencia o ausencia de la habilidad o sub-habilidad considerada.

Sin embargo, ya desde mediados del siglo pasado, había posiciones psicológicas encontradas con esta:

Ninguna capacidad aislada puede garantizar la ejecución con éxito de una actividad [...] Las capacidades de las personas son producto de la historia. Las capacidades del hombre se han creado y desarrollado en la actividad que tiene por objeto satisfacer nuestras necesidades [...] El desarrollo de las capacidades depende en un grado decisivo de las condiciones histórico-sociales de la vida del hombre, de las condiciones de la vida material de la sociedad. (Smirnov & Leontiev, 1960, pp. 433 y ss. Los énfasis gráficos son del original).

Las psicologías centradas en las facultades, las capacidades, las habilidades o las aptitudes (en sus vertientes más radicalmente conductistas, en sus vertientes cognitivas anglosajonas) están condenadas a permanecer encerradas en el sujeto individual y a descontextualizar su comportamiento: ¿en verdad se desarrolla la habilidad de leer sin importar cuál texto, ni en cuál circunstancia, ni bajo cuál objetivo y motivación se lee? O, por el contrario, nunca se acaba de desarrollar la posibilidad de interactuar con textos siempre diversos, enfrentados siempre en condiciones y contextos diferentes y con objetivos también diversos en mente. La capacidad de comprender, así, en general, cualquier cosa, ¿puede ser efectivamente detectada por los tests? ¿Se trata verdaderamente de una sub-habilidad de la habilidad más general consistente en pensar o es una de las claves fundamentales para rastrear el potencial intelectual humano? ¿Se adquiere conocimiento al leer o la actividad de leer es sólo uno de los muchos recursos culturales involucrados en la adquisición de conocimiento que, ante todo, sabemos que requiere de una interacción constante entre algunos sujetos y un objeto, que no es lo mismo que una interacción entre algunos sujetos y un discurso-acerca-de-un-objeto?
Como alterna a esta visión de la lectura, proponemos una en la que la adquisición y uso del conocimiento pertinente para leer sea el elemento fundamental a observar e indagar. La adquisición de conocimiento es siempre un acto inmerso en un contexto social y su uso se desenvuelve siempre en un contexto interactivo particular, con una definición de objetivos particulares, con una representación individual de la tarea planteada, y que se va a desenvolver de acuerdo a una heurística particular, que dependerá de la actualización que en un momento dado el sujeto logre de sus esquemas de acción y de conocimiento. En México se ha insistido por más de 25 años en la importancia de los “conocimientos previos” para la lectura (vista tanto desde el ángulo de la manera de leer como desde el ángulo de la comprensión). Y ahora resulta que la lectura es una capacidad encapsulada en el sujeto...

Pensamos, pues, que la lectura es, mucho más que una habilidad encerrada en las personas, una actividad, que implica siempre interacción entre un sujeto-lector y un objeto-texto; interacción siempre regida por los esquemas de acción particulares de un sujeto, por sus conocimientos, por su interpretación de la tarea en contextos específicos. Los lectores están siempre enfrentados a un texto particular, que de alguna manera cristaliza los esquemas particulares del productor del texto, de su representación de la tarea de escritor, de sus objetivos y circunstancias particulares de producción del texto y, al mismo tiempo, exige al lector seleccionar, movilizar y actualizar muchos conocimientos pertinentes a la tarea que realiza.

Como ya habíamos escrito antes (Vaca, 2003), evaluar la lectura de un individuo es evaluar el contexto familiar, cultural y escolar en el que ha crecido y vive.

Además, concebir la lectura como una actividad equilibra la balanza entre lo interno y lo externo, entre el texto y el lector, entre el individuo y su contexto de crecimiento.

Esta es, pues, la segunda línea de reflexión que proponemos, y nos lleva directamente a la tercera.

3. ¿Es objetivamente medible la “habilidad” de lectura?

El proyecto PISA está envuelto en un halo de objetividad, de esfuerzo de cooperación entre expertos, que tiene a muchísimas personas combinando datos numéricos, sacando porcentajes, correlaciones, comparando puntajes entre países, estados, etc. Sin embargo, siendo tan delicado el problema, se hace necesario revisar el proyecto desde su misma base: el de los textos usados y las preguntas planteadas.

Eso resulta una tarea difícil. En primer lugar por la montaña de libros publicados (en papel o puestos a disposición en Internet) por la OECD; montaña que, en ningún caso, nos garantiza contar con la información completa del asunto (además de que parte de la información está resguardada y sujeta a cláusulas de confidencialidad).

Explorando los enormes pedazos de información que se han hecho públicos y tratando además de lidiar lo mejor posible con las traducciones (cuando los originales son accesibles), hemos encontrado algunos ejemplos de textos empleados en las evaluaciones que merecen algunos comentarios: por un lado, la existencia, en el mismo idioma, de dos textos diferentes usados, según se entiende, en dos países diferentes. Por el otro, el caso de un texto cuyo tema no se ajusta bien a los patrones culturales mexicanos. Abordaremos su análisis.

3.1. Dos textos en español, que son diferentes

Si entendemos bien el párrafo siguiente, debería existir un sólo texto para cada idioma:

Los instrumentos de evaluación fueron elaborados en inglés y en francés, y luego traducidos a los idiomas de los países partícipes mediante el empleo de procedimientos que garantizaran la integridad lingüística y la equivalencia de los instrumentos. Para los países cuyo idioma principal no era ni el inglés ni el francés, se realizaron, para luego integrarlas, dos traducciones independientes de los reactivos de evaluación, tomando, en la mayoría de los casos, elementos de ambas versiones fuente (Organización para la Cooperación y el Desarrollo Económicos [OCDE], 2002, p. 21).

En la página 20 del mismo documento se nos aclara que por “reactivo” debemos entender tanto los textos por leer como las preguntas por contestar, ya que se diseñó “una gama amplia de reactivos de evaluación [...] Se pedía que los estudiantes consideraran pasajes escritos y diagramas, así como que contestaran una serie de preguntas sobre cada uno de ellos”.

Sin embargo, hasta ahora, hemos encontrado dos versiones en español, de dos textos. Una versión de ellos corresponde a los reactivos tal como fueron presentados en España (“Preguntas planteadas”, s. f.). Suponemos que la otra, publicada por Aula XXI, impresa en México y coordinada por Carlos Ornelas, corresponde a las aplicadas en México. No podemos estar seguros de eso, con los documentos públicos que conocemos.

Para agravar la confusión, el documento del INEE reporta otro procedimiento:

Las pruebas son diseñadas y aplicadas, y sus resultados analizados, con los más altos estándares de calidad, por un equipo internacional. Cada país traduce las pruebas a su lengua nacional y la traducción es verificada y validada por la OCDE (Rizo & INEE, 2003, p. 2).

Aparte de la conmoción, se cultiva la confusión, pues no queda claro, en el caso mexicano, cuál texto se aplicó. Trabajaremos con las suposiciones antedichas y asumiremos que el texto editado en Aula XXI Santillana es el texto aplicado en México.

La existencia misma de este embrollo comienza a cuestionar “los más altos estándares de calidad” de los procedimientos y la profesionalidad del equipo internacional. Se comienza a desvanecer el halo de objetividad.

Podrá parecer exagerado armar tanto alboroto por la existencia de dos versiones en español de dos textos. Invitamos a nuestro lector a confrontar las tres versiones del texto Trabajo que aparecen en el anexo a este escrito, escaneados como imágenes de los textos públicos citados (imágenes 1, 2 y 3).

Las diferencias entre los textos son remarcables. El texto “mexicano” (Imagen 2) es una traducción muy literal y mal redactada del texto en inglés (a menos que sea un problema de calidad de la publicación). Paradójicamente, la versión española (Imagen 3), debemos reconocerlo, nos parece mucho más sencilla, mucho más usable (en el sentido técnico de usabilidad de un texto) a pesar de no ser la versión adaptada para México.

• Un primer problema serio que encontramos es la traducción literal de la expresión labour force, “fuerza de trabajo”. Seguramente, esas palabras corresponden, en la cultura anglosajona, a la noción que, en México, etiquetamos como “población económicamente activa”, como de hecho nos lo confirma la versión española del texto. En los noticieros de radio, televisión o en la prensa escrita en México nunca se maneja la expresión “fuerza de trabajo”, y eso hace artificial, de entrada, la prueba; la “escolariza” en un cierto sentido, puesto que apela, como muchas veces la escuela, a la costumbre de los estudiantes a “hacer como si...”. No es, pues, un texto “real”, de uso social extendido.

• La clasificación de la población no es exhaustiva, por lo que quedan poblaciones (o sea, clases) sin definir ni describir. De la población total de 3.4 millones de personas, no se caracteriza a 743,500, de quienes debemos suponer que son personas fuera del rango de edad señalado (niños, personas en plenitud y quizá minusválidos). De ellos no se aclara nada, siendo una sub-clase “fantasma”. Se habla de 949,900 personas que “no participan en la fuerza de trabajo” y que debemos suponer que desempeñan otro tipo de actividades (estudiantes, por ejemplo), a quienes se les considera como “población en edad de trabajar” pero que no participan de ella porque “no buscan empleo activamente” o “no están disponibles”, expresión tremendamente ambigua. Puesto que la clasificación de la población total no es clara ni exhaustiva, las clases y sub-clases no están tampoco bien caracterizadas en el texto y eso permite u obliga a realizar ciertas presuposiciones al momento de responder a las preguntas.

• Nuestra tercera observación es más grave aún. En la introducción al diagrama se escribe: “se muestra la estructura de la fuerza de trabajo de un país o ‘la población en edad de trabajar’ ”. Llamemos A a la “fuerza de trabajo” y B a la “población en edad de trabajar”. De acuerdo al enunciado, A = B. Por otra parte, de acuerdo a la nota 2, “la población en edad de trabajar” se define como “las personas entre los 15 y los 65 años de edad”, digamos C. La “población en edad de trabajar” es igual a “las personas que tienen entre 15 y 65 años” (es decir, B = C). Puesto que A = B y B = C, se debería deducir que A = C, es decir, que la fuerza de trabajo es igual a la población que tiene entre 15 y 65 años. Sin embargo, el mismo diagrama nos informa que un 35.8% de la población en edad de trabajar (B) o, lo que es lo mismo, de la fuerza de trabajo (A), no participa en la fuerza de trabajo. O sea que hay gente que pertenece a la fuerza de trabajo y al mismo tiempo no pertenece (o participa) en la fuerza de trabajo. ¿Es una contradicción o estoy en el nivel 1 de PISA? Lo que hay aquí es un equívoco en el texto: mediante el enunciado introductorio se hacen equivalentes dos subclases distintas: “En el diagrama [...] se muestran la estructura de la fuerza de trabajo de un país [sub-sub-clase de la sub-clase Población en edad de trabajar de la clase Población total] o la población en edad de trabajar [sub-clase de la población total del país]”, mencionando, primero en el orden de enunciación, una sub-sub-clase de acuerdo al diagrama y luego haciéndola equivalente a la sub-clase superior (población en edad de trabajar) mediante la conjunción “o”.  Es decir, el texto prepara al lector a encontrar un diagrama que describe la estructura de la fuerza de trabajo, que es mencionada en primer lugar, pero luego este lector se encuentra con que el diagrama empieza a describir, como clase superior, la población en edad de trabajar. Además, existe otra ambigüedad: los términos participar y pertenecer están siendo usados como sinónimos. ¿Debemos buscar “entre líneas” algo más... o es el texto el que es confuso (deliberadamente o no)? Al introducir el término “participar”, las combinaciones se multiplican: se participa y se pertenece; se participa y no se pertenece; no se participa y se pertenece y, finalmente, ni se pertenece ni se participa. La introducción del término “participar”, que no existe ni en la versión en inglés del texto ni en la versión española, permite la introducción de posibilidades lógicas que no estaban en realidad contempladas en el ejercicio, pero que pueden jugar en la mente del lector... mexicano.

• Si consideramos ahora algunas preguntas que deben responderse con base en este texto, las cosas se complican. Una de las preguntas pide ubicar a “un estudiante a tiempo completo de 21 años” en una de las siguientes cuatro categorías: “en la fuerza laboral: empleado”, “en la fuerza laboral: desempleado”, “no participa en la fuerza laboral”, “no incluido en ninguna categoría”. Dependiendo de los datos que se tomen en cuenta, el estudiante puede ser considerado como una persona que “no participa en la fuerza laboral” o como “no incluido en ninguna categoría”, en virtud de que desempeña una actividad socialmente reconocida que le permite o implica no buscar empleo activamente, a pesar de que pertenece al rango de edad de la población en edad de trabajar. Para PISA, la respuesta correcta es la primera, pero incluso se podría argumentar que, como tiene la edad de trabajar, aunque se dedique exclusivamente a estudiar, debiera ser considerado como “en la fuerza laboral: desempleado”, apegándose a la información textual introductoria. Centrándose en esa información textual, podríamos pues cruzar la opción “en la fuerza laboral, desempleado”, puesto que se centra la edad como criterio de pertenencia a la clase y porque no se caracterizan exhaustivamente todas las clases. Aquí, desapegarnos del texto, hacer suposiciones o inferencias a partir de él, podría llevarnos a dar respuestas incorrectas aunque sean lógicas, a pesar de que la “habilidad” de realizar inferencias a partir de la información provista por el texto se considera una habilidad superior a aquella de “apegarse al texto”.

Baste este ejemplo como indicador de que, al menos, es necesario verificar las traducciones de los textos presentados a la población mexicana y analizar detalladamente las distribuciones de respuesta hasta ahora obtenidas, para explorar posibles sesgos o tendencias que estén en relación con las características específicas de los textos, tal y como fueron presentados a los estudiantes en nuestro país. Veamos el segundo ejemplo de texto.

3.2. La gripe

Este texto nos ha llamado la atención porque hace evidente que una traducción no sólo es una cuestión lingüística, sino cultural.

Las observaciones que hacemos al texto Gripe (véanse en el anexo las versiones en inglés, Imagen 4, y la versión que suponemos fue aplicada en México, Imagen 5), son dos, de contenido:

• En México, el sentido común (y los médicos), diferencia “la gripe” de “la influenza”, concebida esta última como una “gripe multiplicada por diez” (según la expresión del pediatra de mi hijo). Esto afecta ya al título del texto, que no es cosa menor, pues expresa la macroestructura del mismo. Formulamos así la hipótesis de que, si el texto se titulara “Influenza” sería, en México, mucho más comprensible (o usable, término que ahora cuestiona al texto, y no al lector). No es lo mismo, para nosotros los mexicanos, haber tenido una gripa (o gripe), que haber tenido influenza. La segunda enfermedad nos espanta y sabemos que sí nos puede enfermar por varias semanas, a diferencia de una gripe común o cold, en inglés, que corresponde a nuestros vulgares resfriados. La primera, en cambio, nos la curamos bebiendo té, aspirinas, limón o naranja y, algunos, tomando antigripales. Con la gripe no podemos justificar la ausencia al trabajo por más de dos o tres días y, en cambio, se nos exige quedarnos en casa cuanto sea necesario si se sabe que tenemos influenza. En el mejor de los casos, hay personas que saben que ya hay vacuna contra la influenza, pero vacunarse contra la gripe suena absurdo, porque sabemos que se trata de una familia muy numerosa de virus, y no vale la pena vacunarse porque cada temporada es diferente. El contenido del texto no coincide, culturalmente, con nuestra distinciones lingüísticas y por lo tanto el texto contiene falsedades: a mí, en toda mi vida, una gripe nunca me ha enfermado por varias semanas. Pregunte usted a sus conocidos y verá... La vacuna que se aplica en México se denomina antigripal, aunque corresponde, específicamente, a la inmunización contra los virus tipo A y B de influenza (nuevamente, según el pediatra de mi hijo).

• El texto también está fuera del contexto laboral en México, por la situación que se plantea: una empresa privada que trata de tomar medidas preventivas contra la influenza y ofrece el servicio organizado de vacunación. En México, a pesar de la eficiencia de los cobradores del IMSS, rara vez se inscribe a los trabajadores en el Seguro Social, a menos que se trate de empresas muy grandes. Mucho menos se conoce el caso de que una pequeña empresa se preocupe por la prevención y promueva períodos de vacunación entre sus empleados. Una vez más, el texto se antoja “eurocéntrico” y refleja una situación laboral ficticia, que para la gran mayoría de los mexicanos podría suceder, quizá, fuera de nuestro planeta o en una película de ciencia ficción.

Aparentemente, la “ecología” de algunos textos y de algunas preguntas puede estar colaborando con los resultados. Tómese en cuenta que tan solo hemos echado un vistazo a los reactivos PISA.

Consideraciones finales

De ninguna manera pretendemos desacreditar con los análisis precedentes la validez y la confiabilidad de las pruebas PISA. Consideramos, sin embargo, que hemos marcado una serie de líneas de investigación y de verificación que sería importante explorar de manera sistemática. Diríamos que no hay que creer inocentemente en la objetividad y pureza científica de las pruebas, ni negar los resultados que nos arrojan.

Por la vía del análisis cualitativo que hemos presentado, coincidimos plenamente con Rizo (2003) en dos de las conclusiones fundamentales a las que él llega por la vía del análisis cuantitativo: la primera es la referente a que las pruebas PISA no evalúan exclusivamente la eficiencia del sistema educativo, sino que, además, evalúan el impacto que la sociedad en su conjunto tiene sobre la formación de los jóvenes, incluida la escuela. Es decir, que debe señalarse la influencia del conjunto de la sociedad sobre la formación de los jóvenes ciudadanos y no sólo a la escuela. Así, las condiciones de marginación en la que viven los jóvenes, sus familias, sus escuelas y sus comunidades, influyen decisivamente en los resultados.

La segunda conclusión que compartimos es la referente a lo peor que se puede hacer respecto de los resultados de la prueba, que sería dedicarse a enseñarle a los estudiantes a resolverla, para así elevar los puntajes y no para que los estudiantes de 15 años puedan hacer verdaderamente lo que se supone que deberían poder hacer.

Desafortunada aunque previsiblemente, parece que esta línea de acción es la que se sigue en el Estado de Veracruz, pues se prepara un proyecto que toma esa senda, la peor: entrenar a los profesores y a sus estudiantes con bancos de reactivos similares, de tal forma que cuando les toque resolver los cuadernillos PISA, tengan un mejor conocimiento de la estructura de la prueba.

¿No sería mucho más eficiente y honesto invertir el dinero en las escuelas, dotándolas, para empezar, de maestros (muchas secundarias en Veracruz son telesecundarias unitarias, es decir, con un solo maestro), dotándolas de bibliotecas, de computadoras, de asesores pedagógicos, de promotores de lectura y de poseedores de plazas de tiempo completo que en verdad trabajen?

En otras palabras: que los recursos económicos que se vayan a destinar a este problema lleguen a los estudiantes por la vía de la inversión en las escuelas, en los maestros y los medios educativos, en asesores que sepan lo que hacen y que trabajen permanentemente en el terreno escolar, y no por la vía de entrenamientos en la resolución de ítems de prueba. Esta senda se parece mucho a la “estrategia de los cuestionarios”, citada al principio de este escrito. No estamos sólo hablando de estadísticas y puntajes, sino de PERSONAS.

Una última reflexión: en México, los recursos invertidos en evaluación deberían ser proporcionales al adelgazamiento de las estructuras burocrático-educativas porque, de lo contrario, sigue creciendo el poder central a costa de recursos que llegarían a las escuelas, a los maestros y a los estudiantes. Todos los recursos siguen quedando en las ciudades y los rezagos, en las zonas alejadas de éstas. De 100 pesos invertidos, llegarán 5 o 10 a los estudiantes y profesores. Los demás pesos se quedan para los sueldos de los funcionarios, de los empleados, de los técnicos operativos, del equipamiento, de los y las secretarias, etc.; de las burocracias centrales y sus edificios. No me extrañaría que se estuviera ya planeando el IVEE (Instituto Veracruzano de Evaluación Educativa), que costaría cientos o miles de millones de pesos que sólo reiterarían la información aportada por las pruebas PISA pero que, eso sí, ayudaría a cumplir compromisos políticos.

Lista de referencias

Besse, J.-M. (2003). Qui est illetré? París: Retz/VUEF Edition.

Lahire, B. (1997). Usages sociaux de l´écrit et “Illetrisme”. En: Andrieux, F., Besse, J.-M. & Falaize, B. (Coords.) Illetrismes: quels chemins vers l´écrit. (pp. 11-20) Tournai: Magnard.

Organisation for Economic Co-operation and Development. (2000). Measuring student knowledge and skills. París: OECD Publication Service.

Organisation for Economic Co-operation and Development. (2001). Knowledge and skills for life: First Results from PISA 2000. París: OECD Publication Service.

Organisation for Economic Co-operation and Development. (2002). Conocimientos y aptitudes para la vida: resultados de PISA 2000. México: Aula XXI Santillana.

Organización para la Cooperación y el Desarrollo Económicos. (2002). Muestra de reactivos empleados en la evaluación PISA 2000. México: Aula XXI Santillana.

Preguntas planteadas en PISA 2000. (s. f.). Recuperado en: http://www.ince.mec.es/pub/pisa2000liberadas.pdf
Rizo, F. M. & INEE. (2003). Los resultados de las pruebas PISA: elementos para su interpretación.

Smirnov, A. A., Leontiev, A. N. (1960). Enciclopedia de psicología. México: Grijalbo.

Vaca, J. (2003, enero-abril). Comprensión de textos, adquisición de conocimientos y enfoques educativos. Diálogos Educativos, 5(15).

Anexo

Imagen 1. Original en inglés.

Imagen 2. Texto aplicado en México.



Imagen 3. Texto aplicado en España








Imagen 4. Original en inglés.






Imagen 5. Texto aplicado en México