The use of experts as a form of qualitative evaluation:
the case of an hygiene manual for children 

Irma Aída Torres Fermán y Francisco Javier Beltrán Guzmán¹
 

RESUMEN

En el presente artículo se toma la evaluación de expertos como enfoque metodológico para la evaluación de un manual de higiene para niños escolares. Se trata de un estudio evaluativo de tipo descriptivo para evaluar y juzgar la calidad técnica, el contenido y los recursos didácticos empleados en dicho texto, en términos de la adecuación a sus destinatarios. Se utilizaron dos cuestionarios, lo que se aplicaron a doce especialistas en educación y desarrollo. Los resultados se analizaron tomando en cuenta las siguientes categorías: calidad intrínseca, estructura y contenidos temáticos del manual, así como una sección de preguntas sobre los aspectos necesarios para mejorarlo. El juicio de los expertos fue favorable en todos los rubros.

Palabras clave: Manuales de higiene; Educación para la salud; Evaluación cualitativa; Evaluación de expertos.

ABSTRACT

Evaluation by experts was used as a methodological framework to evaluate a hygiene manual for school children. It is a descriptive study that seeks  to evaluate and to judge the technical quality, content, and didactic resources of said text for the purpose of adapting it to the children’s needs. Two questionnaires were applied to twelve specialists in education and development. The results were analyzed taking into account the following categories: intrinsic quality, structure, and thematic contents of the manual, as well as a section of questions about aspects to improve it. The opinion of the experts was favorable in all the items.

Key words: Hygiene manuals; Health education; Qualitative evaluation; Evaluation by experts.

INTRODUCCIÓN

En México, según estadísticas del sector salud, en el año 2001 se habían diagnosticado en el estado de Veracruz 349,450 casos de personas con enfermedades infecciosas y parasitarias del aparato digestivo, entre las que destacan la fiebre tifoidea, paratifoidea y salmonelosis, shigelosis, cólera e intoxicación por bacterias. Dentro de estas enfermedades infecciosas, la más común y que puede englobar a todo un grupo completo de diversas infecciones intestinales es la gastroenteritis. Un gran porcentaje de los casos reportados corresponde a los niños de entre 0 a 10 años de edad, de acuerdo con los datos aportados por el Sistema Único de Información para la Vigilancia Epidemiológica (Secretaría de Salud del Estado de Veracruz, 2001).

Al realizar una revisión de los programas y libros de texto de educación básica en el país, se observó que la higiene, como contenido curricular en la educación básica, no es abordada de un modo acorde con las necesidades de la población, pese a que en el discurso oficial se plantea la necesidad de incluirla como tema primordial en la educación básica. Con respecto al tema de la salud, la Secretaría de Educación Pública (SEP) señala en su programa para maestros de educación básica, en el apartado de libros de texto gratuito de la materia de Ciencias Naturales, que:

Los programas de Ciencias Naturales en la enseñanza primaria responden a un enfoque fundamentalmente formativo. Su propósito central es que los alumnos adquieran conocimientos, capacidades, actitudes y valores que se manifiesten en una relación responsable con el medio natural, en la comprensión del funcionamiento y las transformaciones del organismo humano y en el desarrollo de hábitos adecuados para la preservación de la salud y el bienestar [así como] otorgar atención especial a los temas relacionados con la preservación del medio ambiente y de la salud. Estos temas están presentes a lo largo de los seis grados, pues se ha considerado más ventajoso, desde el punto de vista educativo, estudiarlos de manera reiterada, cada vez con mayor precisión, que separarlos en unidades específicas de aprendizaje o en asignaturas distintas (SEP, 2001).

Sin embargo, como se dice antes, en los ejes temáticos del programa de Ciencias Naturales los contenidos se hallan alejados de tales propósitos.

Particularmente, en los libros de texto de la SEP del nivel básico se aborda el tema de la salud y la higiene mediante la exposición de temas como los siguientes: “El agua, un recurso indispensable” (ejemplo de lección tomada del texto del tercer grado de primaria) y “No contaminemos el agua”  (ejemplo de lección tomada del texto del cuarto grado de primaria).

Se percibe entonces una discrepancia entre lo que se pretende enseñar y los contenidos de aprendizaje, hecho que sin duda tiene repercusión sobre lo que los alumnos aprenden. En resumen, los temas que se tocan carecen de la información suficiente para fomentar una salud e higiene de calidad que ayude a la formación de los alumnos en un sentido integral, promoviendo no sólo conocimientos, sino actitudes y sentimientos con respecto al cuidado e higiene de su propio cuerpo.

Ante los problemas de salud producidos por la falta de hábitos de higiene o de comportamientos saludables que ayuden a la protección de los individuos ―principalmente de los niños en edad escolar―, se considera necesario diseñar e instituir nuevas estrategias dentro del ámbito escolar.

La educación para la salud es concebida por Costa y López (1998) como “un proceso planificado y sistemático de comunicación y de enseñanza-aprendizaje orientado a hacer fácil la adquisición, elección y mantenimiento de las prácticas saludables y hacer difíciles las prácticas de riesgo” (p. 29). Dentro de este contexto teórico-metodológico, se presenta un manual de higiene para niños escolares, el cual, en un primer momento, fue valorado por un grupo de expertos ―profesionales de la psicología de la salud y profesionales en educación básica― con la finalidad de contar con una herramienta educativa mejorada que, al aplicarse, pudiera coadyuvar a la solución de dichos problemas.

De acuerdo con Martínez (1999), la evaluación cualitativa de programas es una perspectiva metodológica a la que pertenece la evaluación referida, técnica que trata de recoger, analizar e interpretar en forma sistemática, rigurosa y crítica la información necesaria y suficiente sobre las actividades, procesos y resultados de programas, cursos, seminarios o talleres. Para ello, maneja un enfoque sistémico y humanista sobre la naturaleza de las realidades, así como una metodología de investigación holista y contextual.

El enfoque metodológico de evaluación de expertos es un modelo introducido por Eisner en 1975, en el que se considera al experto como una persona con una finísima capacidad perceptiva, un buen conocimiento de lo que busca y una gran experiencia previa relevante al tema. Esta posición concuerda con lo expresado por Fernández, Sierra y Santos (1992) cuando señalan que “la evaluación de un programa de educación para la salud dirigido a personas sanas o a pacientes no puede limitarse a la recogida de datos cuantitativos mediante instrumentos de medición, pues éstos por sí solos no tienen capacidad para recoger la información más compleja, significativa y relevante que emana y caracteriza a los procesos educativos” (p. 26).

Algunas características del manual

El Manual de higiene para niños escolares, elaborado por los presentes autores, surge como una propuesta educativa innovadora ante los graves peligros de salud que padecen los niños y las familias menesterosas que no cuentan con los servicios públicos (agua, drenaje, etc.) necesarios para el mantenimiento de una higiene adecuada en sus hogares.

El mencionado manual está dirigido a los alumnos de nivel primario básico, con una modalidad de texto programado, con actividades reflexivas propios del enfoque metacognitivo y de los programas de "Enseñar a pensar", por lo cual el contenido se presenta desglosado en pequeñas cantidades de información al estudiante, al tiempo que se le proporciona una inmediata confirmación de sus respuestas al final de cada cuadro; asimismo, en él se promueve la reflexión y participación del grupo de alumnos y del maestro como mediador de las respuestas de aquellos con la finalidad de que adquieran un aprendizaje significativo no sólo de los conceptos, sino también de las prácticas y actividades propias del cuidado e higiene personal y de los alimentos.

En este estudio se probó la utilización de un manual de autoaprendizaje combinado con una técnica de aprendizaje cooperativo que permitiera obtener la información necesaria y suficiente sobre los aspectos citados; en el mismo se valoraron no sólo los contenidos y actividades del manual, sino su adecuación a los destinatarios. Tal valoración fue realizada por un grupo de expertos que enjuiciaron su valor y pertinencia antes de su puesta en marcha.

Contenido del manual

El Manual de higiene para niños escolares se divide en dos libros. El libro para el alumno está dividido en secciones y cuenta con una introducción, cinco capítulos sobre los siguientes temas: “La salud”, “La higiene”, “La alimentación y la higiene”, “La limpieza de los alimentos y nuestro cuerpo” y “La higiene de la vista y el oído”; asimismo, contiene un glosario de términos para que los niños tengan información más amplia sobre algunos conceptos centrales empleados en el mismo.

Por su parte, el libro para el maestro comprende una introducción, un apartado sobre la educación para la salud, otro sobre cómo emplear el manual, lecturas de apoyo sobre los temas tratados en libro del alumno, un glosario de términos y la bibliografía de consulta para el profesor.

MÉTODO

Sujetos

La selección de esta muestra fue intencional no probabilística, toda vez que se requería de personal capacitado en el campo de la educación para la salud. A las muestras no probabilísticas también se les denomina “dirigidas”, pues suponen un procedimiento arbitrario e informal de selección de los sujetos. La ventaja de una muestra de tal naturaleza es su utilidad para un estudio como el que se realizó, ya que no requiere tanto de representatividad como de una cuidadosa selección de sujetos con ciertas características. Tal es el caso de esta muestra de expertos.

Los jueces o expertos fueron en total doce especialistas con amplia experiencia y formación en educación y desarrollo infantil, así como en educación para la salud.

Un 66.4% eran psicólogos con grados de especialización diversa, como maestría en psicoterapia infantil, en investigación educativa o en orientación y desarrollo de la infancia y la adolescencia. Un 33.2% eran maestros de educación primaria, 16.6% licenciados en pedagogía y 8.6% de ellos contaban con estudios de licenciatura en educación especial.

El 58.1% de los expertos se encontraba en el rango de 41-45 años de edad, en tanto que un 24.9% tenía edades de entre 36 y 40 años; un 8.3% entre 31 y 35 años y otro 8.3% cayó en el rango de entre 25 y 30 años.

La experiencia docente de cada uno de ellos varió relativamente, pero la antigüedad más significativa fue de más de 16 años de experiencia, con un porcentaje de 58.1; el resto se distribuyó entre menos de cinco años (16.6%), de seis a diez años (16.6%), y de once a quince años (8.3%).

El ámbito laboral de los expertos fue el siguiente: en el nivel universitario laboraba un 49.8%, en el nivel de primaria un 41.5%, y en bachillerato el resto, o sea, 8.3%.

Instrumentos

Para este primer momento de la evaluación, denominado evaluación de expertos, se utilizaron dos cuestionarios: el primero de ellos fue diseñado ex profeso para que los especialistas en el tema juzgaran y valoraran el manual conforme a criterios de adecuación a los destinatarios, estructura y diseño y forma y contenido.

Otro cuestionario empleado fue el denominado “Cuestionario de evaluación del libro del maestro” a fin de que los expertos juzgasen y evaluasen el contenido, redacción y pertinencia de la información contenida en dicho texto.

RESULTADOS

A continuación se presentan los resultados más significativos de la evaluación de expertos, los que permitió la mejora del texto, así como su futura puesta en práctica.

Los resultados fueron analizados tomando en cuenta las siguientes categorías: calidad intrínseca del manual (libro del alumno y libro del maestro), estructura y contenidos temáticos del mismo, una sección de preguntas sobre los aspectos a mejorar en ambos, y contenido del libro para maestros. De acuerdo con los expertos, se obtuvieron las siguientes conclusiones.

La calidad intrínseca del manual resultó bastante satisfactoria pues la mayoría de los especialistas la consideró satisfactoria y pocos de ellos (16.6%) como regular. Asimismo, se puede considerar que los puntos fuertes en cuanto a la calidad del texto se basan en la claridad y precisión de los temas tratados, su extensión, redacción y lenguaje claros, como puede observarse en la Tabla 1.

Tabla 1. Calidad intrínseca del programa (porcentajes).

La estructura general del programa fue apreciada como favorable por parte de los expertos ya que los porcentajes de juicios favorables se hallaron en las categorías de muy buena y excelente al considerar aspectos tales como la adecuación y utilidad de la estructura, el tiempo programado para el tratamiento de los temas, la información adecuada y los contenidos acordes con los objetivos y con los destinatarios, como se muestra en la Tabla 2.

Tabla 2. Estructura del programa (porcentajes).

Por otro lado, en la Gráfica 1 se puede apreciar que las dinámicas y recursos didácticos empleados en el manual fueron catalogados por los especialistas como adecuados para comprender, recordar y orientar a los alumnos en los temas revisados.

Gráfica 1. Efectos del manual en los temas revisados.

En cuanto a las estrategias educativas empleadas en el manual, la totalidad de los jueces las consideró como adecuadas para los alumnos y los objetivos del programa.

Asimismo, al evaluar la organización de las técnicas empleadas en el texto citado, el juicio de los expertos fue favorable, ya que fueron consideradas por ellos como muy buenas (41.5%) o excelentes (58.1%).

Del mismo modo, las actividades programadas para los alumnos fueron catalogadas como apropiadas por la totalidad de los expertos.

En cuanto al contenido del libro para maestros, puede observarse en la Tabla 3 que la mayor parte de los porcentajes se encuentran dentro de las categorías de “suficiente” y “mucho” desde el punto de vista de los expertos.

En suma, puede decirse que los juicios de los expertos fueron en general favorables para el programa que considera la instrumentación del Manual de higiene para niños escolares en la educación primaria básica. No obstante, es necesario señalar que aquí sólo se mencionan parte de los resultados, y que dentro de las sugerencias de mejora que hacen los jueces se incluyen otros temas de higiene en el mismo manual o en futuros textos para niños escolares con esta temática, así como también la recomendación de insistir en que los libros se introduzcan como textos en la educación primaria básica.

Tabla 3. Contenido del libro para maestros (porcentajes).

DISCUSIÓN

La evaluación de programas en el ámbito de la educación es, de acuerdo a Castillo y Gento (1995), “una exigencia ineludible en la búsqueda gradual y persistente de una mejor educación” (p. 25); sin embargo, tal preocupación por la mejora en la educación a partir de la evaluación de programas noha sido siempre la misma ya que ha evolucionado, al igual que el propio concepto de evaluación.

Conocer, explorar y estudiar bajo qué marco explicativo se está realizando una evaluación, a qué intereses obedece, quién la realiza y cuál es el propósito fundamental que se persigue con ella, son aspectos que permiten al investigador ubicarse de forma consciente en el paradigma que cubre mejor sus objetivos y expectativas con respecto a la evaluación de un programa educativo en particular; todo ello le ayudará a elegir de manera más adecuada las estrategias o técnicas que puedan servirle para dicho fin. Respecto de la evaluación de programas, Pérez Juste (1995) señala: “La evaluación de programas es un proceso sistemático, diseñado intencional y técnicamente, de recogida de información rigurosa ―valiosa, válida y fiable―, orientado a valorar la calidad y los logros de un programa como base para la posterior toma de decisiones de mejora tanto del programa como del personal implicado" (p. 5).

Como puede observarse, esta definición muestra una posición razonable y razonada respecto del proceso de evaluación, el cual se apega a los principios fundamentales del método científico dado que se basa en hechos, pero a la vez los trasciende; incrementa el conocimiento de una realidad y la capacidad para actuar sobre ella o para modificarla; es provisional, autocorrectivo y progresivo; es concebido como un proceso sistemático y replicable, y, por último, sirve para generar y establecer principios o leyes generales para incrementar el conocimiento de la realidad, generando teoría o conocimiento de tipo general (Álvarez, 1985).

Esta nueva tarea implica una toma de decisiones basada en una recolección de información sistemática y organizada del programa a evaluar con la finalidad de proponer cambios o modificaciones para mejorar el potencial del mismo.

La evaluación de programas no es una práctica común en nuestro sistema educativo, y mucho menos en el sector de educación básica, ámbito en donde se elaboran y realizan diversos programas como el de este trabajo, los cuales más tarde ejercerán su efecto sobre las diversas comunidades de alumnos.

Es por ello que se hace necesario y urgente llevar a cabo una evaluación pedagógica de los programas educativos que se generan en sectores como el de la educación básica, especialmente de aquellos que se supone estarían dirigidos a que los alumnos adquieran conductas o comportamientos saludables, competencias o habilidades que les ayudarían a tener una mejor salud y una mejor calidad de vida, previniéndoles de futuras enfermedades que podrían poner en riesgo su salud. Tal es el caso de los programas de Ciencias Naturales que se imparten en la educación básica, que, debiendo considerar los temas de la higiene y el cuidado de la salud como contenidos curriculares de relevancia social, incluyen más bien temas de carácter general que no ayudan a la resolución de los graves problemas de salud de los alumnos de ese nivel educativo.

¹ Instituto de Investigaciones Psicológicas de la Universidad Veracruzana, Dr. Luis Castelazo Ayala s/n, Col. Industrial Ánimas, 91190 Xalapa, Ver., México, tel. 2288-125740, fax 2288-128683, correo electrónico: itorres@xal.megared.net.mx y jbeltran@xal.megared.net.mx. Artículo recibido el 13 de enero y aceptado el 27 de marzo de 2003.
 

REFERENCIAS

Álvarez, I. (1985). Teoría de la evaluación. Cuadernos de Filosofía y Letras. México: UNAM.

Castillo A., S. y Gento P., S. (1995). Modelos de evaluación de programas educativos. En: A. Medina y L.M. Millar (Eds.): Evaluación de programas educativos, centros y profesores. Madrid: Universitas, S.A.

Costa, M. y López, E. (1998). Educación para la salud. Una estrategia para cambiar los estilos de vida. Madrid: Ediciones Pirámide.

Fernández S., J. y Santos G., M.A. (1992). Evaluación cualitativa de programas en educación para la salud. Málaga: Ediciones Aljibe.

Martínez, M. (1999). Evaluación cualitativa de programas. Psicoprisma (Caracas), 1.

Pérez J., R. (1995). Metodología para la evaluación de programas educativos. En A. Medina y L.M. Villar (Eds.): Evaluación de programas educativos, centros y profesores. Madrid: Universitas S.A.

Secretaría de Educación Pública (2001). Libros de texto “Ciencias naturales 3º, 4º, Grado”. Disponible en línea: www.sep.gob.mx/libros.

Secretaría de Salud del Estado de Veracruz (2001). Sistema Único de Información para la Vigilancia Epidemiológica (Semana 25). Xalapa, Ver.: Autor.