Introducción

La problemática de la evaluación, durante mucho tiempo restringida al ámbito del aula, ha tenido en los últimos años una expansión considerable, su aplicación se ha hecho cada vez más compleja y en particular extensiva a diferentes objetos: la institución educativa, los docentes, el curriculum, etcétera. Tal expansión no surgió de necesidades intrínsecas a la situación escolar, sino de presiones externas ligadas en general a las crisis económicas y a los procesos de globalización económica y cultural inherentes a las políticas neoliberales.

    En el marco de estos procesos es necesario hacer particular mención, como elemento que ha apuntalado las prácticas de evaluación educativa, las políticas de reforma educativa de corte descentralizador.

    En el ámbito nivel universitario las instituciones educativas han sido exigidas a "autoevaluarse", tal es el caso de los procesos generados en las Instituciones de Educación Superior Públicas del país, como requisito indispensable para el otorgamiento de recursos extraordinarios ante el estrechamiento presupuestal. Aunque planteadas como auto evaluaciones, están orientadas a rendir cuentas y forman parte de los mecanismos de control del Estado hacia las instituciones educativas.

    Múltiples son las formas como se expresa la evaluación (o quizás sería mejor hablar ya de control, pero con posterioridad diferenciaré estos conceptos y prácticas), si bien tienen en común la búsqueda de controles centrales ante el avance de las políticas de descentralización educativa. Ejemplo de ello, en lo referente a los estudiantes, pero que se hace extensivo a las instituciones educativas, son las llamadas pruebas nacionales de aprovechamiento escolar, que con diferentes denominaciones y con algunas variantes se aplican en México y en otros países de América Latina. Al respecto es bueno recordar que el paradigma de estas políticas educativas ha sido el proceso británico, iniciado en la década del setenta y aún antes del inicio de la administración de Margaret Thatcher. Básicamente se implementó a través de un Curriculum Nacional que especifica metas de logro y que sirve de base para la evaluación mediante pruebas nacionales de corte estandardizado (McCormick y James, 1996; Terigi, 1997; Rodríguez Ousset, 1997).

    No es mi intención extenderme aquí en las múltiples problemáticas derivadas de la aplicación de las llamadas pruebas nacionales o de los también denominados operativos nacionales de evaluación, si quiero señalar que tal práctica está sujeta a serios cuestionamientos en lo referente a dos temas centrales de la evaluación educativa: ¿cuál es el objeto de la evaluación?, o sea, ¿qué se evalúa?, ¿qué es lo referido? y en segundo término, pero con igual rango de importancia: ¿en función de qué se evalúa?, ¿cuál o cuáles son los referentes? El trabajo sobre estos interrogantes constituye el propósito central de este artículo, en su desarrollo espero poder retomar el caso de las llamadas pruebas nacionales para señalar los problemas epistemológicos y metodológicos en juego.¹

    Reconocer el peso de ambos interrogantes constituye el primer paso para el análisis de la metodología para la evaluación de dispositivos educativos que, siguiendo el pensamiento de Figari (1993 y 1994) y mi propia práctica, expongo en estas líneas. Me permito utilizar para mostrar su uso, partes de trabajos elaborados por mis alumnos de Maestría. A ellos mi agradecimiento no solo por este aporte, sino porque pensar juntos ha constituido para mi una experiencia intelectual y política muy valiosa.

    Sin embargo, antes de tales temas, deseo referirme al concepto de dispositivo educativo expresado en el título de este artículo. Su clarificación permitirá comprender porqué todo proceso de evaluación de programas y de proyectos educativos requiere una construcción ad hoc, realizada por todos los implicados en la situación educativa. Sólo con tales recaudos metodológicos es posible visualizar a la evaluación como elemento para la mejora profesional de los docentes y de las condiciones de aprendizaje de los estudiantes. Aunado a estas cuestiones será necesario, siguiendo a Ardoino (1980; 1989; 1993a y 1993b) que distingamos dos funciones críticas: el control y la evaluación.
 

Los dispositivos educativos: objetos de nuestro tiempo

En el contexto de este trabajo la noción de "dispositivo educativo" sigue los aportes de Gerard Figari (1993 y 1994), quién reconoce los antecedentes mecánicos que tal término evoca y se refiere a la manera como se disponen los diversos elementos de un aparato y también a su funcionamiento. Vale decir que un dispositivo está conformado por diferentes partes, partes que no operan en forma aislada, sino en forma interrelacionada. Explicar, comprender, evaluar un dispositivo requiere reconocer cada parte, su particularidad, pero, sobre todo poder comprender y valorar cómo funciona.²

    ¿Por qué constituye un objeto hasta cierto punto novedoso y particular de esta época?, ¿qué diferencia este concepto de las ideas de programas, curricula o proyectos como elementos instituidos y de relativa permanencia?, precisamente el carácter de construcción realizada ex profeso y su posible carácter transitorio (lo cual no niega su posible institucionalización futura) de las estructuras de mediación (mesoestructuras) que sirven de puente entre el sistema educativo en su nivel macro y sus grandes finalidades y el hacer concreto de maestros y alumnos en cada salón de clases. Tales dispositivos educativos no son otros que los currícula, los programas, los proyectos educativos. Pero no se trata de designar lo viejo con nuevos nombres o de agregar otro término al lenguaje pedagógico. Se trata de ver cuál es el nuevo sentido que programas, proyectos y currícula adquieren en el marco de las actuales políticas de descentralización educativa de corte neoliberal.

    La descentralización educativa ha significado, entre otras cuestiones, la exigencia a cada institución educativa de elaboraciones pedagógicas específicas que respondan a sus particularidades. Bajo tal rubro involucro los proyectos educativos, los proyectos innovadores, los proyectos curriculares de cada escuela.

    En la lógica mercantilista de estas reformas educativas la intención es ofrecer distintas opciones educativas a través del posicionamiento de cada escuela en el juego de la oferta y la demanda.³ Ofertas diferenciadas para los diferentes gustos del consumidor. Como si la variedad asegurase la excelencia, como si todos los ciudadanos (en esta lógica debería hablar de consumidores, pero me resisto al término por sus connotaciones ideológicas y economicistas) tuviesen posibilidades de elegir en igualdad de condiciones y con la misma información acerca de la validez de cada opción.

    Sin embargo, estamos ante elaboraciones que pueden ser efímeras, que muestran la pérdida de un referente único: el modelo nacional propio de los sistemas educativos altamente centralizados y la necesaria búsqueda de referentes específicos inherentes a cada situación educativa. Esto plantea problemas muy interesantes a la evaluación institucional. De su resolución dependerá la legitimidad de la evaluación y su capacidad para comprender cada situación específica, sin operar como mero control.
 

Dos funciones críticas: el control y la evaluación

En el ámbito de la evaluación educativa, sea ella referida al rendimiento de los alumnos, al análisis global del proceso educativo, al sistema educativo en su conjunto o en sus distintos niveles, así como a la evaluación de programas, proyectos, currícula, etc. se confunde, a menudo, el control y la evaluación en su sentido amplio. Incluso se habla en general de evaluación, encubriendo la función de control. Sin duda el término evaluación tiene un carácter "light", mucho más aceptable que el de control que no puede desligarse de sus connotaciones represoras.

    El control, en la visión de Ardoino (1993a) se adscribe al paradigma de la explicación.⁴ Busca la simplicidad y transparencia de los objetos expuestos al control. Para ello se conforma como un conjunto de procedimientos tendientes a establecer la medida de la distancia entre el objeto o fenómeno y la norma o modelo. En este sentido el control es monorreferencial, ya que en su búsqueda de la transparencia necesita establecer las relaciones con una norma o modelo exterior y anterior al objeto sujeto de la evaluación.

    La intencionalidad del control es de tipo praxeológica, optimización de las acciones y servir de ayuda para la toma de decisiones. El control busca verificar, revelar, establecer, constatar. Vale decir: informa acerca del "estado" de algo, sin preocuparse de los "por qué".

    Los controles son inherentes e imprescindibles en diversos órdenes de nuestra vida: el control médico, el control de los vuelos en un aeropuerto, el control fiscal, los controles policiales, etc.

    Del mismo modo una institución educativa necesita mecanismos de control: ¿cuántos alumnos tiene?, ¿cómo se comporta la matrícula?, ¿cuáles son sus índices de deserción y de egreso? Pero así como en el ámbito médico el solo control, por ejemplo de la presión arterial no es suficiente, porque hace falta la interpretación de este dato por parte del profesional, también en el ámbito escolar la sola presencia de datos arrojados a través de mediciones estadísticas sólo permite ubicar a la institución respecto a parámetros generales, por ejemplo la media nacional de aprovechamiento o de deserción, pero no posibilita comprender qué elementos en juego, propios de esa situación específica, constituyeron las causas de tales resultados, cuáles son los principales problemas y/o las acciones favorecedoras de logros. En el ámbito las actividades de enseñanza y de aprendizaje la sola calificación de un alumno en una prueba, ya sea a través de números o conceptos, sólo arroja la ubicación de su resultado con respecto a una escala, que puede ser de 1 a 10; de NA a MB, pero no aporta elementos acerca de las múltiples causas de tal resultado, no permite a los estudiantes comprender cuáles son los procesos que deben modificar, reforzar, etcétera.

    La evaluación, por el contrario, inscrita en el paradigma de la im-plicación (Ardoino, 1993a) asume la complejidad y opacidad de las prácticas sociales. Desde tal perspectiva se busca producir conocimiento acerca del objeto sujeto de la evaluación. Se trata de captar el sentido particular de cada situación, de reconocer sus particularidades y no de la búsqueda de la conformidad o no con modelos preestablecidos. Constituye una interrogación acerca del sentido, el significado de tal o cual acción ¿por qué estos resultados del aprendizaje?, ¿a qué finalidades responde el proceso educativo?

    Se trata de un proceso hermenéutico en el cual tienen importancia no sólo los datos explícitos, sino particularmente lo "no-dicho", los elementos que surgen en forma imprevista.

    En el ámbito del control existen parámetros o modelos exteriores y permanentes, aquí resulta necesario elaborar, construir sistemas de referencia inherentes a cada situación específica. No es posible la existencia de un único referente, modelo o patrón sino que exige la construcción de una red de relaciones entre órdenes heterogéneos. Así, la evaluación de una institución educativa requiere indagar sobre distintas dimensiones: ubicación social y económica; condiciones de infraestructura física y humana; proyecto educativo, entre otros. Este proceso comprende, en consecuencia, la selección y/o el diseño de diferentes instrumentos de análisis (entrevistas, cuestionarios, observaciones, etcétera) y, en especial, la búsqueda y selección de referentes teóricos adecuados así como la elaboración específica de criterios que sirvan de base para la emisión de juicios de valor. Volveré sobre este último punto, de suma importancia, al analizar la problemática del referente en la evaluación de dispositivos educativos.

    Desde este enfoque la evaluación, como proceso complejo, consiste en aplicar a objetos definidos (comportamientos, instituciones, sujetos, currícula, planes y programas, proyectos individuales o colectivos, etcétera) un instrumento crítico, elaborado, racional que permita el análisis sistemático tendiente a la interpretación del fenómeno en cuestión y la construcción de un juicio de valor acerca de ellos (Ardoino, 1989; Barbier, 1999).

    Deseo destacar en esta concepción acerca de la evaluación su indisoluble vínculo con la emisión de juicios de valor. Tales valoraciones tienen repercusiones importantes tanto en los individuos como en las instituciones. De ahí la importancia de su legitimidad tanto en términos de ¿quién evalúa?, o ¿en nombre de quién lo realiza?, (lo que nos remite a la cuestión del poder en este proceso, poder que se expresa no tanto en quién evalúa sino, en particular, quién determina los parámetros —referentes— que sirven como parámetros de lo deseable de ese proceso) como de su rigor epistemológico y metodológico en las diferentes fases del proceso.

    Este cuidado metodológico, no como mero ejercicio académico, sino como reconocimiento de la relevancia social del campo de la evaluación, no remite a dos cuestiones centrales de la evaluación educativa: el objeto de la evaluación y la norma o referente.
 

¿Qué evaluamos?

La pregunta parece de una resolución fácil, incluso en el curso de este trabajo he hablado de evaluar acciones, programas, sujetos, instituciones, etcétera; sin embargo, resulta común confundir aquello sobre lo que se expresa un juicio de valor (un estudiante, un programa, un curriculum) y los datos, las informaciones, los rasgos, los indicadores "a partir de los cuales" se realiza tal juicio. En el caso de la evaluación de un dispositivo educativo determinado: un curriculum en su doble acepción de curriculum formal y curriculum real o vivido, los diferentes corpus de datos acerca de sus distintas dimensiones de análisis: el curriculum formal (proceso de elaboración, estructura, componentes, etcétera); la práctica educativa (actividades de programación individual y conjunta, metodologías implementadas, procesos de comunicación y de toma de decisiones, formas de evaluación, etcétera), constituyen los datos que dan paso en forma progresiva al juicio de valor acerca del curriculum en su conjunto. De igual manera una prueba, un examen arroja determinados resultados que derivan en una evaluación del estudiante, no de la prueba en sí. A través del análisis del examen, de su corrección y calificación el maestro produce juicios de valor acerca del alumno y su aprendizaje. En ambos casos, trátese de un dispositivo educativo o de un estudiante, hay una selección acerca de qué rasgos se considera importante incluir, así en el caso del examen habrá maestros que le darán relevancia a la exactitud de la información, o a la capacidad crítica, o a la ortografía...; para evaluar el curriculum podremos considerar o no la infraestructura física; las relaciones de la institución con su entorno social, etc. En consecuencia el objeto de la evaluación es un objeto construido.

    Con base en Barbier (1993) podemos reconocer en el proceso de la evaluación un punto de partida constituido por el objeto real a evaluar⁵ (lo factual, el hecho). Sin embargo, no evaluamos el objeto real, sino una representación del mismo. Dicha representación es el resultado del conjunto de indicadores o bien de interrogantes⁶ (Figari, 1994) elaborados para delimitar sus diferentes dimensiones de análisis. Los interrogantes, así planteados, constituyen hipótesis sobre el objeto-sujeto de la evaluación y permiten orientar actividades de búsqueda de datos significativos que constituyen el material de la evaluación (documentos, registro de observaciones, discurso de los actores, etcétera).

    En síntesis el objeto de la evaluación, conformado por la delimitación de dimensiones de análisis y por los datos e informaciones obtenidos a través de diferentes técnicas (entrevistas, observaciones, cuestionarios, análisis documental, etcétera) constituye lo referido (Figari, 1993; 1994).

    El rigor epistemológico y metodológico con relación al objeto de la evaluación nos alerta sobre el problema del posible deslizamiento de este objeto, es decir el pasaje no identificado y a menudo inconsciente, de un objeto de la evaluación a otro (Auziol, 1989). Se trata de los casos de generalización de juicios realizados con base a la evaluación o el control de un objeto particular. Por ejemplo: si con base en los resultados de los estudiantes en pruebas de rendimiento en determinadas áreas del conocimiento (por ejemplo español y matemáticas), mediante las cuales se puede constatar qué grupos de alumnos en las diferentes escuelas tienen un rendimiento mayor en estas áreas se realiza la inferencia de un juicio global sobre las escuelas, como podría ser una posible escala acerca de la diferente calidad de las escuelas, un orden de jerarquías respecto a ellas. Tal inferencia carece de sustento en el proceso mismo de la evaluación, puesto que se realiza con base únicamente en el rendimiento de los alumnos y no se ha realizado la evaluación de la escuela atendiendo a sus diferentes dimensiones.
 

¿En relación con qué evaluamos?

La respuesta a este interrogante constituye, desde mi perspectiva de análisis, uno de los aspectos cruciales de la evaluación educativa: la problemática del referente. El referente permite comprender con relación a qué un juicio de valor es emitido (Figari, 1993).

    A menudo, en las prácticas en el campo de la evaluación, el referente o los referentes son implícitos, puede tratarse, en algunos casos, de la imagen ideal de institución educativa que comparten los directivos de la institución, la cual opera como parámetro para evaluar la pertinencia, la significación de las diferentes prácticas educativas y de la institución en su conjunto. Su carácter implícito y su pertenencia al orden de lo preexistente (tema que abordaré posteriormente) no posibilitan comprender y evaluar la especificidad de la situación educativa concreta, ni aporta legitimidad y validez al proceso y a los resultados de la evaluación.

    El referente o los referentes permiten "situar" al objeto evaluado y puede tratarse de normas, de objetivos transformados en criterios en el momento de la evaluación (Barbier, 1999), de modelos, de teorías científicas seleccionadas exprofeso y que permiten la lectura y comprensión del fenómeno sujeto a análisis y de criterios elaborados en función de la situación específica.

    Para comprender cabalmente esta idea de referente es necesario remitirnos a la función referencial en el ámbito de la lingüística⁷(Figari, 1994). Me permitiré, en consecuencia, una breve incursión en este campo siguiendo a este autor, para luego poder retomar y explicar con mayor claridad la problemática del referente en la evaluación educativa.

    En el dominio de la lingüística el sentidoindica qué dice una expresión, la referenciapermite comprender al sujeto qué se ha dicho. La función referencial pone de relieve los referentes del signo, devuelve o remite a la existencia objetiva de una cosa definida: el signo árbol remite a los árboles existentes o al árbol en el marco de la experiencia de un sujeto en particular.

    En consecuencia el referencial puede darse con relación a dos sistemas de coordenadas diferentes: del orden del paradigma⁸ y del orden del sintagma.

    En el primero de los casos un signo es remitido al sistema general de los signos. En el segundo el signo en cuestión es referido no a un sistema general, sino a la experiencia del sujeto con relación a la realidad que tal signo designa.

    Llevados estos conceptos al terreno que nos ocupa, cuando en el curso de una evaluación apelamos al orden del paradigma, tomamos en consideración la existencia de un modelo general preexistente(diferentes formas que puede revestir un curriculum, una institución educativa…), el cual sirve de parámetro o patrón para juzgar el dispositivo evaluado. Aquí el referente es anterior y exterior al objeto-sujeto de la evaluación. Permite, sin duda, comparar diferentes dispositivos en contraste con un modelo general, pero no capta la singularidad de cada uno de ellos.

    En el orden del sintagma, a diferencia del paradigmático, la evaluación va a requerir la construcción de un sistema de referencias en función de la experiencia. Resulta necesario elaborar criterios con relación a la situación específica. Tales criterios derivan de la combinación particular de una serie de factores (contexto socio-económico y cultural, concepciones pedagógicas; formación de la planta docente, etcétera).

    Cuando se apela al paradigma hablamos de la existencia de referentes fijos, en el segundo de los casos, en el orden del sintagma, nos encontramos ante la necesidad de elaborar referentes. En el curso de los procesos de evaluación de dispositivos educativos he denominado a estos dos tipos de referentes: criterios fijos y criterios elaborados o generados.⁹ En ambos casos estamos ante un proceso de búsqueda de los referentes pertinentes (es decir, los de carácter universal y los particulares) que permitan explicar y justificar la evaluación de un dispositivo educativo.
 

La referencialización: un planteo metodológico

Las nociones anteriormente analizadas adquieren sentido y operatividad consideradas como parte de una metodología para la evaluación de dispositivos educativos. Una metodología no con el sentido rígido de pasos predeterminados que suponen la falsa idea que su "correcta aplicación" asegura una evaluación legítima y de calidad, sino que hablar de la "referencialización" (Figari, 1994) como una metodología requiere subrayar la importancia de la especificidad de cada situación y de la participación democrática y bien fundamentada de todos los actores institucionales.

    Este último punto no sólo lo planteo desde una visión democrática de la evaluación educativa, lo que en si ya es importante, sino también desde la perspectiva del paradigma de la im-plicación a que hice referencia ya en este trabajo. Hablar de im-plicación en su doble perspectiva de im-plicación de tipo libidinal e institucional¹⁰ requiere considerar al dispositivo a evaluar como sujeto de su propia evaluación y no en mera calidad de objeto.

    A las preguntas acerca de: ¿quién evalúa?, ¿quién o quiénes tienen derecho a evaluar?, la respuesta correcta es todos, todos los sujetos implicados en la situación, si bien como manifestara con anterioridad en términos de poder no sólo importa quién evalúa, sino en nombre de quien lo hace y sobre todo quién o quiénes determinan los referentes de tal evaluación.

    Con relación a la problemática de la participación de los actores institucionales las experiencias muestran el papel relevante que tienen las formas de organización pensadas desde las bases y no respecto a las estructuras jerárquicas o reproductoras de instancias ya consolidadas de seudo participación de los docentes. También resulta crucial el funcionamiento de canales de comunicación que operen en forma horizontal (McCormick, R y M. James, 1996; Ibarrola, 1992).

    Lo anterior no excluye la presencia del consultor en este proceso, por el contrario la incluye como importante. La tarea del consultor deberá ser, en primer lugar, de "escucha" de los actores institucionales, de búsqueda de lo no dicho, de lo imprevisto, de indagación acerca de los procesos subjetivos e intersubjetivos. Además, desempeña un importante rol en la orientación de las diferentes cuestiones metodológicas inherentes al proceso: diseño de dimensiones de análisis, de interrogantes y de instrumentos para la recolección de datos, su aplicación y los pasos posteriores de análisis, interpretación del material recolectado y producción de informes.

    La referencialización se concibe como una metodología de estudio de casos, condición indispensable para poder captar la significación y particularidad de cada dispositivo educativo. De ahí la preeminencia, como ya lo señalara, de los referentes pertenecientes al orden del sintagma, es decir, criterios elaborados expresamente para cada situación y, por ende, no transferibles para la evaluación de otros dispositivos educativos. No estamos ante la presencia de un "modelo" que pueda aplicarse en forma mecánica.

    La referencialización se expresa, en su aspecto fenoménico, a través de la construcción de un cuadro o sistema de referencias, entendido como un sistema de coordenadas con relación a las cuales el valor de los objetos susceptibles de evaluación va a ser descrito y juzgado.

    El cuadro de doble entrada (ver abajo cuadro 1), podrá ser tan amplio como las dimensiones que, a juicio de los evaluadores, sean pertinentes para delimitar el objeto de la evaluación. El algunos casos, la complejidad del mismo objeto lleva a elaborar sub-dimensiones de análisis en el seno de cada dimensión.

    Figari (1994) distingue tres dimensiones en los dispositivos educativos, mismas que pueden servir para expresar las dimensiones de análisis del referido en la evaluación educativa, a saber: lo inducido, lo construido y lo producido.

    La dimensión de lo inducido se refiere a las condiciones existentes, de diferente orden: políticas, materiales, humanas, económicas que operan como determinantes o bien permiten justificar la puesta en acción de un dispositivo educativo.

    La dimensión de lo construido está orientada a examinar los diferentes procesos (representaciones, comportamientos, trayectorias, evoluciones, estrategias de poder, procesos de toma de decisiones) que definen la acción educativa propiamente dicha.

    La dimensión de lo producido evalúa los resultados, vale decir los productos alcanzados, pero sin limitarse a una visión binaria de logro o no, sino con la intencionalidad de analizarlos con relación a sus valores pedagógico, social, individual, económico, etcétera.

    A propósito de la evaluación de un proyecto educativo, en su estatus de dispositivo educativo Figari (1993) propone otras dimensiones de análisis: las finalidades; los elementos productores de objetivos; las iniciativas y las estrategias. Las finalidades engloban los valores explícitos e implícitos a niveles de la filosofía y política educativas.

    Elementos productores de objetivos designan todos los fenómenos que constituyen dificultades a resolver, los interrogantes planteados y las demandas que dieron lugar al proyecto.

    Las dinámicas existentes en la institución, las acciones individuales o colectivas tendientes a resolver determinados problemas u obstáculos constituyen la dimensión: iniciativas.

    Por último, las estrategias permiten la formulación de interrogantes acerca del abordaje pedagógico, la formación del personal docente, la comunicación entre los diferentes actores y, como una cuarta categoría de análisis, las formas de toma de decisiones.

    En mi práctica docente con esta metodología los alumnos de maestría han mostrado gran creatividad en el diseño de sub-dimensiones o categorías de análisis acordes con la singularidad de cada dispositivo educativo a evaluar. Así, el trabajo de un grupo¹¹de la Maestría en Didáctica de la Universidad Nacional de San Luis (Argentina) a propósito de la evaluación del "Proyecto curricular de formación del Departamento de educación y formación docente" desglosa la dimensión relativa a "Elementos productores de objetivos" en las siguientes categorías de análisis:
 

1. Docentes
a) Preparación de los docentes
b) Condiciones institucionales del trabajo docente
2. Alumnos
3. Recursos Materiales
a) Planta física y equipamiento
b) Sistema de información y biblioteca

Deseo subrayar que no se trata de concebir estas elaboraciones como "modelos" o sugerencias a seguir, insisto en la singularidad de cada proceso de aplicación de esta metodología.

    El planteamiento de los interrogantes de la evaluación constituye un proceso complejo. Existe, en general, la tendencia a formular interrogantes de tipo descriptivo que sólo señalan la presencia o ausencia de un determinado rasgo o proceso. Este tipo de interrogantes, incorrectos, corre el riesgo de confundir este componente del proceso de referencialización con la relación de indicadores propuesta en algunos modelos de evaluación institucional. En este último caso la evaluación se reduce a constatar la presencia o ausencia de determinados rasgos y su comparación, a efectos del control más que de la evaluación, con normas prefijadas.¹² Además, las preguntas que llevan a un sí o a un no, no permiten recoger datos significativos respecto a la dimensión estudiada.

    En mi práctica, en consecuencia, he insistido en la necesidad de concebir a los interrogantes, siguiendo a Figari (1994) como hipótesis en curso de verificación o rechazo. De esta manera, se elaboran interrogantes complejos, que buscan relaciones entre los diferentes elementos inherentes a la situación educativa, que expresan conjeturas acerca de posibles obstáculos, dificultades o logros, etcétera.

    Para tales interrogantes resulta imprescindible que los participantes en la evaluación (que a la vez son los actores institucionales) pongan en juego sus vivencias, experiencias y conjeturas sobre la situación, objeto de la evaluación.

    La recolección de datos siguiendo las preguntas formuladas implica el uso de diferentes técnicas: análisis documental, cuestionarios, entrevistas, observaciones, etcétera. Estas técnicas inherentes a la investigación en Ciencias Sociales serán empleadas con los debidos recaudos metodológicos. Junto a las técnicas, este componente del referencial, según nuestra práctica en este campo, va unido a las direcciones del estudio, mismas que nos sirven para señalar la o las cuestiones principales que se buscan en cada caso. Por ejemplo, en una entrevista percibir las expectativas de los actores.

    Los corpus de información constituyen el conjunto de datos, en el sentido más amplio del término, con los que se cuenta para realizar el análisis: documentos (textos oficiales o no), expresiones del los actores, discurso de los actores, registro de observaciones, etcétera.

    La determinación de los criterios para la evaluación, tema al que ya me he referido, permite la vinculación entre los diferentes componentes del referencial y la producción de juicios de valor, vale decir, el acto de la evaluación. Este último componente "corona" el proceso de elaboración del referencial, el cual sin duda siempre es provisorio y podrá ampliarse, modificarse, enriquecerse sobre la marcha.

    La complejidad de los dispositivos educativos sujetos de la evaluación y el enfoque aquí adoptado, demanda la selección de criterios pertenecientes al orden del paradigma, que atienden a las formas generales del objeto y la generación de criterios del orden del sintagma. En este último caso, estamos ante la necesidad de construir una combinatoria de elementos específicos de la situación. Las diferentes teorías explicativas de los fenómenos educativos juegan un rol relevante en tal proceso, ya que permiten "miradas" desde la perspectiva de la multirreferencialidad,¹³ las cuales no evaden sino que asumen en toda su importancia, la complejidad de los dispositivos educativos sujetos de la evaluación.

    Expresa Figari: "se trata de constituir un corpus de información y de analizarla, ya sea en función de conceptos tomados de un campo científico preciso, ya sea en función de conceptos especialmente construidos para la operación"(1993: 15).

    Conviene recordar, siguiendo una vez más a Ardonio que: "la toma en consideración de la multidimensionalidad de una situación pedagógica, situada en función de su entorno, conduce a un enunciado mucho más amplio de la evaluación" (1980: 157). A efectos de permitir una mejor comprensión de este aspecto de la metodología, me permito mostrar una forma de realizar este aspecto a través de una parte del referencial de evaluación elaborado por un grupo de alumnas de la Maestría en Didáctica¹⁴ (cuadros 2, 3, 4 y 5). De este trabajo expondré sólo una parte por razones de espacio.

    El objeto de la evaluación es: "la intervención pedagógica del Departamento de Evaluación y Tutorías en los procesos de incorporación de tecnología en el Programa de Educación a Distancia UBA XXI".

    Por razones también de espacio me resulta imposible la presentación del referencial que posibilite la lectura de las relaciones horizontales y verticales entre todos los elementos que lo componen, lo cual es necesario para atender a la correspondencia entre qué se indaga, cómo y a partir de qué se juzga.

    El referencial constituye siempre una construcción específica para la evaluación de un dispositivo educativo. Su carácter es, por tanto, circunstancial y no puede nunca convertirse en un modelo para su aplicación mecánica.

    Cada dispositivo a evaluar requiere de un proceso de elaboración intrínseco, con participación democrática de todos los actores implicados y con rigor metodológico en sus diferentes pasos. Se trata, en suma, de concebir a la evaluación como un elemento para la mejora de los procesos educativos y para la profesionalización de la enseñanza y no como un medio para el control.

Cuadro 1

Dimensiones  de análisis	Interrogantes	Direcciones del  estudio y técnicas	Corpus	Criterios fijos y elaborados

Cuadro 2

Dimensiones y categorías de análisis
A. Fundamentos
	-Valores de referencia y representaciones de los actores (miembros del equipo pedagógico y profesores del Programa), en relación con la intervención pedagógica, la concepción de enseñanza, la concepción de educación a distancia, las nuevas tecnologías, la educación superior, la formación docente. -Repercusión de los valores de referencia y las representaciones en las prácticas de intervención pedagógica del Departamento de Evaluación y Tutorías en relación con los profesores.

Cuadro 3

Dimensiones y categorías de análisis	Interrogantes
A. Fundamentos
A.1. Finalidades
Valores de referencia y representaciones de los actores...	*¿De qué maneras se relacionan las orientaciones acerca de la tecnología que sostienen los miembros del equipo pedagógico con las sustentadas por los profesores? *¿Cómo son las relaciones entre la orientación de la enseñanza sustentada por los profesores y su interacción con el equipo pedagógico?
Repercusión de los valores de referencia y las representaciones...	*¿Qué incidencia tienen las orientaciones de educación a distancia sustentadas por los profesores de la institución en la manera como aceptan y otorgan significado a la intervención del equipo pedagógico? *¿Cómo incide en el Programa de educación universitaria la orientación referente a la educación a distancia que sostienen los profesores en su tarea
Política educativa Institucional...	*¿Cuáles son las respuestas de la institución respecto a las demandas de la incorporación de tecnología con relación a la concepción de educación a distancia? *¿Cuál es la respuesta de la institución a las demandas sociales? *¿Cómo surge históricamente el programa UBA XXl y cuál es su relación con la política universitaria? *¿Qué valores culturales comprende la política educativa de la institución en relación con las demandas sociales? *¿Cómo se ubica históricamente la gestión pedagógica de la institución y cuáles han sido sus transformaciones? * ¿Cuál es la orientación pedagógica predominante en la institución y cuál la de los profesores?

Cuadro 4

Dimensiones y categorías de análisis	Direcciones de estudio, métodos y técnicas	Corpus
A. Fundamentos
A1. Finalidades
Valores de referencia y representaciones de los actores...	*Búsqueda de valores, ideas, enfoques respecto a la educación y a los procesos de intervención pedagógica que poseen los profesores de la institución. Entrevistas en profundidad, encuestas y análisis de documentos. *Búsqueda de las repercusiones de las representaciones de los actores en relación con la concepción de enseñanza. Entrevistas en profundidad. *Análisis de las orientaciones y concepciones con relación a la tecnología que asume el equipo pedagógico. Entrevistas y análisis de documentos. *Búsqueda de orientaciones compartidas con relación a la tecnología por parte del equipo pedagógico y por los profesores. Entrevistas	*Expresiones de los actores: información y respuestas de los cuestionarios; registro de entrevistas, documentos, materiales y proyectos. * Documentos, materiales, proyecto, expresiones de los actores. * Documentos, materiales, proyectos * Documentos, materiales, proyectos, expresiones de los actores.

Cuadro 5

Dimensiones y categorías de análisis	Criterios generados
A.1 Finalidades
A. Fundamentos
Valores de referencia y representaciones de los actores...	*Presencia y vigencia de una concepción compartida acerca de la tecnología y su inserción en la modalidad a distancia. * Reconocimiento de las posibilidades de enriquecimiento de la práctica educativa de los docentes a través de la intervención pedagógica.

Notas

^* Facultad de Filosofía y Letras de la Universidad Nacional Autónoma de México. Candidata al Doctorado en Ciencias de la Educación por la Universidad Nacional de Córdoba, Argentina.

¹ A nivel social cabe señalar que las pruebas nacionales han permitido la clasificación de las escuelas según los llamados "rangos de excelencia" (Periódico Reforma, 23 de noviembre de 1998; Periódico La Jornada, 5 de enero de 2000). La ubicación de las escuelas un "ranking" deriva en efectos de prestigio-desprestigio de las instituciones. Puede uno preguntarse: ¿es válido juzgar la calidad de cada escuela por el sólo hecho de evaluar a los estudiantes en ciertas asignaturas? Como veremos más adelante se trata de un típico caso de deslizamiento del objeto de la evaluación, además: ¿redunda esto en beneficio de la mejora de las escuelas operando como retroalimentación?, esto resulta difícil ya que no permite explicar y comprender las problemáticas específicas de cada escuela y región.

² Resulta importante señalar que es posible conceptualizar al dispositivo desde diferentes ópticas. Para un análisis de la noción de dispositivo pedagógico en las perspectivas del psicoanálisis, de M. Foucault y la didáctica sugiero la lectura de Souto, María et al. (1998) Grupos y dispositivos de formación.

³ Este planteo se sitúa en contraposición con las conquistas de la Ilustración moderna, las cuales han significado la intervención y responsabilidad del Estado para la distribución de la educación como un servicio público y con efectos niveladores (Bolívar, Antonio; 1996).

⁴ Ardoino, J. (1993a) considera que en las ciencias del hombre y de la sociedad es posible distinguir dos paradigmas: el de la explicación y el de la im-plicación. Cada uno de estos paradigmas supone diferentes maneras de concebir el objeto de conocimiento y la finalidad de la investigación científica.

⁵ Conviene señalar que el "encuentro" con el objeto real, por ejemplo, un establecimiento escolar, es precedido, necesariamente, por ciertos preconceptos que se tienen acerca del mismo.

⁶ Diferencio el trabajo de evaluación realizado mediante indicadores de la elaboración de interrogantes complejos acerca del objeto de la evaluación. En el primer caso tiene prioridad una visión "objetiva" del objeto de la evaluación, haciendo hincapié en lo observable. En el segundo caso se antepone una visión del objeto de la evaluación como sujeto de la misma, atendiendo no sólo a lo observable sino a las relaciones entre los diferentes elementos y a las intencionalidades y representaciones de los actores involucrados en el proceso.

⁷ Figari (1994) también alude al uso de la noción del referencial cartesiano en el dominio de las matemáticas, como el sistema que permite situar un punto en el espacio con relación a dos o "n" dimensiones. Lo cual permite identificar la posición de un objeto con relación a un conjunto de otros objetos que juegan el rol de "sistema de referencia".

⁸ Paradigma: conjunto de formas que puede tener un morfema (elemento de la palabra que permite reconocer su categoría gramatical) según la función que desempeña en el sintagma, vale decir en la combinación que la incluye (Figari, 1994).

⁹ R. Barbier considera que el referente, en su estatus, aparece relacionado con el nivel de los objetivos. Sin embargo también aclara que es necesario, en el criterios a partir de los objetivos. Expresa: "No basta con disponer de objetivos 'en función' desde los cuales evaluar, sino que es necesario además que de una forma u otra los objetivos puedan dar lugar a una comparación con los elementos factuales recogidos. Dicho de otra manera, el referente ha de tener una forma tal que se le pueda relacionar con los datos de referencia" (1993: 71). Por mi parte estimo que el manejo de los objetivos como base para la elaboración de criterios debe hacerse con sumo cuidado y, en todo caso, constituir algunos de los referentes, pero no su totalidad, ya que se correría el riesgo de no evaluar a los objetivos así como aspectos o resultados no previstos con anterioridad.

¹⁰ La im-plicación tiene su anclaje en lo imaginario, de ahí su carácter opaco y ambiguo, puede incluso ser totalmente inconsciente y requerir un trabajo de elucidación. No debe confundirse con el compromiso que es voluntario (Ardoino, 1998). Con base en Loureau, Ardoino (1980) se refiere a la im-plicación institucional atribuyéndole un sentido material, lógico e incluso físico. Como el conjunto de de-terminaciones de un objeto, su posición en un sistema. ESte mismo autor, siguiendo a Lapassade interpreta a la im-plicación libidinal como el resultado del juego de la afectividad profunda. Aunque la im-plicación institucional tiene libidinalidad y la im-plicación libidinal tiene siempre carácter político.

¹¹ El excelente trabajo elaborado por las licenciadas Carmen Barale, Saada Ventolita, Ana María Cometta y María Luisa Granata. Facultad de Ciencias Humanas de la Universidad Nacional de San Luis, julio de 1997.

¹² De este tipo es la propuesta de un modelo de evaluación realizada por De Miguel, Mario et al., Evaluación para la calidad de los institutos de educación secundaria, Madrid, Editorial Escuela Española, 283 p.

¹³ "El análisis multirreferencial de las situaciones, de las prácticas, de los fenómenos y de los hechos educativos se propone explícitamente una lectura global de tales objetos, bajo diferentes ángulos y en función de sistemas de referencias distintos, los cuales no pueden reducirse unos a otros. Mucho más que una posición metodológica, se trata de una decisión epistemológica. La educación, de-finida como una función social global que atraviesa el conjunto de los campos de las ciencias del hombre y de la sociedad, interesa tanto al psicólogo como al psi-cólogo social, al economista, al sociólogo, al filósofo o al historiador, etcétera, y es aprehendida en su complejidad" (Ardoino, 1993b; 31).

¹⁴ El también excelente trabajo de las licenciadas Alejandra Amantea, Constanza Necuzzi, María Verónica Perosi, Liliana Pinto y Leonora Zamudio Silva de la Maestría en Didáctica de la Universidad de Buenos Aires, Facultad de Filosofía y Letras. Agosto de 1999.
 
 
 
 

Bibliografía

Ardoino, Jacques (1980) Perspectiva política de la educación, Madrid, Narcea.

Ardoino, Jacques y Guy Berger (1996) D´une évaluation en miettes à une evaluation en actes. Le cas des universités, París, Andsha-Matrice, Boudet, L´Aigle.

"Introducción general" de Jacques Ardoino. Traducción de Virginia E. Pérez y Azucena Rodríguez.

_____ (1990) "Las posturas (o imposturas) respectivas del investigador, del experto y del consultor" en Ducoing, Patricia y Monique Landesmann (comp.) Las nuevas formas de investigación en educación, México,Ambassade de France au Mexique/Universidad Autónoma de Hidalgo.

_____ (1993) "Fragmentos de textos, nociones y definiciones (J. Ardoino) grupos, organizaciones e instituciones, Dictionnaire critique de la comunication, París, L. Sfez, P.U.F.

Auziol, Eric (1989) "Deux taches principales pour le consulter: expliciter le refent et preciser les choix d´objet d´évaluation" en Colomb, J. y J. Marsenach (comp.)

L´évaluater en revolution, París, Instituto National de recherche pedagogique.

Barbier, Jean Marie (1993) La evaluación en los procesos de formación, Barcelo na, Paidós/ Ministerio de Educación y Ciencia.

_____ (1999) Prácticas de formación, evaluación y análisis, Buenos Aires, Novedades Educativas/Facultad de Filosofía y Letras/UBA.

Bolivar, Antonio (1996) "El lugar del centro escolar en la política actual. Más allá de reestructuración y de la descentralización" en Pereyra Miguel A. et al. (coord.), Globalización y descentralización de los sistemas educativos. Barcelona, Po-mares/Corredor, pp. 237-266.

De Ibarrola, María (1992) "Cinco principios para la revisión curricular del CCH" en Primera aproximación a la revisión del plan de estudios del bachillerato del CCH, Cuadernillo Nº 6, Documentos de trabajo para la semana académica, UNAM, Colegio de Ciencias y Humanidades, pp. 2-8.

Figari, Gerard (1996) "¿Cuál sistema de referencias para evaluar una mesoestructura educativa?" en Denis Massé (comp.) (1993) L´evaluation institutionnelle en milleu scolaire. Logiques, enjeux, rôles et responsabilités des différents acteurs. Québec, Éditions du CRP/Faculté d´éducation/Université de Sherbroke, 169 p. Traducción de Virginia E. Pérez. Revisión de Azucena Rodríguez.

_____ (1998) Evaluar: cuál referencial? Con un prefacio de Jacques Ardoino. Bruselas, DeBoeck Université, 191 p. Traducción de Virginia E. Pérez y Azucena Rodríguez.

Terigi, Flavia (1997) "Currículo Nacional, recentralización y reforma educativa: lo que enseña el modelo británico" en Revista Novedades Educativas, núm. 79, pp.14-15.

Mc Cormick, R. y M. James (1996) La evaluación del curriculum en los centros escolares, Madrid, Morata.

Pereyra, Miguel A. et al. (coord.) (1996) Globalización y descentralización de los sistemas educativos, Barcelona, Pomares/Corredor.

Rodríguez, Azucena (1997) "¿Evaluación o control?" entrevista en Revista: La educación en nuestras manos, Buenos Aires, Suteba/Cetera/CTA, año 6, Núm. 47, pp. 8-10.