2. Una visión holística de la evaluación. 
 

No se puede pretender generar procesos evaluativos que sean realmente significativos, si previamente no se tiene un marco claro en torno a lo que significa la eva-luación, sus objetivos y sus procesos. 
Por otro lado, es imprescindible considerar que las expectativas creadas y el interés demostrado por los di-ver-sos grupos sociales, en torno a la calidad del fun-cionamiento y de los resultados de la educación superior, requiere información.  Una sociedad bien informada pue-de contribuir a mejorar la calidad educativa en las institu-ciones de educación superior. 
Es aun frecuente el encontrarse con conceptos diversos acerca de la evaluación y, sobre todo, con ambi-güe-da-des y confusiones conceptuales y proce-dimentales entre evalua-ción, medición y acreditación.  Ante esta realidad, se hace necesario establecer un marco teórico en torno al tema.  Este marco, además de contener  teorías que fundamenten la propuesta de EVALUACION Y ACRE-DI-TA--CION DE PRO-GRAMAS DE FORMACION DE INGENIEROS, debe culminar con definiciones opera-cionales, que faciliten y contex-tualicen la operativi-zación de dicha propuesta. 

2.1 Evaluación. 

El término evaluación incluye varias acepciones que se suelen identificar con fines diferentes, como: valorar, enjuiciar, controlar, fiscalizar, etc. Algunas de ellas acarrean, incluso, ciertas connotaciones socialmente negativas. 

Algunas veces la evaluación ha sido utilizada con esas finalidades, pero, fundamentalmente debe ser atendida como un proceso necesario para mejorar la calidad de la educación que se imparte en las instituciones educativas. El proceso de evaluación pone de relieve qué está ocurriendo y por qué y aporta datos válidos de cómo son las situaciones y los hechos que son objeto de estudio. 

En términos generales, la evaluación es un "proceso de análisis estructurado y reflexivo, que permite comprender la naturaleza del objeto de estudio y emitir juicios de valor sobre el mismo, proporcionando información para ayudar a mejorar y ajustar la acción educativa" (Ruiz, 1996:18). 

Sobre la base de esa definición conceptual se construye -con fines del presente trabajo- la siguiente definición operacional: 

Se entiende por evaluación el proceso -no un momento- de recopilación de información que analizada e interpretada a la luz de un marco referencial posibilite la emisión de juicios de valor que conduzcan a la toma de decisiones institucionales. 

La definición apuntada permite, en primer término, establecer una distinción entre la evaluación y la medición. La medición no es evaluación, es sólo una parte de ella asociada al proceso de recopilación de información. La información recopilada, si es cuantitativa, puede ser objeto de medición lo que permitirá mayor precisión en la presentación de datos y la construcción de indicadores y parámetros comparativos. 

Desde esta perspectiva la evaluación resulta un proceso influido por los restantes elementos del proceso educativo global y, además, es esencialmente distinta a la medición. Se puede comprender mejor la diferencia en la comparación que establece José Ruiz de la Universidad Complutense de Madrid-España (1996:18).

 

Medición	Evaluación
Expresa un valor absoluto.  Es un momento estanco; no procesual.  Está subsumida en la evaluación.  No implica evaluación.  Constituye un medio para valorar.  Es, simplemente, un medio para obtener datos.	Expresa un juicio de valor relativo.  Es un proceso dinámico.  Subsume a la medición, siendo más extensiva.  Implica, entre otros procedimientos, a la medición.  Es la valoración misma.  Compara los datos con los resultados previstos.

 
  
Los resultados reportados por la medición (dentro del proceso de evaluación) deben ser interpretados a la luz de un marco referencial. En esta línea se sitúa Santos Guerra (1990:45), cuando al presentar la dimensión etnográfica de la evaluación institucional define que: 

"Para mejorar la práctica es necesario conocerla en profundidad. Reconstruir la realidad desde una perspectiva crítica no sólo supone su contemplación aséptica y su descripción rigurosa. Es necesario interpretarla, saber dónde están las raíces de los comportamientos, las causas de las actuaciones, los efectos del desarrollo curricular (tanto explícito como oculto)". 

El marco referencial con el que debe confrontarse la información recogida, estará constituido fundamentalmente por la naturaleza de la institución o programa a ser evaluado, sus objetivos y las necesidades y urgencias sociales. 

Si ha de evaluarse una Universidad o un programa de ella no puede dejar de tomarse en cuenta los fines últimos de una institución de educación superior: la formación de profesionales debidamente capacitados, el desarrollo y difusión de ciencia y tecnología y la atención oportuna de su responsabilidad social. Tener en cuenta esto es importante para no caer en una visión empresarial o "eficientista" de la evaluación, preocupada sólo por el uso eficiente de los recursos olvidando la dimensión pedagógica que ha de estar en primer lugar. 

De la confrontación de la información con el marco referencial surgirá un juicio de valor sobre la calidad de la realidad evaluada. El concepto "calidad" es siempre un concepto abstracto y relativo; es decir, calidad en relación con… 

En este punto es conveniente detenerse para crear un lenguaje común relativo a la CALIDAD, a través de algunas definiciones operacionales. 
 

• CALIDAD. Es un concepto abstracto y relativo (de carácter comparativo) como ya se expresó. Es multidimensional, por la pluralidad de sus componentes. El mejoramiento de la calidad no es unilineal, viene definido desde muchas direcciones.

Para mayor claridad del alcance del concepto de calidad, es necesario crear un lenguaje común en torno a la connotación de los términos relacionados con las manifestaciones de la calidad y con la posibilidad de medición y verificación de esas manifestaciones, como ser: criterio, indicador, índice, parámetro, instrumento y estándar (CINDA, 1992: 13-16). 
• CRITERIO. Es un principio valorativo que regula las manifestaciones del objeto de la evaluación. Esas manifestaciones se presentan en varias dimensiones. Entre otras: eficiencia, eficacia, relevancia y efectividad.
• EFICIENCIA. Entendemos por eficiencia al uso óptimo que hace una institución o un programa de los recursos, con el fin de conseguir que los procesos conduzcan al logro de los objetivos. La eficiencia puede ser de orden administrativo y de orden pedagógico. La primera está referida a los recursos humanos, financieros, etc. La segunda se refiere a los medios operativos para el desarrollo curricular.
• EFICACIA. La eficacia debe ser entendida como la correspondencia entre los objetivos logrados, por una institución o por un programa, con las necesidades, expectativas y demandas sociales. La eficacia se puede manifestar por el grado de adecuación de la institución o programa, por el costo-efectividad o por el costo-beneficio de sus productos.
• RELEVANCIA. Esta debe ser concebida como el reflejo de los fines de la institución o del programa. Se refiere al "para qué se educa". La dimensión del criterio de relevancia se manifiesta a través de la pertinencia, el impacto y la oportunidad con las que la institución o programa de formación profesional afectan al contexto en el que se insertan.
• EFECTIVIDAD. Consiste en la congruencia que existe entre lo planificado y lo logrado por la institución o programa. Se expresa a través de las metas explícitas, el cumplimiento de las mismas y el logro de los aprendizajes.
• INDICADOR. Es la manifestación o traducción de una cualidad o propiedad del objeto de la evaluación. Los indicadores pueden ser cualitativos o cuantitativos. Los indicadores cuantitativos, cuando señalan una relación, se expresan en índices.
• INDICE. Es la expresión numérica que representa una relación de dos características de una población. Ej. :

 
• PARAMETRO. Unidad de medida de los atributos del objeto de evaluación. Para comparar los atributos con el parámetro se recurre a instrumentos de recolección de información.
• INSTRUMENTO. Se constituye en el medio de recolección de información.
• ESTANDAR. Se lo considera como el parámetro mínimo exigido para considerar satisfactorio el logro alcanzado por el objeto de la evaluación.

Habiendo creado el lenguaje común en relación de la calidad, sus manifestaciones y criterios para verificarla retornemos ahora al tema de la evaluación. 

Para la evaluación de una institución o de un programa universitario, la calidad de éstos debe ser establecida, por lo menos, en las dimensiones de relevancia, efectividad, eficacia y eficiencia. 

La relevancia será juzgada a través de los criterios de pertinencia, impacto y oportunidad. La efectividad, referida a la congruencia entre lo planificado y los logros obtenidos deberá tener en cuenta las metas explícitas y el cumplimiento de tales metas. La eficacia dice relación entre los objetivos logrados y las necesidades y demandas sociales. La eficiencia está referida al criterios del óptimo uso de los recursos, buscando calificar tanto la eficiencia administrativa como la pedagógica en la productividad y rendimiento. 

Los juicios de valor acerca de la calidad están orientados a la toma de decisiones institucionales para el mejoramiento y fortalecimiento de la institución o programa evaluados. Así, la evaluación nunca debe penalizar ni generar exclusiones; será más bien punto de partida para la formulación de acciones institucionales que permitan el reordenamiento de áreas específicas del quehacer académico.

 
2.2 Características generales de la evaluación. 
La evaluación, como ya se mencionó, tiene diversas acepciones que, a su vez, responden a paradigmas específicos. 

Sea cual fuera el paradigma por el que se opte, proceso evaluativo deberá responder a una serie de características básicas. Estas características son las siguientes (Ruiz, 1996:19-20). 
 

• La evaluación es un proceso integral y comprehensivo: significa que debe abarcar todas las variables del ámbito sujeto a la evaluación. Podrá utilizar cualquier tipo de técnicas e instrumentos para la recolección de información pertinente y en armonía con la correspondiente planificación. Toda información sobre el objeto evaluado contribuirá a cualificar el juicio emitido acerca de él.
• La evaluación es indirecta: puesto que las variables, en el campo de la educación, sólo pueden ser mensurables y valoradas en sus manifestaciones observables.
• La evaluación debe responder a un proceso científico: tanto en la selección, diseño y aplicación de los instrumentos, como en la metodología empleada para la recolección, procesamiento y análisis de información, así como también en la interpretación de los resultados.
• La evaluación es un proceso referencial: porque toda acción valorativa tiene como finalidad esencial relacionar los logros obtenidos con las metas u objetivos propuestos por una institución o un programa.
• La evaluación es un proceso continuo: significa que, integrada a los procesos de cada ámbito evaluado, forma parte intrínseca de la dinámica de ese ámbito. Esta característica otorga a la evaluación una dimensión formativa o retroalimentadora, aportando a modificar aquellos factores o aspectos que sean susceptibles de mejora.
• La evaluación debe ser un proceso participativo y cooperativo: entendiendo que en este proceso se impliquen todos aquellos elementos personales que en él intervienen.
2.3 La evaluación: un proceso científico. 
Considerando la característica científica de la evaluación, descrita en el punto 2.2.3., se puede hablar de una investigación evaluativa que concrete el proceso. Debemos entender por INVESTIGACION EVALUATIVA al proceso de construcción de conocimientos sobre la realidad de una institución o de un programa. Se trata de un proceso de obtención, procesamiento, análisis e interpretación de información sobre una situación institucional o de un programa. Este proceso debe conducir a la emisión de juicios de valor para la toma de decisiones. Se utiliza cuando se quiere conocer cuáles han sido los logros, los fracasos, aciertos o desaciertos de una situación institucional o de un programa. 

Al convertirse la evaluación en un proceso de investigación científica, responde también, a diferentes enfoques epistemológicos que, a su vez, utilizan procedimientos diferentes. Los enfoques epistemológicos principales de la investigación evaluativa son: 
 

• Enfoque cuantitativo-racional: utiliza procedimientos que requieren la medición y cuantificación de los fenómenos educativos. La base disciplinar de este enfoque se asienta en la psicología experimental y en la pedagogía experimental. Los objetivos que busca la evaluación con este enfoque están referidos a las relaciones causales entre las variables, objeto de estudio. Sus recursos metodológicos corresponden a diseños experimentales, mediante la aplicación de técnicas estadísticas que reportan datos de naturaleza cuantitativa.
• Enfoque cualitativo-fenomenológico: en este enfoque cada fenómeno educativo es tratado como algo único, condicionado por las circunstancias particulares del contexto donde se produce, lo que dificulta la generalización de los resultados. Su base disciplinar nace en la sociología y la antropología. Los objetivos que busca están referidos a la descripción general de las instituciones o programas, desde la perspectiva de sus participantes. Propone la evaluación de las instituciones o programas en sus contextos, utilizando recursos metodológicos como la observación y la descripción.
• Enfoque ecléctico: este enfoque combina características y procedimientos del enfoque cuantitativo y del cualitativo. Sus objetivos están relacionados con la necesidad de aumentar evidencias en la búsqueda de relaciones causales, estudio de procesos y datos de contexto. Utiliza todo tipo de recursos metodológicos.
• Enfoque de análisis costo-beneficio: este enfoque tiene una orientación economicista. Sus objetivos apuntan a emitir juicios de valor sobre una institución o programa en base a su rentabilidad. Pese a no ser el enfoque más adecuado para evaluar en el campo de la educación, se lo aplica, a veces, para definir la rentabilidad de los logros.
2.4 Estrategias de evaluación. 
 
• Desde el punto de vista del objeto de evaluación se plantean, básicamente, dos estrategias para evaluar las instituciones educativas (la Universidad se la concibe como una institución de ese carácter): una de carácter global, llamada evaluación institucional y otra de carácter parcial que es la evaluación de programas de formación profesional (en el caso universitario).
• De carácter global o EVALUACION INSTITUCIONAL: implica a todos los procesos e instancias de la institución, organizada en "unidades de gestión" para hacer operativo el proceso de evaluación. La institución, en este caso, debe ser entendida como una "unidad funcional" en la que se articulan coherentemente diferentes "unidades de gestión", buscando el logro de fines comunes, que respondan al marco doctrinal asumido por la institución.
• De carácter parcial o EVALUACION DE PROGRAMAS DE FORMACION PROFESIONAL: implica una determinada "unidad de gestión" de una institución educativa. Está orientada a valorar la calidad y los logros de un programa de formación profesional (considerado como "unidad de gestión"), como base para la posterior toma de decisiones de mejora, tanto del programa, como del personal involucrado en él.
• Desde el punto de vista de los sujetos que evalúan, la evaluación puede ser interna o autoevaluación y externa, heteroevaluación o evaluación por "pares académicos" (en el caso de la Universidad).
• EVALUACION INTERNA O AUTOEVALUACION: se considera autoevaluación a la aplicación de procedimientos de investigación evaluativa para la valoración de la calidad de los logros de una institución o de un programa. Es la investigación evaluativa realizada por los propios "agentes" universitarios. Este proceso debe reportar un informe autoevaluativo, que será el documento esencial para el desarrollo de la institución o del programa, objeto de evaluación y para la evaluación externa que vayan a realizar los "pares académicos".
• EVALUACION EXTERNA, HETEROEVALUACION O EVALUACION POR "PARES ACADEMICOS": debe ser concebida como el proceso en el que se aplican procedimientos de investigación evaluativa, buscando verificar las situaciones detectadas en el informe evaluativo. Es una evaluación conducida por agentes externos a la institución o el programa, sobre la base de los criterios reportados en la autoevaluación. Los agentes externos a la Universidad serán considerados como "PARES ACADEMICOS".

Los "pares académicos" deberán ser profesionales de reconocido prestigio, expertos en investigación evaluativa y educación superior (para el caso de evaluación de instituciones). Para la evaluación de programas, además de ese requisito deberán conocer a profundidad el campo del saber específico del programa sometido a la evaluación. 

Los "pares académicos", además, deberán ser profesionales sin prejuicios, que puedan emitir juicios de valor en forma objetiva, para dar validez y confiabilidad a los resultados del estudio. 

• Desde el punto de la finalidad última de la evaluación, podemos señalar a la meta-evaluación o la evaluación síntesis que supone la "EVALUACION DE LA EVALUACION", a la luz de los resultados de la autoevaluación y de los reportados por la evaluación externa por "pares académicos", en base a la construcción de un lenguaje común y al análisis y comprensión de cada contexto.
2.5 La evaluación un proceso holístico. 
 
Para cerrar el punto referido a la evaluación conviene considerar que para que la evaluación logre los propósitos señalados en los apartados anteriores, es importante que sea concebida dentro de una visión holística, es decir, que se busque extraer descripciones a partir de observaciones de lo global y lo concreto, más que de lo simplemente cuantificado y disgregado. 

Por otra parte, si se quiere hacer de la evaluación un instrumento privilegiado de mejoramiento de calidad, ella deberá ser total, lo que suponen la concurrencia de la autoevaluación y la evaluación externa, en un proceso articulado y continuo. 

Como ya se mencionó, la autoevaluación es la evaluación desarrollada por los propios actores internos de la institución o del programa. En un proceso de investigación-acción participativa la institución o el programa se evalúa a sí misma. 

Ha solido argumentarse contra la autoevaluación, señalando que uno no puede ser juez y parte. Se olvida la naturaleza de la evaluación y su propósito central de conducir a la toma de decisiones tendientes al mejoramiento de la calidad educativa: no juzga (en el sentido jurídico del término), ni sanciona; emite juicios de valor para retroalimentar los procesos de administración educativa. 

La autoevaluación, lejos de ser innecesaria o contraproducente, es imprescindible en cuanto se constituye en un momento de toma de conciencia de la propia realidad. Esta toma de conciencia es factor fundamental para impulsar al mejoramiento de la calidad. 

Ha de reconocerse, sin embargo, que sola la autoevaluación conlleva el riesgo de enfatizar sólo aspectos positivos, dejando a un lado o minimizando los negativos. Por eso a la autoevaluación debe seguir la evaluación externa. 

La sola evaluación interna (autoevaluación), puede ser sesgada ; la sola evaluación externa, que no involucra a los actores internos, puede convertirse en un proceso meramente ritual e ineficiente. 

Una evaluación totalizadora u holística resultará de la confrontación de los resultados de la evaluación interna con los de la evaluación externa. 

La evaluación externa de una Universidad, o de un Programa Universitario, no puede ser efectuada por cualquier evaluador, menos por una instancia política suprauniversitaria. Necesariamente debe ser realizada por "pares académicos". 

Para posibilitar la evaluación externa por pares se requiere de grupos colegiados cuyos integrantes sean de un alto nivel académico, no estén directamente comprometidos con la institución a ser evaluada y que cuenten con la legitimación de la propia comunidad académica nacional.