valor agregado y aporte relativo

Inicio menú > Research>Valor agregado y aporte relativo

¿Qué son las medidas de Valor Agregado y Aporte Relativo?

Valor Agregado

Los cálculos de valor agregado revelan el aporte que genera el paso por la educación superior en el desarrollo de las competencias básicas de un individuo, mediante la comparación entre el logro esperado y el logro real del individuo al finalizar su ciclo de educación (Arias et al (2009), Harris (2011)). Usualmente, estos cálculos se realizan mediante modelos multinivel o modelos jerárquicos, donde se tienen dos o más niveles de estimación Raudenbush y Willms, 1995).

En el primer nivel, se estima el nivel esperado de competencias que un individuo podría desarrollar durante esta etapa del ciclo educativo (Saber Pro esperado), utilizando como variable explicativa el nivel de competencias inicial (medido a través de Saber 11) (Ballou et al., 2004). En el segundo nivel, se estima el valor promedio de la diferencia entre el nivel de competencias desarrollado y el esperado entre los estudiantes de la unidad de análisis (Raudenbush, 2004). En el caso de los cálculos que realiza el Icfes, la unidad de análisis es la Institución-Núcleo Básico de Conocimiento (INBC). Es decir que, al final del ejercicio, se tienen estimaciones de valor agregado promedio de los estudiantes pertenecientes a un NBC de una Institución de Educación Superior (IES).

Las estimaciones de valor agregado pueden generar valores negativos, debido a que el punto de referencia con el que se compara el nivel de competencias del individuo al finalizar su educación superior es el nivel esperado de dichas competencias, estimadas con base en los niveles de competencias iniciales. Por eso, al encontrar valores agregados negativos, nos encontramos frente a estudiantes que desarrollaron sus competencias menos de lo que estima el modelo.

Aporte Relativo

Los cálculos de valor agregado son medidas agregadas que promedian los valores encontrados para todos los estudiantes de la unidad de análisis seleccionada (INBC). Por esta razón, al realizar análisis de las medidas de valor agregado, se deben tener en cuenta dos factores documentados:

1) Alta heterogeneidad en el nivel inicial de competencias de los individuos, las medidas de valor agregado.
2) Alta correlación entre el nivel de competencias inicial (Saber 11) y el nivel de competencias final (Saber Pro).

Por esta razón, los resultados de valor agregado se analizan a la luz del aporte relativo de una unidad de análisis (INBC) respecto a otras unidades de análisis similares. Para este ejercicio, se identifican vecindades para cada unidad de análisis (INBC), conformadas por otras unidades que tienen similares condiciones. En particular, estas condiciones están determinadas por el nivel de competencias inicial, el cual se mide con el puntaje global promedio de los estudiantes en la prueba Saber 11.

Una vez identificada la vecindad de cada unidad de análisis, se estima para cada integrante de la vecindad el aporte relativo, equivalente a la diferencia entre su valor agregado y el valor agregado de la unidad de análisis de referencia. En las estimaciones que realiza el Icfes, dentro de cada vecindad, el aporte relativo de la INBC de referencia es igual a cero, y el aporte relativo de cada uno de los INBC de su vecindad es igual a la diferencia entre su valor agregado y el valor agregado de la INBC de referencia.

De esta manera, los valores negativos de aporte relativo significan que, dentro de la vecindad, esos INBC tienen un menor valor agregado que el de la INBC de referencia para el análisis, mientras que los valores positivos indican que esas INBC tienen mayor valor agregado que la INBC de referencia.

Referencias

Arias, R., Soto, J. y Morera, M. (2009). Concepto y evolución de los modelos de valor añadido en educación Concept and evolution of educational value-added models. Revista de Educación. Ver más
Ballou, D., Sanders, W., & Wright, P. (2004). Controlling for student background in value added assessment of teachers. Journal of Educational and Behavioral Statistics, 29(1), 37–65. Ver más
Harris, D. (2011). Value-Added Measures in Education: What Every Educator Needs to Know. Harvard Education Press. Ver más
Raudenbush, S., &Willms, J. (1995). The estimation of school effects. Journal of Educational and Behavioral Statistics, 20, 307–335. Ver más
Raudenbush, S. (2004). What are value-added models estimating and what does this imply for statistical practice? Journal of Educational and Behavioral Statistics, 29, 121–130. Ver más

¿Cómo es la metodología de estimación que realiza el Icfes?

A continuación, se describe brevemente el procedimiento de estimaciones de valor agregado y aporte relativo que realiza el Icfes con base en los resultados de las pruebas Saber Pro. Para mayor detalle, consultar el Informe Técnico haciendo clic aquí.

1. Realizar el cruce entre estudiantes que tomaron Saber Pro y sus resultados en Saber 11.

2. Aplicar filtros sobre el mínimo de observaciones para garantizar la confiabilidad de las estimaciones. Estos filtros se enumeran a continuación:

a. Se excluyen del estudio los registros que tienen dos o más módulos de Saber Pro con un puntaje igual a 0 o sin calificación, ya que son personas que por alguna razón no respondieron la prueba y pueden sesgar las estimaciones.
b. Se excluyen INBC que tengan menos de 25 estudiantes que hayan presentado la prueba Saber Pro.
c. Se excluyen INBC donde el porcentaje de estudiantes que cumplen los anteriores filtros con respecto al total de estudiantes que presentaron la prueba Saber Pro sea menor al 40%.
d. Por último, solo se hacen las estimaciones de valor agregado en aquellos NBC que cuenten con al menos cinco instituciones

3. Estimar el Valor Agregado. Este procedimiento se realiza mediante un modelo jerárquico, como se explicó en la sección anterior.

4. Identificar las vecindades de comparación. Para cada INBC, el conjunto de otras INBC (pertenecientes al mismo NBC) que tenga, en promedio, los estudiantes con puntajes de Saber 11 más parecidos.

5. Estimar el Aporte Relativo dentro de cada vecindad de comparación.