A partir de un propósito evaluativo, el diseño de un instrumento de evaluación debe garantizar por lo menos dos elementos: validez y confiabilidad. Por validez se entiende la consistencia entre lo que se pregunta y aquello que se ha definido como característico de un área de conocimiento evaluada. Por confiabilidad se puede aludir al grado de estabilidad, consistencia y predictibilidad de una prueba a lo largo de diversas aplicaciones.

A partir de un propósito evaluativo, el diseño de un instrumento de evaluación debe garantizar por lo menos dos elementos: validez y confiabilidad. Por validez se entiende la consistencia entre lo que se pregunta y aquello que se ha definido como característico de un área de conocimiento evaluada. Por confiabilidad se puede aludir al grado de estabilidad, consistencia y predictibilidad de una prueba a lo largo de diversas aplicaciones.

Para garantizar que las evaluaciones sean válidas y confiables, el Icfes diseña las pruebas estandarizadas con base en el diseño centrado en evidencias. Esta metodología propone una serie de pasos que permiten desagregar y generar un puente entre lo que se quiere evaluar (conjunto de competencias, conocimientos, habilidades o destrezas de un área) y las tareas que debería desarrollar un estudiante para dar cuenta de eso particular que se evalúa.

El armado es la etapa de la elaboración de una prueba en la que se obtienen las formas finales que se utilizarán en la aplicación. Esta etapa se lleva a cabo cuando se disponen tanto de especificaciones como de resultados del análisis de las posibles preguntas por utilizar. Así mismo, el armado involucra la selección del contenido y la organización de la información que se incluirá en cada uno de los cuadernillos de una prueba o examen.

Para guiar las diferentes actividades de esta etapa, se emplean los diseños experimentales, que son estrategias para la distribución de la información en formas finales y permiten controlar variables que pueden tener importancia en el resultado obtenido, se refieran o no al atributo o la característica que se pretende medir.

Una de las etapas finales del diseño de una evaluación tiene que ver con el establecimiento de los niveles de desempeño. Estos corresponden a categorías que describen aquello que es capaz de hacer un estudiante frente a lo que mide una prueba, de acuerdo con su puntaje. En el icfes, actualmente, se utiliza el método Bookmark que garantiza eficiencia y calidad de los productos asociados a las pruebas.

En el marco de las políticas nacionales para la educación inclusiva e intercultural, el Icfes se acoge a la iniciativa del Ministerio de Educación Nacional en su propósito de lograr equidad en el acceso a la educación. En este escenario, el Icfes propone una evaluación inclusiva que busca disminuir las brechas de inequidad y exclusión, asumiendo que, mediante el pleno ejercicio de derechos, las pruebas brindarán acceso a diversos servicios y beneficios a poblaciones vulnerables. En esa medida, la evaluación inclusiva promueve eliminar todo tipo de exclusión y discriminación y propone mecanismos de inclusión para las poblaciones tradicionalmente marginadas del derecho a la educación.

En el campo educativo, una prueba se considera accesible si la población a la que se aplica demuestra los conocimientos, habilidades o destrezas, independientemente de su género, etnia, nivel socioeconómico o discapacidad. Esto se logra siempre y cuando se eliminen o reduzcan las barreras que puedan surgir de la interacción entre las características de la prueba y las características de los evaluados. Tornar accesibles las pruebas implica tener en cuenta elementos de diseño, desarrollo, implementación, calificación y análisis de resultados.

En este contexto, y con el propósito de presentar los criterios teóricos, técnicos y metodológicos que fundamentan el diseño de la evaluación inclusiva en Colombia (un proyecto prioritario del Icfes a partir de 2018), se desarrolló un documento explicativo para que los interesados puedan obtener más información al respecto.

Además de las revisiones cuantitativas y cualitativas de los ítems, la literatura recomienda una revisión del contenido, denominada revisión de equidad (en inglés, fairness revision). El propósito de esta revisión es identificar factores que no están relacionados con lo que se pretende medir con una prueba y que pueden afectar el modo como los miembros de un determinado subgrupo de la población evaluada responde a un ítem. A menudo, estos factores pasan desapercibidos en las revisiones técnicas y estadísticas debido a que son factores de carácter cognitivo, afectivo o físico que no afectan a la mayoría de la población, sino a grupos demográficos específicos. Por esto, se hace necesario llevar una revisión de equidad usando lineamientos que provean una descripción detallada de los procedimientos y el fundamento de este tipo de revisión. Para ello, el Icfes desarrolló unos lineamientos para la revisión de sesgo.