Construcción y validación del banco de ítems para la prueba de examen de conocimientos generales en medicina (ECGM) empleada para el ingreso al programa de posgrado en especialidades médicas.

Abstract

El objetivo de la investigación fue validar los ítems para la construcción de un banco de reactivos que permita el ensamblaje de futuras versiones de la prueba ECGM empleado en la primera etapa del concurso nacional para el ingreso al Programa de Posgrado en Especialidades Médicas. En la medida en que esta actividad se abocó a desarrollar una prueba de altas consecuencias, el ECGM - convocatoria 2015-2016, se procuró seguir las etapas según el marco teórico propuesto, observando, de la manera más rigurosa posible, las recomendaciones de la aplicación del año anterior y, muy especialmente, los ajustes necesarios que el proceso requiriera. Las etapas planteadas fueron: 1.Planificación de la prueba y aclaración (revisión) del propósito de la misma 2.Actualización de la tabla de especificaciones 3.Construcción y juzgamiento de ítems 4.Ensamblaje y embalaje de la prueba 5.Aplicación de la prueba bajo condiciones estandarizadas 6.Calificación de la prueba y manejo de las apelaciones 7.Análisis e investigación para recopilar evidencias de validez y confiabilidad 8.Alimentación y mantenimiento del banco de ítems 9.Generación y/o adaptación de manuales técnicos o protocolos El trabajo realizado durante esta actividad de investigación hizo posible el ensamblaje y la aplicación exitosa del ECGM en el año 2016, de manera que se pudo evaluar los conocimientos generales en medicina de 1.805 profesionales provenientes de las diferentes escuelas de Medicina del país Todos estas personas aspiraban a ingresar a alguna de las especialidades impartidas en el PPEM. La calidad y la organización del proceso hicieron posible una meticulosa recolección de la información en condiciones que garantizaron la estandarización del proceso. Lo anterior respalda la generación de datos y los análisis que dan cuenta de una adecuada medición del constructo meta. Por su parte, el cálculo del indice de discriminación permitió detectar aquellos ítems que no aportaron a la consistencia interna del instrumento. La exclusión de estos ítems en la calificación hubiera permitido elevar el valor del coeficiente de confiabilidad (alfa de Cronbach) del conjunto de ítems comunes a las 4 fórmulas de 0,68 a 0,75, siendo este último un valor más aceptable para una prueba de altas consecuencias como el ECGM. Ante la necesidad de mejorar la capacidad para discriminar entre personas con niveles de habilidad bajos y altos, con el propósito de seleccionar a aquellas que pasarán a la segunda etapa del proceso de ingreso al PPEM, se recomienda que, en aplicaciones futuras, se excluya los ítems con baja discriminación en una etapa previa a la calificación final, de manera que el instrumento tenga más poder para seleccionar a aquellas personas con mayor puntaje en relación con el constructo medido. El análisis de dificultad del instrumento arrojó que, si bien casi la mitad de los ítems de la prueba aplicada en 2016 pueden considerarse como fáciles, sí se contó con una adecuada representación de ítems con dificultad alta. La poca representatividad de ítems con dificultad media es un reto a tomar en cuenta en futuros procesos de construcción de ítems y de ensamblaje de la prueba, de manera que se promueva más variabilidad de la dificultad en los diferentes ítems del instrumento.ABSTRACT:The objective of the research was to validate the items for the creation of a reagents bank that allows to put together future versions of the ECGM exam used in the first stage of the national exam for the admission to the Postgraduate Medicine Specialties Program. In as much as this activity focused on developing a high consequences test, the 2015-2016 ECGM-call, it sought to follow the sequence of stages according to the theoretical framework proposed while observing rigorously the recommendations from the application of the test the previous year and especially the adjustments the process required. The established stages were: 1.Planning the test and clarifying (review) its purpose 2.Updating the specifications table 3.Creating and evaluating the items 4.Assembling and packing the test 5.Giving the test under standardized conditions 6.Grading the test and handling appeals 7.Analyzing and investigating in order to collect valid and reliable evidence 8.Entering information and maintaining the item bank 9.Generating and/or adapting technical or protocol manuals The work carried out during this research activity made it possible to put together and successfully give the ECGM in 2016, so that the general medical knowledge of 1.805 professionals from the different Medicine Schools from around the country could be evaluated. All these people aspired to be admitted to the specialties taught at the PPEM. The quality and organization of the process made a meticulous collection of information possible under conditions that guaranteed the standardization of the process. The previously stated supports generating data, and the analysis that was provided accounts for an adequate measurement of the meta construct. As for the calculation of the discrimination index, it allowed to detect those items that did not contribute to the internal constancy of the instrument. The exclusion of those items in the grading process would have allowed to raise the value of the reliability coefficient (Cronbach's Alpha) of the set of items common to the 4 formulas of 0,68 to 0,75. The latter being a more acceptable value for a high-stakes test like the ECGM. In view of the need to improve the ability to discriminate between people with low and high skill levels, and in order to select those that will move to the second stage of admissions to the PPEM, it is recommended, in future applications, to exclude items with low discrimination in a stage prior to the final grade, so that the instrument has a higher probability of selecting those people with higher scores related to the measured construct. The analysis of the difficulty of the instrument showed that, although almost half of the items of the test applied in 2016 can be considered as easy, it had an adequate amount of high difficulty items. The low amount of medium difficulty items is a challenge to take into account in future processes when creating items and assembling the test, so as to promote more variability of the difficulty in the different items of the instrument.