Evidencias de validez y de confiabilidad en los procedimientos de admisión al Programa de Posgrado en Especialidades Médicas de la Universidad de Costa Rica

Abstract

El propósito del estudio fue: Generar evidencias de validez y de confiabilidad que respalden la toma de decisiones en cuanto a la calidad técnica de los procedimientos de admisión al programa de Posgrado de Especialidades Médicas (PPEM-UCR). El estudio consta de dos partes: la aplicación del Examen de conocimientos generales en medicina (ECGM) y las pruebas específicas de cada una de las especialidades. Para la realización de esta investigación se implementaron las siguientes etapas: Ensamblaje del ECGM, Logística y aplicación, Realización de análisis psicométricos a los datos generados a partir de la aplicación del ECGM 2018, Calificación de las respuestas, Reporte de resultados y selección de los ítems para futuras aplicaciones. La población participante fueron todas las personas que se inscribieron al proceso de admisión al posgrado y culminaron dicho proceso con la realización del ECGM. Mediante esta investigación se logró identificar las principales evidencias de validez y de confiabilidad sobre los procedimientos de admisión al PPEM-UCR, lo cual, a su vez, ha permitido verificar tanto la calidad del proceso como las oportunidades de mejora que pueden implementarse para garantizar su calidad técnica en el futuro. Las principales conclusiones que respaldan la afirmación anterior se presentan a continuación. El equipo investigador brindó asesoría y acompañamiento al equipo administrativo a cargo del ensamblaje y aplicación de la prueba en el 2018, para garantizar la aplicación de lineamientos técnicos que garantizaran la calidad de la evaluación realizada mediante este instrumento. Previamente a este procesos, el equipo investigador capacitó y coordinó a las personas docentes a cargo de la construcción de ítems, así como a los equipos a cargo de los diferentes juzgamientos de ítems, lo que permitió contar con 4 fórmulas de examen compuestas por reactivos que pudieran medir de forma adecuada el constructo meta: conocimientos generales en medicina. Gracias al acompañamiento brindado, la aplicación del ECGM 2018 se dio bajo condiciones de estandarización, lo que permitió que la totalidad de las personas fuera evaluada bajo condiciones de equidad en cuanto a disposición de tiempo y condiciones ambientales, independientemente de la sede de aplicación asignada. Para lograr esta estandarización, fue clave la capacitación de las personas coordinadoras de cada sede, así como de las personas aplicadores de cada aula.

ABSTRACT: The purpose of the study was: To generate evidence of validity and reliability to support decision-making regarding the technical quality of the admission procedures to the Postgraduate Medical Specialties program (PPEM-UCR). The study consists of two parts: the application of the Examination of general knowledge in medicine (ECGM) and the specific tests of each of the specialties. To carry out this research, the following stages were implemented: Assembly of the ECGM, Logistics and application, Carrying out psychometric analysis to the data generated from the application of the ECGM 2018, Qualification of the responses, Report of results and selection of items for future applications. The participating population were all the people who signed up for the postgraduate admission process and completed this process with the performance of the ECGM. Through this research, it is possible to identify the main evidence of validity and reliability on the admission procedures to the PPEM-UCR, which, in turn, has allowed to verify both the quality of the process and the opportunities for improvement that can be implemented to ensure their technical quality in the future. The main conclusions that support the above claim are presented below. The research team provided advice and support to the administrative team in charge of the assembly and application of the test in 2018, to guarantee the application of technical guidelines that would guarantee the quality of the evaluation carried out using this instrument. Prior to this process, the research team trained and coordinated the teachers in charge of the construction of items, as well as the teams in charge of the different judgments of items, which allowed having 4 examination formulas made up of items could adequately measure the target construct: general knowledge in medicine. Thanks to the support provided, the application of the ECGM 2018 was given under standardization conditions, which allowed all of the people to be evaluated under conditions of equity in terms of availability of time and environmental conditions, regardless of the assigned application site. To achieve this standardization, the training of the coordinators of each headquarters, as well as of the applicators of each classroom, was key.