To examine the consistency of the ranking of Canadian and US medical graduates who applied to Canadian family medicine (FM) residency programs between 2007 and 2013.
All 17 Canadian medical schools allowed access to their anonymized program rank-order lists of students applying to FM residency programs submitted to the first iteration of the Canadian Resident Matching Service match from 2007 to 2013.
The rank position of medical students who applied to more than 1 FM residency program on the rank-order lists submitted by the programs. Anonymized ranking data submitted to the Canadian Resident Matching Service from 2007 to 2013 by all 17 FM residency programs were used. Ranking data of eligible Canadian and US medical graduates were analyzed to assess the within-student and between-student variability in rank score. These covariance parameters were then used to calculate the intraclass correlation coefficient (ICC) for all programs. Program descriptions and selection criteria were also reviewed to identify sites with similar profiles for subset ICC analysis.
Between 2007 and 2013, the consistency of ranking by all programs was fair at best (ICC = 0.34 to 0.39). The consistency of ranking by larger urban-based sites was weak to fair (ICC = 0.23 to 0.36), and the consistency of ranking by sites focusing on training for rural practice was weak to moderate (ICC = 0.16 to 0.55).
Vérifier si les diplômés canadiens et américains qui ont posé leur candidature dans plus d’un programme de résidence en MF entre 2007 et 2013 ont obtenu un classement équivalent dans les différents programmes.
Les 17 facultés de médecine du Canada qui nous ont donné accès aux listes de classement anonymisées des étudiants qui, entre 2007 et 2013, ont posé leur candidature à des programmes de résidence en MF au premier tour de jumelage du Canadian Resident Matching Service.
Les rangs obtenus par les étudiants en médecine qui ont posé leur candidature à plus d’un programme de résidence en MF selon les listes fournies par les programmes. On s’est servi des données de classement anonymisé soumis par les 17 programmes de résidence en MF au Canadian Resident Matching Service entre 2007 et 2013. Les données sur les rangs obtenus par les diplômés canadiens et américains ont été analysées afin d’évaluer la variabilité des scores obtenus pour le même étudiant et entre étudiants. Ces paramètres de covariance ont ensuite été utilisés pour calculer le coefficient de corrélation intraclasse (CCI) pour tous les programmes. On a également révisé la description de chaque programme pour identifier les sites possédant des profils semblables pour une analyse des CCI des sous-ensembles.
Entre les années 2007 et 2013 et pour l’ensemble des programmes, la similitude des classements était tout au plus passable (CCI = 0.34 à 0.39). Pour les plus grands sites urbains, elle était entre faible et passable (CCI = 0.23 à 0.36), tandis que pour les sites préconisant une formation en vue d’une pratique rurale, elle était de faible à modérée (CCI = 0.16 à 0.55).
Dans la plupart des cas, le niveau de similitude des rangs obtenus par les candidats désirant une formation au Canada était bas. Cela soulève des questions à propos de l’impartialité, en raison notamment de l’équité et de la justice distributive qui devrait régir le processus de sélection.