26. L’évaluation en milieu de travail

Introduction

La compétence par conception (CPC) vise à améliorer la formation en favorisant l’observation et « l’évaluation à des fins d’apprentissage », au service de l’indépendance et de la compétence progressives. Dans la CPC, l’enseignement, l’apprentissage et l’évaluation des compétences des médecins sont enchâssés dans leur milieu de pratique quotidien. L’idée est de profiter des occasions fréquentes d’évaluation à faible incidence qui se présentent tout au long de la résidence. L’objectif des observations et des commentaires fréquents est de faciliter le développement progressif de la capacité des stagiaires d’exécuter en toute sécurité les tâches cliniques et professionnelles de leur discipline sans supervision. L’information et les données tirées du cumul de ces observations à faible incidence permettent à la fois aux directeurs de programme et aux comités de compétence de déterminer le niveau de progression des stagiaires à différentes étapes de leur formation.

En tant que directrice ou directeur de programme, vous savez que l’évaluation des compétences ne se limite pas à la vérification des connaissances. Il faut observer et documenter ce que les résidents « font » en pratique clinique. Cela correspond au plus haut niveau de la pyramide de Miller et constitue l’essence de l’évaluation et de l’observation en milieu de travail (EMT)¹. Pour renforcer et évaluer les compétences des résidents, il faut observer ces derniers à de nombreuses occasions et recueillir des renseignements suffisants et précis sur la qualité de leur travail^2–4. L’EMT facilite le perfectionnement des stagiaires en raison de sa faible incidence, mais fournit aussi d’importantes données sur la qualité du travail, permettant ainsi d’éclairer les décisions en matière de progrès et de promotion.

À titre de directrice ou directeur de programme, vous devrez tenir compte des besoins de perfectionnement du corps professoral dans votre milieu afin de vous assurer que les superviseurs cliniques qui se chargent de l’EMT des résidents possèdent les compétences nécessaires. Les informations contenues dans ce chapitre, ainsi que les ressources figurant dans les références, vous aideront à y parvenir.

Activités professionnelles confiables – le cadre d’organisation de l’évaluation en milieu de travail

Les activités professionnelles confiables (APC) sont des tâches clés de chaque discipline spécialisée qui peuvent être apprises, évaluées et déléguées dans des milieux de pratique réels. Les APC intègrent les différents rôles CanMEDS et sont liées à plusieurs jalons CanMEDS. Les APC et les jalons qui les composent sont progressifs sur le plan du perfectionnement et en phase avec chaque étape de la formation des résidents. Les jalons sont particulièrement utiles, parce qu’ils fournissent un contenu permettant de concevoir le programme d’études et de centrer la rétroaction sur les apprenants, qu’ils aient ou non réalisé une APC. Il est clair que la limitation du nombre de jalons clés pour l’évaluation de chaque APC et la concentration du corps professoral sur la composante narrative de l’évaluation peuvent améliorer la qualité du coaching et de la documentation^5-7.

Les APC sont des outils d’apprentissage de grande valeur, mais elles servent aussi de points de repère sommatifs de l’apprentissage qui a eu lieu. L’enseignement formatif se fait dans les milieux de pratique des médecins et comporte de fréquentes observations en milieu de travail liées à une rétroaction opportune pour les stagiaires. Cette rétroaction est nécessaire pour guider la progression de l’apprentissage des résidents. La documentation de l’observation fournit également des renseignements essentiels que les membres du comité de compétence utilisent ultérieurement pour éclairer leur recommandation sur les progrès accomplis par les résidents et leur passage à la prochaine étape de la formation. Pour chaque APC, le comité de spécialité approprié du Collège royal formule un nombre recommandé d’observations de réussite qui appuient la détermination de la compétence. Les multiples observations de pratiques dans différents contextes par différents évaluateurs au fil du temps dressent un portrait complet de la capacité des stagiaires à exercer la discipline, ce portrait étant nécessaire pour la prise de décision.

Fonctionnement de l’évaluation en milieu de travail sur le terrain

Dans le cadre de la CPC, vous devez vous assurer que le corps professoral utilise des occasions de supervision clinique réelle pour effectuer l’EMT du rendement de chaque résident. L’observation du rendement est suivie d’une conversation au cours de laquelle les enseignants cliniques offrent une rétroaction précise à des fins d’amélioration et transmettent des stratégies réalisables à cet effet. Cette rétroaction verbale est ensuite consignée, de sorte qu’elle peut contribuer aux données sur le rendement en ce qui a trait à la pratique, afin de documenter les plans d’apprentissage personnels des résidents et les décisions du comité de compétence sur les réalisations des APC. Les conversations fréquentes et opportunes entre apprenants et observateurs sont un élément essentiel de l’EMT dans le cadre de la CPC⁸. C’est ce qu’on appelle le coaching en direct, qui suit le processus RA-OCD (tableau 24.1) :

Tableau 24.1 RA-OCD

R	Établir un Rapport pédagogique entre le résident et le clinicien (une alliance ou un partenariat éducatif).
A	Déterminer les Attentes de la rencontre (discuter des objectifs d’apprentissage).
O	Observer le résident. Dans la CPC, les fonctions de l’enseignant clinique évoluent pour passer de la supervision à de fréquentes observations et séances de coaching. Lorsque les enseignants cliniques observent directement ou indirectement – et de manière plus fréquente – les tâches que les résidents accomplissent, leurs observations donnent lieu à un plus grand nombre d’occasions d’apprentissage et établissent un portrait plus global de la compétence acquise.
C	Offrir du Coaching au résident afin qu’il s’améliore. Dans le cadre de la conversation, l’enseignant clinique donne au stagiaire une « rétroaction avec coaching » axée sur des améliorations particulières qui peuvent être réalisées.
D	Documenter les interactions dans un résumé de la rencontre, y compris les détails de l’observation et les évaluations du rendement, à l’aide du formulaire d’observation.

Ressource pour le perfectionnement du corps professoral : Module RA-OCD – Ce module peut être utile lorsque vous commencez à concevoir un plan de perfectionnement du corps professoral. De plus, votre responsable local de la CPC ou votre bureau d’études médicales postdoctorales peut avoir des ressources pour vous aider dans ce domaine. N’oubliez pas de collaborer avec d’autres programmes, car l’ensemble des compétences requises pour réaliser l’EMT sera nécessaire dans tous les programmes.

Le rôle des enseignants cliniques et du comité de compétence

Il est important que votre corps professoral comprenne qu’il n’est pas tenu de prendre des décisions sommatives au sujet de la compétence globale d’un stagiaire ni des résultats de l’APC, cette responsabilité étant réservée au comité de compétence. Le corps professoral joue plutôt un rôle de coach en aidant les résidents à se perfectionner grâce à des observations fréquentes et réfléchies dispensées durant l’enseignement, associées à une rétroaction concrète et à des EMT formatives dans les milieux de pratique. Une évaluation individuelle de l’APC peut être envisagée comme l’équivalent pédagogique d’une note d’étape : ce n’est qu’une étape dans l’évolution des résidents. Les décisions relatives à la compétence ne sont pas fondées sur cette seule évaluation, mais plutôt sur la trajectoire de perfectionnement des stagiaires et sur l’acquisition de la compétence, telle que déterminée par le comité de compétence (tableau 24.2).

Tableau 24.2 : Comparaison des rôles des enseignants cliniques et du comité de compétence

Corps professoral de première ligne	Comité de compétence
• Observer le rendement des résidents • Fournir un encadrement et des commentaires • Consigner le contexte de l’observation et la rétroaction verbale donnée	• Déterminer la réalisation des activités professionnelles confiables • Prendre des décisions sommatives sur la compétence globale et la promotion des résidents

Les observations relatives à l’enseignement devraient être liées aux APC s’inscrivant dans l’étape actuelle de la formation du résident et aux activités courantes du stage clinique. Dans de nombreux cas, il sera difficile d’observer l’ensemble de l’APC en une seule rencontre. Dans de tels cas, il est toujours utile pour l’apprentissage général du résident que le superviseur donne une rétroaction précise sur une partie ou certains aspects de l’APC, et que ces évaluations fournissent des données utiles qui seront examinées par le comité de compétence. Certains outils d’EMT ont été conçus expressément pour évaluer simultanément plusieurs APC. Ces outils prennent souvent la forme d’un formulaire d’évaluation quotidien.

Conseils sur la conduite d’évaluations en milieu de travail

• Les superviseurs sont tenus de créer un environnement d’apprentissage sécuritaire sur le plan psychologique et propice à la rétroaction. Ils doivent aussi tenir compte des écarts de pouvoir, des différents aspects des biais implicites, explicites et structurels, et de leur influence sur l’évaluation et la rétroaction.
• Les résidents comme les superviseurs peuvent initialiser des observations pratiques réelles. Une telle approche encourage les résidents à assumer la responsabilité du travail d’apprentissage et d’évaluation. Toutefois, les résidents ne doivent pas prendre l’initiative de toutes les observations. Le corps professoral devrait également entreprendre une part des évaluations des APC, ce qui ajoute à la fiabilité du processus d’évaluation et des données produites. Cette démarche améliore à son tour la validité des données à mesure que les décisions de confier une activité professionnelle sont prises.
• Idéalement, les observations devraient se produire fréquemment et être intégrées à la pratique quotidienne courante et au flux de travail. Lorsque l’observation et l’évaluation sont normalisées sur le lieu de travail, les enseignants cliniques sont plus susceptibles de fournir des commentaires concrets sur la façon dont les résidents peuvent améliorer leur rendement et de consigner des évaluations honnêtes à ce propos⁹. Les résidents sont également plus susceptibles de percevoir chaque observation comme ayant une faible incidence¹⁰.
• L’observation du rendement des résidents peut être directe (p. ex., observation d’une stagiaire effectuant un examen du genou) ou indirecte (p. ex., discussion avec les résidents au sujet du plan de traitement d’une patiente). Bien que les observations directes produisent une rétroaction optimale, elles ne sont pas toujours réalisables compte tenu des exigences du flux de travail et de l’indépendance accrue des stagiaires à mesure qu’ils progressent⁹. Toutefois, l’observation indirecte permet tout de même de formuler des commentaires constructifs précis et de générer des données précieuses sur le rendement.

Documenter les évaluations en milieu de travail

L’EMT fait appel à des superviseurs cliniques qui documentent régulièrement les observations réelles en milieu de travail. Il est tout aussi important de saisir de riches données d’observation et de rétroaction que de fournir du coaching verbal, ces deux aspects appuyant les objectifs formatifs et sommatifs des EMT. Lorsqu’ils documentent les EMT, les superviseurs cliniques évaluent le degré d’aide dont les stagiaires ont besoin pour exécuter la tâche et fournissent un récit bref, mais riche, décrivant le contexte dans lequel la tâche a été observée, ainsi que la rétroaction fournie.

Le Collège royal a mis au point des modèles d’observation nationaux pour aider les superviseurs cliniques à documenter les EMT. Toutefois, les programmes et les écoles peuvent choisir d’adopter différents outils d’EMT assortis de critères de confiance adaptables à leur contexte et à leurs besoins locaux.

Échelles de notation utilisant des critères de confiance

L’EMT des résidents devrait refléter les priorités et l’expertise clinique de l’évaluatrice ou de l’évaluateur tout en s’efforçant d’atténuer ou de minimiser les biais possibles. Les échelles d’évaluation traditionnelles sont souvent ancrées à un niveau de formation prédéterminé (p. ex., inférieur aux attentes, répond aux attentes, dépasse les attentes), ou décrivent la qualité du rendement (p. ex., médiocre, acceptable, excellent). Cependant, ces échelles sont soumises à la norme de rendement attendu de l’évaluateur, qui varie d’un évaluateur à l’autre. Les préoccupations en matière de fiabilité et de validité de ces types d’échelles d’évaluation sont bien documentées^11-14.

En revanche, les échelles qui intègrent les critères de confiance utilisent la norme de compétence ou le rendement de façon autonome comme point de référence pour l’extrémité supérieure de l’échelle¹⁵. Ces échelles sont structurées de manière judicieuse en fonction de la façon dont les médecins superviseurs prennent déjà des décisions au jour le jour sur le rendement des stagiaires. Ces décisions sont fondées sur le jugement des évaluateurs quant au degré de supervision dont les stagiaires ont besoin pour accomplir une tâche, l’objectif final étant de former des cliniciens prêts à exercer en toute sécurité et sans supervision.

Bien que de nombreux termes aient été utilisés pour décrire des échelles intégrant des critères de confiance (p. ex., échelles de confiance ou d’indépendance), ces outils sont similaires sur le plan conceptuel. Il s’agit en effet d’échelles ordinales axées sur le comportement, basées sur la progression de la compétence et reflétant des niveaux croissants d’indépendance¹². Il a été démontré que les critères de confiance sont plus fiables que les critères traditionnels^{16, 17}. L’expérience recueillie dans l’utilisation des critères de confiance a également démontré que les stagiaires sont disposés à accepter des résultats d’évaluation plus faibles s’ils reçoivent une rétroaction concrète et applicable^18-20.

Le Collège royal a adopté un ensemble particulier de critères de confiance qui ont démontré à plusieurs reprises une excellente fiabilité et la capacité de distinguer les résidents juniors, intermédiaires et seniors lorsqu’ils sont appliqués à divers contextes cliniques. Ces critères sont : « J’ai dû le faire »; « J’ai dû lui expliquer comment faire »; « J’ai dû le guider à l’occasion »; « Je devais être présent au cas où » et « Je n’avais pas besoin d’être présent »^18-23. Bien que les critères de confiance semblent favoriser les observations durant des séances d’enseignement de type interventionnel, ils peuvent également être employés efficacement pour évaluer des habiletés non techniques, comme le rendement dans un service de consultation externe ^{19, 20, 23}.

Échelles de confiance O-SCORE

Niveau	Description
1	« J’ai dû le faire » c.-à-d., a besoin qu'on lui montre comment faire, ne l'a pas fait ou n'a pas eu l'occasion de le faire
2	« J’ai dû lui expliquer comment faire » c.-à-d., peut exécuter les tâches, mais en étant guidé constamment
3	« J’ai dû le guider à l’occasion » c.-à-d., fait preuve d'une certaine autonomie, mais a parfois besion d'être guidé
4	« Je devais être présent au cas où » c.-à-d., fait preuve d'autonomie, mais n'est pas conscient des risques et a encore besoin de supervision pour assurer une pratique sécuritaire
5	« Je n’avais pas besoin d’être présent » c.-à-d., entièrement autonome; comprend les risques, exécute la tâche de façon sécuritaire, apte à pratiquer
	Gofton WT, Dudek NL, Wood TJ, Balaa F, Hamstra SJ. The Ottawa surgical competency operating room evaluation (O-SCORE): a tool to assess surgical competence. Acad Med. 2012;87(10);1401-7. Reproduced with permission of the authors.

Ressource pour le perfectionnement du corps professoral : Module sur les échelles de confiance – Fournit des exemples des critères de confiance en action pour les APC liées aux tâches techniques et non techniques.

Conseils sur l’attribution de notes dans les outils d’observation de la CPC en milieu de travail

Il peut être difficile au début d’apprendre à utiliser les critères de confiance, en partie parce que les observateurs manquent parfois de clarté sur les implications de certains jugements. Les conseils suivants peuvent contribuer à leur apprentissage et augmenter leur degré d’aise.

• La note attribuée doit refléter le travail observé lors de la rencontre; elle ne prédit pas la qualité du travail futur. Par exemple, le fait de donner une note indiquant « Je n’avais pas besoin d’être présent » indique que, rétrospectivement, le superviseur n’avait pas besoin d’être présent à la rencontre qu’il venait d’observer. Cela ne veut pas dire que le résident est autorisé à effectuer la tâche clinique de façon indépendante à partir de maintenant.
• La note « Je n’avais pas besoin d’être présent » ne signifie pas que le superviseur n’a pas fourni de rétroaction pendant ou après l’observation. Même si le stagiaire a pu démontrer sa compétence, le superviseur peut et doit fournir une rétroaction pour le faire progresser vers l’excellence ou la maîtrise (c.-à-d. d’autres approches ou possibilités d’améliorer l’efficacité).
• Il peut souvent être difficile de distinguer entre « Je devais être présent au cas où » et « Je n’avais pas besoin d’être présent ». Pour effectuer cette distinction, le superviseur pourrait tenir compte de l’efficacité avec laquelle le résident a accompli la tâche. Il pourrait aussi se fier à son observation de la capacité du stagiaire à prévoir et à atténuer les risques réels ou potentiels associés à l’activité.
• Chaque observation d’APC devrait être à faible incidence. Chaque observation reflète le rendement des résidents quant à une tâche donnée, dans des conditions uniques et dans un contexte spécifique; elle ne représente donc qu’un point de données parmi tant d’autres. Aucune note unique ne détermine si les résidents ont réalisé ou non l’APC. Les décisions sommatives relatives à la réalisation de l’APC et à la compétence globale sont déterminées par le comité de compétence sur la base des tendances en matière de rendement. De multiples points de données rattachés à divers contextes, points dans le temps et évaluateurs donnent un portrait plus complet des habiletés des stagiaires à exercer la discipline.
• Lorsque vous attribuez une cote, il faut savoir que les systèmes d’évaluation peuvent comporter des biais susceptibles d’influencer les interactions et les échanges avec les apprenants, pendant et après l’évaluation.

Le rôle essentiel des commentaires narratifs

À la suite d’une observation pendant une séance d’enseignement, les stagiaires devraient idéalement recevoir des commentaires verbaux précis sur leur travail. Ces commentaires devraient également être bien documentés. Les commentaires narratifs, brefs, mais bien rédigés, constituent des informations très utiles dans n’importe quelle EMT²⁴. Au niveau le plus élémentaire, les commentaires découlant de l’observation fournissent des informations essentielles que les notes sur le rendement ne peuvent pas saisir. Ils permettent de documenter :

• les conseils comportementaux précis fournis aux stagiaires pour améliorer la qualité de leur travail futur dans la pratique;
• le contexte de l’observation, avec suffisamment de détails pour justifier les notes sur le rendement.

Bien que les tendances des notes sur le rendement aident le comité de compétence à suivre les progrès des résidents, ce sont les commentaires narratifs qui précisent le contexte riche du rendement observé, ce contexte étant nécessaire pour juger de la compétence. Ces commentaires alimentent également la réflexion personnelle des résidents et leur sont utiles pour l’élaboration d’un plan d’apprentissage personnel.

Conseils pour améliorer la documentation narrative dans les outils d’observation de la CPC en milieu de travail

Les enseignants peuvent être formés pour fournir des commentaires de grande qualité, et les initiatives de perfectionnement du corps professoral devraient être axées sur l’aide aux superviseurs pour ce faire. Les conseils suivants peuvent être utiles :

• Préciser le contexte de l’observation (p. ex., le milieu, les caractéristiques du patient, la complexité du cas).
• Justifier les notes sur le rendement attribuées dans le cadre de l’EMT. Donner suffisamment de détails pour qu’un évaluateur indépendant puisse comprendre le rendement du stagiaire.
• Proposer des suggestions pour améliorer le rendement, et le faire de façon constructive.
• Tenir compte des écarts de pouvoir dans l’interprétation des propos. Formuler des commentaires constructifs, orientés vers l’action et précis.

Stratégies pour relever les défis que vous rencontrerez probablement avec les observateurs

Défi 1 : « Je n’ai pas le temps d’observer et de documenter. »

Qu’il le sache ou non, le corps professoral a déjà l’habitude d’observer le rendement des résidents dans l’environnement clinique; c’est ainsi que les résidents reçoivent de la rétroaction leur permettant de s’améliorer. Toutes les observations n’ont pas besoin d’être faites en temps réel. Par exemple, l’observation du rendement peut consister à examiner un cas avec une résidente et à lui demander d’expliquer son plan de prise en charge, ou à lire la note qu’elle a rédigée et à corroborer ses constatations en voyant le patient vous-même. Lorsqu’il s’agit d’observations directes, la littérature montre clairement que le fait d’être prévoyant et de planifier des possibilités d’observation en temps réel augmente la probabilité que ladite observation ait lieu^{9, 25}. Le moment qui s’y prête le mieux est au début de la journée avec le résident. Lorsqu’il s’agit de documenter les évaluations, le corps professoral devra déterminer ce qui lui convient le mieux en fonction de son flux de travail. Pour certains, cela peut signifier remplir les questionnaires d’évaluation sur-le-champ, alors que d’autres préféreront le faire à la fin de la journée. Certains programmes fixent l’objectif d’au moins une observation documentée par jour. Dans tous les cas, il est essentiel de veiller à ce que les enseignants et les résidents aient rapidement accès à la plate-forme électronique dans leur milieu de pratique pour faciliter la documentation. Il faut aussi tenir compte des principes d’équité au moment de discuter des horaires/charges de travail. Par exemple, les enseignants concernés ou surchargés ont-ils du temps protégé pour accomplir les tâches de supervision demandées?

Défi 2 : « Les résidents ne cherchent qu’à obtenir des observations sur un travail de qualité supérieure. »

Il est naturel de vouloir obtenir de bons résultats et d’être reconnu pour tel. Le développement d’un état d’esprit axé sur la progression ne se fait pas du jour au lendemain. Toutefois, plusieurs stratégies peuvent aider à résoudre la question de l’observation sélective. Par exemple, il est important d’organiser votre système afin que les résidents et les enseignants puissent tous deux initialiser des APC. Les résidents ne sont pas toujours à l’aise de solliciter des commentaires lorsqu’ils ont obtenu de mauvais résultats. Cependant, l’observation et la documentation dans ces situations sont nécessaires pour déterminer les progrès, cerner les domaines à améliorer et assurer que le stagiaire vivra une vaste gamme d’expériences cliniques. Il y a lieu que ces avantages soient expliqués clairement aux résidents lors de leur orientation et tout au long de leur formation pour les inciter à demander de la rétroaction. Le corps professoral devrait également être orienté vers les APC de la discipline et encouragé à effectuer des observations ponctuelles. Le partage de la responsabilité de déclencher et de documenter les observations dans la pratique quotidienne peut aider à normaliser le processus d’EMT, tant pour le corps professoral que pour les résidents.

Conclusion

Les observations en milieu de travail sont un élément essentiel du programme d’évaluation dans le cadre de la CPC. Elles servent de stimulus pour le coaching et la rétroaction, ainsi que de moyen pour recueillir des données sur le travail clinique. Les observations relatives à l’enseignement devraient être liées aux APC qui s’alignent sur l’étape actuelle de la formation du résident et sur les activités courantes du stage clinique. En plus de la rétroaction verbale qu’ils fournissent aux résidents, les superviseurs devraient s’efforcer de documenter des commentaires narratifs riches, de grande qualité et suffisamment détaillés, pour guider les résidents en ce qui a trait à leur apprentissage personnel, et pour étayer la note attribuée. L’EMT repose idéalement sur une variété d’informations, comme des formulaires d’observation propres à l’APC ou à l’intervention, des observations narratives, des formulaires d’évaluation (quotidienne) propres à une spécialité ou à un programme et des outils de rétroaction multisources. Les EMT devraient refléter un large éventail de contextes et être réalisées par plusieurs évaluateurs afin de fournir un portrait complet de la capacité pratique d’un stagiaire, ce qui est nécessaire pour éclairer les décisions du comité de compétence. En tant que directeur de programme, vous constaterez à quel point le perfectionnement du corps professoral est important pour acquérir les compétences nécessaires à une EMT efficace, l’objectif final étant d’appuyer la progression et le perfectionnement des résidents.

Références

1. Miller G. The assessment of clinical skills/competence/performance. Acad Med. 1990;65(9):S63–S67.
2. Oerlemans M, Dielissen P, Timmerman A, Ram P, Maiburg B, Muris J, et al. Should we assess clinical performance in single patient encounters or consistent behaviors of clinical performance over a series of encounters? A qualitative exploration of narrative trainee profiles. Med Teach. 2017;39(3):300–307.
3. Carraccio C, Englander R, Holmboe ES, Kogan JR. Driving care quality: aligning trainee assessment and supervision through practical application of entrustable professional activities, competencies, and milestones. Acad Med. 2016;91(2):199–203.
4. ten Cate O, Hart D, Ankel F, et al. Entrustment decision making in clinical training. Acad Med. 2015;91(2):1.
5. Cook DA, Kuper A, Hatala R, Ginsburg S. When Assessment Data Are Words: Validity Evidence for Qualitative Educational Assessments. Acad Med. 2016;91(10):1359-1369. doi:10.1097/ACM.0000000000001175
6. Ginsburg S, van der Vleuten CPM, Eva KW. The Hidden Value of Narrative Comments for Assessment. Acad Med. 2017;92(11):1617-1621. doi:10.1097/ACM.0000000000001669
7. Govaerts M, van der Vleuten CP. Validity in work-based assessment: expanding our horizons. Med Educ. 2013;47(12):1164-1174. doi:10.1111/medu.12289
8. Landreville J, Cheung W, Frank J, Richardson D. A definition for coaching in medical education. Can Med Educ J. 2019;10(4):e109–e110.
9. Cheung WJ, Patey AM, Frank JR, Mackay M, Boet S. Barriers and enablers to direct observation of trainees’ clinical performance: a qualitative study using the theoretical domains framework. Acad Med. 2019;94(1):101–114.
10. McQueen SA, Petrisor B, Bhandari M, Fahim C, McKinnon V, Sonnadara RR. Examining the barriers to meaningful assessment and feedback in medical training. Am J Surg. 2016;211(2):464–475.
11. Carline JD, Wenrich M, Ramsey PG. Characteristics of ratings of physician competence by professional associates. Eval Health Prof. 1989;12(4):409–423.
12. Kreiter CD, Ferguson K, Lee WC, Brennan RL, Densen P. A generalizability study of a new standardized rating form used to evaluate students’ clinical clerkship performances. Acad Med. 1998;73(12):1294–1298.
13. van der Vleuten C, Verhoeven B. In-training assessment developments in postgraduate education in Europe. ANZ J Surg. 2013;83(6):454–459.
14. Turnbull J, Van Barneveld C. Assessment of clinical performance: in-training evaluation. In: Norman GR, Van der Vleuten C, Newble D, editors. International Handbook of Research in Medical Education. Dordrecht: Kluwer; 2002:793–810.
15. Rekman J, Gofton W, Dudek N, Gofton T, Hamstra SJ. Entrustability scales: outlining their usefulness for competency-based clinical assessment. Acad Med. 2015;91(2):1.
16. Crossley J, Johnson G, Booth J, Wade W. Good questions, good answers: construct alignment improves the performance of workplace-based assessment scales. Med Educ. 2011;45(6):560–569.
17. Crossley J, Jolly B. Making sense of work-based assessment: ask the right questions, in the right way, about the right things, of the right people. Med Educ. 2012;46(1):28–37.
18. Gofton WT, Dudek NL, Wood TJ, Balaa F, Hamstra SJ. The Ottawa Surgical Competency Operating Room Evaluation (O-SCORE): a tool to assess surgical competence. Acad Med. 2012;87(10):1401–1407.
19. Rekman J, Hamstra SJ, Dudek N, Wood T, Seabrook C, Gofton W. A new instrument for assessing resident competence in surgical clinic: the Ottawa Clinic Assessment Tool. J Surg Educ. 2016;73(4):575–582.
20. Cheung WJ, Wood TJ, Gofton W, Dewhirst S, Dudek N. The Ottawa Emergency Department Shift Observation Tool (O‐EDShOT): a new tool for assessing resident competence in the emergency department. Burkhardt JC, ed. AEM Educ Train. 2019;4(4):359–368.
21. MacEwan MJ, Dudek NL, Wood TJ, Gofton WT. Continued validation of the O-SCORE (Ottawa Surgical Competency Operating Room Evaluation): use in the simulated environment. Teach Learn Med. 2016;28(1):72–79.
22. Voduc N, Dudek N, Parker CM, Sharma KB, Wood TJ. Development and validation of a bronchoscopy competence assessment tool in a clinical setting. Ann Am Thorac Soc. 2016;13(4):495–501.
23. Halman S, Rekman J, Wood T, Baird A, Gofton W, Dudek N. Avoid reinventing the wheel: implementation of the Ottawa Clinic Assessment Tool (OCAT) in internal medicine. BMC Med Educ. 2018;18(1):1–8.
24. Hatala R, MD Ms, Sawatsky A, et al. Using in-training evaluation report (ITER) qualitative comments to assess medical students and residents: a systematic review. Acad Med. 2017;92(6):868–879.
25. Hauer KE, Holmboe ES, Kogan JR. Twelve tips for implementing tools for direct observation of medical trainees’ clinical skills during patient encounters. Med Teach. 2011;33(1):27–33.