27. Travailler avec un portfolio électronique

Introduction

La CPC fait en sorte que les programmes de résidence recueillent un grand nombre d’évaluations de résidents. Cela est largement dû à l’évaluation des activités professionnelles confiables (APC), mais les programmes comportent aussi des modalités d’évaluation comme des rapports d’évaluation en cours de formation, des notes d’examen écrit et oral, des registres des interventions, des évaluations narratives non rattachées aux APC, des progrès relatifs aux plans d’apprentissage, etc. Cette variété de données devrait normalement fournir une évaluation plus complète des progrès réalisés, donnant lieu à des décisions plus éclairées en matière de plans d’apprentissage et de promotion des résidents.

Toutefois, le volume important de données d’évaluation doit être amalgamé et visualisé efficacement pour étayer des interprétations valides. Cela peut être appuyé par des portfolios électroniques, des outils qui permettent de visualiser les données recueillies pour les apprenants, les conseillers pédagogiques et les comités de compétence. Ces outils servent à la fois à promouvoir l’apprentissage et à fournir des données d’évaluation plus complètes pour les décisions relatives à la promotion.

Les systèmes de gestion de l’apprentissage de chaque université varient quant à leur capacité de créer un portfolio électronique efficace fondé sur les compétences. Il n’existe pas d’approche optimale unique pour l’élaboration d’un tel portfolio, et celle adoptée par un programme ou un établissement peut différer des autres en fonction des besoins et des ressources dont on dispose. À mesure que les systèmes de gestion de l’apprentissage deviennent plus sophistiqués, nous prévoyons qu’ils seront mieux à même de répondre aux besoins d’évaluation des programmes et aux besoins d’apprentissage des résidents, en plus d’appuyer l’amélioration continue de la qualité (ACQ) par l’évaluation des programmes et le perfectionnement des enseignants.

Dans ce chapitre, nous décrivons la manière d’élaborer ou d’utiliser efficacement des portfolios électroniques dans votre programme de résidence.

Mise en place d’un portfolio électronique pour les résidents et le comité de compétence

Valeur d’un portfolio électronique

Les apprenants et les comités de compétence peuvent tirer parti de la visualisation des données d’évaluation à l’aide de portfolios électroniques. Les apprenants peuvent passer en revue leurs évaluations, suivre leurs progrès et cerner à la fois leurs points forts et les compétences à développer. Dans certains programmes, cette interprétation est appuyée par des conseillers pédagogiques appartenant au corps professoral. Les comités de compétence doivent souvent examiner de grandes quantités de données d’évaluation. Ils sont donc en mesure de fonctionner plus efficacement lorsqu’ils peuvent les parcourir facilement. Les portfolios électroniques peuvent présenter des données à l’aide de visualisations qui démontrent les tendances en matière de rendement et les sources de variation dans l’évaluation (par exemple, une cote inférieure pour une évaluation de l’APC est-elle attribuable à un rendement plus faible ou à un évaluateur plus strict?).

Faire le tour de ce qui existe déjà

Si vous faites partie de l’équipe qui établit le premier portfolio électronique de votre programme de formation, il est important de comprendre ce qui existe déjà. Votre bureau des études postdoctorales fournit-il un portfolio électronique dans votre système de gestion de l’apprentissage (p. ex., Elentra, one45, Medsys, etc.)? L’outil que vous utilisez pour recueillir des données d’évaluation permet-il d’exporter et de téléverser des données vers des logiciels de portfolio électronique externes? D’autres programmes de formation de votre établissement ont-ils élaboré leur propre portfolio électronique que votre programme pourrait adopter? Trouver les réponses à ces questions en collaboration avec votre bureau des études postdoctorales vous aidera à déterminer vos options, tout en veillant à ce que les efforts ne soient pas dédoublés au sein des établissements.

Fonctionnalités clés

Un portfolio électronique efficace permet aux personnes qui le consultent de naviguer efficacement d’une évaluation à l’autre afin d’évaluer le rendement global d’un résident par rapport aux attentes du programme d’évaluation. Il peut s’agir d’une évaluation comparative avec d’autres résidents d’un niveau similaire. Les données de l’APC sont souvent disposées par étape, avec des cotes de confiance traduites en graphique, qui sont présentées au fil du temps pour fournir une « courbe d’apprentissage » pour un résident. Idéalement, les visualisations devraient inclure l’information contextuelle requise pour cette APC (p. ex., professeur ou évaluateur des résidents, observations directes ou indirectes, présentations cliniques spécifiques, complexité des cas, etc.) et établir un lien avec les commentaires narratifs correspondants. Si le portfolio électronique de votre programme n’a pas la fonctionnalité nécessaire pour suivre les variables contextuelles, il sera important de travailler sur celles-ci pour trouver une solution, car ces informations doivent être suivies en temps réel.

Ressources pour le développement

Votre programme peut avoir des besoins uniques qui ne sont pas entièrement comblés par les outils du portfolio électronique à votre disposition. Par exemple, vous voudrez peut-être intégrer d’autres modalités d’évaluation au-delà des APC dans vos visualisations. Si vous décidez de créer de nouvelles visualisations, collaborez étroitement avec vos enseignants ou votre département, car vous devrez déterminer s’il existe du soutien technique pour répondre à ces besoins.

Évolution continue du portfolio électronique

À mesure que la CPC arrive à maturité et que votre programme évolue, les besoins des directeurs de programme, des comités de compétence et des résidents sont susceptibles de changer. Il est presque certain que ces changements exigeront de modifier votre portfolio électronique. Nous vous recommandons de discuter avec votre établissement afin de déterminer quand et comment les modifications du portfolio électronique seront apportées pour votre programme, afin que vous soyez préparé à contribuer à son évolution. Nous vous recommandons de conserver les suggestions de modifications qui surviennent au fil du temps afin que vos idées soient facilement accessibles lorsque la prochaine occasion d’améliorer votre portfolio électronique se présentera.

Élargir l’utilisation de votre portfolio électronique pour soutenir l’amélioration continue de la qualité

Une fois que toutes les informations de vos résidents sont regroupées dans un portfolio électronique, on peut envisager d’autres façons de les utiliser pour améliorer le programme. L’utilisation des données d’évaluation des apprenants pour appuyer l’ACQ des programmes de résidence est un domaine en développement qui exige plus de sophistication que la mise en place de portfolios propres aux apprenants. Il serait prudent de travailler avec votre président de CC pour décider de l’information pertinente dont votre programme devrait faire le suivi, de travailler avec la FMPD pour élaborer une fonctionnalité de suivi dans le cadre du portfolio électronique et de créer une stratégie entourant le corps professoral et les résidents, afin de mettre en œuvre des initiatives d’amélioration.

Le regroupement des données d’évaluation des résidents par stage peut fournir un aperçu de ce qui se passe dans chacun des stages de votre programme. Par exemple, vos résidents peuvent effectuer un stage aux soins intensifs dans le but de devenir compétents dans l’installation d’un cathéter central, tel que mesuré par une APC. Un examen des APC effectuées à l’USI permettrait de conclure que cette APC n’est pas réalisée conformément aux attentes. Vous pourriez ensuite essayer de déterminer pourquoi : ces APC ne sont-elles pas réalisées à l’USI du tout? Est-ce qu’il y a moins de cathéters centraux placés à l’USI que prévu? Est-ce que ce sont les stagiaires ou les résidents d’autres services qui les installent à la place? Les réponses à ces questions peuvent mener à des interventions susceptibles d’améliorer votre programme.

Lorsque les données sur les évaluations des résidents sont regroupées par membre du corps professoral, elles peuvent être utilisées pour des initiatives de perfectionnement continu des enseignants. Par exemple, il peut y avoir un groupe de professeurs qui fournissent une rétroaction narrative minimale sur les APC qu’ils réalisent. Des mécanismes de vérification et de rétroaction sont employés dans le cadre des initiatives cliniques d’ACQ pour mettre en évidence les variations de pratique chez les cliniciens; ils peuvent être utilisés dans de tels cas pour la formation. Les résultats pourraient ainsi être explorés en toute confidentialité avec les enseignants concernés dans le but de mieux les comprendre et de déterminer comment améliorer leurs évaluations.

Garantir la sécurité des données d’évaluation

Les données d’évaluation des résidents sont des informations sensibles qui doivent être gérées avec soin. Il existe des politiques et des protocoles institutionnels concernant l’accès et la diffusion des données sur les étudiants qui devraient servir à orienter l’utilisation sécuritaire et appropriée de ces données. Ces politiques traitent des questions ardues qui surviennent lorsque les résidents sont évalués par un réseau complexe de superviseurs de différents stages, programmes et établissements. Les recommandations précises prévoient notamment la nécessité de veiller à ce que les données d’évaluation ne soient accessibles qu’aux personnes qui en ont besoin pour accomplir des tâches essentielles, et à ce qu’elles soient stockées en toute sécurité à l’aide de noms d’utilisateur et de mots de passe institutionnels.

Éviter de surinterpréter les données d’évaluation

L’interprétation des données d’évaluation est une démarche complexe qui présente de multiples facettes. Même lorsque les données sont présentées efficacement, une mauvaise interprétation reste possible. Les données d’évaluation devraient être examinées dans le contexte plus large du programme d’évaluation. Par exemple, le faible nombre de cotes de confiance dans les observations de l’APC pourrait être le résultat de nombreux facteurs, dont le rendement médiocre des résidents, l’inexpérience ou l’incertitude du corps professoral à l’égard du nouveau système d’évaluation, les variations dans le calendrier de stage, les difficultés personnelles éprouvées par des résidents ou encore un autre facteur. Sachez qu’un contexte supplémentaire est souvent nécessaire pour interpréter les données d’évaluation avec précision. Les programmes devraient se pencher sur l’incidence d’autres facteurs jouant sur la capacité des résidents de respecter les lignes directrices d’évaluation énoncées dans le programme national d’évaluation de chaque spécialité, ainsi que sur les processus en place pour atténuer ces facteurs.

Conclusion

En résumé, les portfolios électroniques sont des outils essentiels pour gérer le programme d’évaluation de la CPC. Ils facilitent la compréhension en combinant et en affichant les données d’évaluation et leur variabilité dans le temps. Ces caractéristiques permettent aux apprenants de comprendre leurs progrès et de concentrer leur apprentissage; elles appuient les comités de compétence dans l’évaluation des progrès réalisés par les résidents et dans l’élaboration de plans d’apprentissage, et elles aident les directeurs de programme dans leur démarche d’amélioration continue de la qualité au niveau du corps professoral et du programme. L’élaboration du portfolio électronique exige un soutien institutionnel et un engagement continu des intervenants pour s’assurer que les analyses et les visualisations fournies favorisent l’apprentissage et le développement dans le cadre du programme.

Lectures supplémentaires

1. Boscardin, Christy, et coll. « Twelve tips to promote successful development of a learner performance dashboard within a medical education program. » Medical Teacher 40.8 (2018) : 855-861.
2. Heeneman, Sylvia, and Erik W. Driessen. « The use of a portfolio in postgraduate medical education–reflect, assess and account, one for each or all in one?. » GMS Journal for Medical Education 34.5 (2017).
3. Thoma, Brent, et coll. « Developing a dashboard to meet Competence Committee needs: a design-based research project. » Canadian Medical Education Journal 11.1 (2019) : e16-e34.
4. Tochel, Claire, et coll. « The effectiveness of portfolios for post-graduate assessment and education: BEME Guide No 12. » Medical Teacher 31.4 (2009) : 299-318.
5. Van Tartwijk, Jan, and Erik W. Driessen. « Portfolios for assessment and learning: AMEE Guide no. 45. » Medical Teacher 31.9 (2009): 790-801.