Éléments d'évaluation en simulation

S'intégrant dans une démarche qualité, plus globale, notre volonté d'évaluation concerne aussi bien la qualité de la prestation pédagogique de simulation en santé que la mesure de son intérêt et/ou de son efficacité face à d'autres approches pédagogiques.

Cette étude présente l'utilisation de divers outils d'évaluation inspirés de la littérature française et internationale.

Cette recherche d'excellence nous semble indispensable à une pratique respectueuse, dans laquelle l'apprenant doit être au cœur de nos préoccupations.

Initialement

En 2012, lors des premières séances de simulation, l'évaluation était essentiellement concentrée sur les apprenants, et particulièrement sur leur appréciation de la séquence. Le but était alors de distinguer la pertinence de notre choix pédagogique et l'évaluation de son impact sur l'évolution du comportement des apprenants.

De façon globale, cette pédagogie par simulation a eu un impact significatif sur l'évolution globale du niveau du sentiment d'auto-efficacité (SAE) entre pré-test et post-test. Ce score continuait de progresser entre les résultats « post-test » et ceux de l'évaluation à « 4 mois ».

Ces résultats étaient prometteurs et justifiaient la pertinence d'associer la simulation à la formation initiale infirmière. En effet, selon Bandura ⁽¹⁾, un fort taux de SAE favorise le développement de la motivation. Selon Decker ⁽²⁾, il favorise la satisfaction à suivre les apprentissages. Pour Carré ⁽³⁾ : « Si les gens ne croient pas qu'ils peuvent obtenir les résultats qu'ils désirent grâce à leurs actes, ils ont bien peu de raisons d'agir ou de persévérer face aux difficultés. » Comme l'indique régulièrement cet auteur, avec clarté et force de conviction : « D'après Bandura, le système de croyances qui forme le sentiment d'efficacité personnelle est le fondement de la motivation et de l'action et, partant, des réalisations et du bien-être humains. » ⁽⁴⁾ Or, il est démontré que l'on s'investit davantage dans une activité où l'on se sent compétent. Cela favorise donc l'implication des apprenants dans la formation, soutenue par le besoin de promotion de soi (self enhancement need).

4 ans plus tard

Une nouvelle phase de recherche nous donne l'opportunité d'élargir l'éventail de nos évaluations.

L'intérêt de la simulation est reconnu pour ce qui est de la diminution des risques liés aux soins, la diminution des coûts liés aux événements indésirables et le développement des habiletés en communication, du jugement clinique et de la pensée critique ⁽⁵⁾, des habiletés motrices ⁽⁶⁾, des compétences de leadership ⁽⁷⁾.

Au sein de notre institut, outre l'attractivité que représente cette méthode, bien que non mesurée à ce jour, se pose la question de l'intérêt du choix de cette pédagogie, coûteuse en matériel comme en ressources humaines.

En dehors d'un apprentissage dans un environnement entièrement sécure pour le patient et pour l'étudiant ⁽⁸⁾ se posent quelques nouvelles questions : sommes-nous compétents malgré nos formations respectives pour dispenser ce type de pédagogie ? Comment mettre en œuvre et évaluer la méthode pédagogique elle-même ?

Le protocole de recherche est constitué de 2 étapes : une pré-étude et une étude. La pré-étude, présentée ici, a intégré un groupe restreint d'étudiants afin de tester l'intérêt d'utiliser les grilles choisies.

L'étude et la pré-étude sont monocentriques prospectives, avec un suivi d'une cohorte d'étudiants volontaires ayant participé aux sessions de simulation.

L'enquête

Cette pré-étude d'évaluation s'intègre dans le cadre d'un nouveau projet : « Une simulation ``active'' pour tous les étudiants de l'IFSI d'Annecy ».

Objectifs

Les objectifs de l'évaluation des séquences sont :

• l'intérêt du choix de cette pédagogie ;

• la capacité des formateurs à réaliser les séquences ;

• le transfert de compétences.

Matériel et méthodes

Afin d'y parvenir, notre choix s'est porté sur un ensemble de questionnaires développés par la National League for Nursing (voir l'encadré ci-dessous).

L'étude a été réalisée par auto-évaluation anonymisée à l'aide d'un pré-test et d'un post-test auprès d'une cohorte de 23 étudiants volontaires (3^e année à l'IFSI d'Annecy), ayant bénéficié de 5 séances de simulation comportant chacune 3 séquences. Le choix de la date et du niveau de formation est arbitraire.

Principaux résultats

De façon significativement supérieure aux autres méthodes pédagogiques, la séquence de simulation proposée a permis :

• d'améliorer les échanges (p = 0,52) formateurs/étudiants et étudiants/étudiants ;

• de déterminer le niveau de compréhension des étudiants (p < 0,01) ;

• d'obtenir des indices pour progresser (p < 0,05) ;

• d'obtenir des réponses individualisées (p < 0,01) ;

• de rendre ainsi leur temps d'apprentissage plus productif (p < 0,01) ;

• de travailler en collaboration avec leurs pairs (p < 0,01).

Si la simulation n'a pas permis l'acquisition de connaissances plus significativement qu'un autre type d'apprentissage, elle permet plus facilement à l'étudiant de se situer dans la discipline en le mettant en situation grandeur réelle (p < 0,03).

Les objectifs annoncés en simulation sont plus explicites et faciles à comprendre, le formateur est plus clair dans l'annonce des objectifs (p < 0,01), comparativement à un autre style d'apprentissage.

Les étudiants repèrent plus facilement les « invariants » de la situation proposée au travers de l'évolution des scénarios et au travers du travail de réflexivité proposé par la méthode. Ils évaluent mieux leur posture et les marges de progression. La rentabilité du geste ou son efficacité ne sont plus les seuls objectifs car ils sont replacés dans une logique professionnelle plus globale.

Perspectives

De nombreux groupes de travail nationaux et internationaux ont à cœur de faire progresser ces évaluations en intégrant toutes les prérogatives actuelles, y compris l'évaluation prospective des compétences.

L'évaluation de l'activité pédagogique en simulation n'en est qu'à ses débuts et les perspectives sont vastes.

On peut citer par exemple, de façon non exhaustive, l'évaluation des centres de simulation développée par la SoFraSims ⁽⁹⁾. Ces évaluations, au sens large, seront à suivre dans les prochaines années car elles seront à la base des évolutions et des outils de travail de demain.

Outils d'évaluation utilisés

Questionnaire sur les pratiques pédagogiques (QPP) ⁽¹⁰⁾

Il s'agit de la traduction française ⁽¹¹⁾ de l'échelle EPSS (Educational Practices in Simulation Scale, student version) développée par la NLN ⁽¹²⁾.

Ce questionnaire sert à objectiver la qualité de l'enseignement sur la présence et l'importance accordée à 4 des 7 bonnes pratiques en enseignement ⁽¹³⁾ appliquées dans un contexte de simulation clinique.

Ses critères d'interrogation sont les suivants :

• l'apprentissage est-il actif ?

• existe-il de la collaboration pendant l'apprentissage ?

• offre-t-il de la diversité dans les styles d'apprentissage ?

• les objectifs sont-ils élevés ?

Ce questionnaire comprend 16 items associés à une échelle de Likert sur 5 points.

Le résultat total maximal pouvant être obtenu est de 80 points.

Échelle d'évaluation conceptuelle de la simulation clinique (EECSC) ⁽¹⁰⁾

Il s'agit de la traduction française ⁽¹⁰⁾ de l'échelle SDS (Simulation Design Scale), développée par la NLN.

C'est une échelle d'évaluation du « respect de la méthode de montage » de la séquence.

Elle permet de mesurer la présence et l'importance des éléments du design pédagogique d'une activité de simulation clinique :

• les objectifs et les informations (suffisants, compréhensibles, pertinents) ;

• le soutien à l'étudiant ;

• la résolution de problèmes (encouragement, situation adaptée, création d'hypothèses) ;

• les commentaires et la réflexion guidée (débriefing) ;

• la fidélité (réalisme) de la simulation du scénario.

La SDS est un instrument de mesure composé de 20 items, mesurés au moyen d'une échelle de Likert à 5 points. On obtient un total maximal de 100 points.

Échelle de confiance des étudiants à l'égard de leurs apprentissages (ECEA) ⁽¹⁴⁾

Il s'agit de la traduction française ⁽¹⁴⁾ de l'échelle SCLUSS (Self Confidence in Learning Using Simulation Scale), développée par la NLN ⁽¹⁵⁾.

La SCLUSS permet d'objectiver le niveau de confiance des étudiants dans leurs apprentissages (effectués dans le cadre d'un enseignement assisté par la simulation clinique) pour leur permettre de résoudre un problème de nature clinique.

Ce questionnaire comprend 8 items associés à une échelle de Likert sur 5 points.

Une note totale maximale de 40 points peut être obtenue en additionnant les résultats des 8 items.

Échelle de satisfaction des étudiants à l'égard de leurs apprentissages (ESEA) ⁽¹⁶⁾

Il s'agit de la traduction française de l'échelle SSLS (Student Satisfaction with Learning Scale) développé par la NLN.

Elle permet d'objectiver le niveau de satisfaction à l'égard de leurs apprentissages effectués dans le cadre d'une activité de simulation clinique.

Cette échelle examine plus spécifiquement les stratégies d'enseignement, la variété du matériel pédagogique et le style d'enseignement adopté par l'enseignant.

Le questionnaire comprend 5 items associés à une échelle de Likert sur 5 points. La note maximale pouvant être obtenue est de 25 points.

Bibliographie