Simulation en sciences de santé: Conception et évaluation d’un logiciel d’auscultation thoracique Simulation in healthcare: Design and assesment of chest auscultation software

Abstract

Contexte: En sciences de santé, le dispositif d’évaluation sur patients réels est confronté à des contraintes d’ordre éthique, le patient ne devrait pas être utilisé comme matériel docimologique. La simulation comme technique pédagogique a été proposée comme alternative pour l’évaluation des acquisitions, notamment dans le cadre d’examen clinique objectif structuré. Celle-ci est confrontée à des difficultés vu le coût des simulateurs et le nombre croissant des apprenants. Un logiciel d’évaluation a été conçu afin de limiter l’utilisation des simulateurs ; l’objectif de cette étude a été d’évaluer sa fiabilité par comparaison des scores obtenus sur logiciel vs simulateur (gold standard). Matériel et Méthodes: Il s’agit d’une étude de fiabilité d’un outil d’évaluation de l’auscultation thoracique. Elle a eu lieu entre septembre 2017 à février 2018, a porté après échantillonnage aléatoire sur logiciel IBM SPSS V.22 sur 45 étudiants. L’évaluation du logiciel s’est basée sur l’analyse de concordance ordinale (test Kappa de Cohen, test de corrélation de Kendall) des scores obtenus par les étudiants sur le logiciel par rapport au simulateur, considéré comme gold standard. Résultats: Pour l’auscultation cardiaque, le score moyen a été 90,6 % du score total sur logiciel versus 74,6% sur simulateur ; les coefficients de corrélation de Kendall 0,15 (p non significative) et de Kappa 0,15 (p= 0,116) ont révélé une mauvaise concordance selon l’interprétation de Lander et Koch. Pour l’auscultation pulmonaire, le score moyen a été de 95,6% du score total sur logiciel versus 88,4% sur simulateur ; les coefficients de corrélation de Kendall 0,45 (p=0,014) et de Kappa 0,64 (p=0,002) ont révélé une bonne concordance entre les deux supports d’évaluation. Conclusion: La simulation numérique semble une solution adéquate pour l’évaluation des acquisitions de l’auscultation thoracique pour de grands effectifs. Les résultats concordants du logiciel concernant la section pulmonaire doivent inciter à améliorer le volet de l’auscultation cardiaque.

Context and background: In health sciences, the evaluation system on real patients is confronted with ethical constraints; the patient should not be used as docimological material. Simulation as a pedagogical technique has been proposed as an alternative for the evaluation of acquisitions, especially in the framework of objective structured clinical examination. This technique faces difficulties due to the cost of simulators and the increasing number of learners. An evaluation software has been designed to limit the use of simulators; the objective of this study was to evaluate its reliability by comparing the scores obtained on the software vs the simulator (gold standard). Methods: This is a reliability study of a chest auscultation assessment tool. It took place between September 2017 and February 2018, carried out after random sampling on IBM SPSS V.22 software on 45 students. The evaluation of the software was based on the ordinal concordance analysis (Cohen's Kappa test, and Kendall's correlation test) of the scores obtained by the students on the software compared to the simulator, considered as gold standard. Results: For cardiac auscultation, the mean score was 90.6% of the total score on software vs 74.6% on simulator; Kendall correlation coefficients 0.15 (p nonsignificant) and Kappa correlation coefficients 0.15 (p= 0.116) revealed poor agreement according to Lander and Koch interpretation. For pulmonary auscultation, the mean score was 95.6% of the total score on software vs. 88.4% on simulator; the correlation coefficients of Kendall 0.45 (p=0.014) and Kappa 0.64 (p=0.002) revealed a good agreement between the two assessment media. Conclusion: Digital simulation appears to be an adequate solution for the assessment of acquisitions of chest auscultation for large numbers. The concordant results of the software concerning the lung section should encourage improvements in the cardiac auscultation component.