Débats et chiffres sur l'amélioration globale de la sécurité

Les auteurs analysent les résultats publiés à deux ans d’intervalle par les Hollandais qui ont d’abord dit que le taux d’EIG avait augmenté en chirurgie de 4,1% en 2004 à 6,2 % en 2008 sur la base d’une étude construire sur 400 admissions dans 21 hôpitaux, en précisant que le nombre d’EIG évitable était lui resté le même. Cette étude n’était pas exempte de biais méthodologique car on peut se demandait si l’interprétation d’évitabilité ne vient pas d’un contenu dossier et de traces progressivement améliorées dans le temps.  Mais le résultat faisait sens car il était dans l’esprit des autres papiers publiés à cette époque et notamment une étude similaire de l’évolution des EIG aux USA (2002-2007, Landrigan, 2010, NEJM, résumé précédemment dans cette rubrique)
Dès 2010, cette idée de non amélioration des chiffres de sécurité avait conduit à des premières réflexions sur le pourquoi : une réponse récurrente était que finalement on a réellement amélioré la sécurité de points particuliers assez peu nombreux, mais comme la mesure est générale, elle masque ces bénéfices locaux.
Voilà que les Hollandais publient un nouvelle étude qui dit que le taux d’erreur évitable s’est amélioré de 30% entre 2008 et 2012 (Baines RJ, et al. How effective are patient safety initiatives? A retrospective patient record review study of changes to patient safety over time. BMJ Qual Saf 2015. In press.doi:10.1136/bmjqs-2014-003702)  A nouveau on peut s’étonner d’un tel résultat et plutôt l’attribuer à un alignement sans doute inconscient des jugements des experts qui regardent les dossiers en fonction du contexte national et international. C’est le point d’Achille habituel des jugements : dès les premières études de Harvard le coefficient Kappa d’agrément inter codeurs était de 0,61 sur la gravité de l’EIG , mais seulement de 0,24 sur l’évitabilité. Depuis, en prenant les meilleures précautions méthodologiques, les kappa sur l’évitabilité se situent entre 0,4 et 0,6, sans parler du biais introduit par la référence de connaissance utilisée par chaque codeur, car compte tenu de l’évolution rapide des connaissances, le jugement sur l’évitabilité avec les connaissances disponibles de l’année où s’est produit le problème sera probablement (très) différent de celui porté rétrospectivement de nos jours.
Pire on peut s’interroger sur le fond, et sur la plausibilité d’une telle amélioration en si peu de temps. Si on applique une approche Bayésienne, on démontre facilement qu’une amélioration de 30% avec les détails présentés dans l’article est strictement impossible.
Du coup, les auteurs suggèrent d’abandonner le comptage d’EIG comme référence pour mesurer l’évolution de la sécurité : trop aléatoire, trop biaisé méthodologiquement par le regard des codeurs et l’ambiance internationale. Les EIG mesurent plus l’effet des échecs des nouvelles solutions tentées pour prendre en charge le patient, que l’échec réel de la totalité des prises en charges où il existe souvent une vacuité dans la stratégie médicale (ce qui serait la bonne cible pour mesurer les progrès en sécurité des soins) … De nouvelles métriques seraient bien nécessaires.