Tout sur la gestion des risques en santé
                et la sécurité du patient

Dossier médical informatisé, informatisation médicale

  • Réduire le texte de la page
  • Agrandir le texte de la page
  • Facebook
  • Twitter
  • Messages0
  • Imprimer la page

2023 - Évaluation d’un système langagier à base d’IA comme interface pour renseigner les patients sur leur cancer

03/01/2024

Pan A., Musheyev D., Bockelman D., Loeb S., & Kabarriti AE (2023). Assessment of artificial intelligence chatbot responses to top searched queries about cancer. JAMA oncology, 9(10), 1437-1440.

Résumé

La mise à disposition publique de Chat GPT et ses dérivés langagiers à base d’IA a ouvert un usage qui se répand rapidement dans le grand public. C’était forcément tentant d’en concevoir des applications médicales pour le conseil aux patients, mais il restait à en évaluer la pertinence des réponses fournies.

Cette étude américaine vise cet objectif. Elle évalue les conseils fournis par 4 systèmes à base d’AI Chatbot médical – versions dérivées de chat GPT, à un panel de 100 patients atteints de cancer de la peau, du poumon, colorectal, et de la prostate.

L’analyse, réalisée entre 2021 et 2023, porte plus particulièrement sur les 5 questions les plus récurrentes observées de la part des patients. 

On mesure la pertinence de l’information fournie, sa compréhensibilité par les patients, et son utilisation pratique par les patients.

La qualité des informations s’avère bonne (score moyen sur l’échelle de pertinence), la compréhensibilité reste modérée (conseils formulés plutôt en des termes techniques et pour des sachants), l’utilisation pratique limitée, mais on note cependant que ces conseils ne comportent aucune erreur ou mauvaise information avérée.

En conclusion, ces systèmes fonctionnent, mais dans l’état, sont plutôt à utiliser en complément d’un accès à une information fournie par des humains.

Mon avis

Des résultats nuancés, qui laissent une place à l’homme…