Chen, D., Parsa, R., Hope, A., Hannon, B., Mak, E., Eng, L., ... & Raman, S. (2024). Physician and Artificial Intelligence Chatbot Responses to Cancer Questions From Social Media. JAMA Oncol. 2024;10(7):956-960.
Ces auteurs analysent la performance de plusieurs générations de nouveaux systèmes d’intelligence artificielle langagier (IA générative, type Chat bot) destinés à répondre aux questions de patients cancéreux. Les réponses du système à 200 questions représentatives des questions posées par les patients (récupérées sur des forums patients) comparés aux réponses données par des professionnels oncologues.
Les performances de la dernière génération des systèmes d’IA générative (Chat bot 3) sont jugées par 6 oncologues systématiquement meilleures que celles des médecins sur trois critères : empathie, qualité et compréhensibilité. On note toutefois une variation de performance en fonction de la longueur de la réponse proposée par les systèmes, et aussi selon la génération des systèmes, les plus anciens étant moins performants.
Ces systèmes d’IA générative s’installent progressivement dans le paysage des systèmes d‘aide pouvant considérablement alléger la tâche du médecin tout en garantissant une très bonne performance et adhésion des patients.
Impressionnants résultats de l’IA générative, sans doute à confirmer par des études plus fortes méthodologiquement.