Le Biomedical Data Science Center du CHUV, avec des équipes de maladies infectieuses, d’oncologie, de médecine interne, de neurosciences cliniques et d’informatique clinique, a évalué six petits modèles de langage open source (de 8 à 24 milliards de paramètres) sur des données cliniques francophones dé-identifiées du CHUV. Sept tâches ont été testées, de l’extraction d’informations à l’aide à la décision clinique.
Llama 3.1 et Mistral Small obtiennent des performances proches de la perfection pour extraire des informations. Pour identifier des données personnelles, ils sont nettement moins performants que RoBERTa, un modèle spécialisé, et l’un des modèles a introduit des informations inexistantes dans plus de la moitié des traductions de lettres de sortie. Sur les tâches complexes, les évaluations vont de neutres à insatisfaisantes. L’étude est publiée dans le Journal of Medical Internet Research.