(Félix Imhof © UNIL)
Dans un souci de présenter les dernières avancées sur les bonnes pratiques d’évaluation, le FNS a organisé une conférence le 27 septembre 2021.
C’est l’occasion de clarifier certaines innovations, qui devraient faire progresser la transparence et l’équité. Le Prof. Stuart Lane, en tant que membre du Conseil de Recherche du FNS, a accepté de nous faire part de ses réflexions sur ce sujet
SL : Au cours des dernières années, le conseil de la recherche et le personnel du FNS ont travaillé main dans la main sur les meilleures pratiques d’évaluation. Si certaines choses restent bien sûr inchangées, le FNS améliore progressivement sa manière d’évaluer les requêtes. La principale innovation est que la même procédure sera désormais appliquée à tous les types de requêtes (carrière, projet, programme), afin que tous bénéficient des meilleures pratiques du FNS.
Quelles sont les grandes nouveautés en matière d’évaluation ?
SL : Tout d’abord, les membres des panels noteront chaque requête sur une échelle d’évaluation numérique linéaire (de 1 à 9). Cela simplifiera le calcul de la moyenne des votes.
Un autre élément important : souvent, certains membres du panel n’évaluent pas des dossiers pour cause de conflits d’intérêts. Le problème est que, comme certaines personnes sont plus sévères ou plus généreuses que d’autres – on parle des hawks and doves – leur départ fausse la moyenne finale… Si c’est un hawk qui ne vote pas, le ou la candidat·e sera avantagé·e… mais sera défavorisé·e si c’est un dove. Maintenant, grâce à un développement statistique, ces différences seront corrigées.
Le tirage aléatoire des candidatures autour de la ligne de décision va aussi se généraliser. Attention, cela ne signifie pas que cela affectera beaucoup de demandes : il s’agit simplement d’un moyen de sélectionner les quelques-unes qui se trouvent juste autour de la ligne d’acceptation. Lorsqu’un groupe de candidatures a une moyenne très similaire, il est difficile de les distinguer par des critères scientifiques. C’est là que des critères qui ne sont pas dans le règlement, et contraires à la loi, risquent d’être appliqués, et ce n’est pas acceptable.
Est-ce que ce tirage au sort sera bien accepté par les candidat·es ?
SL : En fait, ce tirage a déjà été testé dans certains instruments du FNS. Il est intéressant de noter que la première réaction est souvent négative. Puis finalement, lorsqu’on explique la procédure, les candidat·es comprennent que c’est la manière la plus juste et la plus scientifique de décider. De plus, ce tirage au sort ne concerne que peu de personnes, qui se situent autour de la ligne de décision. Cela n’est d’ailleurs pas toujours nécessaire, si le classement est clair et qu’il y a un écart suffisant autour de la ligne pour départager les candidatures.
Bien sûr, c’est un tirage aléatoire, donc certaines personnes seront plus chanceuses que d’autres. Mais au final, il est simplement plus juste.
Quelle autre nouveauté dans la procédure d’évaluation ?
SL : Les membres du panel ne savent plus combien de projets sont financés. Le FNS estime que cela a parfois influencé les notes : on espère que le panel se concentrera sur les critères d’évaluation plutôt que de noter en fonction de quelle candidature il souhaiterait financer. L’idée est de séparer l’évaluation, de la décision de financement. Les panels classent les candidatures et, dans un second temps, un financement est attribué aux mieux classés.
Vous trouverez la nouvelle procédure d’évaluation sur le site du FNS. Pour suivre les nouveautés dans les règlements FNS, n’hésitez pas à consulter la page dédiée du FNS, et à vous abonner ici à la newsletter du FNS.
Vous avez aussi pris part au projet SciCV, le nouveau format de CV ?
SL : Oui, ce SciCV devrait s’ouvrir à toutes les disciplines. Je pense que c’est une très bonne initiative. Elle permettra d’harmoniser les informations contenues dans les dossiers de candidature. Les requérant·es pourront se concentrer sur les points importants de leur carrière. Il existe une grande différence entre les chercheur·es en termes de temps et de ressources disponibles pour la recherche. Pour éviter que la longueur d’un CV soit liée uniquement à cette quantité de ressources, la liste de production scientifique sera raccourcie. La définition de la production scientifique sera élargie au-delà des publications. Ces nouvelles méthodes d’évaluation vont dans le sens de promouvoir la qualité plutôt que la quantité dans l’évaluation et de reconnaitre la diversité croissante des modes de partage des résultats de nos recherches.
Qu’est-ce que le SciCV ? Voir le projet pilote sur la page FNS ici !
Le FNS a publié son modèle d’excellence en matière de question de recherche, de méthode et de comportement. Comment les requérant·es devront prendre cela en compte ?
SL : En tant qu’universitaires, notre responsabilité est d’être ouverts et transparents. Le public, qui investit dans la recherche universitaire, doit pouvoir voir et utiliser les résultats de la recherche pour bâtir son avenir. Il s’agit également de montrer aux personnes qui participent à une recherche qu’elles sont traitées de manière respectueuse. Cet aspect éthique est bien sûr pris en compte dans les évaluations des projets, notamment sur les études sur l’humain, en médecine, et dans l’utilisation des animaux. Mais ce modèle ne change pas les critères d’évaluation de chaque instrument en tant que tel. Il met en avant ces grands principes d’ouverture et de bon comportement.
Le modèle d’excellence du FNS, qui se veut évolutif et réflexif, vise à soutenir une culture et des pratiques de recherche d’excellence, en matière de question et méthodes de recherche, et de comportements.
Un nouveau code d’intégrité scientifique a été élaboré sous l’égide des Académies suisses des sciences. Comment ces principes sont appliqués à l’évaluation des projets ?
SL : L’Académie a fait un bon travail pour produire ce code. Il concerne en réalité toutes les étapes d’un projet, de la conception, à l’archivage, en passant par le comportement pendant le projet. Une « intégrité intégrale », tout au long d’un projet…
Pour l’évaluation des projets, cela concerne principalement les conflits d’intérêts pendant l’évaluation, la confidentialité qu’il faut respecter et le plagiat dans les projets.
Ce code d’intégrité scientifique, adopté par le FNS en mai 2021, vise à promouvoir la confiance dans le bon fonctionnement des activités scientifiques.
Comment gérer le plagiat dans les candidatures ?
SL : Ce n’est pas un enjeu majeur. Sur un échantillonnage aléatoire, on détermine si des projets vont au-delà de l’acceptable dans le plagiat. Lors de la conception des projets, cela veut dire que si vous tirez un texte ou une phrase d’une publication, cela doit être clair et visible. Que ce soit de vos propres publications ou de celles d’autres auteur·es, d’ailleurs. Mettez le texte entre guillemets ou réécrivez-le, et dans tous les cas, citez la source !
L’UNlL met à disposition un outil de détection de similitudes textuelles, qui peut servir pour un autocontrôle !
