l’AERES change le système d’évaluation… une (r)évolution à suivre

Cet article est l’occasion de revenir sur un changement notable dans la politique d’évaluation de la recherche scientifique française, une politique légèrement moins ancrée sur la productivité bibliométrique, replacée dans l’écosystème économique et social.  Une première réponse aux différentes critiques et notamment celle de Yehezkel Ben-Ari formulée dans sa tribune du Monde datée du 16 décembre 2011 : « Shanghai et l’évaluation technocratique tuent la recherche biomédicale ! ». L’évaluation étant le nœud gordien du problème un début de réponse peut être contenu dans cette reprise d’une dépêche de l’AEF. Celle-ci mérite d’être diffusée… et mérite aussi la faveur d’une opinion…

Dépêche n°166899, Paris, mardi 22 mai 2012

L’Aeres adopte six critères d’évaluation des entités de recherche, au lieu de quatre.

L’Aeres (Agence d’évaluation de la recherche et de l’enseignement supérieur) « a récemment étendu à six le nombre de ses critères » d’évaluation des entités de recherche, indique-t-elle dans un document intitulé « Critères d’évaluation des entités de recherche : le référentiel de l’Aeres », approuvé par le conseil de l’agence le 12 avril 2012 et rendu public mardi 22 mai 2012. Les nouveaux critères retenus sont les suivants : « production et qualité scientifiques ; rayonnement et attractivité académiques ; interactions avec l’environnement social, économique et culturel ; organisation et vie de l’entité de recherche ; implication dans la formation par la recherche ; stratégie et projet à cinq ans ». Ces critères seront mis en oeuvre « lors de la campagne d’évaluation 2012-2013 ». Ils se substituent aux quatre critères employés depuis 2008, qui étaient « la qualité scientifique et la production ; le rayonnement et l’attractivité ; la gouvernance et la vie de l’entité de recherche ; la stratégie et le projet ». Cette évolution vient en complément de l’abandon de la note globale, en décembre 2011 (AEF n°159690). L’agence avait alors indiqué vouloir « maintenir les notes associées aux différents critères », tout en affichant son intention de « réviser » ces critères, « pour les améliorer ».

Cette extension des critères d’évaluation répond à des améliorations qui ont été « suggérées dans deux domaines », explique l’Aeres. Il en va ainsi des « activités qui relèvent de la recherche finalisée » et des « activités d’expertise venant en appui des politiques publiques » : « Celles-ci n’étaient pas reconnues et valorisées par l’agence dans la déclinaison de son référentiel en quatre critères », indique-t-elle. « L’introduction du critère ‘interactions avec l’environnement social, économique et culturel’ (…) vise à les intégrer pleinement parmi les activités évaluées. » « Le second domaine est celui de la formation par la recherche qui, dans le référentiel à quatre critères, n’était qu’un élément parmi d’autres du critère ‘gouvernance et vie de l’entité de recherche’ », poursuit l’agence. « Pour donner à la formation toute sa place dans les missions assignées aux entités de recherche, il a paru nécessaire, là encore, de traiter celle-ci comme un critère à part entière. »

CHAMP D’APPLICATION, FAITS OBSERVABLES ET INDICES DE QUALITÉ

L’Aeres souligne aussi que ce nouveau référentiel « répond plus nettement aux attendus de la loi de programme pour la recherche de 2006 », qui définit la « mission d’intérêt national » des personnels de la recherche comme comprenant : « le développement des connaissances ; leur transfert et leur application dans les entreprises, et dans tous les domaines contribuant au progrès de la société ; la diffusion de l’information et de la culture scientifique et technique dans toute la population, et parmi les jeunes ; la participation à la formation initiale et continue ; l’administration de la recherche ; l’expertise scientifique. »

Chacun des six critères est lui-même décomposé en trois aspects : son « champ d’application », les « faits observables » et les « indices de qualité ». Le « champ d’application » d’un critère « résume les aspects que l’évaluateur doit apprécier, en des termes généraux pour tous les types d’entités de recherche et pour tous les domaines ». Par exemple, le critère « production et qualité scientifiques », tel qu’il est défini dans le référentiel, « apprécie, par rapport aux standards de la discipline et du domaine de recherche, les découvertes, les résultats, les problématiques, les faits expérimentaux conduisant à des réalisations scientifiques ». Le document précise qu’ « il apprécie également l’originalité, la qualité et la portée de la recherche ». Les « faits observables » désignent pour leur part « des données factuelles qui peuvent être observées par les évaluateurs pour étayer leur appréciation ». Quant aux « indices de qualité », il s’agit de « la valeur à accorder à ces données pour élaborer l’appréciation proprement dite ».

UN DOCUMENT COMPLÉMENTAIRE SUR LA NOTATION VA ÊTRE PRÉPARÉ

Le « référentiel » de l’Aeres rappelle que ces critères « s’appliquent non seulement aux entités de recherche », mais aussi à leurs « composantes » : les équipes internes et les thèmes. En conséquence, « chaque critère est donc noté non seulement au niveau de l’entité de recherche, mais aussi, lorsque celle-ci est structurée en équipes internes, au niveau de ces équipes ». En revanche, les thèmes ne sont pas notés, « dans la mesure où ils ont en général un caractère transversal et où ils réunissent des personnels appartenant à plusieurs équipes internes d’une même entité de recherche ». L’agence indique qu’il reste à « lier étroitement la définition des critères et l’échelle de notation », autrement dit qu’ « à chaque note doit correspondre un niveau de qualité, dont la définition doit être précisée ». « Ces éléments feront l’objet d’un document méthodologique complémentaire » qui sera rendu public « avant le lancement de la campagne d’évaluation 2013-2014 », annonce-t-elle.

L’évolution des critères d’évaluation « a intégré les propositions recueillies auprès des responsables d’entités de recherche évaluées et de leurs évaluateurs », précise l’Aeres. « Elle a également pris en considération les réflexions méthodologiques conduites par plusieurs groupes de travail (…) et par d’autres agences européennes », tout en ayant « tiré parti des recommandations de dernier rapport de l’Opecst (Office parlementaire d’évaluation des choix scientifiques et technologies) » (AEF n°161145). L’agence précise qu’ « avant d’être rendu public, ce document a été soumis à la direction d’un grand nombre d’organismes de recherche et à la CPU (Conférence des présidents d’université) ». En outre, ajoute-t-elle, « à l’issue de chaque campagne d’évaluation, l’agence procédera à un retour d’expérience qui permettra aux évalués d’apporter les contributions qu’ils jugeront utiles à l’amélioration de la réflexion en cours ».

ÉVALUER L’INTERDISCIPLINARITÉ ET LES SHS

Le document comporte aussi les résultats d’un « travail sur la méthodologie d’évaluation de l’interdisciplinarité et sur les critères adéquats pour apprécier équitablement ce type de recherche », selon que l’on parle de « pluridisciplinarité » (« juxtaposition de perspectives disciplinaires »), d’ « interdisciplinarité » (« coopération de plusieurs disciplines autour de projets communs ») ou de « transdisciplinarité » (« approche scientifique qui dépasse les points de vue disciplinaires par l’approche globale d’une question »). Pour l’Aeres, si « les critères d’évaluation des entités de recherche pluri, inter ou transdisciplinaires ne sont pas différents de ceux auxquels on recourt pour évaluer des entités monodisciplinaires », il s’avère néanmoins « nécessaire de dégager les faits observables propres aux différentes formes d’interaction des disciplines et les indices de qualité correspondants ». Un « groupe de réflexion » travaille à ces questions, mais d’ores et déjà, l’agence considère que « deux marqueurs » peuvent nourrir l’évaluation de l’interdisciplinarité : « le type d’interaction et la proximité entre les disciplines qui interagissent ».

Enfin, le document de l’Aeres présente « une note complémentaire sur la production et la qualité scientifiques en sciences humaines et sociales ». Il ne s’agit pas d’ « un autre référentiel », avertit l’agence, dans la mesure où les six critères élaborés offrent déjà « un référentiel commun qui intègre les perspectives des sciences humaines et sociales, au même titre que les autres, et peut, le cas échéant, s’y adapter ». Il s’agit plutôt de « quelques précisions aux faits observables et aux indices de qualité » relatifs au seul critère de « production scientifique », « pour intégrer au mieux la variété des formes de publication et des autres productions scientifiques en sciences humaines et sociales, mais aussi la diversité relative des langues qui sont utilisées pour la recherche dans ce domaine ». L’Aeres propose ainsi des repères pour « la caractérisation des revues » et « la caractérisation des ouvrages scientifiques », accompagnés des « principes de révision des listes de revues en sciences humaines et sociales » et d’une définition de ce que l’agence considère comme relevant d’un « véritable travail d’édition scientifique » des actes de colloques et des ouvrages collectifs.