Définir l’évaluation et ses multiples variantes

Printable version of the article  
Send this article by mail  
 
 

Le terme accountability peut paraître difficile à traduire en Français dans sa double signification : « rendre des comptes à la société » et « se rendre compte de ce que l’on fait ».

Définition

Le terme accountability peut paraître difficile à traduire en Français dans sa double signification : « rendre des comptes à la société » et « se rendre compte de ce que l’on fait ». Pourtant le terme « évaluation » en Français contient cette double signification. L’évaluation des politiques publiques est bien cet acte par lequel l’action publique est d’une part exposée au regard et au jugement des citoyens, des contribuables, des représentants du peuple, et autre part, par lequel les acteurs et les décideurs de ces politiques peuvent prendre conscience des qualités et de l’insuffisance de leurs pratiques et de leurs organisations.

Des visions spécifiques

Chaque dispositif d’évaluation engage une vision spécifique :

a) de ce qui doit rentrer dans le champ de l’évaluation, le "référé" : ensemble des effets d’une action ou seulement des manières de faire, ou encore des effets attendus, des résultats finaux définis par des variables et des "indicateurs". Derrière le “référé” de l’évaluation, c’est une théorie sociologique spontanée qui est mise en jeu par les acteurs, une représentation de la causalité sociale, une représentation de ce qui est "important" à mesurer.

b) des objectifs de l’évaluation : par exemple mieux contrôler l’action administrative et sa légalité juridique, former et mobiliser les agents, donner une place au citoyen dans le fonctionnement de son administration, etc. Ceux-ci définissent un référentiel, un paradigme normatif.

c) d’une vision de la vie politique et de la citoyenneté, qui se traduit notamment par la nature, posture et position de l’instance chargée d’évaluation : externe et citoyenne, externe neutre et technique, interne, participative, etc.

Les objets des évaluations

Qu’évalue-t-on, quand on évalue l’action publique ?

On évalue :

1- Les pratiques : quel type de pratique est la plus efficace, la plus efficiente.

2- Les professionnels : quelle est la qualité du travail de chaque professionnel (notation, évaluation individuelle ou de l’équipe). Conformité de leurs pratiques aux règles, aux normes.

3- Les organisations : les services, les établissements, les programmes, les dispositifs (possibilités de construire des échelles, des notations, des palmarès, etc.).

4- Les objectifs de l’action eux mêmes (est-ce que les objectifs de l’action publique sont éthiquement admissibles, rationnellement pertinents, consensuels, réalistes, etc.)

5- Les dispositifs d’évaluations eux-mêmes. Il s’agit alors d’une méta évaluation, qui vise à évaluer si le dispositif d’évaluation est rigoureux, pertinent, producteur d’améliorations effectives.

Les dimensions 4 et 5 de l’évaluation sont rarement pratiquées. Elles le sont surtout en situation de crise ou dans des contextes non consensuels.

L’objet 1 est primordial. Car comment pourrait évaluer les professionnels ou les établissements si l’on ne sait pas, déjà, par avance quelles sont les pratiques efficaces.

Outils analytiques

Pour décrire les dispositifs concrets, le sociologue a besoin de quelques notions analytiques. Un certains nombres d’entre elles se sont stabilisées (e.g. Barbier 1985) :

-  distinction du réferé (ce qui est étudié, objectivé, appréhendé car on n’étudie jamais tout dans la réalité), du référent (avec lequel on mesure l’écart à des standards) ou du référentiel (ensemble de normes, images du souhaitable qui guident l’évaluation), des procédures de référentialisation (ensemble de variables, d’instruments de mesures, d’indicateurs). L’identification du référé permet en creux d’identifier ce qui n’est pas évalué.

-  évaluation formative (qui vise la transformation des pratiques), sommative (qui vise un bilan).

-  évaluation de conformité (obligation de moyens), d’efficacité (obligation de résultats) d’efficience (obligation de choix politique et gestionnaire pertinents) ,

-  évaluation déconnectée des sanctions et de la gestion / évaluation connectée à des sanctions ou à des décisions de gestion. Cf. ce problème ancien dans les services publics : si un établissement va mal et a des performances faibles, doit on le sanctionner, voire le démanteler, ou au contraire doit on lui apporter des moyens humains et matériels supplémentaires ? Ou bien encore, l’évaluation doit elle n’avoir aucun effet dans la gestion?

-  évaluation externe, interne, auto, participative (selon le statut de l’instance d’évaluation par rapport aux actions évaluées)

-  commanditaire/ chargé d’évaluation/ évalué/ utilisateur de l’évaluation: pour distinguer différents type d’acteurs impliqués.

-  administrative, plurielle, démocratique : selon le type d’acteurs impliqués dans le dispositif d’évaluation (inclut-il des représentants des évalués, inclut il des usagers ?).

-  quantitative, qualitative, mixte, selon les méthodes utilisées. Etudier l’évaluation, c’est aussi se demander si elle produit des connaissances rigoureuses, quel est le statut de ces connaissances, quelles sont leurs limites, quel sont leur biais méthodologique.

On peut enfin, suite à Demailly 2006, proposer des outils analytiques pour analyser les effets sociaux des dispositifs d’évaluation. On peut ainsi en apprécier :

1- L’efficacité stratégique. C’est la plus pauvre. Elle renvoie à l’adéquation des effets de l’opération d’évaluation à la stratégie du commanditaire (ou des catégories d’acteurs qui utilisent l’évaluation à leur profit). Cette efficacité stratégique se joue aux différents moments du processus d’évaluation : la décision de la commande (qui peut elle-même prendre du temps et être le produit de tâtonnements et de négociation), le déroulement du recueil des données, la discussion autour d’un éventuel pré-rapport (de forme orale ou écrite), la diffusion des résultats. L’efficacité stratégique peut être très faible, sans être, par postulat, jamais nulle.

2- La crédibilité renvoie au fait que le contenu du rapport d’évaluation n’est pas mis en cause par les acteurs concernés. La construction de la crédibilité se joue à différents niveaux: scientifique, épistémologique, symbolique, psychosociologique, esthétique, éthique, politique.

3- L’efficacité formative est un élément de l’efficacité, que Monnier (1992) juge primordial. On désigne par là le rôle que joue la conduite d’une évaluation dans la transformation des représentations et des pratiques des acteurs concernés. Elle est ce en quoi un dispositif d’évaluation fonctionne de fait comme outil de formation. "L’effort d’identification des effets et l’interrogation sur les possibilités de les mesurer ont deux types de retombées indirectes : ils aident à reformuler en terme instrumental les objectifs de la politique, ou à souligner le caractère flou et non opérationnel de ces objectifs; ils produisent des effets formatifs en amenant les décideurs et acteurs de terrain à s’interroger plus concrètement sur les résultats de leur action " (ibid).

4- L’efficacité de rationalisation démocratique enfin renvoie au fait que l’évaluation aurait fonctionné effectivement comme outil d’orientation de l’action rationnel, au sens procédural mais aussi au sens valoriel d’amélioration de la maîtrise collective de l’action, qu’elle a contribué effectivement à des changements de représentations et à la prise de décisions individuelles et collectives qui sont en congruence avec des objectifs publics faisant partie d’un compromis social négocié.

DEMAILLY Lise, DEVINEAU Julie, MAURY Caroline & MOSSÉ Philippe (2010), Reddition des comptes et santé mentale en France. L’impossible et irrésistible évaluation, KNOWandPOL Report.

Read document


© 2011 Knowandpol Designed and Powered by platanas