Évaluation des politiques publiques : la "dictature de la preuve" ?

«L’efficacité et l’efficience des interventions publiques sont un enjeu majeur dans la plupart des grandes démocraties, où un niveau élevé des dépenses publiques se conjugue à un certain désenchantement à l’égard des institutions et de l’action publique », peut-on lire dans l’introduction de l’un des documents de travail produit par France Stratégie, qui mène un important travail de réflexion sur la question. Les collectivités locales sont concernées au premier rang – quelle que soit leur taille, comme on le verra dans les exemples ci-dessous – par ces évaluations qui peuvent les aider à conforter ou à abandonner leurs actions.

La démarche dominante demeure l’évaluation des « politiques publiques »

L’évaluation porte principalement sur la pertinence, la cohérence et la mise en œuvre des politiques. Elle se fait donc a posteriori et c’est aux décideurs de vérifier et d’évaluer la pertinence des mesures prises par rapport à des objectifs fixés. Il importe évidemment que ces derniers soient fixés à l’avance… et que des moyens le soient aussi pour mettre en œuvre cette évaluation. Des outils existent sur le sujet ((Comment évaluer l’impact des politiques publiques ? Un guide à l’usage des décideurs et praticiens (Rozenn Desplatz et Marc Ferracci, 2016) — www.strategie.gouv.fr/publications/evaluer-limpact-politiques-publiques)), mais la culture de l’évaluation est encore difficile à installer, d’autant que le temps de l’évaluation n’est pas toujours compatible avec celui des décideurs ((Voir prochain article de La Lettre du cadre à ce sujet)). Face à ce temps trop long de l’évaluation pourtant fort utile (voir ci-dessous), les décideurs souhaitent mettre en place des « choses » qui marchent et dont les effets positifs ont été mesurés même à court terme. C’est la « dictature » de la preuve.

Une politique publique fondée sur la preuve

L’Ansa (Agence nouvelle pour les solidarités actives) a publié en mars 2017 un rapport sur ce sujet intitulé « What Works Centres britanniques : quels enseignements pour des politiques fondées sur la preuve en France ? » ((www.strategie.gouv.fr/sites/strategie.gouv.fr/files/atoms/files/ansa_rapportwwc_2017_vf.pdf)) après une enquête sur les pratiques anglo-saxonnes. Partant du principe qu’il faut du temps et des moyens pour amener « la preuve » au cœur de l’action publique, le gouvernement britannique a soutenu ces dernières années le développement de structures dédiées au transfert de la connaissance : les What Works Centres. Dans des domaines aussi divers que l’éducation des enfants défavorisés, la prévention précoce ou le développement économique local, les interventions étudiées portent d’abord sur des pratiques de terrain. La mise à disposition sous des formes didactiques des résultats de différentes interventions permettent de comparer leurs effets et leurs coûts. Et elles se rendent rapidement utiles pour les décideurs politiques et les professionnels.

Lire aussi : Subventions culturelles, une réflexion indispensable sur l'évaluation

C’est, tout simplement direz-vous, une forme de benchmarking, de recueil des bonnes à idées, de guide des bonnes pratiques… à la différence qu’elles sont évaluées par des organismes indépendants qui sont souvent mandatés pour former les professionnels concernés à la mise en place de ces nouvelles façons d’agir.

La transplantation en France de cette façon de faire est loin d’être acquise tant les pratiques évaluatives se bornent au constat et à des préconisations qui n’apportent pas la preuve de leur efficacité potentielle. La demande existe tant du point de vue des bénéficiaires (ou non) d’une politique, que des décideurs qui veulent agir de plus en plus rapidement et ne plus engager des budgets – parfois conséquents – dans des politiques aux résultats inconnus. Les évaluations de différentes politiques rendues en ce début d’année montrent certes l’ampleur du chemin à parcourir, mais aussi quelques percées.

Quand la scolarisation des enfants de moins de deux ans n’a pas les effets attendus

Le titre du rapport de l’Ansa est alléchant pour un texte concernant au premier chef les collectivités. Ces dernières ont en effet souvent (et pas que pour des raisons financières) préféré développer l’entrée en maternelle dès l’âge de deux ans, plutôt que de financer des solutions diverses d’accueil des deux-trois ans dans le secteur de la petite enfance. L’argument d’une meilleure réussite scolaire quelquefois utilisé en cas de scolarisation précoce qui était une affirmation jusqu’alors non démontrée, peut donc désormais se confronter à cette première évaluation.

Le reste du rapport est… consternant, sauf pour les passionnés de mathématiques et de statistiques

Plus de dix ans de recul auront été nécessaires pour tenter d’évaluer ce dispositif, ce que l’on comprend bien. Pour y parvenir, le rapport a exploité les données d’un panel d’élèves entrés pour la première fois en 6e en 2007 (chiffres fournis par MENESR-DEPP, le service statistiques du ministère de l’Éducation nationale). Cette enquête suit le parcours d’un échantillon de 35 000 élèves pour lesquels on dispose de mesures de performances en 6e et en 3e, croisées avec de nombreuses informations sur la situation de l’élève et de sa famille.

Lire aussi : Politiques publiques : quand les chiffres font tourner la tête

Si la description de la méthode et de l’échantillon étaient nécessaires, le reste du rapport est… consternant, sauf pour les passionnés de mathématiques, de statistiques et de randomisation. Près de 50 pages concernent ainsi la méthode utilisée et l’étude conclut qu’on ne peut pas affirmer que ces dispositifs améliorent le taux de réussite scolaire des enfants sans pour autant dire le contraire ! Et, bien sûr, aucune proposition pour « améliorer » le dispositif.

Un sujet franco-belge !

Seuls deux éléments factuels vous donneront quelques sujets de conversation :

- une mise en perspective au niveau européen et mondial qui peut être particulièrement décoiffante : « La France est, avec la Belgique, le seul pays du monde à scolariser les enfants aussi tôt. En Europe, la plupart des enfants de trois ans sont gardés dans des structures d’accueil privées et, en particulier, par leurs grands-mères », nous dit d’emblée ce rapport qui ne pourra donc pas s’appuyer sur des évaluations menées dans d’autres pays ;

- le taux de « préscolarisation » des enfants est en baisse en France sur une longue période, variable selon les régions et sans doute plus important en milieu urbain. Enfin, il est en moyenne de 11 %.

Même si des réserves (encore d’usage ?) sont exprimées (« l’opinion des experts qui ont réalisé le rapport les engagent mais pas celle du gouvernement »), le rapport – sorti en janvier 2018 — a néanmoins un titre assez clair qui, sans une lecture attentive, pourrait être utilisé à mauvais escient.

Le rapport annuel sur la protection de l’enfance de l’Onpe

L’Observatoire national de la protection de l’enfance (Onpe), créé en 2004, présente pour la première fois cette année (et en janvier) des statistiques de l’année n-1 (2016) rendant ainsi l’outil plus réactif. Alimenté par les observatoires départementaux aujourd’hui en place (au nombre de 73, avec 18 observatoires départementaux « en construction » et 9 départements qui n’ont pas encore prévu d’en créer un !), ce rapport copieux de groupement d’intérêt public (entre l’ADF et l’État) est une mine de renseignements sur les 300 000 mineurs accompagnés notamment par les missions de l’aide sociale à l’enfance (ASE).

Avec, chaque année, un ou des focus sur les dispositifs de détection ou de suivi de ces jeunes, il est aussi un outil d’information sur les rencontres professionnelles organisées à ce sujet. Le recensement -sous forme de fiches très détaillées ((www.onpe.gouv.fr/dispositifs))- des pratiques de prévention, de dépistage, de prise en charge médico-sociales et judiciaires dont les résultats ont été jugés concluants est disponible sur le site. Mais – à la différence des What Works Centres – des missions d’accompagnement à la mise en place ne sont pas pour autant proposées car ce n’est pas prévu par les statuts de cette structure. Il est donc possible en France, y compris sur des sujets difficiles, d’avoir une politique d’évaluation qui permet d’orienter vos actions professionnelles.