Communistes Unitaires

Les collectivités sont sous-dotées en outils de pilotage et d’évaluation

Gilles Alfonsi, directeur adjoint de la stratégie, de l'organisation et de l'évaluation au département de la Seine-Saint-Denis, revient sur les difficultés que rencontre l'évaluation pour s'imposer dans les collectivités territoriales. Malgré la faiblesse des outils de pilotage et le contexte budgétaire tendu, il réaffirme la pertinence de l'évaluation des politiques publiques locales.

Chiffres-clés

Les Journées françaises de l'évaluation se tiendront les 16 et 17 novembre 2017 à Saint-Denis (Seine-Saint-Denis) sur le thème "Mieux décider, mieux piloter : l'évaluation au service d'une nouvelle intelligence de l'action publique". Programme et inscription ici.

Comment se structure la fonction « évaluation » au sein du département de Seine-Saint-Denis (8 000 agents, 1,6 million d’hab.) ?
La direction de la stratégie, de l’organisation et de l’évaluation regroupe plusieurs fonctions d’aide à la décision et au pilotage. Je suis convaincu qu’au-delà de la connaissance de nos politiques publiques, il faut que nous soyons capables de connaître leurs effets sur les habitants, sur les bénéficiaires. Depuis cinq ans, nous avons donc structuré une équipe dédiée à l’évaluation composée de trois personnes à temps plein. Ce sont des praticiens de l’évaluation puisque nous avons fait le choix d’internaliser l’essentiel de nos travaux. La Seine-Saint-Denis accorde depuis longtemps de l’importance au suivi et à l’évaluation de ses politiques. Nous sommes donc relativement bien outillés et dotés d’une programmation pluriannuelle des évaluations.

Quelles sont, à vous yeux, les spécificités de l’évaluation ?
Au département, désormais, on connaît nos publics, on sait les décrire et on s’appuie sur cette base d’analyse de gestion pour développer l’évaluation qui possède, selon moi, deux spécificités. D’une part, elle s’intéresse aux effets de nos politiques sur le territoire, sur ses habitants, sur les usagers. D’autre part, l’évaluation se fait à partir de la parole des premiers concernés : les bénéficiaires et usagers, les agents, les professionnels, les associations, nos partenaires, etc. Ce sont ces deux aspects qui singularisent l’évaluation par rapport aux autres d’outils d’aide à décision qui ont toute leur légitimité par ailleurs (contrôle des risques, maîtrise des coûts, audit, etc…).

Quelle est la finalité de l’évaluation ?
On collecte l’avis des gens mais ça ne signifie pas qu’on collera forcément à leur point de vue. Chaque évaluation se traduit par des propositions qui concernent toujours trois niveaux de nos politiques : les pratiques professionnelles, la conduite opérationnelle et les orientations stratégiques. Notre but est que l’évaluation ne soit pas utile qu’aux décideurs mais aussi aux professionnels. Plus largement, l’objectif de nos propositions, in fine, est de donner matière à débat. Elles sont donc parfois contradictoires avec le point de vue de certains acteurs et parties prenantes.

L’évaluation a un rôle de proposition mais pas de prescription. C’est ensuite aux décideurs de trancher en fonction des conclusions de l’évaluation mais aussi de leurs autres impératifs politiques, budgétaires, organisationnels, etc.

De quelle manière les conclusions de l’évaluation sont-elles restituées aux premiers concernés ?
Nous avons réussi à poser comme principe déontologique de base la restitution de l’évaluation à toutes les parties prenantes et la publication systématique sur le site du département. Tous nos rapports sont consultables librement sur internet. Certaines collectivités décident de diffuser leurs rapports d’évaluation au cas par cas et, en général, il s’agit de synthèse ou d’éléments de communication, ce qui peut être pénalisant pour la légitimité même de l’évaluation. La seule mise à disposition des rapports ne suffit pas, il y a un enjeu symbolique mais il faut l’accompagner de réunions de restitution par exemple.

Pour autant, même une restitution approfondie ne garantira pas que l’évaluation sera utile ou utilisée. C’est pour cela que nous essayons de d’articuler notre travail avec les autres directions pour que l’évaluation contribuent aussi à l’analyse de gestion, à l’audit interne, au contrôle de gestion, etc. C’est tout la problématique que nous souhaitons aborder aux Journées françaises de l’évaluation, à Saint-Denis, les 16 et 17 novembre.

Quels sont les domaines les plus évalués en Seine-Saint-Denis ?
Les politiques de solidarité, le pôle social, qui mobilisent beaucoup d’acteurs et beaucoup de moyens et qui sont au coeur de nos compétences départementales. Les évaluations transversales montent aussi en puissance. Il s’agit par exemple d’étudier les discriminations ou les rapports hommes/femmes dans tous nos dispositifs, d’évaluer nos outils de transition écologique, etc.

Comment expliquez-vous les difficultés que rencontre l’évaluation pour s’imposer dans les collectivités ?
Il y a un double enjeu. D’une part, l’évaluation patine parce que les collectivités sont très sous-dotées en outils de pilotage des politiques publiques. Par conséquent, avant d’être confrontés à la question de l’évaluation, les décideurs doivent d’abord être capables de les connaître, de les suivre, de les décrire. Ce préalable à l’évaluation fait encore trop souvent défaut.

D’autre part, la pratique de l’évaluation est pertinente parce qu’elle fait une place aux habitants et s’intéresse à l’utilité sociale de nos politiques et aux besoins des bénéficiaires. Tout cela suppose d’accepter d’entendre un discours divergent et/ou parfois critique sur nos pratiques. Ce n’est pas toujours évident.

Je dirais que la sensibilité à l’évaluation est plus grande qu’avant chez les élus locaux, les dirigeants de collectivités, les chefs de service et les professionnels mais que, paradoxalement, beaucoup de collectivités restent en difficulté pour lancer des évaluations et y consacrer des moyens.

Avez-vous constaté un ralentissement des évaluations en parallèle de la baisse des dotations ?
Oui, malheureusement. Ceux qui prétendent que les baisses de dotations sont une chance pour l’évaluation des politiques publiques tiennent un discours de déni. Théoriquement, l’évaluation est d’autant plus nécessaire lorsqu’il y a des baisses de moyens mais, en réalité, les budgets de l’évaluation ont été rabotés comme les autres.

Dans ce contexte, est-il possible de mener l’évaluation d’une politique publique sans avoir le prisme financier à l’esprit ?
Je pose le problème autrement : si vous avez des enjeux de coûts sur un dispositif, mobilisez votre équipe du contrôle de gestion. Si le problème vient de la maîtrise des risques, mobilisez l’équipe de l’audit interne et de la cartographie des risques, etc. Bref, pour maîtriser un budget, il y a des outils beaucoup plus performants que l’évaluation ! En revanche, si vous faites appel à l’évaluation, c’est parce que vous vous souciez de l’impact et de l’utilité sociale de vos politiques. Sa légitimité ne se joue pas sur le fait d’intégrer ou pas

la dimension financière mais sur sa spécificité qui doit trouver pleinement sa place aux côtés des autres fonctions d’aide à la décision. Cela étant dit, l’évaluation prend bien sûr en compte les notions d’efficience et d’efficacité des dispositifs.

Quels conseils donneriez-vous à une collectivité, même petite, qui souhaiterait se lancer dans l’évaluation ?
Il faut commencer par se doter d’une petite équipe dédiée et professionnelle – elle peut être composée d’une seule personne au départ – qui doit bénéficier du soutien de la hiérarchie et d’une autonomie suffisante. Le choix de l’internalisation est très intéressant financièrement et souvent bien moins coûteux que de recourir à un cabinet externe. La fonction de cette équipe sera de mener des évaluations mais aussi de diffuser la culture de l’évaluation dans tous les services. Enfin, il faut commencer par l’évaluation de petits dispositifs non conflictuels, avec des périmètres et des budgets limités, et sur lesquels il existe déjà des éléments de pilotage pour ne pas se lancer à l’aveugle !

Focus

Une évaluation simple mais riche en enseignements

Nous avons mené une petite étude, via des questionnaires qualitatifs, auprès des aidants professionnels qui accompagnent les personnes âgées à domicile. Nous en avons tiré des enseignements à trois niveaux. Premièrement, les réponses ont mis en évidence leurs difficultés relationnelles avec les personnes âgées, le manque de formation, les emplois du temps problématiques, etc. Autant d’enjeux relevant des pratiques professionnelles que nous avons modifiées. Deuxièmement, nous sommes aperçus qu’il y avait un problème de coordination entre les associations et des difficultés managériales, c’est à dire un souci dans la conduite opérationnelle de la politique. Troisièmement, en remontant encore d’un cran, on en a déduit qu’il y avait des difficultés au niveau de la structuration même de ces associations. Des constats qui nous ont amené à recommander des rapprochements entre certains acteurs et à faire évoluer nos orientations stratégiques. Autrement dit, il y a eu un petit investissement à la base qui nous a permis d’en tirer des enseignements très

importants. Le tout a permis d’accélérer la refonte de nos interventions dans le domaine, y compris pour des besoins de formations ponctuels mais essentiels.