Au-delà de la mesure d’impact : pour une évaluation qui révèle et renforce la valeur associative

I - La vassalisation par les indicateurs : comment l’impact redéfinit l’action associative ?

L’Institut conduit un programme de connaissance sur la création de valeur associative depuis 5 ans. Il a analysé les besoins des associations sur le sujet, et pour y répondre il a soutenu l’expérimentation de nouvelles méthodes d’évaluation. Ces travaux l’ont amené à croiser la critique de la mesure d’impact par les associations et aussi par les acteurs de la philanthropie.

Nos travaux [1] ont montré deux choses importantes : la mesure d’impact social est devenue le cadre d’évaluation dominant, voire exclusif pour les associations ; l’évaluation est au cœur des relations entre financeurs et financés [2].

Or l’évaluation n’est jamais neutre : elle pose un cadre de pensée qui oriente la manière dont on regarde et dont on construit l’action associative. Voilà pourquoi cela interroge les rapports de pouvoirs et leur influence sur nos représentations du monde. Voilà pourquoi la question de la vassalisation se pose. [3]

Un cadre imposé, une évaluation sous contrôle

Notre première observation est que ce cadre vient essentiellement des financeurs et qu’il est d’abord destiné à répondre à leurs attentes : présenter des preuves de résultats, par souci de transparence et de bonne gestion, dans une logique de suivi de performance.

Si ces attentes sont légitimes, le problème est que les indicateurs sont définis de dehors des associations, avec une finalité qui relève davantage du contrôle que de la révélation de la valeur, et dans une relation financeur-financé qui est une relation asymétrique et qui ne propose pas d’espace de discussion sur ces indicateurs.

Par ailleurs, des associations prennent également les devants et s’engagent spontanément dans une mesure d’impact. Elles peuvent s’appuyer sur un marché de l’évaluation en plein essor, qui joue d’ailleurs un rôle important dans la prescription de la méthode. Et elles le font alors souvent comme un investissement marketing et sur des budgets de communication, pour convaincre ses financeurs ou ses donateurs. La finalité ultime ne s’en trouve donc pas bouleversée.

Résultat : les associations finissent par se conformer à ce que regardent les financeurs et les cabinets d’évaluation, pour rendre des comptes, au détriment de ce qui compte pour leur projet et pour leurs bénéficiaires, et sans vraiment apprendre d’elles-mêmes.

L’hégémonie silencieuse des modèles publics et marchands

Lorsque l’on s’intéresse aux origines de la diffusion de la mesure d’impact [4] à partir des années 2010, on s’aperçoit que la mesure d’impact s’enracine dans 2 courants :

• Le new public management, c’est-à-dire la rationalisation des finances publiques, qui applique une culture de performance au secteur associatif
• L’entrepreneuriat social, qui introduit des modèles inspirés de l’entreprise à travers le principe d’un retour social sur investissement et des logiques de productivité.

Par ailleurs, dans un monde associatif dont l’histoire est encore trop peu écrite, il ne sera pas inutile de rappeler que les associations n’ont pas attendu la mesure d’impact pour évaluer. Bien avant elle, existait la mesure de l’utilité sociale, qui avait été pensée pour révéler la valeur sociale créée par les associations spécifiquement entre l’Etat et le marché. Et comme le décrit la revue de littérature de l’INJEP sur l’évaluation des associations en France, si l’utilité sociale a progressivement été délaissée, c’est du fait de l’installation de l’impact social comme objet hégémonique au sein des pratiques évaluatives.

Par conséquent, les associations se trouvent non seulement dépossédées d’une grille de lecture de leurs actions qui est pensée à l’extérieur d’elles, mais elles se voient aussi plaquer un modèle qui invisibilise les spécificités associatives, si l’on refuse de ramener les associations dans leur ensemble aux modèles de prestataire de politiques publiques, ou d’entreprise à finalité sociale.

Pour aller plus loin sur ce sujet, l’Institut a soutenu les travaux de l’Observatoire de la marchandisation du monde associatif, pour comprendre quels modèles économiques tiers peuvent inventer les associations entre tout Etat et tout marché [5].

II – Réinventer l’évaluation pour libérer le potentiel associatif

Lorsque l’on porte la critique de la mesure d’impact social, et même si l’on rappelle que cette critique monte au sein du monde associatif et du monde philanthropique, on se voit souvent taxer d’angélisme, voire de de résistants à l’évaluation.

Disons-le tout net : il ne s’agit pas d’être pour ou contre la mesure d’impact. Elle est installée et le restera, tant elle a sa propre utilité dans la structuration du dialogue entre associations et financeurs.

En revanche, on est en droit de remettre en question le « tout impact », c’est-à-dire l’injonction hégémonique, lorsque l’on souhaite s’engager dans une démarche évaluative, à faire de la mesure d’impact l’alpha et l’omega.

Des alternatives existent, et l’Institut français du Monde associatif a lancé un programme de connaissance pour soutenir l’émergence de quelques-unes d’entre elles, et pour élargir de cadre de pensée sur la création de valeurs.

Restituer aux associations le pouvoir de définir ce qui compte.

Certaines expérimentations, comme l’ethno-comptabilité, montrent que les associations sont parfaitement légitimes pour définir leurs propres critères et compter ce qui compte réellement pour elles. La méthode expérimentée par la Cabane de la recherche, lauréate de l’Institut, aide les associations à poser des indicateurs d’évaluation définis par elles-mêmes et pour répondre aux besoins de leurs bénéficiaires [6]. Qui mieux qu’elles connaît les publics touchés, les valeurs mobilisées, et les leviers d’actions ?

Mesurer l’invisible : ce que l’impact ne sait pas capter

Les travaux de l’Institut, appuyés par l’expression de nombreuses associations et fondations, montrent que la mesure d’impact réduit le réel : elle observe les associations au prisme des projets, des résultats des actions, et des chiffres, mais elle ignore les processus invisibles qui produisent la valeur associative.

Autrement dit, la mesure d’impact se concentre sur ce que les associations font, oubliant ce qu’elles sont. C’est pourtant dans leurs modes de fonctionnements, dans leur identité, dans leurs modèles socio-économiques, c’est-à-dire dans leur valeur immatérielle, que réside d’abord leur contribution sociétale et démocratique :

• Leurs modes de gouvernance produisent du pouvoir d’agir à travers la participation des usagers.
• L’engagement bénévole produit une capacité unique à comprendre les besoins des bénéficiaires et à s’ancrer dans un territoire.
• Cette « expertise du premier kilomètre » est porteuse d’une innovation sociale qui échappe à l’Etat et au marché.
• Les coopérations installent de nouvelles méthodes de travail qui renforcent les écosystèmes territoriaux ou sectoriels.
• Les nouveaux récits portés par les associations fédèrent et transforment.
• La qualité du dialogue des associations avec les pouvoirs publics ou encore la légitimité de leur interpellation contribuent à la mise à l’agenda public, et finalement à la vitalité de l’espace civique.

Toutes ces contributions essentielles à la société et à la démocratie, qui constituent la fonction socio-politique des associations, sont largement gommées par la mesure d’impact.

Là encore, des approches alternatives existent permettant d’atteindre ce qui échappe à l’impact. Par exemple, l’Institut a soutenu une méthode innovante du Groupement de Recherche sur l’Evaluation de l’Utilité Sociale (GREUS) [7]. Cette méthode s’intéresse à la valeur qui se construit dans la relation, en analysant les transformations qui s’opèrent dans le temps entre l’association et ses parties prenantes. En en aidant à comprendre comment une association a transformé les perceptions des habitants, la confiance en soi des bénéficiaires, les pratiques professionnelles de ses partenaires, ou comment elle a inspiré des politiques publiques, elle permet de mieux approcher sa capacité de transformation sociale.

L’autre grand avantage de cette méthode est qu’elle est d’abord pensée comme un outil d’apprentissage collectif, et pas simplement pour rendre des comptes ou communiquer auprès de ses financeurs. Elle permet alors de dégager le sens profond du projet associatif, ses mécanismes de transformation sociétale, et de contribuer pleinement au pilotage de la valeur produite par l’association.

Loin de s’opposer à la mesure de l’impact social, cette méthode la complète et la renforce. Plusieurs associations ayant bénéficié de la méthode du GREUS témoignent de nouveaux indicateurs d’impact nés de la démarche. Des indicateurs pleinement alignés sur la valeur centrale révélée, et de nature à mieux rendre compte auprès des financeurs de l’intelligence collective du projet.

Redéfinir la place des financeurs dans l’évaluation : de la mesure de performance à l’appui aux transformations

Les outils de pilotage demandés par les financeurs pour des raisons louables ont finalement produit de la réduction. Les associations attendent aujourd’hui une évaluation qui rende justice à la transformation qu’elles portent.

Les financeurs, qui sont encore aujourd’hui les architectes et les prescripteurs du cadre évaluatif, peuvent les y aider. La crise budgétaire, devenue crise de la contribution associative à la société et à la démocratie, nous impose collectivement de mieux comprendre la réalité de la valeur associative. C’est une condition nécessaire, sinon suffisante, pour peser dans les arbitrages politiques.

Parmi ses travaux, l’Institut a interrogé la relation entre générosité privée et associations [8], et il a mobilisé un dialogue entre fonds et fondations et monde associatif. Il est apparu que la philanthropie stratégique, la philanthropie systémique, et la philanthropie de la confiance, ont sans doute une responsabilité d’éclaireurs pour pousser de nouveaux modèles évaluatifs. Pour que demain, on évalue en miroir des enjeux à financer : pas uniquement des projets, ou une performance, mais plutôt les conditions de la transformation, la coopération, l’engagement, l’apprentissage collectif, le pouvoir d‘agir et les processus régénératifs.

Un programme pour révéler et diffuser la valeur associative

Depuis cinq ans, l’Institut français du Monde associatif mène un programme de connaissance consacré à la création de valeur associative et aux modèles socio-économiques qui la soutiennent . Ce programme a permis de mieux comprendre les besoins des associations et d’y répondre en soutenant des recherches participatives, en publiant les résultats de plusieurs appels à manifestation d’intérêt, en approfondissant la question de la contribution associative aux territoires et en rassemblant l’ensemble de ces travaux dans une plateforme de ressources en ligne [9].

Dans la continuité de ces travaux, l’Institut ouvre aujourd’hui une nouvelle étape avec le projet Savoirs en commun, qui vise à améliorer la diffusion et l’appropriation des connaissances produites par et pour les associations . Il s’appuie pour cela sur une communauté thématique de plus de cent acteurs associatifs et chercheurs, déjà engagés au fil des programmes précédents, pour renforcer la circulation des savoirs relatifs à la valeur sociale et territoriale créée par les associations.

Un questionnaire d’enquête [10] est proposé dans ce cadre, afin de recueillir les attentes, les pratiques et les besoins des acteurs concernés. Y répondre, c’est contribuer à façonner des modalités de diffusion plus adaptées aux réalités du monde associatif et à faciliter l’accès à des connaissances utiles au développement des associations.