Module 7 - Mobiliser les capacités nécessaires et assurer des conditions de fonctionnement optimales

Table des matières - Mobiliser les capacités nécessaires et assurer des conditions de fonctionnement optimales


		HOME

		Introduction

		S&E et impact

		Conception, programmation et S&E

		Mise en place du système

		Ce qu'il faut suivre

		Gestion de l'information

		Capacités et conditions

		Réflexion critique

		Glossaire

		Exemple de cadre logique

		Exemple de matrice de S&E

		Méthodes et outils de S&E

		Modèles de termes de référence

7.1 Mobiliser les capacités nécessaires et assurer des conditions de fonctionnement optimales – présentation générale

7.1.1 Les capacités des différents acteurs du suivi-évaluation

Lorsqu’on demande pourquoi un système de S&E ne fonctionne pas, la réponse est souvent “l’insuffisance ou la médiocrité des capacités”. Par définition, “la capacité est l’aptitude des personnes et des organisations à exercer des fonctions de façon efficace, efficiente et durable”¹. L’aptitude regroupe à la fois les connaissances et les compétences nécessaires à l’accomplissement d’une tâche donnée.

La réaction la plus courante lorsque des capacités en matière de suivi-évaluation font défaut est “d’envoyer le responsable de S&E à une formation” où il peut acquérir de nouvelles connaissances et de nouvelles compétences. Si une formation peut se révéler utile, toute formation a ses limites. En pratique, les capacités s’acquièrent en grande partie “sur le tas” par une expérience concrète.

Pour que le système de S&E soit efficace, il est indispensable de disposer d’un personnel qualifié, capable d’accomplir les fonctions et les tâches de S&E. Les tâches essentielles sont les suivantes: concevoir les grandes lignes du système de S&E (voir module 3); mettre en place et faire fonctionner des systèmes de gestion des données informatisés (voir 7.5); faciliter la réflexion critique et la capitalisation au cours des rencontres prévues à cet effet (voir module 6); et gérer la diffusion des résultats du suivi-évaluation (voir module 6). Pour répondre aux besoins en matière de capacités, vous devrez:

Vous doter des ressources humaines adaptées en:

recrutant des personnes déjà formées;
formant votre personnel (en interne ou au moyen de cours à l’extérieur);
recrutant des consultants externes pour des appuis spécifiques.

Vous assurer des capacités de bonne qualité en:

supprimant les facteurs dissuasifs et adoptant des mesures incitant à la réflexion critique et à la capitalisation;
indiquant clairement ce que vous attendez du personnel de S&E;
évaluant régulièrement la performance du personnel;
sous-traitant la vérification des données;
vous efforçant de conserver le personnel;
trouvant une personne hautement qualifiée pour coordonner le suivi-évaluation.

Développer les capacités de S&E. Après vous être accordés avec les différents acteurs sur le rôle de chacun, évaluer si les personnes retenues ont les savoir-faire et les dispositions nécessaires puis élaborer un plan de formation en suivi-évaluation pour tous les acteurs concernés et avec leur participation. Vous pouvez organiser la formation en combinant les trois options suivantes:

cours externes;
cours internes, spécialement conçus pour les personnes concernées et liés au déroulement du plan opérationnel de suivi-évaluation lui-même;
formation continue.

Investir dans les capacités pour un S&E participatif. Collaborer étroitement avec le personnel du pro-jet et des partenaires de mise en œuvre ainsi qu’avec les acteurs à la base et les bénéficiaires pour définir les conditions du bon fonctionnement d’un S&E participatif. Élaborer les programmes nécessaires pour combler les lacunes en matière de capacités. Si vous avez recours à des consultants, définissez clairement leurs attributions et essayez de faire appel aux mêmes personnes dans la durée pour assurer la cohérence de l’approche retenue et construire des relations suivies avec les acteurs; stipulez le caractère participatif du suivi-évaluation dans les termes de référence des consultants et demandez à chaque candidat potentiel comment il envisage le S&E participatif.

7.1.2 Prendre des mesures incitatives

Mettre en place des incitations en faveur du S&E signifie fournir des stimulants pour encourager les responsables de projet, les agents de S&E et les acteurs à la base et bénéficiaires à percevoir le suiviévaluation, non comme une tâche bureaucratique mais comme un moyen d’examiner les problèmes ouvertement, de se livrer à une réflexion critique constructive en vue de déterminer les changements nécessaires pour améliorer l’impact du projet. Il s’agit à la fois de mettre en place des mesures d’encouragement et d’éliminer les facteurs de manque de motivation.

Lorsque vous réfléchissez aux mesures d’incitation à adopter, prenez en considération celles que vous pouvez mettre en place facilement, sans modifier l’organisation existante, et aussi celles qui pourraient exiger des changements structurels dans l’organisation et la mise en œuvre du projet. Prenez aussi en considération les personnes visées en vue de les inciter à s’engager dans un S&E participatif et orienté vers la réflexion capitalisation. Vous pourrez ainsi adapter les mesures d’inci-tation à chaque groupe particulier.

Les systèmes d’incitation doivent être équitables, appliqués au moment voulu, compatibles avec les principes et stratégies du projet et reconnus comme faisant partie intégrante de la politique du projet. Les mesures incitatives doivent être adaptées au contexte et favoriser la durabilité des efforts entrepris. C’est pourquoi dans de nombreuses situations, les incitations financières ne sont pas souhaitables car elles ne pourraient se prolonger au-delà de la clôture du projet.

Les meilleures incitations concernant le suivi-évaluation sont étroitement liées aux efforts de gestion générale destinés à améliorer la performance globale des projets. Par exemple, les mesures suivantes sont d’usage courant:

définition claire des responsabilités en matière de S&E dans les descriptions de poste et les programmes de travail;
niveau approprié des salaires et autres éléments de rémunération, tels que le logement ou l’utili-sation d’un véhicule;
appuis pour la mise en œuvre des activités requises par le projet, par exemple accès facilité aux ressources financières et autres;
perfectionnement professionnel en vue de favoriser l’avancement.

Vous avez moins d’influence sur les mesures d’incitation visant les partenaires de mise en œuvre et les acteurs à la base que sur celles qui concernent le personnel du projet. Pourtant, lorsqu’il s’agit du suivi-évaluation participatif orienté vers la réflexion critique et la capitalisation, il est essentiel qu’ils soient autant motivés que le personnel du projet. Se référer au point 7.3 pour d’autres éléments à ce sujet.

Les mesures d’incitation changeront pendant la durée de vie du projet. Soutenez la motivation en modifiant les mesures d’incitation. Celles-ci peuvent varier à chaque étape du projet, en fonction de l’évolution des tâches et des problèmes de suivi-évaluation et dans certains cas, certaines mesures prises au départ peuvent s’avérer incitatives ultérieurement. Par exemple, au Ghana, les candidats aux emplois du projet étaient soumis à une sélection très rigoureuse. En outre, les fonctionnaires des ministères qui posaient leur candidature devaient aussi être désignés par leur chef de département. Sachant qu’ils avaient été recrutés à l’issue d’un processus particulièrement rigoureux, les agents du projet y compris ceux en charge du S&E avaient une grande estime mutuelle de leurs compétences et aptitudes professionnelles.

7.1.3 Définir clairement les responsabilités de chacun

Définir clairement les fonctions et responsabilités en matière de suivi-évaluation d’un projet peut éviter bien des problèmes de communication, des conflits de pouvoir et d’intérêt, des oublis, des doubles emplois et des efforts inutiles. Cela permet d’économiser les ressources et d’éviter les maux de tête. Organiser les responsabilités consiste à déterminer quelles sont les fonctions les plus appropriées pour le personnel du projet, les organisations partenaires et les acteurs à la base, et de quelle façon ces fonctions doivent être liées les unes aux autres.

Le suivi-évaluation fait partie du travail de chacun, du planton au directeur de projet. Il est néanmoins important que les fonctions de S&E soient clairement attribuées dans la structure du projet, qu’il s’agisse du personnel du projet, des partenaires ou des acteurs à la base. Les personnes ayant des responsabilités en matière de S&E doivent être bien en vue et en situation d’autorité de façon à ce que soit assuré le lien entre l’information et son utilisation dans la prise de décision.
Pour que les fonctions et les tâches de suivi-évaluation soient bien claires:

définissez les responsabilités en matière de S&E des partenaires de mise en œuvre et des acteurs à la base;
déterminez le niveau des effectifs nécessaires en tenant compte de l’ensemble des tâches et fonctions de S&E qui doivent être remplies;
définissez clairement les niveaux de responsabilité du personnel chargé du S&E;
veillez à ce que la gestion du projet et le S&E soient étroitement liés;
aidez-vous de profils de poste détaillés pour coordonner les apports de chaque employé.

Tous les projets ont recours à des consultants, locaux ou internationaux pour des missions de courte ou de longue durée, auxquels ils confient de plus ou moins grandes responsabilités. Prêtez attention aux points suivants:

utilisez les consultants de façon stratégique pour élaborer un système de S&E permettant de renforcer les capacités locales et de mettre à profit les formes existantes de suivi-évaluation;
lorsque vous les recrutez, ayez clairement en tête ce que vous souhaitez qu’ils ajoutent aux systèmes et compétences existants, dans quels délais et selon quelles modalités de travail;
cherchez à travailler le plus possible avec les mêmes consultants de façon à réduire au minimum la nécessité de devoir concilier des points de vue contradictoires.

7.1.4 Bien réfléchir au système d’information

La quantité d’informations recueillies et devant être échangées dans le cadre des projets soutenus par le FIDA justifie une réflexion approfondie sur le système d’information nécessaire pour stocker les données et permettre aux différents acteurs d’y avoir accès. Les systèmes d’information sont aussi des éléments essentiels de tout processus participatif. L’information est la base de la communication interactive entre les acteurs et de la transparence.

Il est nécessaire de stocker deux types d’informations: celles qui portent sur l’impact et servent à guider la stratégie du projet et celles qui se rapportent à l’état d’avancement du projet et permettent de suivre les opérations. Le stockage de toute cette gamme d’informations, allant des données fournies par les enquêtes aux copies des contrats et à la correspondance, exigera probablement différents systèmes de stockage de l’information.

L’informatique peut grandement faciliter la recherche et l’utilisation des données, mais ce n’est pas une panacée. Ce n’est pas l’informatisation des données qui permettra à un projet d’atteindre ses objectifs. Les informations qui doivent être partagées peuvent aussi être tout simplement photocopiées et distribuées, chaque utilisateur utilisant le même système de classement.

Pour mettre en place un système d’information informatisé, il vous sera nécessaire de suivre les étapes ci-après:

Définissez ce que vous voulez stocker dans votre système d’information et dans quel but.
Définissez la structure de base de votre réseau en analysant quand, comment et par qui la base de données sera utilisée.
Déterminez la façon dont vous prévoyez de traiter l’information, qui en sera chargé et sous quelle forme elle devra être traitée.
Comparez les options disponibles en matière de logiciels et de matériel (réseaux) et décidez si vous devez investir dans des logiciels existants ou charger un spécialiste d’en concevoir un sur mesure.
Après avoir choisi l’option qui vous convient, affinez vos modalités de gestion des données.
Déterminez les formats nécessaires pour l’enregistrement des données dans la base.
Dispensez une formation aux utilisateurs du système, afin d’en assurer l’utilisation optimale.
Adaptez le système régulièrement sur la base d’évaluations réalisées avec les utilisateurs.

7.1.5 Financements et moyens nécessaires

La gestion et l’analyse des informations de manière rigoureuse et systématique demande des moyens. Des ressources financières sont nécessaires pour les dépenses en personnel, le fonctionnement des systèmes de gestion de l’information, la formation, les déplacements, etc.
Les principaux postes de dépenses à prévoir au budget sont les suivants:

contrats de consultants/spécialistes extérieurs (honoraires et frais de voyage);
investissements en matériels;
dépenses courantes de personnel (traitements du personnel permanent et du personnel temporaire en appui);
prestations spécialisées, comme l’assistance technique (à court ou long terme, nationale ou internationale);
formation et voyages d’études pour renforcer les capacités;
dépenses opérationnelles autres que celles du personnel (par exemple, fournitures de bureau, réunions, allocations destinées aux acteurs à la base et aux opérateurs ou prestataires de service, données extérieures telles que les cartes).

Bien qu’il n’existe pas de règle fixe, les budgets de suivi-évaluation représentent en général de 2% à 15% du coût total du projet. Dans les projets où les acteurs expérimentent de nouvelles formes de collaboration avec leurs partenaires, les budgets de S&E sont généralement plus élevés car il faut consacrer plus de temps à l’analyse des processus de collaboration et à la réflexion critique de leur fonctionnement.

Quelle que soit la façon dont le budget de S&E est calculé, il y aura toujours plus ou moins de chevauchements avec d’autres activités du projet. Par conséquent, il faut éviter les budgets de suiviévaluation trop détaillés. Le plus important est d’inscrire au budget les événements, les procédures et le temps de travail nécessaire au soutien de la réflexion critique et de la capitalisation.

Les processus participatifs de capitalisation des connaissances sont plus exigeants en temps que ceux dans lesquels n’interviennent que quelques personnes. Il faut en effet plus de temps pour organiser les réunions auxquelles participent un plus grand nombre de personnes et des groupes plus hétérogènes, et pour s’accorder sur les modalités du S&E ou sur la signification des données. Pour le S&E participatif, prévoyez les postes budgétaires suivants:

formation spécifique du personnel aux méthodes participatives de S&E;
réunions avec les acteurs et partenaires pour concevoir le S&E;
réunions pour l’analyse des données avec les acteurs à la base;
ateliers de formation de courte durée sur les étapes clés de la conception du S&E et sur des éléments particuliers tels que les indicateurs et les méthodes (y compris l’utilisation de la matrice du cadre logique).

7.2 Capacité humaine et institutionnelle

7.2.1 Capacités indispensables pour le suivi-évaluation

Deux types de compétences sont d’une particulière importance pour l’efficacité du suivi-évaluation – celles qui permettent de traiter des données diverses et celles qui permettent de traiter avec despersonnes diverses – mais d’autres compétences sont aussi nécessaires. Le tableau 7.1 donne la liste des domaines clés de connaissances et de compétences dont chaque projet devrait pouvoir disposer pour mener à bien son suivi-évaluation. Cette liste peut vous servir de référence pour vérifier si les acteurs impliqués dans le S&E de votre projet possèdent les capacités indispensables.

Selon les dimensions et les ressources du projet, les fonctions peuvent être regroupées ou confiées au personnel du projet, à des partenaires de mise en œuvre, à des sous-traitants, ou aux acteurs à la base. Quelle que soit la personne chargée d’une fonction, ses compétences doivent être à disposition du projet sans doubles emplois inutiles ni orientations contradictoires (voir encadré 7-1).

Tableau 7-1. Capacités que les acteurs du projet doivent posséder pour assurer un bon suivi-évaluation

Savoirs/Compétences nécessaires	Responsabilités possibles
Vue d’ensemble du système de S&E du projet (procédures de base et communications essentielles) pour permettre une conception intégrée	Directeur de projet et agents de S&E et responsables (provenant du projet ou des partenaires de mise en œuvre)
Maîtrise des problématiques de genre, de participation et de pauvreté pour que le S&E fournisse des informations adaptées aux demandes des bailleurs de fonds	Spécialistes de secteurs ou coordonnateurs de composantes de projet
Connaissance des modalités de mise en place d’un système de réflexion critique sur des bases participatives	Personnel de l’unité de S&E ou consultants ayant l’expérience du S&E participatif
Idées de méthodes de capitalisation des connaissances	Personnel de S&E ou personnel de terrain, avec le concours de consultants externes
Compétences en animation pour les réunions de réflexion	Toute personne responsable d’un aspect quelconque de l’analyse conjointe (des communautés à l’équipe de projet)
Connaissance des instruments de collecte de données sur le terrain	Collecteurs de données, en particulier agents de terrain mais aussi responsables qui suivent les relations/ le personnel
Aptitude à vérifier la qualité des données	Organisation extérieure, éventuellement institution coopérante
Aptitude à regrouper des données et à en faire l’analyse statistique	Statisticien ou économiste
Aptitude à évaluer les incidences des résultats de l’analyse des données pour chaque composante du projet	Responsables de composantes du projet (qui pourraient être des partenaires de mise en œuvre) et acteurs à la base
Bonne compréhension de la situation, des changements et des impacts au niveau local	Acteurs à la base et bénéficiaires
Opinions indépendantes sur l’impact du projet	Évaluateurs extérieurs sous contrat

Encadré 7-1. Éviter les doubles emplois inutiles

Dans un projet en Indonésie, les agents de terrain recueillent de nombreuses données sur les groupements de crédit local et la banque en fait autant. Des données clés sur l’épargne et le crédit sont recueillies auprès des groupements d’agriculteurs par les agents de terrain du projet et par les groupements eux-mêmes à destination de la banque. Une fois que la demande de prêt d’un groupement d’agriculteurs est approuvée, la banque tient des dossiers informatisés des prêts et des dépôts d’épargne du groupement. Ce dernier tient manuellement pour sa part des registres de l’épargne et des prêts pour assurer la transparence entre les membres. Le groupement recueille chaque mois auprès des 55 000 membres des informations qui sont ensuite traitées, dactylographiées et regroupées avant d’être envoyées par l’intermédiaire des sous-districts au ministère de Jakarta. Parallèlement, la banque adresse chaque mois au ministère des documents informatisés fournissant les mêmes données. Même si les groupements d’agriculteurs et la banque ont tous besoin de suivre le processus de crédit à des fins de comptabilité, certains efforts inutiles pourraient être supprimés si les agriculteurs utilisaient les dossiers de la banque pour vérifier leurs propres registres et si le ministère considérait ces dossiers comme des comptes rendus satisfaisants des opérations de crédit aux agriculteurs.

7.2.2 Recruter les personnes qu’il faut

En tant que directeur de projet ou coordonnateur d’une unité de S&E, vous avez trois solutions possibles pour disposer de capacités suffisantes et bien adaptées.

Recruter des gens déjà formés. C’est la solution idéale mais elle est très difficile à appliquer pour la plupart des projets. Il y a peu de gens compétents en matière de S&E classique, à plus forte raison en matière de processus participatifs. Pour recruter des personnes déjà formées, il faut être en mesure d’offrir des incitations appropriées et suffisantes pour que le travail soit durablement motivant (voir 7.3).
Former les gens dont vous avez besoin. Une formation en interne ou en externe est toujours nécessaire. Les professionnels du suivi-évaluation, même les plus qualifiés, ont besoin de perfectionner leurs qualifications et leurs connaissances. Les acteurs à la base et bénéficiaires ont besoin de renforcer leurs capacités pour organiser leur propre suivi-évaluation et contribuer au S&E du projet. Le personnel de terrain doit renforcer ses capacités en permanence car les besoins d’informations d’un projet évoluent et il faut pouvoir utiliser de nouvelles méthodes de collecte et d’analyse des données.
Recruter des consultants externes pour des tâches déterminées. On fait souvent appel à des consultants en raison de leurs qualifications spécialisées dans le domaine du suivi-évaluation. C’est là une solution relativement coûteuse qui contribue moins à renforcer les capacités locales mais c’est souvent la seule solution possible lorsqu’il n’y a pas de spécialistes disponibles sur place et que le temps manque. Les consultants sont particulièrement utiles au moment du démarrage du projet lorsque tout le personnel n’a pas été recruté et que les rapports avec les partenaires de mise en œuvre sont limités. Leurs premières tâches consistent à mettre en place les processus de gestion et de S&E, recruter le personnel, établir définitivement le programme de travail et budget annuel, définir les procédures de comptes rendus, mettre en place les systèmes d’information et assurer la formation interne. Pour tirer le meilleur parti des consultants, il est nécessaire de définir clairement ce qu’on attend d’eux (voir 7.4).

Votre stratégie en matière de personnel peut combiner ces trois options. Si en tant que responsable de projet, vous souhaitez créer un environnement favorisant la réflexion critique et la capitalisation, vous serez probablement amené à:

faire votre possible pour recruter la personne la plus compétente pour conduire les activités de S&E ou rechercher une personne de ce genre chez les partenaires de mise en œuvre;
faire appel à des consultants pour fournir des apports spécialisés sur des questions précises;
établir un plan de formation permanente pour tous les acteurs concernés participant au suiviévaluation.

7.2.3 Mobiliser des capacités de qualité

Il ne suffit pas de disposer d’effectifs suffisants pour être certain de mobiliser les “capacités” voulues. La qualité est indispensable. Si vous êtes en mesure de définir clairement ce qu’est un suivi-évaluation de qualité, vous serez mieux à même d’orienter la réflexion critique et la capitalisation. L’encadré 7.2. donne un exemple de la définition d’un bon système de S&E en Inde.

Encadré 7-2. Comment définir la bonne qualité du S&E

Selon des observations faites sur le suivi-évaluation d’un projet en Inde, “le projet a organisé la formation intensive et permanente du personnel au S&E et les responsables ont été tout à fait satisfaits de la qualité et de la ponctualité des rapports. Deux techniciens des services agricoles spécifiquement chargés du S&E travaillent avec le projet presque depuis le début et paraissent très bien connaître les principes et les pratiques de base du suivi-évaluation. Ils analysent régulièrement les rapports mensuels, transmettent leurs observations aux autorités compétentes pour action et les problèmes remontent jusqu’au plus haut niveau, si nécessaire”.

Les passages en italique présentent les critères d’une bonne capacité de suivi-évaluation. Dans ce cas, les agents chargés de S&E doivent:

bien connaître le contexte du projet et les besoins d’information des acteurs;
connaître les principes et les pratiques de base de S&E;
analyser régulièrement les données;
assurer la transmission des informations nécessaires pour engager les adaptations requises au niveau approprié de l’organisation;
communiquer les rapports prévus qui doivent être de bonne qualité et ponctuels;
soulever les questions importantes sur la base des constatations du S&E au niveau le plus élevé possible.

Les qualifications indispensables pour un niveau de personnel en charge de certaines tâches spécifiques ne sont pas forcément nécessaires à d’autres niveaux. Par exemple, si les agents de vulgarisation doivent savoir très bien communiquer avec les acteurs à la base, les statisticiens doivent savoir très bien traiter les chiffres.

Que peut-on faire pour que le personnel du projet et les partenaires de mise en œuvre assurent un S&E de bonne qualité? Dans un projet en Tanzanie, on a tenté d’y parvenir en ouvrant le recrutement du personnel au secteur privé et pas seulement au secteur de l’administration. Cette solution donnait davantage de possibilités de trouver une personne possédant les qualifications appropriées. Dans certains pays d’Amérique latine, les candidats à un emploi de cadre dans un projet bénéficiant de l’appui du FIDA participent à un processus de formation et de sélection qui comprend un atelier de deux ou trois jours au cours duquel on évalue leurs compétences en matière de communication, de prise de décision etc. Le comité de sélection se compose de fonctionnaires, de bénéficiaires et d’experts. Le point 7.3 traite des mesures incitatives pour assurer la bonne qualité du S&E.

Quelques autres moyens d’assurer la qualité sont suggérés ci-après.

Supprimer les facteurs dissuasifs et adopter des mesures incitant à la réflexion critique. Il faut encourager les agents du projet et de l’organisation partenaire à se montrer curieux et disposés à apprendre au moyen de diverses mesures incitatives, et limiter les facteurs dissuasifs qui peuvent les empêcher de tirer des leçons de leurs erreurs. Voir également le point 7.3.
Indiquer clairement ce que vous attendez. Préciser les capacités en suivi-évaluation que vous attendez et mettre en place des procédures permettant de les mobiliser de manière durable. La description des fonctions du personnel (voir annexe E) et l’évaluation des performances sont les deux procédures clés dans ce domaine.
Évaluer régulièrement les performances du personnel. Dans la plupart des documents de projet, les performances du personnel sont évaluées au regard du degré de mise en œuvre des activités. Toutefois, il faut aussi évaluer ce que les agents ont appris des différents acteurs à la base et des collègues, quelles innovations ils lancent en matière de réflexion critique et comment ils utilisent les informations qu’ils ont pu recueillir.
Sous-traiter la vérification des données. Tout projet peut tirer grand profit d’un regard extérieur. On peut par exemple confier périodiquement à une organisation sous contrat la vérification de la qualité des données et de leur utilisation. Il faut cependant éviter de transformer ces vérifications en contrôle policier.
Assurer la stabilité du personnel. La stabilité du personnel est très utile mais aussi très difficile à assurer. En limitant les changements de personnel, il est possible de constituer une réserve d’expérience plus cohérente et moins fragmentaire. Il est très important d’offrir des mesures incitatives judicieuses au personnel pour le stabiliser.
Trouver une personne hautement qualifiée pour coordonner le suivi-évaluation. Une telle personne jouit d’une position supérieure par rapport au reste de l’équipe, ce qui donne davantage de chances de disposer des capacités nécessaires à ce niveau.

7.2.4 Renforcer les capacités de S&E participatif

Les rapports de préévaluation indiquent rarement comment les acteurs à la base doivent prendre part au suivi-évaluation. Dans le cas des projets prévoyant un S&E participatif, il n’est pas toujours précisé clairement les capacités que doivent posséder le personnel, les acteurs à la base et les consultants. Dans le cas des projets qui sont débutants en suivi-évaluation, il peut paraître trop ambitieux de mettre en place un S&E participatif. La question doit être étudiée avec soin. Cependant, un certain nombre de changements mineurs peuvent être apportés dans l’organisation pour favoriser les formes de réflexion critiques interactives.

Mettre en place un véritable S&E participatif

Faire du suivi-évaluation un processus de réflexion et de capitalisation qui intègre l’ensemble des acteurs concernés par le projet, c’est pratiquer le S&E participatif. Vous devrez réfléchir aux nombreuses implications qu’entraîne la participation active de ces différents acteurs et en particulier celle des bénéficiaires sur l’évolution du projet et son impact ainsi qu’à la collecte, l’analyse et la sélection des données, à l’adaptation du système etc. (voir tableau 7-2).

Pour que le S&E participatif soit vraiment utile, les acteurs concernés doivent être en mesure de participer utilement; en d’autres termes, les agents du projet et des organisations partenaires doivent avoir des compétences en matière de techniques participatives et être convaincus de l’importance de chercher à connaître l’opinion des autres. En outre, les bénéficiaires doivent avoir les connaissances requises pour apporter une contribution réelle. L’organisation d’un S&E participatif de qualité implique obligatoirement le renforcement des capacités de tous.

Tableau 7-2. Différences entre le suivi-évaluation participatif et le suivi-évaluation classique²

Aspect du S&E	S&E classique	S&E participatif
Qui planifie et gère le processus	Cadres supérieurs et experts externes	Acteurs à la base et bénéficiaires, agents du projet, cadres et autres personnes impliquées, souvent aidées par un facilitateur
Rôle des bénéficiaires	Uniquement fourniture d’information	Conception et adaptation de la méthodologie, collecte et analyse de données, mise en commun des constatations, identification des enseignements à retenir et liaison avec l’action
Modalités de mesure de la réussite	Modalités définies de l’extérieur, principalement indicateurs quantitatifs	Indicateurs définis en interne, notamment davantage de jugements qualitatifs et exemples de changement personnel
Approche	Déterminée à l’avance et fixe	Indicative et adaptable

Les acteurs à la base et les bénéficiaires peuvent participer au suivi-évaluation d’un projet suivant des modalités diverses et à des degrés divers. L’équipe du projet doit déterminer le degré de participation faisable et opportun avec les partenaires de mise en œuvre et les différents acteurs. Pour ce faire, il faut étudier les questions suivantes:

Pourquoi cherchons-nous à faire participer activement les bénéficiaires au suivi-évaluation? Qu’attendons-nous de cette opération? Quels avantages prévoyons-nous pour les personnes concernées et pour le projet?
Pour que le processus soit aussi large que possible, quels sont les acteurs dont la participation est indispensable? Il ne faut pas oublier que les groupes d’acteurs à la base sont loin d’être homogènes.
Quel rôle devrait, dans l’idéal, jouer chaque groupe d’acteurs? Par exemple, les bénéficiaires devraient-ils simplement vérifier les indicateurs suggérés par les agents de terrain ou participer également à la conception du processus de réflexion critique, des indicateurs aux méthodes et aux restitutions d’information?
Quels obstacles le personnel rencontre-t-il lorsqu’il s’agit de faire participer les acteurs à la base et les bénéficiaires?
Quelles sont les capacités qui manquent pour mettre en œuvre le S&E participatif?

Les réponses à ces questions donneront une idée des personnes dont les capacités ont besoin d’être renforcées et des moyens de les renforcer. Ainsi, si des représentants des acteurs à la base et des bénéficiaires doivent intervenir dans la conception d’une évaluation participative de l’impact, ils devront se familiariser avec l’idée d’évaluation de l’impact et s’initier aux techniques d’interview, à la notion d’indicateur et à divers types d’analyses. Le personnel du projet devra être en mesure soit de promouvoir cette formation pour les représentants des groupes, soit de promouvoir un processus d’apprentissage concret sur le terrain.

Encadré 7-3. Degrés de participation locale au suivi-évaluation et capacités nécessaires correspondantes

Souhaitez-vous associer les hommes et les femmes des populations locales à:

la définition de ce que signifie “impact, suivi-évaluation et réflexion capitalisation”?
la conception de l’objectif, du processus et des méthodes du suivi-évaluation?
la définition des thèmes à suivre/évaluer?
la définition des indicateurs?
la communication d’opinions sur l’évolution du projet et les changements du contexte?
la communication de leurs points de vue sur la mesure dans laquelle les objectifs du projet ont été atteints?
l’analyse des données/résultats et la formulation de conclusions?
la restitution aux acteurs à la base et aux bénéficiaires?
la présentation et la communication des conclusions?
Dans l’affirmative, quelles sont les capacités dont auront besoin ces hommes et ces femmes ainsi que vous-mêmes?

Capacités du personnel (projet et partenaires de mise en œuvre)

Lorsque tout le monde s’est mis d’accord sur les modalités de participation des différents acteurs à la base au suivi-évaluation, il est possible de dégager plus clairement les capacités dont auront besoin les agents du projet et des partenaires. Le programme de renforcement des capacités destiné au personnel du projet et à celui des organisations partenaires doit s’articuler en trois volets:

Comprendre pourquoi les opinions des acteurs à la base et des bénéficiaires sont importantes. Pour comprendre pourquoi les idées des acteurs locaux sur l’avancement du projet et l’impact présentent de l’importance, il faut bien comprendre en quoi la participation des acteurs à la base constitue non seulement un outil utile au projet mais aussi un moyen de renforcement du développement local autonome. Lorsque le personnel du partenaire de mise en œuvre hésite à entreprendre des formes plus participatives de S&E – par exemple un bilan annuel de projet avec les acteurs à la base – les agents du projet ont besoin de compétences supplémentaires pour promouvoir l’idée et offrir une formation. En tant que responsable du projet ou du suivi-évaluation, vous devrez également avoir les compétences requises pour négocier des formes de participation dans le cadre du partenariat tout en comprenant suffisamment bien les problèmes que la participation peut poser pour argumenter de manière convaincante.
Renforcer les compétences de facilitation. Pour mettre en œuvre le S&E participatif, les agents doivent maîtriser l’art de la facilitation, notamment ceux qui sont en contact direct avec les acteurs à la base. Pour cela, ils doivent bien connaître et pratiquer les techniques mais aussi savoir faire émerger des idées au lieu d’imposer les leurs.
Se remettre en cause. Même quand quelqu’un a une grande expérience de la collecte ou de l’ana-lyse participative des données, il n’obtient de bons résultats que s’il fait preuve d’intérêt pour les acteurs locaux et d’humilité. Pour concevoir et mettre en œuvre le S&E participatif, tous les agents doivent porter un regard critique sur leur mentalité et leur comportement vis-à-vis des bénéficiaires. Pour cela, une formation peut être nécessaire.

Capacités des acteurs à la base

Il ne suffit pas toujours de donner aux acteurs à la base l’occasion de participer au suivi-évaluation pour qu’ils soient capables de le faire. Il est indispensable de renforcer leur capacité de participation. Il suffit souvent d’intégrer les parties intéressées à chaque étape du suivi-évaluation. Ainsi, la mise en place du système de S&E et la formation des acteurs locaux se déroulent parallèlement. Il peut être possible et utile d’organiser quelques stages de formation spécialisée mais toujours en liaison avec la conception effective du système de S&E pour que la formation théorique soit articulée avec l’opérationnel et le concret. Chaque nouvelle étape peut commencer par un stage de formation rapide pour faciliter une participation active.

Par exemple, si un groupe de producteurs doit intervenir dans la sélection des indicateurs, il est nécessaire d’organiser un stage pour exposer ce qu’est un indicateur, à quoi il sert et les avantages et inconvénients des différents types d’indicateurs. Dans un projet bénéficiant de l’appui du FIDA, les indicateurs choisis par les bénéficiaires manquaient de cohérence et de clarté. En outre, tous étaient considérés comme d’égale valeur de sorte qu’un indicateur quantitatif simple comme “réunions régulières de l’assemblée générale” avait autant de poids qu’un indicateur qualitatif plus complexe d’organisation “propriété et gestion des infrastructures du projet”. Il aurait pu être utile d’organiser un stage avec les bénéficiaires sur la sélection d’indicateurs de bonne qualité.

Le S&E participatif peut également être intégré dans l’approche participative générale du projet sans prendre de mesures particulières pour le renforcement des capacités des acteurs locaux en suivi-évaluation (encadré 7-4). Le renforcement des capacités de S&E participatif peut contribuer au renforcement général des capacités et vice-versa tout en favorisant l’implication des bénéficiaires et la réussite du projet.

Encadré 7-4. Incorporation du S&E dans l’approche participative d’un projet au Maroc

Afin de permettre aux éleveurs de participer à un projet au Maroc, des coopératives ont été créées. Elles devaient être les partenaires du projet et poursuivre ensuite les activités après l’arrêt de celui-ci. Ces coopératives qui ont reçu des appuis financiers et techniques avaient une structure simple. Les éleveurs réunis en assemblée générale élisaient un président, un secrétaire et un trésorier. Les coopératives employaient chacune au moins une personne rémunérée pour assurer l’administration. Elles étaient ouvertes à tous, y compris aux personnes ne possédant pas de bétail, et plusieurs présidents de coopérative venaient des groupes les plus pauvres. De nombreux membres ont eu des difficultés à gérer certains problèmes d’organisation au niveau des communautés, par exemple la communication des informations, mais ils ont progressivement acquis de l’influence. La mise en place de processus d’évaluation interne a renforcé les structures.
Un membre de l’équipe de projet a lancé un processus d’auto-évaluation avec le personnel administratif des coopératives pour parler des problèmes rencontrés. Un facilitateur a assisté aux réunions pour aider le personnel à régler les questions mal maîtrisées, par exemple l’établissement de fiches de suivi des activités. Ces réunions ont donné l’occasion au personnel d’analyser des problèmes spécifiques et de proposer des solutions. Elles sont devenues de plus en plus régulières et des réunions extraordinaires ont été organisées en cas de nécessité particulière ou de problème urgent. Le processus d’auto-évaluation a abouti dès le début du projet à des modifications pratiques de la gestion des coopératives: achat d’ordinateurs pour faciliter la comptabilité, formation du personnel administratif des coopératives à la tenue des registres, initiation aux lois locales régissant les coopératives et amélioration des contrats du personnel.
Un système de notation des coopératives a été mis en place et constitue un autre processus d’évaluation interne. Le service provincial de l’agriculture a fixé des objectifs et des indicateurs clés pour évaluer la qualité professionnelle des coopératives. Chaque coopérative reçoit une note fondée sur ces indicateurs au cours de grandes réunions auxquelles assistent les membres des coopératives. Les membres ont pu apporter leur contribution à la notation des autres coopératives, ce qui a encouragé la concurrence entre coopératives et renforcé la motivation. La communication entre les coopératives, le personnel du projet et le service gouvernemental concerné a également été encouragé.

Travailler avec des consultants ou des sous-traitants

Les consultants sont généralement recrutés parce qu’ils sont capables de concevoir des bases de données informatisées, d’identifier des identificateurs utiles ou de dégager les besoins d’informa-tion de la gestion. Il est moins fréquent qu’il soit fait appel à des consultants spécialisés en suiviévaluation participatif ou que la réalisation de celui-ci soit sous-traitée, ce qui peut d’ailleurs poser des problèmes. Un projet de développement communautaire au Mali bénéficiant du soutien du FIDA (FODESA) confie à un sous-traitant les travaux concernant les évaluations participatives annuelles. Quelles dispositions faut-il prévoir dans le mandat du sous-traitant pour garantir un travail de bonne qualité? Quel rôle les agents du projet devront-ils jouer dans le contrôle de la qualité? Comment le consultant fera-t-il en sorte que les évaluations annuelles menées par les acteurs locaux complètent les procédures de suivi-évaluation propres au projet?

On verra au point 7.4 comment on peut travailler de manière efficace avec des consultants. Nous étudions ici trois problèmes particulièrement critiques pour le S&E participatif: orienter avec précision la contribution des consultants, assurer un travail de qualité élevée et intégrer les apports des consultants au suivi-évaluation classique.

Pour faire participer les acteurs à la base et les bénéficiaires au suivi-évaluation, il est naturellement nécessaire de tester les méthodes et les processus et d’adapter les plans opérationnels de S&E en permanence. Il peut donc être peu commode de recruter des consultants pour le S&E participatif parce qu’ils ne sont généralement disponibles que pour des périodes brèves et non pour toute la durée du projet. Pour tirer le meilleur parti des services de consultants, il faut:

Préciser clairement leurs responsabilités et celles des agents du projet et des organisations partenaires. Étant donné la durée des interventions, la plupart des consultants ont seulement le temps d’éla-borer des idées détaillées et de les tester avec les acteurs concernés. Il reste au responsable du suiviévaluation la responsabilité d’affiner ces idées et de les mettre en œuvre.

Recruter le même consultant pour fournir la série de contributions nécessaires à la mise en place de la participation. Plus on travaille avec des consultants différents ayant des idées différentes sur la participation, plus le personnel du projet doit passer du temps à essayer de comprendre et d’inté-grer les différentes contributions et plus le risque est grand de désorienter la stratégie de S&E.

Il faut faire un premier tri des C.V. des consultants potentiels et demander l’avis de personnes ressources avant de décider qui sera recruté. Il ne faut cependant pas oublier que c’est seulement en voyant un consultant travailler que l’on peut vraiment estimer sa valeur.
Indiquer dans le mandat du consultant comment vous envisagez son travail (voir annexe E) – concepts/approches, calendriers attendus, tests de méthodes avec les acteurs locaux, etc. Il faut aussi demander que, dans ses recommandations sur les systèmes de S&E participatifs, le consultant tienne compte des contraintes budgétaires et des ressources en personnel du projet et que toute recommandation soit clairement articulée avec le reste du système de suivi-évaluation du projet.

Parler avec les candidats potentiels de leur conception du S&E participatif. Demander à chaque candidat de définir et d’expliquer le suivi, l’évaluation et le S&E participatif et de dire comment il envisage le lien entre le suivi-évaluation pour rendre compte et le S&E pour alimenter la réflexion critique. Il faut parvenir à un accord sur ces points avant de faire un choix.

7.2.5 Mise au point d’un plan de formation au suivi-évaluation

Évaluation des besoins de formation

La mise au point d’un plan de formation se fait en confrontant les besoins en compétences et les capacités existantes puis en prévoyant des mesures pour combler les lacunes identifiées. Un plan de formation en matière de S&E doit porter sur deux types de compétences: compétences requises pour concevoir le plan opérationnel de S&E et compétences requises pour exécuter le plan opérationnel.

La mise en place d’un plan opérationnel de S&E peut nécessiter une première série de stages de formation des acteurs clés.

C’est seulement une fois que la première ébauche de plan opérationnel est définie que vous pouvez analyser de façon précise les besoins en formation des différentes personnes concernées car c’est seulement alors que vous connaissez le type de suivi-évaluation et les responsabilités en cause.

Il est peu probable que vous disposiez d’une équipe parfaitement formée dès le démarrage du projet mais il est probable que les partenaires de mise en œuvre auront eux aussi besoin d’une formation et la réclameront. Il est aussi tout à fait probable qu’il existera de grandes différences entre les divers partenaires. Il faut donc prévoir la formation des acteurs clés aux aspects fondamentaux du suivi-évaluation sans oublier toutefois que l’élaboration en commun d’un système contribue également fortement au renforcement des capacités de tous les acteurs.

Les lacunes que vous avez dégagées servent de base au plan de formation. Les éléments à inclure dans un tel plan sont indiqués au tableau 7-3. Au Zimbabwe, le plan de formation au S&E et la formation à la gestion d’un projet ont été regroupés car les compétences et le public visé étaient les mêmes pour une large part. Trois catégories de personnel devaient suivre une formation dans le cadre d’ateliers séparés: i) cadres supérieurs, ii) agents de niveau intermédiaire; et iii) agents de terrain. Le contenu de la formation et la durée de chaque atelier étaient adaptés à l’auditoire. Une formation supplémentaire était prévue pour initier les cadres supérieurs à l’évaluation, les agents de terrain à l’analyse participative et l’ensemble du personnel à la recherche participative de solutions et à la gestion des conflits.

Tableau 7-3. Éléments à inclure dans un plan de formation au suivi-évaluation

Lacune identifiée	Qui (personne ou organisation) devrait posséder la compétence requise	À quel moment cette compétence est-elle nécessaire (mois/année du projet)	Meilleur mode de formation (coût/ avantages/ durée)

Évaluation des options de formation

Une fois que vous savez quelles sont les compétences nécessaires, vous pouvez déterminer la meilleure formule de formation. Il y a trois formules possibles et votre plan de formation englobera probablement des éléments de chacune des trois.

Cours externes. La plupart des cours sont organisés en Europe ou en Amérique du Nord, mais des cours ont de plus en plus souvent lieu à l’échelon régional. Les cours externes présentent divers avantages: échanges avec des participants d’autres pays; utilisation mieux ciblée et plus intensive du temps; il est moins coûteux d’envoyer des agents suivre un cours existant que d’organiser soimême la formation; enfin une formation externe peut renforcer la crédibilité du système de S&E et des incitations d’un projet. Ces cours présentent aussi des inconvénients: ils ne sont pas axés sur les besoins spécifiques du projet; vous ne pouvez contrôler le contenu de la formation qui peut s’avérer peu pertinent par rapport aux besoins identifiés; et un seul stage de formation n’est jamais suffisant pour assurer la maîtrise totale du sujet.
Cours internes. Vous pouvez recruter un consultant pour conduire une formation. Les cours internes présentent les avantages suivants: ils sont relativement rentables s’ils réunissent un grand nombre de personnes, répondent bien aux besoins du projet et au niveau des compétences, et contribuent à créer un langage commun. En outre, s’il s’agit d’un cours interactif, des éléments du système de S&E peuvent être élaborés à cette occasion. Les inconvénients sont les suivants: dépend beaucoup de la qualité du consultant et la formation est relativement coûteuse.
Formation continue. La réflexion critique se fait surtout par la mise en commun informelle des problèmes et des solutions. Vous pouvez officialiser ces échanges en permettant aux acteurs clés de consacrer du temps à consulter des personnes ressources, sorte de tuteurs extérieurs. Cette formule constitue un encouragement pour le personnel, permet d’obtenir des avis pertinents en temps voulu, et de prendre en compte des idées judicieuses et adaptées parce qu’issues de personnes connaissant bien le système de S&E du projet. Toutefois, les personnes ressources ne se trouvent pas toujours facilement et elles n’ont pas toujours réponse à tout. Il est tout aussi important de mettre ce type de personne à la disposition des acteurs à la base et des bénéficiaires pour valoriser leurs capacités mais cela peut être encore plus difficile. En guise de solution de remplacement, on peut encourager le personnel et les acteurs locaux à avoir des contacts avec d’autres projets où les processus de S&E participatifs sont plus avancés. Cette méthode d’échanges peut être particulièrement efficace pour former les bénéficiaires.

Le plan définitif de formation destiné à renforcer les capacités de suivi-évaluation peut et doit se superposer en partie aux besoins de formation en matière de gestion et de développement du projet. On trouvera dans l’encadré 7-5 ci-après un exemple de plan de formation pour le renforcement des capacités.

Encadré 7-5. Composante de renforcement des capacités, produits prévus du projet de mise en valeur des plaines alluviales en faveur des petits exploitants (Malawi)

Renforcement des capacités spécialement adapté au projet

Production d’un manuel des approches participatives
Production de matériel de formation sur la conception et la mise de programmes en œuvre de programmes
Production d’un manuel d’organisation des agriculteurs
Production d’un manuel général d’organisation et de gestion des programmes
Production de manuels spécialisés d’organisation et de gestion des programmes
Tenue de cours de formation à la MARP destinés au personnel
Cours de formation du personnel à l’organisation des agriculteurs
Cours de formation du personnel à la conception des programmes

Cours de formation du personnel à l’organisation et la gestion
Cours de formation à l’informatique destinés au personnel des services gouvernementaux
Formation des agriculteurs à l’organisation et la gestion des programmes programmes
Voyages d’études dans le pays destinés aux agriculteurs/au personnel
Stages de formation des formateurs à la MARP
Cours concernant le PTBA et le S&E
Voyages d’étude sur le S&E dans les pays voisin

7.3 Incitations en faveur du suivi-évaluation

Les incitations en faveur du S&E sont mises en place pour encourager les responsables de projet, les chargés du S&E et les acteurs à la base et les bénéficiaires à prendre conscience de l’utilité du suiviévaluation qui doit être considéré non comme une corvée bureaucratique mais comme une occasion de parler franchement des problèmes, d’engager une réflexion critique et de déterminer les changements nécessaires pour renforcer l’impact du projet. Il s’agit donc d’appliquer des mesures d’encouragement et de supprimer les facteurs dissuasifs.

Les acteurs impliqués ne sont pas tous nécessairement disposés à acquérir de nouvelles compétences de facilitation par exemple, et ils n’ont pas toujours la patience de confronter leurs avis à celui des acteurs à la base. Il faut trouver des incitations judicieuses pour convaincre les différents acteurs de tenter des innovations. Les éléments de motivation de base³ comme ceux qui sont énumérés ci-après sont liés à la bonne gestion du projet (voir module 2):

Chacun accepte l’énoncé de sa mission et y adhère.
La culture et l’atmosphère du projet encouragent les bonnes performances du personnel et des différents acteurs.
L’histoire et les traditions du projet et des organisations qui y sont liées sont respectées et considérées privilégiant la réflexion critique et l’amélioration.
Le style de direction et de gestion est positif et équitable.
Il existe un système motivant d’incitations notamment en liaison avec les performances.
L’idée de favoriser le travail en équipe pour atteindre les objectifs est partagée par tous.

Lorsque vous réfléchissez aux mesures d’incitation à adopter, prenez en considération celles que vous pouvez mettre en place sans apporter de modifications majeures à l’organisation du projet et aussi celles qui pourraient exiger des changements structurels.

Voici quelques exemples de mesures d’incitation sans changement d’organisation:

valorisation des agents les plus novateurs;
voyages d’étude et stages de formation pour le personnel;
éviter les réductions d’effectifs.

On peut envisager aussi les mesures d’incitation suivantes qui nécessitent des changements dans l’organisation initiale du projet:

bilan de la performance du directeur de projet par le personnel;
compte rendu des progrès de la mise en œuvre aux bénéficiaires afin que ceux-ci puissent participer aux décisions de planification stratégique;
bilan de stratégie du projet par un “jury de citoyens”(voir module 8).

Les systèmes d’incitation doivent être équitables, appliqués au moment voulu, compatibles avec les principes et stratégies du projet et considérés comme faisant partie intégrante de sa politique. Ils doivent être adaptés au contexte (voir encadré 7-6). Les récompenses ne doivent pas être trop importantes sous peine de devenir inapplicables à long terme ou de susciter des mésententes à l’intérieur ou à l’extérieur du projet. Ainsi, dans l’État d’Andhra Pradesh (Inde), un projet a eu des difficultés à constituer une bonne équipe de suivi-évaluation parce que plusieurs programmes de développement se faisaient farouchement concurrence pour recruter les rares personnes qualifiées disponibles. En règle générale, le personnel du gouvernement et des ONG était peu stable en raison des transferts fréquents, des bas salaires et des conditions de travail difficiles. Les administrateurs du projet ont accusé un autre projet de leur “voler” leurs agents au niveau des communautés en offrant un salaire plus élevé.

Encadré 7-6. Adaptation particulière des mesures incitatives à la région et au projet

Au Maroc, les salaires et les autres avantages comme le logement et les congés dont jouissent les fonctionnaires du gouvernement sont relativement bons de sorte que le personnel des projets juge généralement peu intéressant de recevoir une rémunération personnelle supplémentaire au titre du suivi-évaluation. Il est au contraire fortement motivé s’il dispose de l’équipement et de l’appui nécessaires, par exemple de fonds pour recruter des agents de recensement, de carburant pour les véhicules et du matériel et des fournitures indispensables (ordinateurs pour les bureaux locaux et papier pour les enquêtes).

Au Yémen, la même personne a occupé le poste de chargé du S&E depuis sa création plusieurs années auparavant, alors que le personnel des autres services changeait constamment. L’unité de S&E bénéficiait d’un bon appui de la part du responsable du projet et participait aux décisions. Elle jouissait d’autres avantages comme l’utilisation partagée d’un véhicule, des formations et des primes liées aux performances. Bien que l’unité ne disposait pas de ressources suffisantes pour entreprendre toutes les activités prévues, les agents étaient satisfaits de leur travail.

7.3.1 Motivation du personnel (projet et partenaires de mise en œuvre)

Le fait de ne pas prêter assez d’attention aux incitations en faveur du personnel peut avoir d’énormes conséquences. L’encadré 7-7 ci-après présente deux cas bien différents dans lesquels les mesures d’incitation ont sensiblement fait changer le milieu de travail et le S&E.

Encadré 7-7. Effets positifs des incitations sur le milieu de travail au Ghana

Les membres de l’équipe d’un projet au Ghana avaient développé un bon esprit d’équipe et travaillaient ensemble sans rivalité. Grâce à cette bonne atmosphère, les agents de district se rendaient volontiers dans les bureaux du projet, ce qui accroissait les échanges d’informations informels et favorisait des activités comme le processus de planification annuel. Ce milieu de travail positif a été attribué aux causes ciaprès:

La plupart des agents du siège et des districts étaient détachés du même ministère. Bon nombre d’entre eux connaissaient leurs collègues depuis plus longtemps encore car ils avaient fréquenté les mêmes écoles et les mêmes universités.
Du point de vue technique, le projet visait l’amélioration de la production de cultures de base particulières auxquelles les services de développement agricole ne s’étaient guère intéressés jusqu’alors. Le personnel du projet avait conscience de l’importance de ces cultures pour la survie de nombreux habitants pauvres du pays et avait donc le sentiment de contribuer réellement à améliorer les moyens de subsistance des populations.
Les traitements étaient supérieurs à ceux du personnel ordinaire du ministère et étaient complétés par des indemnités supplémentaires de déplacement et de travail sur le terrain. Le personnel était fortement motivé par ces avantages, même s’il avait un horaire de travail plus lourd et devait faire des heures supplémentaires.
Le personnel avait l’occasion d’acquérir des qualifications spécialisées qui lui permettraient de trouver plus facilement un emploi après la fin du projet.
La procédure rigoureuse de sélection appliquée donnait du prestige à toutes les personnes travaillant au projet.

Dans le cas d’un projet appuyé par le FIDA dans un autre pays d’Afrique, l’unité de S&E a eu trois responsables successifs pendant les quatre premières années du projet. Le premier responsable a participé à la conception du système de S&E mais il est parti avant le début de la mise en place et le second a quitté son poste au bout de quatre mois; tous deux sont partis parce que des mesures d’incitation plus intéressantes étaient offertes ailleurs. Le responsable actuel, qui était l’ancien adjoint, exprimait comme suit son mécontentement: “La direction n’a pas de considération pour nous et nous offre peu d’appui ou de ressources”. Les salaires étaient bas, par exemple le responsable local du suiviévaluation recevait 100 dollars par mois contre 2 500 dollars pour les agents d’assistance technique. La mise à disposition d’une maison et l’utilisation d’une vieille automobile constituaient les seules mesures incitatives appliquées. Comme l’a expliqué le responsable du S&E “Les 18 agents de mon département ont des qualifications élevées et beaucoup d’expérience – tous les agents du siège et les chefs de districts ont des diplômes universitaires, certains sont spécialisés dans l’évaluation des programmes. La plupart de mes collaborateurs ont une longue expérience de la vulgarisation et du S&E. Ils se sentent extrêmement frustrés dans leur travail”. Or il existe des solutions pour régler cette situation: alors que les salaires et la mobilité du personnel relèvent des autorités locales, le financement de certaines activités relève du projet. Celui-ci pourrait offrir diverses incitations non financières intéressantes (voir tableaux 7-4 et 7-5).

On trouvera aux tableaux 7-4 et 7-5 des listes de mesures incitatives et de facteurs dissuasifs qui devraient vous aider à apprécier si l’environnement que vous avez créé dans votre projet est réellement motivant. Des mesures d’incitation très simples peuvent parfois être efficaces. Par exemple, dans les projets qui réorientent leur système de S&E du contrôle vers la réflexion critique et la capitalisation, l’offre d’une formation au personnel et aux autres acteurs impliqués démontre qu’ils sont jugés dignes de confiance et les encourage à participer plus largement au suivi-évaluation. Le changement de style du projet devient une réalité grâce aux investissements dans le personnel. Il existe parfois des facteurs dissuasifs très simples qui peuvent faire obstacle à la réflexion critique. Par exemple, en Chine, le système S&E d’un projet fonctionne parallèlement à un système de collecte de données de l’État qui est destiné à suivre les performances au niveau du district et de la province. Étant donné que les décisions à ces deux niveaux sont prises sur la base des seules données recueillies par l’État, le personnel du projet n’est guère incité à entreprendre l’évaluation critique de ses propres données.

Tableau 7-4. Mesures incitatives en faveur du personnel qui encouragent un système de S&E participatif et orienté vers la réflexion critique

Avez-vous mis en place les mesures incitatives ci-après?

- Définition claire des responsabilités en matière de suivi-évaluation dans les descriptions de postes, les programmes de travail et les contrats avec les partenaires

- Avantages matériels, financiers et autres: traitements appropriés et autres avantages commes le logement ou l'utilisation de véhicules

- Soutien aux activités du projet: ressources financières et moyens nécessaires pou exécuter les activités

- Perfectionnement professionnel en vue de favoriser l'avancement: possibilités de formation/apprentissage externe, participation à des congrès pour connaître et exposer soi-même des expériences de S&E, incorporation de l'expérience en matière de S&E dans les études universitaires supérieures/les thèses

- Stratégie en matière de recrutement du personnel et de choix des partenaires: recrutement d'agents qui song disposés à apprendre, choix de partenaires qui sont prêts à tester des formes participatives de suivi-évaluation

- Reconnaissance: il faut écouter le personnel et donner suite à ses recommandations, reconnaître publiquement la valeur des agents et encourager les agents à exposer leurs expériences de suivi-évaluation en public

- Culture du projet: compliments et encouragements aux agents qui posent des questions, position relativement élevée des agents de S&E dans la hiérarchie

- Groupes professionnels: encourager les agents à assister à des réunions professionnelles régionales et prendre en charge les frais

- Processus d'évaluation des performances: prendre en considération la capacité de se remettre en question et d'innover des agents et pas seulement la réalisation des objectifs quantitatifs

- Valorisation des données de S&E: ces données sont plus explicites et intéressantes si elles sont présentées sur les panneaux d'afflichage et dans les bulletins d'information

- Restitutions: faire savoir aux collecteurs de données, aux personnes qui ont fourni des information et à toutes celles participant au processus comment les données ont été utilisées (analysées) et ont contribué à améliorer le projet

Tableau 7-5. Facteurs dissuasifs qui font obstacle à un S&E participatif et orienté vers la réflexion critique

Avez-vous éliminé les facteurs dissuafis ci-après de votre projet?

- Utiliser l'unité e S&E pour "caser" les agents "rétrogradés" ou non qualifiés

- Ne pas préciser clairement comment les données seront ou ont été utilisées

- Mandat confus ou incomplet du personnel en matière de S&E

- Plaintes répétées concernant l'incompétence du personnel en matière de S&E

- Réprimandes adressées aux agents qui innovent ou qui font des erreurs

- Faire porter les évaluations de performance uniquement sur les activités

- Salaires peu élevés et versés en retard

- Changements fréquents de poste du personnel détaché

- Impossibilité pour le personnel de faire reconnaître sa contribution à la réalisation de l'objectif général du projet

- Attitude négative envers ce qui constitue la participation ou vis-à-vis des acteurs locaux

Les mesures incitatives liées aux performances sont en général considérées comme importantes mais elles ne doivent pas concerner uniquement la réalisation des objectifs en termes quantitatifs. Dans le cas de plusieurs projets, le suivi rigoureux de la réalisation des objectifs a encouragé la présentation de faux comptes rendus. Une mesure incitative censée améliorer la performance devient ainsi une incitation à la malhonnêteté et un obstacle à la réflexion et à l’esprit critique.

On verra dans l’encadré 7-8 ci-après comment les appréciations des agents peuvent susciter des réflexions utiles.

Encadré 7-8. Évaluation des performances du personnel du projet KAEMP en Tanzanie

Le Gouvernement de la Tanzanie appliquait autrefois un système confidentiel d’évaluation de son personnel. Les fonctionnaires faisaient l’objet d’une évaluation de leurs supérieurs et cette évaluation était classée dans leurs dossiers sans qu’ils en connaissent le contenu. Le gouvernement a maintenant évolué vers un nouveau système d’évaluation fondé sur des programmes de travail annuels. Ce système n’est pas encore mis en place dans tous les services publics, car son application dépend de l’attitude du chef de service. Le nouveau processus d’évaluation s’articule comme suit:

L’employé remplit un formulaire d’évaluation de ses performances (formulaire d’évaluation officiel).
Il y a ensuite un échange de vues entre l’employé et son supérieur; ce dernier peut contester certaines appréciations formulées par l’employé et lui demander de les justifier.
Le formulaire est alors transmis à l’autorité compétente, par exemple le Directeur exécutif de district (DED) qui est le chef de l’administra-tion au niveau du district. Si une promotion ou une mesure disciplinaire est à envisager, une décision est prise à ce niveau.

M. Kiberanga, chargé du suivi-évaluation au niveau du district, a déjà participé deux fois à ce processus d’évaluation annuel. Il obtient ainsi une image de la manière dont son travail est apprécié et connaît mieux ses points forts et ses points faibles: “C’est une méthode nouvelle mais qui sert de miroir. Vous comprenez mieux comment les autres vous voient”.

Mesures incitatives destinées au personnel détaché et aux partenaires de mise en œuvre

Certaines mesures incitatives ou dissuasives évoquées aux tableaux 7-4 et 7-5 sont également applicables aux fonctionnaires du gouvernement détachés au projet et au personnel des organisations partenaires. Cependant, ces deux catégories bénéficient déjà d’un système d’incitations spécifique. Le projet n’a généralement pas les moyens d’offrir de nombreuses mesures incitatives aux agents qui ne relèvent pas de son autorité directe mais il peut prendre en compte les systèmes d’incitations externes existants lorsqu’il met en place son propre système.

Le projet a souvent peu d’influence sur les incitations concernant le personnel des partenaires de mise en œuvre. Il est cependant indispensable que ce dernier soit motivé en faveur du S&E participatif et orienté vers la réflexion critique autant que le personnel du projet. Voici quelques idées qui permettent de travailler en harmonie avec les partenaires.

Engager avec les partenaires de mise en œuvre des négociations sur le genre de suivi-évaluation à mettre en œuvre et la répartition des responsabilités. (voir encadré 7-9).

Encadré 7-9. Préciser les attentes des partenaires à mi-parcours au Mali

Au Mali, dans le cadre du projet PDR-San, qui a atteint sa cinquième année, le directeur de projet doit parvenir à un accord sur les responsabilités en matière de suivi-évaluation avec un partenaire de mise en œuvre très important. Il est urgent de fixer de nouveau les responsabilités car le partenaire se contentait de fournir des tableaux de données brutes ne considérant pas devoir communiquer des analyses ou des explications complémentaires. Cependant, le directeur de projet affirme à juste titre que ni lui ni son équipe ne peuvent se charger d’interpréter les données car ils ne travaillent pas sur le terrain. Le directeur de l’institution partenaire de mise en œuvre affirme que pour lui S&E signifie “statistiques” alors que celui du projet considère que le S&E englobe l’interprétation des données. Ces conceptions différentes sont imputables à l’ambiguïté des documents de départ et à la planification non participative pratiquée pendant la première phase du projet.

Si les organisations partenaires envisagent le suivi-évaluation participatif avec réticence, il peut être possible de diviser les tâches: le personnel du projet peut se charger des composantes les plus participatives et les organisations partenaires des tâches peu interactives. Toutefois, on peut simultanément organiser les activités de façon à faire mieux prendre conscience de l’importance du S&E participatif et de supprimer progressivement les réticences des partenaires.
Il faut organiser des formations communes auxquelles tous les agents de terrain ou tous les responsables participent, qu’ils soient contractuels du projet, détachés ou employés par les partenaires de mise en œuvre.
Il faut susciter et maintenir un esprit de collaboration. Un consultant en suivi-évaluation a noté que, dans de nombreux projets qu’il avait vus, le personnel du projet manifestait une certaine condescendance vis-à-vis des partenaires de mise en œuvre. Cette attitude compromettait la motivation des partenaires et la transparence des comptes rendus et, en conséquence, tout le suivi du projet.

7.3.2 Encourager les acteurs locaux à participer

Dans le cas des projets qui n’ont pas encore adopté une approche vraiment participative, il faut d’abord, pour pouvoir encourager la participation, bien comprendre les coûts d’opportunité de l’engagement dans le S&E du projet pour les acteurs locaux. On ne peut demander aux gens d’investir un temps précieux dans une activité que s’ils obtiennent ainsi des résultats qui les intéressent.

Il faut parler avec les différents acteurs à la base des conséquences de leur implication active dans le suivi-évaluation d’un projet. Le principal avantage attendu est l’amélioration du projet mais cela ne saurait être suffisant, la plupart du temps, pour que l’effort demandé soit durable. Il faut parler d’indemnités financières, même si cette forme d’incitation n’est pas toujours opportune. On peut envisager de prendre les repas des participants en charge pendant les réunions de S&E et de rembourser les frais de logement et de transport. Il faut parfois envisager une rémunération supplémentaire; par exemple dans le cas d’une personne qui assiste aux travaux d’un comité de pilotage ou assure le suivi au niveau d’une communauté si activement qu’elle devient membre de facto de l’équipe du projet et doit réduire le temps consacré à l’activité qui la fait vivre elle et sa famille.

Il est important que la contribution des acteurs à la base soit reconnue officiellement pour que ceux-ci continuent à s’intéresser au projet. Dans le cas le plus favorable, les acteurs concernés peuvent constater que leur intervention a amené des changements pour le projet. Par exemple, la direction du projet peut restituer régulièrement des informations sur l’état d’avancement et les processus, en particulier l’évolution et les impacts au niveau politique et institutionnel.

De nombreux projets visent à influer sur les processus et les politiques du gouvernement, du niveau de la nation à celui du village. Les acteurs à la base peuvent être fortement motivés lors-qu’ils travaillent avec des organismes et des mécanismes qui leur permettent de faire entendre leur voix au niveau de la politique générale en sachant qu’ils pourront peut-être ainsi changer les choses. Il y a de nombreux exemples de projets ayant influé sur les politiques nationales et régionales. Ainsi, dans certains pays africains, les réglementations forestières ont changé après que des projets avaient pu démontrer que les politiques existantes étaient défavorables à la conservation des forêts et ne prenaient pas en compte les utilisateurs des différentes ressources forestières et leurs capacités à gérer celles-ci. En Inde, les changements de politique négociés dans le cadre d’un projet de microfinance ont permis d’accorder directement des prêts aux systèmes de micro-crédit des ONG partenaires de mise en œuvre.

7.4. Organisation des structures et des responsabilités en matière de suivi-évaluation

7.4.1 Définir clairement les fonctions et les responsabilités en matière de S&E

Faut-il constituer une unité de S&E? Dans l’affirmative, cette unité doit-elle s’insérer dans la structure du projet? Si oui, où? Si non, où les fonctions de suivi-évaluation doivent-elles être implantées? Qui doit rendre compte à qui en ce qui concerne l’impact du projet, son état d’avance-ment, les enseignements tirés et les problèmes? Les rapports de préévaluation définissent souvent les fonctions et responsabilités au niveau le plus élevé en prévoyant l’établissement de comités de pilotage, de coordination et de gestion pour diriger le projet. Cependant, beaucoup d’autres aspects des fonctions de S&E doivent être examinés dès le démarrage.

Certains projets sont dotés d’une unité centrale de coordination ou de gestion qui peut être chargée, par exemple, de “suivre les performances matérielles et financières du projet et des acteurs impliqués” ou “d’assurer la liaison avec les ministères et les organismes nationaux et avec le FIDA”. D’autres projets n’ont pas d’unité centralisée de suivi-évaluation mais répartissent les tâches de S&E entre les partenaires de mise en œuvre et les organisations à la base.

L’encadré 7-10 présente en détail la stratégie d’un projet en ce qui concerne ses fonctions et responsabilités de suivi-évaluation. L’encadré 7-11 présente trois exemples de structures différentes. Aucun de ces exemples n’est destiné à servir de modèle. Ils mettent en exergue deux questions importantes à prendre en considération:

étudier le positionnement du S&E dans la structure d’un projet (avec les acteurs locaux et les partenaires de mise en œuvre);
définir clairement les responsabilités de S&E.

Encadré 7-10. Fonctions et responsabilités de l’unité de S&E du projet de diversification et d’intensification de l’agriculture (Bangladesh)

Les principales fonctions du système et de l'unité de S&E du projet ont été définies comme suit:

Mettre au point des outils de suivi et les réviser ou les modifier à l'issue d'essais sur le terrain.
Élaborer des directives et assurer la formation du personnel intéressé des partenaires de mise en œuvre du projet.
Rassembler et enregistrer des données ventilées par composante du projet.
Traiter et analyser des données pour fournir des informations pour les bilans et les rapports.
Établir le programme de travail et le budget annuel des composants/activités.
Établir et soumettre des rapports ordinaires ou spéciaux.
Organiser des échanges, des réunions et des ateliers plus ou moins structurés pour examiner la mise en œuvre et réfléchir.
Organiser un circuit de restitution des informations à l'intention de tous les acteurs concernés.

Pour accomplir ces fonctions, la stratégie générale ci-après a été élaborée:

suivi sur le terrain par les ONG et le personnel de S&E - plus précisément visites sur le terrain et collecte de données concernant les essais réalisés dans les exploitations qui sont ensuite vérifiés par les services de vulgarisation agricole du département - et restitution d'information vers les bénéficiaires;
élaboration par les personnel de suivi-évaluation et les ONG de rapports d'activités réguliers à la main ou à l'aide d'ordinateurs;
enquétes et études d'évaluation lancées et effectuées par les intervenants internes et externes du projet;
bilans osus forme d'échanges plus ou moins structurés et d'ateliers.

Le projet a trois niveaux de suivi bien définis: i) suivi effectué et géré par les ONG elles-mêmes à leur propre usage; ii) suivi exécuté conjointement par les ONG et le personnel du projet et destiné à tous les intéressés y compris la direction du projet; iii) suivi effectué exclusivement par le personnel du projet dans le cas d'activités de vulgarisation, de recherche et autres du projet. Les ONG entreprennent des activités de suivi-évaluation pour réponre à leurs propres besoins, en ce qui concerne particulièrement les opérations de créit et la qualité des groupements. Pour assurer le contrôle de la qualité, les agents du projet - en particulier ceux de l'unité de suivi-évaluation - rendent régulièrement visite aux ONG et à leurs groupements pour évaluer les performances et restituer des informations.

Les rapports de mise en œuvre du projet et les PTBA indiquent en détail les responsabilités et les tâches qui incombent en permanence à chaque membe du personnel pour contribuer à l'alimentation globale du système de S&E.

L'unité de suivi-évaluation a été élargie et se compose maintenant de 19 cadres. En outre, les contributions de quatre assistants statisticiens au niveau du district et d'un chargé de recherche au siège sont parfois utilisées. Les effectifs sont répartis comme suit entre fonctionnaires du gouvernement et agents d'assistance technique:

Affectation	Poste	Gouvernement	Assistance technique
Siège	- Chargé de S&E principal	1
	- Chargé de recherche	1
	- Spécialiste S&E		1
Niveau du district	- Chargé de S&E	4
	- Chargé du suivi sur le terrain		4
Niveau local	- Agent associé de suivi		8

Cette nouvelle organisation du personnel pose des problèmes délicats car il faut amener tous les intéressés à comprendre de la même façon leur rôle et leurs responsabilités et améliorer les capacités en qualité et pas seulement en effectif.

Encadré 7-11. Exemples de structures de suivi-évaluation

Le S&E d'un projet a été confié à une cellule au sein de l'unité de gestion. Cette cellule se composait d'un chargé du suivi et d'un assistant statisticien et faisait occasionnellement appel à des consultant locaux. La collecte des données était confiée aux unités de mise en œuvre présentes dans chaque département d'intervention du projet. Chaque unité de mise en œuvre était dirigée par un administrateur rendant compte aux coordonnateurs de projet et disposait d'au moins un ordinateur pour les travaux de suivi-évaluation. Les informations recueillies dans les départements étaient ainsi traitées sur ordinateur et renvoyées à l'unité centrale de S&E du projet.
L'unité de suivi-évaluation d'un projet visant à favoriser les activités génératrices de revenus dans 67 villages ne comptait que deux administrateurs qui assuraient entièrement son fonctionnement. Des unités de gestion décentralisées bénéficiant del'appui d'ONG collectaient et analysaient les données primaires. Le responsable du S&E communiquait avec les composantes du projet non pas directement mais par l'intermédiaire du directeur du projet.
Dans un autre projet, l'unité de S&E faisait partie du même service que la direction du projet. Elle disposait d'un seul cadre de suivi-évaluation hautement qualifié, activement secondé par un conseiller technique principal et bénéficiant de l'appui du personnel d'autres composantes sur le terrain. Les agents s'occupant de suivi-évaluation rendaient compte au directeur du projet et aux divers chefs de composante et assistaient à toutes les réunions du projet. Les rapports du personnel technique étaient également adressés à l'unité de S&E qui les transmettait ensuite au directeur des projets. Des visites sur le terrain avaient lieu une fois par mois et tous les rapports étaient communiqués aux acteurs concernés autres que les bénéficiaires. Au niveau local, un comité de coordination du projet placé sous la direction du commissaire de district et regroupant les acteurs locaux tenait des réunions mensuelles.

Bien positionner les fonctions de suivi-évaluation

On ne saurait trop répéter que le S&E fait partie du travail de chacun, du planton au directeur de projet. Chacun suit à sa façon les aspects opérationnels et parfois stratégiques de son travail – qu’il s’agisse de savoir s’il y a assez d’essence dans le réservoir de la voiture ou si l’équipe travaille bien et si les impacts se dessinent. Le suivi est une activité quotidienne et spontanée. La décentralisation visant à encourager l’implication dans les processus de réflexion ne fait que le confirmer.
L’expérience a néanmoins montré que la place donnée aux responsables du suivi-évaluation dans la structure du projet est déterminante en ce qui concerne l’utilisation de ses résultats. Il est souhaitable, pour que les résultats du S&E soient effectivement utilisés comme bases de décision, que la fonction soit liée directement à la direction du projet. Diverses solutions sont cependant possibles. Ainsi, l’unité de S&E d’un projet du Guatemala a été positionnée comme élément du conseil d’ad-ministration qui appuyait la direction du projet tandis que dans un projet en Chine, l’unité de S&E était installée au ministère de tutelle. Il faut veiller à ce que les fonctions de suivi-évaluation soient représentées à un niveau élevé de la stratégie et de la gestion des ressources et qu’elles soient également incorporées dans les démarches et les activités de tous les responsables de la mise en œuvre du projet.

Enfin, il ne suffit pas de donner au suivi-évaluation une place bien visible dans le cadre du projet, comme on l’a constaté dans le cas d’un projet bénéficiant de l’appui du FIDA en Afrique. Il avait été décidé que pour améliorer le suivi-évaluation l’unité responsable serait transformée en département du projet comparable à un département de terrain. En dépit de cette mesure, le coordonnateur du S&E a expliqué que le suivi-évaluation:

n’apportait toujours qu’une contribution limitée aux grandes décisions dans les débats techniques tandis que les décisions de gestion étaient prises sans aucune participation de S&E;
n’apportait qu’une contribution limitée au suivi de la mise en œuvre sur le terrain car celui-ci était assuré par des experts d’assistance technique relevant directement du directeur du projet;
ne disposait pas de ressources suffisantes pour accomplir ses fonctions, en particulier, les ressources budgétaires, les moyens de transport et les services informatiques étaient insuffisants.

Il est nécessaire d’établir dès la formulation du projet des structures favorisant le suivi-évaluation (voir module 3). En effet la répartition des responsabilités et des pouvoirs peut soit entraver soit encourager la réflexion critique entre les différents acteurs impliqués dans le projet (voir encadré 7-12).

Encadré 7-12. Exemples de répartition des responsabilités et de structures faisant obstacle à un bon suivi-évaluation: Yémen, Maroc

Pour un projet du Yémen, les fonctions de S&E étaient assurées par le service spécialisé d’un organisme gouvernemental chargé du suiviévaluation de plusieurs projets qui appliquait des directives nationales. Cet organisme avait acquis beaucoup d’expérience et a été en mesure de lancer les activités de S&E du projet dès le début. Toutefois, il n’avait pas directement accès aux ressources du projet pour le S&E et ne disposait que de fonds limités. Il fallait beaucoup de temps pour obtenir les autorisations relatives aux activités et aux ressources car il fallait passer par l’intermédiaire de toute une hiérarchie de cadres du projet et de fonctionnaires gouvernementaux. En outre, comme les rapports étaient parfois tendus, l’établissement du budget et des incitations pour le suivi-évaluation et l’adoption des recommandations par le projet rencontraient des difficultés. Les agents du projet vérifiaient souvent eux-mêmes les données sans faire intervenir l’organisme gouvernemental, notamment s’il s’agissait d’informations essentielles pour les décisions de gestion du projet. Le système de S&E du projet, étant basé sur le système du gouvernement, n’était pas bien adapté au projet. En outre, l’organisme gouvernemental ne donnait pas la priorité au suivi-évaluation du projet car il devait aussi s’occuper de plusieurs autres projets. Dans l’ensemble, cette organisation compromettait l’efficacité du S&E.
Au Maroc, deux projets ont été insérés directement dans le département de l’agriculture au niveau provincial et ont donc employé en commun bon nombre d’agents, notamment la personne chargée du suivi des activités agricoles dans l’ensemble de la province. L’insertion des activités du projet dans les services gouvernementaux peut certes favoriser leur durabilité mais les agents des deux projets concernés ici ont constaté qu’ils se trouvaient en concurrence avec les travaux courants des services publics et les influences politiques. Des conflits apparaissaient donc entre la nécessité d’assurer la bonne gestion du projet et celle de poursuivre les travaux habituels du département.

Établir clairement les responsabilités en matière de suivi-évaluation

Il est indispensable que les fonctions et les tâches en matière de S&E soient définies clairement (voir figure 4-2, module 4 et annexe E). Ainsi, dans un projet mis en œuvre en Colombie où le suivi était séparé de l’évaluation, la situation est devenue confuse. L’évaluation était confiée à l’unité d’évaluation. Le personnel de suivi n’était pas chargé d’assurer l’évaluation par son mandat mais il avait besoin d’information émanant des évaluations pour établir ses propres comptes rendus. L’unité d’évaluation n’avait effectué que des visites sur le terrain très limitées depuis le démarrage du projet de sorte que le personnel de suivi s’est trouvé en fin de compte chargé de certaines activités d’évaluation. Il faut maintenir une liaison entre les tâches et les fonctions de S&E et non les répartir entre des personnes différentes comme cela se produit fréquemment, surtout lorsque l’évaluation est confiée à un sous-traitant.

L’exemple de projets a permis de dégager plusieurs enseignements essentiels en ce qui concerne la clarté des fonctions et des tâches.

Définir clairement les responsabilités en matière de S&E des partenaires de mise en œuvre. En Colombie, les comptes rendus concernant l’impact destinés à la direction d’un projet ont dû être confiés à de nouveaux responsables. Cette tâche avait d’abord été attribuée à un partenaire de mise en œuvre mais cette formule n’avait pas donné de bons résultats. Le projet a tiré de cet épisode un enseignement important: il faut toujours répartir les fonctions après avoir précisé clairement dans l’accord entre les partenaires de mise en œuvre et le projet les engagements et les responsabilités de chaque partie. Il faut surtout indiquer les informations à communiquer en ce qui concerne les effets et les impacts en établissant des mécanismes pratiques et clairs.
Définir clairement les responsabilités des acteurs à la base en matière de S&E. Les fonctions des acteurs à la base et des bénéficiaires peuvent être stipulées clairement dans les protocoles d’accord et aussi dans les contrats. Les membres des communautés peuvent commencer par assurer simplement le suivi mais le fait de leur confier d’autres rôles, par exemple la gestion des prestataires de service (voir module 2) permet d’améliorer l’efficacité et l’efficience de la mise en œuvre et de la participation locale.
Déterminer le niveau des effectifs nécessaires compte tenu de l’ensemble des tâches et fonctions de suivi-évaluation à exécuter. Les activités de suivi-évaluation peuvent être compromises si le personnel compte une proportion trop élevée de cadres, s’il est trop peu nombreux ou mal réparti. Ainsi, le système de S&E d’un vaste projet d’appui à la création d’activités génératrices de revenus au Bénin a été conçu avec une structure aussi légère que possible. Une seule personne était chargée d’établir une synthèse de tous les rapports périodiques, de faire les vérifications avec le personnel de terrain, d’entrer les données de base, de répondre aux demandes multiples des coordonnateurs du projet, etc. Les activités de terrain et leurs impacts faisaient l’objet d’un suivi poussé mais les tâches d’analyse étaient trop lourdes pour une seule personne et le temps manquait pour effectuer des évaluations des performances des partenaires et des études d’impact. Le directeur de projet a estimé que le projet pouvait être comparé à “une ville qui n’aurait qu’un seul point de contact avec le monde extérieur, contact qui serait coupé dès qu’un problème se poserait”.
Définir clairement les niveaux de responsabilité du personnel chargé du suivi-évaluation. Le personnel chargé du S&E doit avoir une position qui lui permette d’obtenir de ses collègues et des autres acteurs les informations nécessaires. Par exemple, si un agent doit coordonner les rapports d’activité, il doit avoir une position officielle lui permettant d’obtenir que les autres agents lui communiquent les données nécessaires. Lorsque les fonctions de S&E sont décentralisées et réparties entre diverses organisations, il est tout aussi opportun que les lignes de communication et les responsabilités soient définies clairement mais des négociations plus longues peuvent être nécessaires.
Veiller à ce que la gestion et le suivi-évaluation du projet soient articulés. Une telle articulation favorisera les échanges qui sont absolument nécessaires pour que les conclusions du suivi-évalua-tion soient effectivement exploitées et servent de base aux décisions. La capacité globale de réflexion critique se renforce si des liens sont établis entre les responsabilités et l’activité de S&E et les départements techniques du projet.
Les profils de poste de chaque membre du personnel constituent des outils de gestion très importants. Ces descriptions contribuent en effet à définir clairement les attentes de chacun (voir à l’encadré 7-13 les points à examiner pour préparer les profils de poste et également l’annexe E).

Encadré 7-13. Points de suivi-évaluation à examiner pour établir les profils de poste

Quelles sont les responsabilités de S&E que comporte le poste?
Quelles sont ces responsabilités: conception, rassemblement de données, apport de données, comptes rendus, facilitation, utilisation de données de S&E pour la prise de décisions?
Quel genre d’éléments le titulaire du poste doit-il suivre – état d’avancement des activités, qualité des processus etc.?
Quels sont les éléments que le titulaire du poste doit au minimum fournir (par exemple données brutes, données analysées, enseignements, mesures à prendre)?
Quelles sont les normes de qualité à respecter?
Quels sont les délais limites fixés pour la fourniture des produits ou des services attendus?

7.4.2 Comment tirer le plus grand parti possible des consultants

À un moment ou à un autre et sous une forme ou sous une autre, des consultants – locaux ou étrangers, pour des périodes de courte ou de longue durée, pour s’acquitter de vastes responsabilités ou pour s’acquitter de tâches ponctuelles – sont recrutés pour tous les projets.
Emploi stratégique de consultants pour la planification du suivi-évaluation
Lorsqu’un consultant est recruté en vue de réaliser tel ou tel élément du processus de S&E, c’est habituellement soit parce qu’il est nécessaire de compenser le manque de temps du personnel du projet, soit parce qu’il est requis une approche ou des compétences spécifiques (concernant par exemple les activités du projet ou la méthodologie) que n’a peut-être pas le personnel du projet ou des partenaires.

Des consultants peuvent être recrutés à n’importe quel stade du cycle du projet, soit sur une base ponctuelle, soit à plus longue échéance pour apporter un appui s’étendant sur plusieurs années. Travailler avec des consultants présente à la fois des avantages et des inconvénients (voir le tableau 7-6). Cela étant, il y a lieu de réfléchir à ce que l’on attend d’eux, particulièrement pour ce qui est de renforcer les capacités du projet. Au Bénin, le personnel de projet a constaté que les missions de bilan étaient d’une très grande utilité parce qu’elles permettaient d’identifier et d’analyser systématiquement les problèmes les plus pressants. Cela aurait dû pouvoir être réalisé grâce au système de S&E lui-même, mais il n’avait été affecté au projet que des généralistes n’ayant que peu de compétences en matière de coordination des activités de S&E. Ainsi, pour renforcer les compétences internes, il a été décidé de recruter des consultants expérimentés pour qu’ils puissent apporter leur expérience.

Tableau 7-6. Avantages et inconvénients des consultants

Avantages du recrutement de consultants

Inconvénients du recrutement de consultants

- Donnent des résultats plus rapides (peut-être).

- Peuvent prendre du recul et poser des quetions qui ne viennent pas à l'esprit du personnel du projet.

- Apportent des idées intéressantes issues d'autres projets.

- Peuvent soulever des questions délicates que le personnel du projet hésite à poser.

- Peuvent dispenser une formation en cours d'emploi s'ils collaborent étroitement avec le personnel du projet.

- Peuvent, grâce à l'impartialité de leurs avis, susciter la confiance des organismes de financement.

- Peuvent relever le niveau de professionnalisme du S&E.

- Peuvent fournir un concours ciblé qui n'est nécessaire qu'une seule fois.

- Dépendre de compétences de l'extérieur détourne les ressources et l'attention de l'investissement dans du personnel local. (Cet inconvénient est atténué si l'on travaille avec des consultants locaux.)

- S'il travaille avec différents consultants, le personnel des projets doit parfois concilier des vues et des idées contradictoires ou différentes sur la façon d'aborder le S&E.

- S'ils ne sont pas judicieusement recrutés, les consultants peuvent n'apporter qu'une partie de l'appui attendu.

- S'ils n'ont pas d'implication à long terme dans le projet, leurs suggestions peuvent manquer de réalisme ou mal s'intégrer au projet.

- Si les consultants ne connaissent pas la situation sur place, leurs avis ou leurs idées peuvent ne pas être appropriés.

- S'ils travaillent isoléments, les capacités locales ne seront pas renforcées.

- s'ils ne vivent pas sur place, ils ne peuvent pas aider à ajuster et adapter leurs recommandations à mesure que celles-ci sont appliquées.

Définition claire des attributions des consultants

Au Bénin, un consultant a été recruté pour mettre au point le système de S&E d’un projet, sans toutefois prévoir dans le contrat qu’il devrait accompagner la mise en œuvre des activités, le mandat du consultant portant seulement sur la conception du système. L’intéressé a aidé à mettre au point les indicateurs initiaux et à définir le contenu de l’enquête de référence, mais l’équipe du projet était encore trop nouvelle pour tirer le maximum d’enseignements de son apport. Le consultant n’ayant pas participé à la phase cruciale de mise en place du système de S&E qu’il avait conçu, il n’a pas été possible de faire appel à ses connaissances techniques en matière de collecte et d’analyse des données. Il importe au plus haut point d’être clair en ce qui concerne la nature des attributions du consultant et la contribution qu’il est censé apporter au S&E. Il y aura lieu, à ce propos, de se poser les questions ci-après.

Quelle contribution est attendue du consultant, quels sont les produits spécifiques qu’il doit fournir et quelles sont les limites de ses responsabilités?
Quand souhaite-t-on que le consultant intervienne? Durant une brève période de travail intensif ou lors d’une série d’appuis de plus courte durée? Avant la mise en route du projet ou après?
De qui le consultant relève-t-il et avec qui est-il censé travailler?
Comment le consultant est-il censé travailler (seul, avec le personnel du projet, avec certaines catégories d’acteurs, etc.)? Le personnel du projet et les acteurs concernés auront-ils l’occasion de commenter le rapport du consultant?
Qui est le maître d’ouvrage et qui utilisera le rapport final et comment?
Combien la consultation va-t-elle coûter, y compris les services d’appui dont le consultant pourra avoir besoin (par exemple, services de transport ou de traduction)?

Il se peut que le coordonnateur du projet ne sache pas avec précision quelles sont les compétences techniques requises, de sorte qu’il pourra lui être difficile de rédiger les termes de référence du consultant. Il y aura lieu de solliciter l’avis de ceux qui sont directement concernés par la consultation pour éviter tout malentendu quant à son objectif et aux produits attendus. De plus, on pourra ainsi faire en sorte que les lacunes que le consultant est censé combler correspondent étroitement aux compétences dont le personnel du projet ou du partenaire de mise en œuvre a besoin. L’annexe E donne quelques exemples de termes de référence.

Comment concilier des avis contradictoires

Il ne faut pas sous-estimer l’importance d’une continuité de vues pour le suivi-évaluation. Plus différents consultants auront leur mot à dire dans le S&E d’un projet, et plus il risque de se poser des problèmes de cohérence, chaque consultant ayant sa propre théorie du S&E, ses propres méthodes, ses priorités différentes, etc. (voir encadré 7-14).

Encadré 7-14. Contradiction d’approches des consultants au Mali

Au Mali, dans le cadre du projet PDR-San, deux consultants différents ont été recrutés pour élaborer le cadre de suivi-évaluation du projet. Pour mesurer l’impact, chacun d’eux a recommandé une méthode différente, le premier préconisant une liste d’indicateurs, l’autre écartant cette idée pour mettre l’accent sur des études de cas. L’institution coopérante avait elle-même un avis différent, ce qui n’a fait qu’amplifier la confusion. Juste après qu’un questionnaire détaillé ait été mis au point pour suivre l’impact du projet sur les ménages au moyen de plusieurs études de cas, l’institution coopérante a dit aux responsables du projet qu’il n’y avait pas lieu d’investir dans des évaluations d’impact, lesquelles devraient être confiées uniquement à une équipe ou organisation d’évaluation externe impartiale. Quel avis suivre se demandait la direction du projet?

Pour réduire les risques d’avis contradictoires, il y aura lieu de demander aux consultants de:

prendre connaissance de tous les principaux rapports et documents établis par le (les) consul-tant(s) précédent(s);
prendre le temps de consulter le personnel du projet et des partenaires pour déterminer les éléments utiles des contributions du (des) consultant(s) précédent(s) et les besoins d’appui actuels;
veiller à ce que le travail du consultant soit fondé sur les éléments jugés utiles jusqu’à présent et à ce que le consultant indique explicitement comment les éléments existants du système de S&E s’intègrent à ses propres recommandations.

Appropriation et assistance technique

Il importe de peser soigneusement, encore plus que pour les consultants, l’opportunité de solliciter une assistance technique afin d’éviter que celle-ci compromette en définitive l’appropriation du suivi-évaluation par les différents acteurs. Il est souvent fait appel à des agents de l’assistance technique pour plusieurs années pour exécuter le programme de travail et en assumer la responsabilité. Dans un cas particulier, le personnel chargé du S&E avait peine à intégrer le système de S&E au projet. Il est alors arrivé une équipe d’assistance technique qui a pu le faire efficacement. Cependant, cette équipe a également assumé un grand nombre de tâches et rédigé de nombreux rapports de suivi-évaluation sans guère de participation du personnel de S&E local. Dans une perspective à plus longue échéance, le concours de l’équipe d’assistance technique aurait pu être organisé différemment de manière à ce qu’il contribue à renforcer les capacités locales et l’appro-priation du système de S&E par les différents acteurs concernés.

7.5 Organisation du système de gestion de l’information

7.5.1 Pourquoi un système d’information revêt une importance vitale

Les projets appuyés par le FIDA sont habituellement des initiatives de grande envergure du point de vue du nombre de bénéficiaires à atteindre, de la couverture géographique et du type d’activités, des budgets, des calendriers et parfois des effectifs du personnel. Ainsi, ceux qui sont responsables de la gestion du S&E ne pourront jamais s’en remettre uniquement à la mémoire et à des notes manuscrites pour suivre toutes les informations pertinentes. En outre, il se peut que les données doivent être utilisées par différentes personnes ou différents partenaires, à des moments divers, pour des aspects distincts du travail. Le volume de l’information à rassembler et à diffuser justifie la mise en place d’un système d’information qui, sous une forme et sous une autre, permette de conserver les données et de les retrouver. Un processus participatif revêt également une importance capitale à cet égard. La documentation constitue la base d’une communication interactive et de la transparence. Elle favorise la recherche d’un consensus et la continuité.

Deux types d’informations doivent être conservés: des informations concernant l’impact pour guider la stratégie du projet et des informations concernant l’avancement des activités pour suivre les opérations. La plupart des systèmes d’information servant de base au suivi-évaluation tendent à rassembler des informations liées aux indicateurs pour évaluer les progrès accomplis dans la mise en œuvre de la stratégie d’intervention décrite dans la matrice du cadre logique. En outre, les PTBA comportent souvent des cadres qui permettent de rassembler des informations sur des aspects opérationnels comme l’administration du personnel, l’utilisation des véhicules ou la comptabilité. Il y aura souvent lieu de prévoir différents systèmes de stockage de l’information pour conserver des données très diverses allant de réponses à des questionnaires aux copies de contrats et à des échanges de correspondance (voir encadré 7-15).

Encadré 7-15. Aspects à inclure dans le système de gestion informatisé du WUPAP, Népal (extrait du descriptif de projet)

Dans un délai de six mois maximum, il sera établi dans le cadre du programme un système complet de gestion informatisé (SGI) comportant:

une connexion Intranet avec un courrier électronique et une application gérant des bases de données contenant les informations S&E, les rapports et les archives;
un système d’archivage et de documentation permettant de stocker efficacement les documents écrits et audiovisuels et de suivre leur utilisation;
un appui technique pour la maintenance du logiciel et du matériel.

7.5.2 Établissement d’un système de gestion informatisé des données

Le système d’information d’un projet se compose d’archives sur support papier ainsi que de bases de données informatisées. Comme il arrive souvent que ces dernières ne soient pas structurées comme il convient, cette section met l’accent sur les procédures à suivre pour établir un système de gestion informatisé des données.

L’ordinateur peut beaucoup faciliter le suivi et l’utilisation des données mais n’est pas une panacée (voir tableau 7-7). Souvent, beaucoup de temps et d’efforts sont gaspillés pour informatiser des données qui ne sont ensuite jamais utilisées. En Jordanie et en Équateur, des ressources et des efforts substantiels ont été investis pour mettre au point une base de données qui n’a jamais été réellement fonctionnelle. D’un autre côté, comme l’a montré le cas d’un projet en Tanzanie, les informations provenant de plusieurs composantes d’un projet peuvent utilement être informatisées pour en tirer des conclusions de caractère plus général concernant, par exemple, le rapport coûtefficacité ou l’efficience d’une intervention.

Il faut déterminer clairement quelles sont les informations qui seront conservées sur support papier. Par exemple, que fera-t-on des notes prises lors d’une entrevue? Des schémas élaborés avec un groupe de bénéficiaires lors d’une séance de travail sur le terrain? Des cartes géographiques? Ce sont là autant d’informations qui, bien que de nouveaux logiciels apparaissent tous les jours, ne peuvent pas toujours être entrées sur ordinateur.

Plus le nombre de personnes devant utiliser les mêmes données pour des analyses différentes augmente, et plus il est bon d’informatiser les données et de les mettre en réseau, mais seulement si les intéressés peuvent facilement avoir accès au réseau et aux informations qu’il contient.

L’impact d’un projet ne dépend certainement pas de l’informatisation des données. Les informations qui doivent être échangées peuvent également être photocopiées et distribuées, chaque destinataire utilisant un système d’archivage commun.

Lorsqu’un système est informatisé, il importe au plus haut point, de ne pas s’éloigner des besoins de ses utilisateurs, ce qui peut arriver si le logiciel choisi ne leur est pas familier.

Tableau 7-7. Avantages et inconvénients de l'informatisation des systèmes dans le cadre suivi-évaluation d'un projet⁴

Benefits

Drawbacks

- Impose de définir les indicateurs de S&E et les variables en terms extrémement précis.

- Possibilité d'obtenir des informations précises à différents niveaux de généralité.

- Diminution du temps qu'il faut habituellement pour traiter les données, ce qui laisse plus de temps pour l'analyse.

- Accès rapide et facile à l'information de divers groupes et création de conditions propices à l'amélioration des capacités d'analyse de ces derniers.

- Les systèmes n'admettent pas de changements d'indicateurs et d'unités d'analyse. Les méthodes sont difficiles à intégrer.

- Les mesures quantitatives peuvent prévaloir sur les mesures qualitatives.

- L'analyse risque d'être très mécanique si elle se borne à produire des rapports au moyen de programmes d'ordinateur, ce qui risque de limiter la lecture à ce type de rapports.

Le processus de mise en place du système d’information comporte huit étapes itératives. Tout système doit être adapté, en particulier à mesure que les différents acteurs perçoivent mieux les informations dont ils ont besoin.

Définir les informations à entrer dans le système et à quelle fin. Le module 5 explique en détail comment prendre une décision sur les éléments à suivre.
Définir le canevas général du réseau (voir figure 7-1 pour exemple), en analysant comment, quand et par qui la base de données sera utilisée, ce qui déterminera dans une large mesure comment et quand interviendront l’entrée et l’analyse des données. Il y aura lieu de poser au personnel du projet et des partenaires la question suivante: “Qui a besoin d’avoir accès à quelle information et qui a besoin d’entrer des données?”

Figure 7-1. Exemple de définition du réseau et de ses connexions (WUPAP, Népal)

Déterminer comment il est prévu de traiter l’information, qui la traitera et quels sont les formulaires nécessaires. Ces opérations devront être réalisées au niveau le plus bas possible pour que ceux qui rassemblent les données puissent plus facilement les analyser. Cela a également l’avantage de limiter les distorsions dans l’analyse des données.
Comparer les différents types de logiciel et matériel existant (réseau) et faire une sélection. Ne pas perdre de vue que ceux appelés à entrer les données doivent pouvoir le faire assez facilement, qu’il faut que l’on puisse avoir accès aux données au moment et à l’endroit voulus et sous la forme appropriée et que le système ne doit pas dépasser les moyens financiers et techniques du projet et des partenaires de mise en œuvre. Cela signifie qu’une décision doit être prise en collaboration avec tous les intéressés. Il y a deux options dont chacune comporte des avantages et des inconvénients (voir tableau 7-8): 1) les tableurs et les gestionnaires de bases de données existant comme Excel et Access (qui font l’un et l’autre partie de Word Office) et 2) un logiciel personnalisé.

Tableau 7-8. Comparaison des logiciels existants et personnalisés

Logiciel existant

Logiciel personnalisé

Pour:

- Assez bon marché (achat de licences, achat de matériel, formation, fournitures)

- Aisément disponible

- Facilement adaptable par le projet et souvent assez facile à maîtriser

- Interchangeable/compatible avec d'autres

- Plus connu

Contre:

- Moins souple et moins adapté aux besoins spécifiques du projet

Pour:

- Adapté aux besoins spécifiques du projet

- Peut être accessible à tous les niveaux, par exemple en travaillant sur des icônes plutôt que sur des mots

Contre:

- Plus cher (personnel de conception, achat de licences, achat de matériel, formations spécialisées, fournitures)

- Exige du temps et des compétences pour la mise au point, les tess et le perfectionnement

- Plus le logiciel est spécifique, et plus il est difficile de l'adapter ultérieurement

Si le système personnalisé est choisi, il faudra veiller à ce que le logiciel acheté ou mis au point puisse être utilisé avec souplesse pendant toute la durée du projet et s’adapter aux évolutions des besoins d’informations qui interviendront en cours de projet. L’encadré 7-16 décrit un logiciel qui peut aider à suivre la mise en œuvre des programmes de travail annuels.

En fonction de l’option préférée, entreprendre une analyse plus ciblée de la gestion des données en consultant tous les intéressés, des secrétaires aux ministères de tutelle, concernant les informations à rassembler, leur utilisation et le rôle de chacun dans la gestion des données. Cette consultation est indispensable pour s’assurer que le système choisi peut répondre aux besoins spécifiques en matière d’information et de rapports.
Établir les formulaires nécessaires pour l’entrée des informations dans la base de données et les harmoniser avec ceux qui sont utilisés pour la collecte de l’information. Réfléchir aux modalités de stockage des informations qualitatives et quantitatives. N’établir de formulaires précis que lorsque les éléments à informatiser sont parfaitement compris.
Former les usagers au système. Le processus constant de stockage et de mise à jour des données et d’accès à l’information exige des compétences auxquelles les usagers doivent être formés et l’appui technique d’un spécialiste. Dans le cas d’un projet au Malawi, nombre d’activités de suivi-évaluation ont été réalisées au plan national, comme une enquête sur l’agriculture et une autre sur les ménages. Leurs résultats ont été saisis sur ordinateur, mais lorsque le moment est venu d’en analyser les résultats, les services de S&E au niveau des divisions ne disposaient pas de la documentation du logiciel utilisé, de sorte que l’analyse a pris beaucoup de retard.
Ajuster périodiquement le système en procédant à un examen critique avec les usagers pour déterminer les informations qui sont utilisées et par qui, celles qui ne le sont pas, les problèmes qui se posent et les autres personnes qui devraient ou souhaiteraient avoir accès à l’information.

Encadré 7-16. ASISTENTE, programme de suivi des plans de travail annuels en Amérique latine

Le logiciel ASISTENTE est un programme qui permet de suivre les activités et les résultats indiqués dans le cadre logique et le programme de travail annuel. Il est issu d’un projet au Guatemala dont la zone d’intervention était vaste, isolée et ethniquement diversifiée; qui concernait de nombreux groupes d’acteurs, qui devait associer des acteurs divers à la mise en oeuvre du projet et à la collecte de l’information et fournir des services décentralisés aux organisations d’agriculteurs. La dernière version d’ASISTENTE a été adaptée pour pouvoir être utilisée dans tous les projets entrepris en Amérique latine. Ses caractères spécifiques sont que le logiciel ASISTENTE est un programme:

Adaptable: il peut être utilisé pour différentes analyses dans le contexte du programme de travail annuel du projet, notamment des composantes du projet, des services fournis aux bénéficiaires et des usagers du système suivi.
Polyvalent: il opère sur différents ordinateurs locaux ou ordinateurs reliés par satellite pour entrer les informations recueillies lors du suivi et produire les rapports locaux. Un ordinateur central rassemble les informations envoyées par satellite pour produire des rapports globaux. Tous les acteurs concernés ont accès à l’information.
Convivial: l’information n’est entrée qu’une seule fois et est ensuite traitée pour obtenir des rapports divers. Cela n’exige pas de connaissances très spécialisées et est relativement rapide étant donné que le programme utilise des icônes et des légendes activées au moyen de la souris. Les rapports produits sont numérotés et accompagnés de représentations graphiques de sorte qu’ils sont accessibles pour un public très divers. Les rapports peuvent être affichés sur l’écran avant d’être imprimés ou classés et peuvent être reformatés pour être insérés dans d’autres documents.
Sûr: l’accès au logiciel est restreint pour éviter toute manipulation erronée des données entrées. Chaque usager reçoit un nom, un mot de passe et un profil d’accès et ne peut sauvegarder et modifier que ses propres informations et générer ses propres rapports. Les usagers n’ont pas accès à l’information sauvegardée par d’autres, et ne peuvent pas générer des rapports d’autres usagers sans autorisation. Le superviseur du système a la possibilité de configurer les terminaux et applications, d’entrer et de modifier l’information, de générer tous les rapports et d’affecter les mots de passe.

Le logiciel complémentaire, également issu du projet réalisé au Guatemala et fondé sur les mêmes éléments que ceux qui sont indiqués cidessus, s’appelle DIRECTORIO et sert à enregistrer les données sur les acteurs à la base, leurs organisations locales et les organismes de mise en œuvre, à les suivre et à évaluer l’impact des activités. La plupart des projets rassemblent ce type d’informations, mais celles-ci ne sont généralement pas organisées de la façon la plus utile. Le programme DIRECTORIO conserve des informations concernant:

le nombre des bénéficiaires et leurs activités productives;
le nombre d’hommes et de femmes;
le lieu de résidence et l’âge;
les services offerts et le nombre d’acteurs qui utilisent chaque service;
les opérateurs associés qui offrent des services;
les effets et l’impact produits.

Le programme DIRECTORIO peut tenir un répertoire complet des acteurs à la base, des organisations rurales et des agents de mise en oeuvre, appliquer une approche spécifique selon le genre et le concept de services aux usagers, entrer et suivre des indicateurs sur l’effet et l’impact du projet sur les bénéficiaires et les autres parties intéressées, générer différents types de rapports et de graphiques et classer les données par projet et par région.

7.6 Moyens financiers et autres nécessaires à la gestion du système de suivi-évaluation

7.6.1 Postes budgétaires à prendre en considération

Pour être efficaces, les tâches de S&E doivent être soutenues par un budget clair et réaliste. Comme nombre de tâches et d’activités de S&E et d’activités de mise en œuvre et de gestion se chevauchent, il n’est pas toujours aussi facile que dans le cas des autres aspects du projet de savoir quels sont les éléments à inclure dans le budget du suivi-évaluation. Par exemple, les dépenses afférentes aux réunions au cours desquelles la direction discute et analyse des informations concernant le suivi-évaluation constituent-elles un coût de gestion ou un coût de suivi-évaluation?

S’il importe peu de savoir à quels postes doivent être imputés ces coûts, il est indispensable d’ins-crire au budget les ressources nécessaires, d’indiquer clairement qu’elles sont destinées au S&E et de préciser qui sera habilité à déterminer comment le budget suivi-évaluation sera utilisé. Il y a cependant lieu d’éviter d’imputer toutes les ressources destinées au suivi-évaluation sous la rubrique “gestion du projet” car il est alors très difficile de préciser le montant disponible pour le S&E. Le budget du S&E – quelle que soit la rubrique budgétaire à laquelle il est imputé – doit englober tous les éléments énumérés dans le tableau 7-9.

Tableau 7-9. Éléments à prendre en considération dans un budget de suivi-évaluation

Catégories	Postes spécifiques
Contrats: consultants/experts externes (honoraires et frais de voyage)	- Élaboration d’un plan opérationnel de S&E - Établissement de mécanismes et de formulaires de suivi - Établissement de systèmes de gestion de l’information - Organisation d’ateliers de bilan - Réalisation d’enquêtes ou d’activités de suivi spécifiques - Aide à la synthèse et à la capitalisation des enseignements tirés - Formation et renforcement des capacités (ateliers, cours) - Études d’évaluation des impacts (par exemple études de référence) - Examen à mi-parcours et évaluation externe finale
Dépenses d’équipement	- Matériel de suivi - Matériel de communication - Aménagement des bureaux de l’équipe de S&E (par exemple mobilier, matériel) - Publications - Ordinateurs et logiciels - Véhicules
Formations et voyages d’études pour le renforcement des capacités de suiviévaluation	Cours de formation sur place et à l’extérieur: - Formation des acteurs à la base pour renforcer les capacités de S&E - Formation de partenaires de mise en œuvre chargés de l’appui au développement communautaire à l’introduction et à l’application des méthodes participatives de suivi - Formation d’agents sélectionnés des opérateurs et prestataires de services (gouvernement et ONG) aux aspects pertinents du S&E - Formation des responsables du S&E et du personnel de direction clé au suivi-évaluation et à l’informatique - Formation à la gestion financière, le cas échéant - Promotion de l’échange d’expérience avec d’autres projets entre les différents groupes d’acteurs concernés - Droits d’inscription aux cours
Dépenses de personnel: - Récurrentes/ traitements du personnel permanent et du personnel temporaire d’appui - Investissement – assistance technique (de courte ou de longue durée, nationale ou internationale)	- Planification et mise au point du système de S&E - Suivi périodique - Rédaction de rapports et analyses - Participation aux processus et réunions de bilan - Gestion de l’information - Synthèse et capitalisation des enseignements tirés - Diffusion des conclusions du S&E - Appui aux processus à assise communautaire et aux processus participatifs de S&E
Dépenses opérationnelles autres que de personnel	- Carburant et entretien des véhicules et des moyens de transport - Frais de bureau (frais généraux, entretien) - Papeterie - Réunions- Indemnités pour les acteurs à la base et les exécutants des projets - Données externes ( cartes ou photos satellite par exemple) - Coûts de communication et de publication: impression, copie, édition, présentation graphique et publication des documents clés Activités d’évaluation spécifiques (ateliers de planification du S&E, ateliers d’examen, enquêtes sur le terrain, consultations des acteurs concernés, activités spécifiques de suivi, examen à mi-parcours et évaluation externe finale) - Locaux - Publicité - Logement - Droits d’inscription aux cours

7.6.2 Niveau des allocations budgétaires

Bien qu’il n’existe aucune règle catégorique à cet égard, les budgets du S&E varient entre 2 et 15% du total des coûts. Dans les cas comme ceux du projet MARENASS au Pérou et du projet FODESA au Mali, où les parties prenantes étudient de nouvelles modalités de collaboration, il est probable que les budgets du S&E seront proportionnellement plus élevés étant donné qu’il faut plus de temps pour réfléchir sur les modalités ayant donné de bons résultats. Le tableau 7-10 illustre les budgets de S&E pour cinq projets réalisés en Amérique latine, y compris le projet MARENASS.

Il y a lieu de noter que, du fait de la diversité des approches adoptées, chaque projet décompose ses dépenses de S&E de différentes façons. Dans le cas du projet MARENASS, le suivi-évaluation est décentralisé et sous-traité, de sorte que l’élément coordination du projet lui-même n’a pas besoin de véhicules ou de matériel pour le suivi-évaluation. Toutefois, comme toutes les dépenses de S&E sont regroupées sous la rubrique “études”, il faut que le budget soit accompagné d’un plan opérationnel détaillé de S&E pour indiquer clairement comment les fonds doivent être alloués.

Quelle que soit la façon dont le budget du S&E est calculé, il y aura toujours un certain chevauchement avec d’autres éléments du projet. Par exemple, environ 78% du montant total des allocations annuelles pour le projet MARENASS vont directement à la gestion par les agriculteurs de leurs propres plans de développement communautaire, et le reste à deux composantes: gestion du projet et suivi-évaluation. Cependant, même à l’intérieur de ces deux catégories d’activités, beaucoup de dépenses sont liées au développement communautaire comme festivals, bulletins d’information, etc., de sorte que la proportion des fonds alloués à cette composante est en réalité de 82 à 85%. Il faut par conséquent éviter de trop entrer dans le détail dans le budget du S&E. Ce qui importe, c’est de prévoir dans le budget les événements, procédures et services de personnel qui tendent à faciliter la réflexion critique et la capitalisation.

Il arrive souvent que des retards de financement interviennent lors de la mise en route des projets. Pour y parer, le FIDA peut accorder des avances de fonds au titre du Mécanisme spécial d’interven-tion (MSI). Ces dons ont beaucoup contribué à accélérer le démarrage et la mise en œuvre des projets. Par exemple, des subventions du MSI ont servi à recruter un diligenteur pour faciliter la réalisation des conditionnalités d’entrée en vigueur du prêt ou bien à financer la formation au système de gestion. Dans le cas de nombreux projets, le MSI est utilisé pour financer les dépenses initiales de suivi-évaluation, comme la formation du personnel du projet et des partenaires de mise en œuvre ou la préparation d’études de référence.

Tableau 7-10. Budgets de S&E pour cinq projets en Amérique latine en comparaison du budget total des projets prévus dans les rapports de préévaluation (en dollars des États-Unis)

Poste	Pays et projet
	Venezuela		Équateur	Pérou	Chili
	PROSALAFA	PRODECOP	SARAGURO	MARENASS	PRODECOP-IV
Équipement: jeep 4X4, matériel informatique, mobilier et matériel de bureau	20,800	28,830	27,950		24,329
Dépenses de fonctionnement: traitements, frais de voyage, matériel, entretien, assurance	144,900	346,485	213,010		227,532
Études: études d’évaluation, documentation, suivi, publications, taxes	205,000	540,000	119,916	1,770,000	330,815
Total suivi-évaluation	370,700	915,315	360,876	1,770,000	582,676
Total projet	26,742,700	24,365,000	16,753,781	19,142,800	34,491,969
Part du suivi-évaluation	1,4%	3,8%	2,2%	9,2%	1,7%

7.6.3 Dépenses et ressources afférentes aux activités participatives de suivi-évaluation

Du point de vue budgétaire, les processus participatifs d’analyse et de réflexion critique prennent plus de temps que ceux qui ne font intervenir qu’un petit nombre de personnes. En effet, il faut du temps pour organiser des réunions plus nombreuses avec des groupes plus divers et pour parvenir à un accord sur la démarche de S&E ou sur la signification des données. Il faudra parfois investir pour former aux techniques de facilitation aussi bien le personnel du projet que celui des partenaires de mise en œuvre et aussi former les acteurs à la base, par exemple, aux méthodes d’évalua-tion d’impact et à la mise au point d’indicateurs locaux. Dans le cas de certains projets, on a constaté que le renforcement des capacités en matière de méthodes participatives de S&E peut être financé sur la base d’un partage des coûts mais, dans la plupart des cas l’intégralité des coûts est imputée au projet.
Les postes budgétaires spécifiques à prendre en considération pour les formes les plus participatives de S&E sont les suivants:

formation spécifique du personnel aux méthodes participatives et au S&E participatif;
organisation de réunions avec les acteurs concernés pour la mise au point du système de S&E;
réunions pour les analyses au plan local;
brefs ateliers de formation sur les principales étapes de la mise au point d’un système de S&E et des éléments spécifiques comme les indicateurs et les méthodes (y compris l’utilisation de la matrice du cadre logique).

Les projets participatifs exigent également un processus de planification continue pour déterminer ce qui sera fait, pour qui et avec qui. Lorsque les activités du projet sont mises en route, le budget du S&E doit être tout aussi souple. Le budget peut ainsi comprendre une rubrique pour imprévus de sorte que l’on puisse exploiter des opportunités importantes. Souvent, les postes inscrits au budget du S&E sont suffisamment larges pour pouvoir être utilisés pour divers types d’activités. Par exemple, incorporer au budget une rubrique intitulée “évaluation participative d’impact” laisse une souplesse considérable quant aux modalités et au moment de cette évaluation.

Les encadrés 7-17, 7-18 et 7-19 indiquent, à titre d’exemple, comment peuvent être calculés les coûts d’activités spécifiques de S&E: une étude de référence, le suivi participatif de l’impact du système de gestion informatisé. Il y a lieu de noter que ces coûts ne sont pas supposés être indicatifs: les coûts effectifs dépendront du contexte, comme l’étendue de la zone couverte par le projet, les coûts locaux de main-d’œuvre, les dimensions de l’échantillon, les types de méthodologie, le recours à des experts externes, etc.

Encadré 7-17. Étude de référence dans une province chinoise (2000)

Coût total = USD 13,173

Activité

Entrevues avec 1 200 ménages dans 37 sites de projets de sept districts; coût de l'entrée des données = 10,98 USD par entrevue

Personnel

Pour les entrevuew: deux agents à plein temps par site de projet = 74 agents
Pour la gestion des données: deux agents à plein temps par district = 14 agents
Pour l'élaboration des rapports: un consultant pour l'ensemble de la province

Calendrier

Entrevues: deux semaines
Entrée des données: dix jours
Vérification, synthèse et analyse des données: deux semaines
Rapport: deux semaines

Encadré 7-18. Introduction du suivi participatif de l’impact (SPI) au Viet Nam (2000)

Coût total de l’introduction du SPI par projet = 15 000 USD, y compris honoraires des consultants, matériels destinés à l’atelier de formation et assistance pour le suivi de l’atelier.

Ce coût peut être réduit en:

formant et employant des experts locaux comme facilitateurs et consultants;
intégrant les activités de SPI aux activités continues de planification, de vulgarisation et de S&E;
nettoyant les “cimetières” de données et en remplaçant quelques colonnes de chiffres par des informations décrivant mieux l’impact des activités;
acceptant des conclusions fiables sur les tendances plutôt que d’insister sur des statistiques précises.

Encadré 7-19. Coûts de la mise en place du système de gestion informatisé au Népal (2001)

Coût total de la mise en place du système de gestion informatisé: 1 719 239 roupies népalaises (NPR) sur quatre ans, dont 43% la première année, pendant laquelle les dépenses afférentes aux achats sont élevées. Les dépenses totales par poste sont les suivantes (en NPR):

Logiciel du serveur	255,500
Logiciel du serveur du courrier électronique	73,000
Logiciel du serveur proxy	43,800
Plate-forme du réseau et câblages	21,900
Installation	51,100
Frais de connexion à Internet	169,859
Frais de connexion téléphonique au réseau des bureaux de districts de l’unité du projet	636,970
Achat de publications et de médias pour la bibliothèque	212,323
Contrat d’entretien du réseau	254,788

À la date d’élaboration du document, le taux de change était 1 USD = 75 NPR (avril 2001).

Lectures complémentaires

Gubbels, P. et Koss, C. 2000. From the Roots Up: Strengthening Organizational Capacity through Guided Self-Assessment. (deuxième édition). Oklahoma City: World Neighbors. Pour commander: http://www.wn.org/wnstore.

ISNAR. 2001. Framework and Methodology on Training Needs and Organizational Constraints Assessment in Kenya. Décharger à l’adresse: http://www.isnar.cgiar.org/activities/training/request.htm.

Lamy, E. et Lessard, P. 2001. Capacity Building: A Manual for NGOs and Field Workers. Québec: CECI. Disponible également en français et en espagnol. Pour commander: http://www.pactpub.com.

Lusthaus, C., Adrien, M., Anderson, G. et Carden, F. 1999. Enhancing Organizational Performance. A Toolbox for Self-assessment. Ottawa: IDRC. Également disponible en français et en espagnol. Pour commander: pub@idrc.ca.

Lynton, R. et Pareek, U. 1990. Training for Development (deuxième édition). Connecticut: Kumarian Press. Pour commander: http://www.kpbooks.com.

1/ PNUD. 1998. “Capacity assessment and development in a systems and strategic management context“. Management Development and Governance Division, technical advisory paper No.3 New York, N.Y. Programme des Nations Unies pour le développement.

2/ D’après Guijt, I. et Gaventa, J. 1998. “Participatory Monitoring and Evaluation: Learning from Change”. IDS Policy Briefing 12. Brighton: IDS.

3/ Lusthaus et al. 1999. Voir Lectures complémentaires.

4/ Furman, R. 2001. “Computerised Monitoring and Evaluation Systems: Design and Implementation Guidelines“. Dans: Ocampo, A (éd.). Reflections on Project Monitoring and Evaluation Methodology. Rome: FIDA.

Download PDF Version (265 KB)

About Evaluation	Programme of Work
Strategy, Process & Methodology	Evaluation Products
A Guide for Project M&E

Back

Home