6.1 Collecter, gérer et communiquer l’information – présentation générale

6.1.1 Le cheminement des données

Les données se déplacent et se transforment. Elles passent progressivement de différents lieux sur le terrain, de différentes unités de gestion ou de différents partenaires aux instances centrales. À chaque étape, elles sont regroupées et analysées. Ce cheminement comporte une transformation des données en informations puis en connaissances sur lesquelles se basent les décisions que prennent les instances centrales. Les données sont de la matière brute, qui n’a pas encore de signification. Leur synthèse et leur analyse ajoutent du sens et produit de l’information. La connaissance apparaît lorsque l’information renvoie à une situation concrète qu’elle explique et dont elle tire des enseignements utiles à la décision.

De nombreux projets de développement rural disposent de beaucoup de données dispersées, mais les valorisent très peu en information et en connaissance (voir encadré 6-1). Pour éviter ce problème, prévoyez non seulement comment vous allez rassembler les données mais aussi comment vous allez les transformer en connaissances utiles.

 

Encadré 6-1. Abondance de données et manque d’informations en Ouganda Dans un projet exécuté en Ouganda, le personnel de vulgarisation a tenu pendant sept ans le relevé mensuel de son travail auprès des agriculteurs avec qui il devait créer des activités susceptibles de leur fournir des moyens d’existence durables, par exemple plantation de parcelles boisées, apiculture, utilisation de poêles économes en combustible et application de mesures de conservation des sols. Ces archives mensuelles remplissaient littéralement une pièce entière. Cependant, aucun système n’avait été mis au point pour regrouper les données et les transformer en information sur les taux d’adoption, les raisons des différences entre villages ou entre les taux de réussite des différents agents de vulgarisation. Lorsqu’on a voulu analyser les données, cela s’est révélé impossible parce qu’elles n’étaient pas fiables et que la comparaison et le regroupement entre différentes zones du projet étaient très difficiles. Il s’agit là d’un problème courant lorsqu’on se concentre sur la collecte de données plutôt que sur l’acquisition de connaissances.

Le cheminement des données est indiqué dans la figure 6-1. Le tableau 6-1 énumère les questions à poser à chaque étape. Le parcours sera différent pour chacune des données, selon les méthodes choisies, la fréquence des relevés et l’attribution des responsabilités. Quel que soit le chemin suivi, assurez-vous que les informations que vous rassemblez vous aident à répondre aux questions relatives à la performance (voir module 5).

Figure 6-1. Cheminement des données

Tableau 6-1. Préparez le cheminement de vos données

Étapes	Questions essentielles
Échantillonnage	Un échantillon sera-t-il nécessaire? Dans l'affirmative, comment sera-t-il choisi afin d'être représentatif des principaux acteurs impliqués dans le projet? Dans la négative, où pouvez-vous vour procurer les informations?
collecte des données	Comment allez-vous trouver les informations dont vous avez besoin? Par des mesures, entrevues individuelles, discussions de groupe, observations?
Enregistrement des données	Qui utilisera quels supports pour écrire, visualiser, photographier ou filmer les données our impressions?
Stockage des données	Où les données (brutes et analysées) sront-elles stockées, comment et par qui? Qui y aura accès?
Regroupement des données	Qui utilisera quelles méthodes pour regrouper les données et aboutir à une vue d'ensemble logique et ordonnée?
Analyse des données	Qui examinera les données et en utilisant quelle méthode pour leur donner un sens et en faire la sythèse afin d'obtenir une explication cohérente de ce qui s'est passé et définir ce qu'il faudra faire ensuite?
Diffusion et retour de l'information	À quel stade et en utilisant quels moyens les informations seront-elles partagées avec le personnel du projet et des partenaires, les principaux acteurs concernés, les comités directeurs et les organismes de financement?

6.1.2 Éléments à prendre en considération dans le choix de votre méthode

Avant de choisir votre méthode, réfléchissez bien aux trois aspects méthodologiques suivants:

• les différences et les recoupements entre méthodes concernant les informations qualitatives et quantitatives;
• les conséquences de l’emploi de méthodes basées sur des individus ou des groupes;
• ce qui entraîne qu’une méthode est ou non participative.

La sélection des méthodes qui conviennent le mieux à vos besoins comporte plusieurs étapes:

1. Vérifiez que vous savez clairement quelles informations vous devez recueillir, regrouper, analyser ou restituer.
2. Vérifiez que ces données ne sont pas déjà collectées par d’autres personnes ou institutions. Vérifiez, si possible, la fiabilité de ces données pour être sûr qu’elles répondent à vos exigences dans ce domaine.
3. Identifiez clairement le degré de précision dont vous avez besoin.
4. Les informations portent-elles sur un domaine spécialisé? Dans l’affirmative, recherchez l’avis d’un spécialiste ou documentez-vous avant de procéder au choix de la méthode.
5. Déterminez clairement les tâches que vous devez accomplir et si les informations nécessaires sont qualitatives et/ou quantitatives. Déterminez s’il vous faut une méthode pour recueillir, regrouper, analyser, faire la synthèse ou diffuser les informations.
6. Décidez dans quelle mesure le processus de collecte ou d’analyse des données doit être participatif et si le travail doit être réalisé avec des individus, des groupes ou les deux.
7. Décidez si vous allez recueillir les données par échantillonnage ou non. Si vous travaillez sur un échantillon, décidez de la taille de l’échantillon, définissez la “base de sondage” et sélectionnez votre échantillon.
8. Disposez-vous de plusieurs options méthodologiques ou d’une seule? Établissez une liste des options disponibles et faites une première sélection. Si vous utilisez une série de méthodes, vérifiez qu’elles sont complémentaires.
9. Dressez la liste de vos méthodes et faites une première sélection.
10. Lorsque vous pensez avoir trouvé la bonne méthode pour accomplir une tâche donnée, deman-dez-vous si elle est: applicable, appropriée, valable, fiable, pertinente, sensible, économique et opportune.
11. Testez préalablement votre méthode sur un petit nombre d’acteurs analogues à ceux auprès desquels vous allez recueillir les informations. Adaptez votre méthode en fonction des résultats de ce test.
12. Déterminez la fréquence d’utilisation.

6.1.3 Collecte, regroupement et stockage de l’information

Lorsque vous préparez la collecte des données, n’oubliez pas:

• d’examiner soigneusement la façon dont vous allez sélectionner les personnes chargées de cette collecte;
• de réfléchir à la répartition des tâches de collecte et d’analyse entre différentes personnes et aux moyens de limiter les erreurs;
• de vous assurer que ceux qui utilisent les méthodes choisies les maîtrisent bien;
• de prendre en compte les détails pratiques, par exemple les fournitures nécessaires.

Évitez le risque d’erreurs en envisageant les causes possibles d’erreur d’échantillonnage et autres. Les erreurs autres que celles d’échantillonnage peuvent être dues à un biais de la part de l’enquê-teur, à l’insuffisance des méthodes, ou à des erreurs de traitement.

Vérifiez vos données de temps en temps. Les contrôles aléatoires sont importants au début de tout projet, si vous utilisez un ensemble de données existant, afin de déterminer d’où proviennent les données, qui les a recueillies et quelles méthodes et normes ont été utilisées. Vérifiez aussi la collecte des données lorsque vous utilisez une nouvelle méthode ou lorsque vous travaillez avec de nouveaux agents de terrain, de nouveaux partenaires de mise en œuvre, de nouveaux fonctionnaires, etc. Certaines données peuvent être suspectes, par exemple celles qui sont trop précises, (comme lorsqu’il y a correspondance parfaite entre les objectifs et les réalisations effectives) ou qui changent de valeur de manière importante et soudaine.

Définissez la façon dont sera enregistré chaque élément d’information. Exercez-vous avec les personnes qui seront chargées de l’enregistrement avant le début de la collecte des données.

Le regroupement des informations, opération intermédiaire entre la collecte et l’analyse des données, est souvent oublié. Il exige une certaine attention car il peut grandement faciliter l’analyse s’il est exécuté de façon satisfaisante ou au contraire être source d’erreurs s’il est mal fait. Le regroupement est nécessaire lorsque vous passez d’une unité d’analyse à une unité supérieure ou lorsque les données ont été recueillies à des sources différentes et à l’aide de méthodes différentes. Le regroupement de données qualitatives exige un soin particulier et des compétences en analyse.

Les processus mis en œuvre pour l’analyse des données qualitatives et quantitatives issues du S&E sont très différents. Le présent guide est axé sur l’analyse des données qualitatives, les méthodes statistiques n’y sont pas traitées. On trouvera dans le module 8 de nombreuses idées sur la façon d’encourager les réunions de réflexion et les rapports d’analyse en plus de celles qui sont exposées au point 6.4.2.

Pour décider comment organiser le stockage des informations du S&E, posez-vous les quatre questions suivantes (voir aussi 7.5):

1. Quelles informations faut-il stocker?
2. Qui doit avoir accès à ces informations et quand?
3. Quelles formes doivent prendre les informations: documents imprimés ou fichiers électroniques avec accès central?
4. Quelles sont, au cours du temps et des évolutions du projet, les informations qu’il faut conserver et celles qui peuvent être éliminées?

6.1.4 Communication des résultats du S&E

Les résultats du S&E peuvent intéresser de nombreux publics: les organismes de financement, les comités de pilotage, les institutions coopérantes, le personnel du projet et les partenaires de mise en œuvre et enfin les bénéficiaires. La communication de ces résultats a pour principaux buts de satisfaire à l’obligation de rendre compte et de motiver les acteurs concernés à agir. Les résultats du S&E doivent être examinés sous une forme préliminaire avec les partenaires de mise en œuvre et les principaux acteurs impliqués afin de s’assurer de leur exactitude, d’aboutir à des conclusions communes et de se mettre d’accord sur les mesures à prendre. Les résultats définitifs peuvent être alors transmis aux organisations intéressées aux fins de rendre compte et de prendre des mesures d’ajustement.

Étudiez soigneusement la façon dont vous communiquerez les résultats de votre S&E. Mettez-vous d’accord avec les principaux acteurs impliqués sur la liste des destinataires des informations, sur les catégories d’information à communiquer et sur leur forme en fonction des différents besoins: rendre compte, négocier, faire du lobbying, agir.

Intégrez dès le départ la communication dans votre système de S&E. N’espérez pas que quelqu’un d’autre se chargera de communiquer les résultats du S&E. Investissez donc dans une bonne communication, non seulement en réalisant des produits efficaces mais aussi en renforçant les moyens de communication du projet.

L’une des fonctions essentielles de la communication est d’assurer que vos conclusions sont correctes. Les ateliers et autres réunions au cours desquels sont restitués les résultats du S&E fournissent de précieuses occasions de débattre et de réfléchir et de planifier l’action.

Lorsque vous envisagez de restituer les informations issues du S&E, prenez en considération les aspects pratiques suivants:

• Veillez à ce que le message soit clair pour les différents publics auxquels il est destiné.
• Mettez-vous d’accord sur la fréquence de communication des informations.
• Veillez à ce qu’elles soient communiquées en temps utile. Quand devez-vous avoir connaissance des réactions pour qu’elles soient encore utiles à la prise de décision?
• N’oubliez pas les considérations de lieu: choisissez un lieu où les participants se sentiront à l’aise.

Utilisez différents supports pour communiquer vos conclusions. Les rapports écrits sont les plus courants et vont des rapports d’activité formels aux notes informelles portant sur des problèmes d’actualité en passant par les études spéciales. Il est souvent plus efficace de communiquer les résultats du S&E verbalement que par tout autre moyen. Parler directement aux intéressés est le moyen le plus rapide et le plus souple pour faire passer votre message. Utilisez aussi les moyens visuels, par exemple les graphiques indiquant les tendances générales ou les cartes, qui permettent de montrer l’évolution des situations de manière synthétique.

Back to Top

6.2 Choix des méthodes à employer

6.2.1. Qu’est-ce qu’une méthode?

Une méthode est un processus formalisé et systématique servant à accomplir une tâche donnée. Les agronomes ont des méthodes pour mesurer le rendement des cultures. Les économistes ont des méthodes pour calculer la rentabilité d’un investissement. Les anthropologues ont des méthodes pour analyser les processus de prise de décision des ménages. Les comptables ont des méthodes pour établir des budgets et rendre compte de l’emploi des fonds. Les cadres et les animateurs ont des méthodes pour aider les groupes à prendre des décisions.

Dans le cadre du processus de S&E, on recourt à des méthodes très diverses pour recueillir, analyser, stocker et présenter l’information. On emploie souvent des méthodes issues des sciences de la nature et des sciences sociales, ainsi qu’un éventail de plus en plus large de méthodes participatives. Parfois, pour obtenir l’information recherchée, il faudra adapter une méthode existante ou en mettre au point une totalement inédite.

Il est souvent nécessaire d’utiliser plusieurs types de méthodes pour le S&E (voir encadré 6-2). Par exemple, un processus d’évaluation rurale participative, qui vise à déterminer dans quelle mesure les acteurs à la base retirent des bénéfices d’un projet, peut combiner plus d’une quinzaine de méthodes allant de l’enquête par transect à l’établissement de matrices, en passant par des discussions de groupe. De même, pour faire une enquête sur les ménages ou organiser une réunion annuelle de bilan, différentes méthodes d’entretien, de débat et de facilitation peuvent être conjuguées. Une méthode comporte généralement l’utilisation d’une série d’outils (tableaux, cartes, diagrammes, graphiques, fiches etc.). La combinaison de plusieurs méthodes dans un ensemble structuré est appelée méthodologie. On peut avoir par exemple une méthodologie pour l’anima-tion d’ateliers ou pour la réalisation d’enquêtes de base.

6.2.2. Les types de méthodes

On trouvera à l’annexe D une description de 33 méthodes (et de leurs outils) couramment employées pour le S&E et en particulier le S&E participatif. Elles ont été regroupées comme suit:

• méthodes d’échantillonnage;
• méthodes de base (analyse des acteurs concernés et questionnaires par exemple);
• méthodes et outils d’animation de groupes (“brainstorming”, jeux de rôle, etc.);
• méthodes et outils de suivi des données spatiales (cartes et transects);
• méthodes et outils de suivi temporel (journaux et photographies par exemple);
• méthodes et outils d’analyses relationnelles (diagramme de flux des impacts et schémas d’arbo-rescence par exemple);
• méthodes de classification (matrices).

Il faudra aussi probablement employer d’autres méthodes spécialisées concernant des domaines techniques particuliers qui sont regroupées dans les rubriques mesures biophysiques (méthode 5) et analyse coût-avantages (méthode 7) à l’annexe D. Le recours à des experts techniques lors de l’éla-boration du plan opérationnel ou du manuel de S&E détaillé permet d’employer des méthodes spécialisées adaptées.
Avant de choisir les méthodes, il faut examiner trois aspects importants:

• choix entre méthodes quantitatives et méthodes qualitatives (voir tableau 6-2);
• choix entre méthodes individuelles et méthodes de groupe (voir tableau 6-2);
• degré auquel une méthode peut être participative.

Tableau 6-2. Exemples de méthodes de S&E polyvalentes

Méthodes quantitatives et méthodes qualitatives

Les méthodes quantitatives mesurent directement l’état ou la variation d’une variable, par exemple le rendement d’une culture, le nombre de kilomètres de routes construits ou le nombre d’heures que les femmes consacrent à la corvée d’eau. Elles donnent des résultats numériques directs.

Les méthodes qualitatives sont employées pour recueillir des renseignements en demandant aux gens d’expliquer ce qu’ils ont observé, ce qu’ils font, ce qu’ils pensent ou ce qu’ils ressentent. Elles donnent des descriptions sous forme de texte.

Une grande partie de l’information qui figure dans les rapports de suivi-évaluation se fonde sur des chiffres. Les données quantitatives sont claires et précises et on considère souvent qu’elles sont plus vérifiables et donc plus scientifiques. Il sera toujours nécessaire de fournir ce genre d’information, mais pour certains aspects il faudra la compléter en demandant aux gens leur avis sur les résultats obtenus.
Le choix entre une méthode qualitative et une méthode quantitative (voir encadré 6-3) dépend non seulement de la nature de l’information recherchée, mais aussi des capacités et ressources disponibles, de l’utilisation prévue de l’information et du degré de précision requis (voir encadré 6-4).

Il n’y a pas d’opposition absolue entre les méthodes quantitatives et les méthodes qualitatives. Une grande partie des renseignements qualitatifs peuvent être quantifiés. Par exemple, on peut classer les opinions en différents groupes puis les compter et on obtient ainsi une information quantitative. En revanche, on ne peut jamais transformer l’information quantitative en information qualitative. On ne peut pas extraire une opinion d’un chiffre.

Choix entre des méthodes de travail en groupe et des méthodes d’enquête individualisées

Tout au long du processus de S&E, depuis sa conception jusqu’à l’analyse des données, on peut opter entre des méthodes de consultation de groupe ou de consultation d’individus (tableau 6-3). En travaillant avec des individus, on aura des renseignements plus détaillés, mais pour avoir une vue d’ensemble il faudra analyser les données issues de nombreuses personnes. Des méthodes de consultation de groupe donneront un point de vue plus collectif, et mettront en évidence les points de convergence et de divergence, mais il est probable qu’on obtiendra peu de renseignements sur les points de vue personnels. Le travail en groupe est plus exigeant pour le facilitateur, et la qualité de la discussion dépend de la taille du groupe, de l’harmonie entre ses membres et du thème traité. On trouvera à l’annexe D un ensemble de méthodes assez bien adaptées aux travaux de groupe (voir tableau 6-3).

Plus grand est le nombre de personnes associées à une étape du S&E, plus importante est la qualité de l’animation et de la planification. Les compétences du facilitateur déterminent en grande partie le succès de l’emploi d’une méthode. Les bons facilitateurs feront des suggestions, poseront des questions pour approfondir certains points, donneront des encouragements, réorienteront le débat et prendront des notes. De plus, ils peuvent aider à gérer les conflits en encourageant les participants à écouter et à comprendre le point de vue de chacun.

Tableau 6-3. Avantages et inconvénients des travaux en groupe et des travaux individuels

En quoi consiste une méthode participative?

Dans le cadre de nombreux projets, on souhaite associer davantage les bénéficiaires au S&E. On considère souvent qu’il suffit pour cela de recueillir des données auprès de la population locale au moyen de méthodes dites participatives.

On entend trop souvent par participation le simple fait d’utiliser les bénéficiaires comme source d’information, au lieu de les considérer comme des co-utilisateurs de l’information et donc comme des participants éventuels à l’analyse et à la conception des méthodes. Si c’est l’évaluateur qui choisit la méthode et l’emploie pour obtenir des renseignements de la population concernée, le processus n’est pas participatif, puisqu’il s’agit uniquement d’extraire de l’information. Cela n’est pas nécessairement un mal, mais si l’objectif est de réaliser une évaluation participative, les bénéficiaires doivent être associés au choix et à l’utilisation des méthodes.

On pense souvent qu’il y aurait un ensemble de méthodes “participatives” de S&E. Ce n’est pas le cas. Une méthode n’est pas en soi participative ou non participative. Tout dépend de la façon dont elle est employée et des personnes qui ont participé à son choix. Par exemple, une méthode technique employée pour évaluer la qualité de l’eau peut devenir participative si la communauté est associée au choix des critères définissant la qualité de l’eau, à la collecte des données et à l’analyse des résultats. En revanche, si une équipe d’évaluateurs demande à des groupes de paysans d’établir des cartes de leurs terroirs sans que ne soient débattus avec eux les éléments importants à mentionner sur cette carte et que cette équipe retourne ensuite dans les bureaux du projet faire la synthèse des différents schémas, les cartes finiront par disparaître à jamais dans les bureaux du projet sans qu’elles aient pu servir aux paysans à une quelconque analyse de leur situation. Même si ce sont les paysans qui ont établi les cartes, on ne peut pas parler dans ce cas de cartographie participative. On trouvera au point 2.6 des considérations générales sur les méthodes participatives de S&E.
Pour faire en sorte que le choix et l’utilisation des méthodes soient participatifs, il faut se poser les questions suivantes:

1. Pour quels aspects des méthodes de S&E la participation est-elle importante? Pour le choix ou la conception de la méthode, la collecte des données ou l’analyse?
2. Qui, dans l’idéal, devrait être associé au processus? Quelles sont les personnes qui ont besoin de participer à la sélection, à la conception ou à l’utilisation de la méthode? Dans l’idéal, ceux qui réalisent la collecte ou l’analyse des données devraient aussi être associés à la sélection et à la conception des méthodes. Cela peut concerner le personnel des partenaires de mise en œuvre, le personnel des projets, les bénéficiaires et les consultants.
3. Qui veut être associé à quoi? Certaines personnes n’ont pas le temps de participer au processus ou n’en ont pas envie. Cela n’est pas en soi un problème, car la participation de tous les intéressés n’est de toute façon pas possible. En revanche, il faut demander à ceux que vous aimeriez associer au processus s’ils s’en sentent capables et s’ils sont intéressés.
4. Quelles sont les conditions d’une participation réelle? Il ne peut pas y avoir de participation réelle si les gens n’ont pas confiance en eux-mêmes. Il faut donc que les intéressés se sentent libres de participer à la définition des méthodes, à leur expérimentation et à leur adaptation, à la collecte des données, etc. Pour cela, il peut être nécessaire d’assurer une formation ou un encadrement, de bien choisir le lieu et le moment, de libérer les participants d’un certain nombre de contraintes (prise en charge des enfants par exemple), etc.

6.2.3. Le choix des méthodes

Les étapes décrites ci-après peuvent donner des indications utiles pour le choix des méthodes les plus appropriées.

1. Définir clairement ce qu’on cherche à savoir. Le processus de décision de ce que l’on va suivre et évaluer est décrit dans le module 5. Avant de choisir une méthode, il faut s’accorder avec tous les intéressés sur la nature de l’information à rechercher.

2. Vérifier s’il n’y a pas d’autre groupe, personne ou organisation qui collecte déjà les données. Avant d’in-vestir dans la sélection d’une méthode de collecte et d’analyse des données, il faut se demander si l’information recherchée n’est pas déjà disponible et où elle se trouverait éventuellement (voir tableau 6-4). Les administrations publiques, les universités et les établissements de recherche ont souvent des données qui peuvent répondre à une partie des besoins d’information d’un projet. Il faut commencer par demander s’il existe des données dont vous pourriez avoir besoin concernant les villages, les bourgs, les chefs-lieux de district, etc., telles que la taille de la population, la morbidité, le produit de l’impôt, etc. Les méthodes employées seront nombreuses et variées, allant du recensement à l’échelle nationale à des méthodes de recherche très spécifiques. Il pourrait être utile de faire un inventaire des processus de collecte d’information existants, comme on l’a fait en Zambie dans le cadre d’un projet appuyé par le FIDA (voir tableau 6-4).

   Dans la mesure du possible, il faut contrôler les méthodes de collecte de l’information pour s’assurer qu’elles sont assez fiables. Il est parfois possible de modifier les méthodes de collecte de données d’autres organismes de façon qu’elles puissent mieux contribuer au suivi-évaluation du projet. Toutefois, s’il apparaît impossible d’améliorer la qualité des données, ou s’il est trop difficile d’y accéder, il faudra envisager de collecter les données soi-même.

3. Bien déterminer le degré de précision nécessaire. Il est toujours souhaitable d’avoir la plus grande précision possible. Toutefois, dans certains cas, les chiffres précis ou les opinions détaillées obtenus à partir d’un échantillon représentatif ne sont pas nécessaires, une impression générale suffit. Par exemple, on peut choisir de faire 50 mesures dans les champs des paysans pour déterminer le rendement exact. Mais il se peut qu’on ait seulement besoin de savoir si la plupart des agriculteurs sont satisfaits des rendements obtenus et, pour cela, il peut être suffisant d’avoir des entretiens avec plusieurs chefs d’exploitations.

4. L’information cherchée est-elle une information spécialisée? Si c’est le cas, il faut demander conseil à un spécialiste ou se procurer une documentation détaillée avant de choisir la méthode. Cela vaut par exemple pour les analyses coût-avantages et l’établissement de cartes sur la base d’un système d’information géographique (voir méthodes 7 et 19 à l’annexe D). Il faut avoir l’avis d’un expert pour déterminer si pour le projet concerné il est utile d’employer ces méthodes relativement complexes et coûteuses.

5. Définir clairement les tâches à accomplir. Il faut par exemple identifier les méthodes adaptées pour recueillir, structurer, analyser, synthétiser ou diffuser l’information. Il faut également déterminer si les informations nécessaires sont quantitatives, qualitatives ou les deux. Il faut aussi se demander si l’on doit interroger des individus ou des groupes. Enfin, il faut se demander quelles sont les préférences et les capacités de communication des intéressés, car cela détermine le choix du moyen: rapport écrit, communication orale, communication visuelle et/ou mise en scène.

Tableau 6-4. Extraits d’un inventaire des données utiles pour un projet en Zambie déjà recueillies par d’autres acteurs²

6. Décider dans quelle mesure le processus de collecte et d’analyse des données doit être participatif et, par conséquent, s’il faudra travailler avec des individus, des groupes ou les deux. Différents acteurs peuvent être associés à la collecte des données et à l’analyse des informations à des degrés variables. Il faut bien définir pourquoi on recherche une plus grande participation. La participation doitelle assurer la cohérence du traitement ou le partage de l’analyse? La réponse à ces questions aura une incidence sur le choix de la méthode. Par exemple, une analyse coût-avantages n’a d’intérêt que pour qui a une formation économique. Si l’on élabore un système de S&E qui devra être mis en œuvre et géré par des groupes de microcrédit, les questionnaires devront être élaborés par ces groupes eux-mêmes, et il faudra qu’ils possèdent les capacités nécessaires pour en analyser les résultats.

7. Il faut décider si l’on travaillera sur un échantillon ou si l’on recherchera des données exhaustives. Si l’on travaille sur un échantillon, il faut fixer la taille de l’échantillon et choisir une méthode d’échantillonnage appropriée. Il est souvent impossible d’obtenir des données de l’ensemble de la population concernée. Il faudra travailler sur un échantillon si la population est trop importante, si le temps disponible est très limité ou si l’on manque de ressources. Du bon choix de l’échantillon dépendra la validité des constatations qui seront faites et la possibilité de les employer utilement dans le cadre du projet.

• Déterminer la taille de l’échantillon. La taille optimale d’un échantillon ne dépend pas seulement de l’importance de la population étudiée. D’autres facteurs, tels que les ressources disponibles, le nombre de sous-groupes à analyser et le temps disponible, sont au moins aussi importants. On trouvera plus de précisions au point D.1.
• Définir la base de sondage, c’est-à-dire identifier les caractéristiques de la population que vous voulez étudier (par exemple tous les ménages d’un village, certains villages dans un canton, certaines parcelles dans une forêt). Le point D.1 dans l’annexe D vous donnera plus de précisions.
• Choisir le type d’échantillon. Il y a deux options (voir méthodes 1 et 2 à l’annexe D). Les méthodes d’échantillonnage aléatoires donnent à chaque individu d’une population une chance égale d’être sélectionné. Les méthodes non aléatoires impliquent une sélection plus délibérée, et s’emploient en particulier lorsqu’on a besoin de connaître certaines opinions ou de faire des comparaisons. On peut combiner ces deux options (voir encadré 6-5).

8. Peut-on opter entre plusieurs méthodes ou n’en existe-t-il qu’une seule? Dans certains cas, le genre d’in-formation recherchée ne peut manifestement être obtenu que d’une seule manière. Par exemple, pour savoir combien de tortues ont pondu sur une plage, il faut se rendre sur place et compter. Cependant, en général, il existe plusieurs options.

9. Établir une liste des options et faire un premier choix. Une fois déterminés les objectifs que la méthode doit permettre d’atteindre, il faut faire une liste de toutes les options et choisir celle qui paraît le mieux correspondre aux objectifs et aux différentes contraintes de ressources, de temps, de compétences disponibles etc.

   Le choix de la méthode dépendra beaucoup de la nature de l’information requise, des compétences de ceux qui la collecteront et du degré de précision souhaité. Il faut aussi veiller à ce que les méthodes soient complémentaires pour obtenir toutes les informations recherchées et pour pouvoir faire des contrôles. Par exemple, un plan de gestion des ressources forestières peut néces siter des cartes SIG (méthode 19), une cartographie des ressources (méthode 17) et des transects (méthode 18) pour recueillir des informations sur les ressources forestières, une analyse des tendances historiques pour comprendre l’évolution de l’utilisation et de la propriété des forêts, un diagramme d’analyse institutionnelle (méthode 27) pour l’analyse des acteurs concernés, et différentes méthodes de discussion (méthodes 11 à 16) pour comprendre les priorités et la dynamique locales.

   Il est essentiel de choisir des méthodes appropriées aux spécificités de leurs utilisateurs. Le tableau 6-5 indique dans quelle mesure différentes méthodes d’évaluation de l’érosion du sol sont appropriées pour différents utilisateurs. En particulier dans le cas du suivi participatif, il faut choisir des méthodes pouvant être intégrées dans les activités quotidiennes des participants, car il est peu probable que ceux-ci seront rémunérés pour ces tâches. La négociation avec les participants peut mettre en évidence la nécessité d’élaborer des méthodes spécifiques (voir encadré 6-6). Dans la mesure du possible, il faut que la collecte, l’analyse et l’utilisation de l’information soient confiées aux mêmes personnes, qui doivent comprendre la ou les méthodes employées et y adhérer.

Tableau 6-5. Degré auquel différentes méthodes d’évaluation de l’érosion du sol sont appropriées pour différentes parties prenantes⁴

10. Pour s’assurer qu’on a choisi la bonne méthode pour la tâche à accomplir, on peut employer la liste de contrôle suivante⁶:

• Faisabilité. Disposez-vous des compétences et des équipements nécessaires pour appliquer la méthode? La méthode peut-elle vraiment aider à répondre aux questions ou à mesurer les indicateurs souhaités? Disposez-vous de suffisamment de temps? Pouvez-vous couvrir la zone géographique concernée? Quelle est la distance qui sépare les personnes impliquées et quelles sont les connaissances linguistiques requises? L’appui technique et la formation fournis sont-ils suffisants?
• Adéquation. La méthode est-elle adaptée à la situation du projet? Tous les intéressés sont-ils d’ac-cord sur l’adéquation de la méthode et la comprennent-ils bien? L’unité d’analyse est-elle adaptée à la méthode?
• Validité. Les personnes qui emploieront l’information considèrent-elles que la méthode est valide, c’est-à-dire qu’elle permet de mesurer l’indicateur souhaité avec assez de précision?
• Fiabilité. La méthode fonctionnera-t-elle au moment où on en aura besoin? Différentes méthodes seront-elles utilisées pour vérifier les données recueillies, si le fait de n’en employer qu’une seule risque de fausser l’information?
• Pertinence. La méthode donne-t-elle les renseignements requis? Complète-t-elle l’approche fondamentale du projet?
• Sensibilité. La méthode permet-elle de détecter des variations minimes des données? Peut-elle être adaptée à l’évolution de la situation sans trop perdre de sa fiabilité?
• Rapport coût-efficacité. Les ressources financières disponibles sont-elles suffisantes? La méthode permettra-t-elle d’obtenir des informations utiles pour un coût modique ou existe-t-il une autre méthode moins chère qui fournirait une information de qualité suffisante?
• Délai. Le délai entre la collecte des données, l’analyse et l’utilisation de l’information est-il acceptable? Les méthodes sont-elles compatibles avec l’ampleur du travail quotidien? Y a-t-il possibilité d’intégrer la mise en œuvre des méthodes à d’autres tâches quotidiennes?

11. Valider la méthode. Il faut tester toutes les méthodes de S&E, avant de les appliquer, pour s’assurer qu’elles sont réalistes et qu’elles fourniront le genre d’information qu’on recherche. La validation est particulièrement nécessaire avant des opérations importantes de collecte de données. Elle consiste à faire un essai avec un petit nombre d’acteurs similaires à ceux auxquels on s’adressera pour obtenir les données. Il faut vérifier que les questions sont claires et mesurer le temps nécessaire pour interroger une personne ou un groupe. Il faut adapter la méthode en fonction des résultats de l’essai. Il peut être nécessaire de prévoir une formation supplémentaire si la méthode semble requérir des compétences que les personnes appelées à l’employer ne possèdent pas.

12. Déterminer la fréquence. Le suivi exige l’application réitérée d’une méthode, ce qui permet de faire des comparaisons, par exemple en actualisant une carte (méthode 17) tous les six mois ou en organisant une réunion de groupe (méthode 12) pour voir si les opinions ont évolué. Pour que les constats soient fiables et les comparaisons éclairantes, il est indispensable d’appliquer les méthodes de manière identique à chaque fois.

Back to Top

6.3. La collecte des données sur le terrain

6.3.1. Préparation et planification de la collecte des données

Après avoir choisi et validé la méthode, certains préparatifs sont encore nécessaires avant de commencer la collecte des données.

Examiner soigneusement les modalités de sélection des enquêteurs et des animateurs. Deux types d’agents de terrain sont nécessaires: des enquêteurs pour recueillir les données et des facilitateurs pour conduire les discussions en groupe et l’analyse. L’enquête et l’animation de groupe exigent deux grands types de compétences complémentaires. Il faut se demander si les facteurs suivants peuvent avoir une incidence sur la compréhension de certains thèmes par les facilitateurs ou enquêteurs ou leur acceptation par les personnes qu’ils ou elles sont appelés à rencontrer: âge, sexe, statut dans la communauté, origine, niveau d’éducation, niveau socioéconomique, personnalité et attitude, langue, religion et coutumes. Il faut sélectionner les personnes les mieux adaptées aux tâches à accomplir et aux interlocuteurs avec lesquels elles auront à s’entretenir.

Répartition des tâches de collecte et d’analyse entre différentes personnes et mesures nécessaires pour limiter les erreurs. Le nombre de personnes associées à chacune des étapes du cheminement des données aura une influence sur leur cohérence et leur exactitude. Plus grand est le nombre de personnes qui interviennent, plus il faut une organisation solide, et plus on augmente le risque d’inexactitude et d’incohérence des données. Il faut prévoir les mesures nécessaires pour faire en sorte que les agents qui interviennent sur le terrain opèrent de façon cohérente dans la collecte des données ou l’ani-mation des groupes, et des méthodes de vérification des données (voir 6.3.2).

Vérifier que ceux qui appliqueront les méthodes les comprennent bien. Il faut que chaque méthode soit validée et que les personnes qui seront appelées à les appliquer s’entraînent. Un stage de formation méthodologique doit être organisé pour expliquer les objectifs de la collecte et de l’analyse des données, décrire chaque méthode, apporter les compétences nécessaires au travail en groupe et aux entretiens, et expliquer les outils d’enregistrement des informations.

Compétences linguistiques. Dans l’idéal, il faudrait que les agents de terrain parlent la langue du groupe cible ou soient accompagnés d’un interprète fiable. Il faut prévoir du temps pour vérifier les éventuelles traductions et, si possible, pour former les traducteurs à l’utilisation de certaines méthodes de S&E. Il faut traduire clairement tous les documents avant de commencer le travail de terrain. Pour s’assurer qu’une méthode inhabituelle, comme l’emploi d’une matrice de notation (méthode 32, annexe D), est correctement traduite, on peut demander à un locuteur de la traduire puis demander à une autre personne de la retraduire dans la langue de départ. On peut ensuite examiner les deux versions avec les personnes chargées de la collecte des données pour s’assurer qu’elles les comprennent et leur demander de commenter les nuances qui sont apparues entre les deux versions.

Préparer l’application de chaque méthode. Chaque méthode exigera des préparatifs spécifiques (voir encadré 6-7). Il faut bien veiller à organiser le matériel, et notamment à prévoir une réserve suffisante de fournitures pour la mesure et l’enregistrement des informations (stylos ou crayons pour remplir les formulaires ou répondre aux questionnaires, carnets, stylos feutres pour écrire sur des tableaux à feuilles mobiles, accumulateurs pour les ordinateurs portables ou les magnétophones, etc.).

6.3.2. Obtenir une information fiable

Pour être fiable, l’information doit être cohérente. Il faut donc se demander quelles pourraient être les causes d’incohérence. Des erreurs s’introduisent dans le système lorsque, par exemple, les agents de terrain n’enregistrent pas fidèlement les réponses, que les personnes qu’on a choisies d’inter-roger ne sont pas les meilleures sources d’information, ou que le personnel de terrain ne comprend pas bien l’objectif de la collecte de données. On peut distinguer deux types fondamentaux d’erreurs dans les données, les erreurs d’échantillonnage et les erreurs non liées à l’échantillonnage.

L’erreur d’échantillonnage se produit lorsque l’échantillon a été mal choisi (voir point 6.2.3 et point D.1 de l’annexe D). Elle correspond à la différence qu’il y a entre l’estimation fondée sur le sondage et la valeur qu’on aurait obtenue en faisant un recensement complet. Par exemple, si le taux de réponse d’un échantillon est de 30%, l’erreur d’échantillonnage permet d’estimer avec quelle précision l’échantillon représente les 30% de la population qu’il est censé représenter. Il y a des erreurs d’échantillonnage lorsque les données recueillies ne sont pas représentatives de la population cible. Casley et Kumar (1988) donnent une liste des types de ménages qu’il est courant d’omettre lorsqu’on établit un échantillon, ce qui entraîne des erreurs systématiques: les ménages isolés ou inaccessibles, ceux dont certains membres sont fréquemment absents (travailleurs migrants), les familles monoparentales et les membres des minorités ethniques (qui sont souvent marginalisés dans un village). Voir le point D.1 au sujet des méthodes d’établissement d’un échantillon. Il n’y a pas d’erreur d’échantillonnage en cas de recensement, par exemple lorsque tous les groupes de microcrédit appuyés par un projet sont enquêtés. Comme tous les intéressés ont été interrogés, s’il y a des erreurs, elles ne peuvent être que non liées à l’échantillonnage.

Les erreurs non liées à l’échantillonnage sont les plus courantes et les plus diverses. En connaître les causes les plus fréquentes permet de les limiter.

• Partialité de l’enquêteur. Un enquêteur peut avoir une influence sur la façon dont la personne interrogée répond à ses questions. Cela peut se produire par exemple si l’enquêteur est trop ami-cal ou trop distant, ou encore s’il oriente la réponse. Les erreurs de ce genre peuvent aussi être dues à une culture institutionnelle qui décourage le signalement des problèmes tels qu’un degré de mise en œuvre insuffisant par exemple. Il faut que les agents de terrain aient non seulement les capacités nécessaires, mais aussi qu’ils soient incités à mener leur travail avec rigueur et précision (voir le module 7 pour plus de détails sur les incitations).

• Des méthodes inadaptées. Les erreurs peuvent être dues à la complexité des méthodes de collecte des données, à l’ambiguïté des questions, au fait que les questions ne sont pas adaptées aux méthodes, etc.

• Les erreurs de traitement. Il peut y avoir des erreurs de codage, de saisie des données ou de programmation informatique, et des erreurs dues à l’insuffisance de la vérification.

• Biais de non-réponse. Certaines questions sont parfois difficiles à comprendre pour certaines personnes. Si une proportion importante de la population ne répond pas à une question donnée, les résultats peuvent être biaisés du fait que les caractéristiques de ceux qui n’ont pas répondu peuvent être différentes de celles de ceux qui ont répondu.

Les erreurs non liées à l’échantillonnage peuvent se produire à toutes les étapes d’une enquête ou d’un recensement et, contrairement aux erreurs d’échantillonnage, il est en général difficile de les mesurer, en raison de la diversité de leurs sources (enquêteurs, personnes interrogées, opérateurs de saisie, etc.).

L’inexactitude des données peut être attribuée à plusieurs causes d’erreur. Par exemple, dans le cadre d’un projet de microcrédit en Inde, les partenaires d’exécution avaient l’impression que les données recueillies étaient inexactes en partie à cause de la lourdeur et de la complexité du processus. En outre, les ONG doutaient que les groupes locaux aient les capacités nécessaires pour compléter avec précision les formulaires de suivi qui étaient très longs. Enfin, il y avait une forte rotation des agents de terrain, ce qui était dû essentiellement à l’insuffisance des salaires versés, et se répercutait inévitablement sur la cohérence de la collecte des données. Les ONG craignaient que si les données brutes étaient erronées, les erreurs se multiplieraient lorsqu’on rassemblerait l’infor-mation provenant des différents groupes et des différents membres du personnel pour faire des synthèses, ce qui donnerait une idée fausse des progrès accomplis et de l’impact obtenu.

Comment éviter les erreurs non liées à l’échantillonnage dans la collecte des données?

Il est possible d’éviter ou de limiter de nombreuses causes d’erreurs. Le tableau 6-6 donne une liste de mesures qu’on peut prendre pour limiter les erreurs les plus courantes.

Tableau 6-6. Erreurs couramment commises dans la collecte des données et moyens de les limiter

Vérification de la validité des données obtenues

La validité des données doit être vérifiée de temps à autre pour s’assurer qu’elles sont utiles et fiables et qu’elles permettent vraiment d’évaluer les progrès de l’intervention et les processus en cours.

Les étapes essentielles auxquelles des contrôles aléatoires doivent être effectués sont les suivantes:

• au début de tout projet, si des données déjà recueillies par d’autres sont utilisées. Il faut s’infor-mer sur leur provenance et les personnes ou institutions qui les ont recueillies ainsi que sur les méthodes et normes qu’elles ont employées;
• lorsqu’on emploie une nouvelle méthode;
• lorsqu’il y a une concordance parfaite entre les objectifs chiffrés et les données recueillies;
• lorsque de nouveaux personnels ou de nouveaux partenaires de mise en œuvre sont intégrés au projet.

Lorsque la collecte de données paraît se dérouler sans aucune difficulté, il faut creuser sous la surface pour vérifier s’il n’y a vraiment pas de problème. Les problèmes sont inévitables et leur absence peut être un indice de leur camouflage. Il faut être attentif aux données suspectes et faire des investigations lorsqu’on soupçonne un problème.

• Données trop exactes. La concordance entre les données et les objectifs, si elle est trop parfaite, est suspecte. Dans le cadre d’un projet appuyé par le FIDA en Asie, on a observé d’importants écarts entre les rapports établis par les différents pays concernés. La plupart des pays considèrent les objectifs inscrits dans les rapports d’évaluation comme obligatoires et font tout leur possible pour les atteindre. Ils ne présentent un rapport que lorsque les réalisations sont proches de 100% des objectifs. Par exemple, dans deux pays, les rapports d’évaluation 1996 indiquaient que presque toutes les activités avaient été réalisées à 100%. Dans un autre projet, une analyse faite en 2001 des données relatives aux paramètres physiques a montré qu’elles concordaient exactement avec les objectifs chiffrés, pour chaque mois et chaque paramètre. À l’évidence, ces données ne sont pas fiables.

• Variation subite et importante des données. Dans le Nord-Est du Brésil, une ONG qui contrôlait le taux d’adoption du labour suivant les courbes de niveau a constaté une énorme augmentation de ce taux. Comme l’ONG n’avait pas beaucoup formé les paysans à cette technique, elle a pensé que ces données étaient suspectes. Elle a entrepris des recherches ciblées dans plusieurs communautés pour vérifier leur exactitude. Il s’est révélé que les données étaient bien exactes, mais que l’adoption de cette technique avait été due au développement de la traction animale. Les animaux ne peuvent pas tirer une charrue selon les lignes de pente, et par conséquent le labour selon les lignes de niveau a été un des effets secondaires du développement de la traction ani-male⁷.

• Lacunes dans les données. Lorsqu’il y a un fort taux de non-réponse à une question, cela peut-être dû à des erreurs de réponse ou au choix d’une méthode inadaptée.

Moyens de vérification des données

Dans chaque projet, il faut trouver des moyens d’intégrer la vérification dans le processus de collecte des données. Certains projets vérifient les données eux-mêmes, d’autres sous-traitent la vérification à une administration compétente ou à des consultants spécialisés sur les thèmes concernés.

Si l’on veut vérifier les données soi-même, il importe de recueillir les mêmes genres de données à partir de sources différentes et au moyen de méthodes différentes. Par exemple, on peut tout simplement poser les mêmes questions à différents groupes ou comparer les résultats donnés par une carte et par un transect de la même zone.

Il faut reconnaître que la vérification des données quantitatives est plus simple que celle des données qualitatives. Ainsi, de nombreuses méthodes de mesure biophysique indiquent comment calculer le degré de représentativité des données. Ce n’est pas le cas pour les données qualitatives. Une des solutions est de bien utiliser la restitution des résultats auprès des acteurs à la base en leur demandant de les commenter et de faire des suggestions.

6.3.3. L’enregistrement des données

Les agents de terrain doivent non seulement savoir comment conduire des entretiens et animer des débats mais aussi comment enregistrer les réponses. Il existe de nombreuses méthodes d’enregistre-ment des données qui dépendent en grande partie de la méthode de collecte. Dans certains cas, des formulaires ou des tableaux sont remplis, dans d’autres un magnétophone ou un magnétoscope est employé, des fiches ou des tableaux à feuilles mobiles sont utilisés pour noter les réponses à moins que ce ne soit un cahier pour la prise de notes détaillées.

Quelle que soit la méthode d’enregistrement retenue, il faut veiller à enregistrer les données de façon cohérente, faute de quoi il sera difficile de les comparer et de les analyser. Il faut aussi étudier les incidences que la méthode aura sur le stockage de l’information (voir point 6.4.4 pour plus de précisions). Il faut se demander où et comment seront stockées les données de façon à ce qu’elles soient en sécurité et accessibles. Cela aura une incidence sur la méthode d’enregistrement. L’encadré 6-8 décrit un exemple d’enregistrement quotidien de données qui peuvent ensuite être employées pour établir des rapports sur l’avancement du projet.

L’emploi de formulaires bien conçus aide à assurer la cohérence de l’enregistrement des données. Il faut que les formulaires décrivent clairement les indicateurs de S&E choisis (par des mots, des graphiques ou des symboles, ou sous la forme d’une question) et laissent suffisamment de place pour l’inscription des données. Il faut prévoir des espaces pour inscrire au minimum:

• la date, le lieu, l’heure et la durée de l’entretien ou du débat;
• le nom de l’enquêteur ou de l’animateur;
• le nom des participants;
• les thèmes examinés et les méthodes employées;
• les constats essentiels, soit selon un format prédéterminé (voir encadré 6-9), soit au moyen de mots clés et de descriptions si la méthode de collecte des données est moins structurée.

Lorsqu’on emploie des graphiques comme base de discussion (voir D.4, D.5, D.6 et D.7), il faut bien veiller à prendre des notes supplémentaires car le graphique lui-même ne permettra jamais de saisir toutes les opinions et conclusions importantes.

Si le suivi est confié à des groupes locaux, il faut prendre en compte leurs capacités lors de l’élabo-ration des formulaires d’enregistrement des données. Par exemple, dans le cadre d’un projet de crédit, les groupes d’entraide ont élaboré un système de codage pour faire en sorte que tous leurs membres puissent participer au processus périodique d’auto-évaluation. Comme de nombreux membres sont analphabètes, les questions sont illustrées par des symboles et les trois niveaux d’évaluation correspondent chacun à une couleur différente.

Back to Top

6.4. Structuration, analyse et stockage de l’information

Une fois que les données sont recueillies, il faut les structurer de façon à pouvoir les analyser efficacement. Pour cela, il faut les transcrire sous une forme systématique, saisir les renseignements obtenus de chaque personne ou groupe interrogé et les organiser dans une structure globale, par exemple une base de données informatisée.

6.4.1. Comment structurer l’information

Il faut structurer l’information dans les cas suivants:

• Lorsque des données sont rassemblées à un échelon supérieur à celui auquel elles ont été recueillies, par exemple pour faire une synthèse des différents entretiens afin de donner un aperçu des progrès d’un groupe de microcrédit, ou pour rassembler toutes les informations recueillies au niveau des villages afin de réaliser une analyse au niveau du département;

• Lorsque l’information a été recueillie auprès de différentes sources avec des méthodes différentes, afin de pouvoir faire des comparaisons et déceler des similarités.

La structuration de l’information nécessite un format adapté. Avec certaines méthodes, le processus est très simple. Par exemple, il peut suffire de saisir dans un programme statistique les données chiffrées en suivant le formulaire ou le questionnaire employé lors de la collecte. Dans le cas de données statistiques, la structuration permet de faire une synthèse des nombreuses données recueillies sous forme de tableaux clairement libellés. Ces tableaux doivent récapituler les constatations faites en réponse à la question relative aux résultats obtenus. Par exemple, ils doivent faire apparaître les tendances locales si l’on cherche à savoir comment l’impact varie selon la communauté ou le canton.

La structuration de données qualitatives nécessite un soin particulier et des compétences analytiques spéciales (voir encadré 6-10). L’encadré 6-11 décrit les étapes essentielles à suivre pour structurer des réponses à des questions non structurées. Nous examinerons ce processus plus en détail au point 6.4.2.

6.4.2. Pourquoi analyser les données de suivi-évaluation?

L’analyse des données du S&E répond à plusieurs objectifs:

• Mieux comprendre – examiner les données brutes avec les acteurs concernés permet d’affiner la compréhension;
• Limiter les biais – si l’analyse de l’information est approfondie avec les différents acteurs, ceuxci pourront faire des observations lorsqu’ils ont l’impression qu’une question a été mal traitée;
• Donner une image claire d’une situation, d’un événement ou d’un processus et forger un consensus – lorsque les données sont examinées collectivement, les contradictions et les lacunes peuvent être décelées et par la suite résolues ou comblées;
• Renforcer l’appropriation collective des conclusions et inciter les intéressés à s’investir davantage dans le projet – dans le cadre du S&E participatif.

L’analyse des données du S&E est étroitement liée à réflexion critique. Le module 8 donne de nombreuses suggestions sur les moyens de stimuler la réflexion critique et de rédiger des rapports analytiques.

Se demander qui doit être associé à l’analyse. Savoir qui interprétera les données est essentiel dans l’analyse participative. Souvent, une collecte très participative cède la place à une analyse faite exclusivement par le personnel du projet. Cela se justifie parfois, car certains aspects de l’analyse et de la synthèse peuvent être très contraignants pour les différents acteurs impliqués, les bénéficiaires en particulier. Il y a cependant d’énormes différences entre un rapport descriptif superficiel, et une analyse fondée sur une compréhension commune des motivations des acteurs concernés, qu’il s’agisse des villageois, des responsables politiques ou du personnel technique.

Le choix d’une méthode d’analyse. Le choix d’une méthode d’analyse dépend de différents facteurs, notamment du caractère plus ou moins participatif du processus, de l’outil employé pour structurer et analyser les données (par exemple un ordinateur) et du genre de données recueillies. S’il s’agit de données qualitatives, l’analyse consistera à rechercher des similitudes dans les descriptions et à les expliquer (6.4.3). Dans le cas des données quantitatives, l’analyse sera fondée sur les méthodes statistiques et servira à dégager des tendances, exprimées en pourcentages ou en ratios. Dans les deux cas, il faudra comparer les objectifs et les résultats atteints pour comprendre les écarts, faire des comparaisons entre différentes zones géographiques ou entre différents groupes, ou simplement suivre l’évolution dans le temps.

Bon nombre des méthodes décrites à l’annexe D peuvent être employées pour l’analyse des données. Par exemple, si l’on opte pour un processus plutôt participatif, il est utile de consulter la section D.3 qui décrit des méthodes de discussion, la section D.6 consacrée à l’analyse des relations et des liens et la section D.7 consacrée à la hiérarchisation et à la définition des priorités.

6.4.3. Analyse des données quantitatives et qualitatives⁹

Le personnel des projets est souvent plus familier avec l’analyse des données quantitatives qu’avec celle des données qualitatives. L’analyse des données quantitatives implique des calculs, par exemple le calcul d’un total ou d’une moyenne, ou encore d’un taux de réalisation, mais elle ne se limite pas à cela. Une analyse statistique plus élaborée peut être nécessaire, par exemple lorsqu’on fait une analyse coût-avantages (voir annexe D). Un examen des différentes méthodes d’analyse statistique sortirait du cadre du présent guide et nous mettrons l’accent sur le traitement des données qualitatives.

L’analyse de données qualitatives est très différente de l’analyse de données quantitatives et peut être plus difficile lorsqu’on n’est pas habitué à analyser des opinions et des réponses à des questions non structurées. Le processus consiste à définir des catégories de réponses dans les données brutes.

Associer les enquêteurs à l’analyse. Il faut que tous les enquêteurs et animateurs qui recueillent des données de S&E, qu’ils fassent partie du personnel du projet, de celui d’un opérateur, ou qu’ils soient bénéficiaires, participent aux séances d’analyse des données qualitatives. En raison de la nature de ces données, il est essentiel que les personnes présentes au moment où elles ont été recueillies participent à leur analyse. Les discussions non structurées révèlent de nombreux éléments que les facilitateurs peuvent repérer et qui aident à l’interprétation des données.

Recueillir et analyser simultanément les données qualitatives. La collecte de données qualitatives doit déclencher un processus de réflexion itératif. Les informations tirées d’une discussion ou d’un entretien indiquent quels sont les aspects qu’il faut approfondir. Par conséquent, l’analyse d’une série d’entretiens peut indiquer qu’il faudra apporter à la méthode et au contenu des entretiens ultérieurs. Il faut analyser immédiatement les données qualitatives car il est impossible de prendre note de tout ce qui est dit dans un débat non structuré. D’autres renseignements, par exemple concernant la dynamique du groupe et son influence sur le débat, ne seront pas consignés, mais ils sont essentiels pour l’interprétation des données. Par conséquent, plus vite on procède à l’analyse, plus il est facile de ne pas oublier les aspects qui n’ont pas été consignés.

Structurer l’analyse autour des différents indicateurs de résultat et des différentes catégories de personnes interrogées. Par exemple, si le personnel de S&E a conduit des entretiens individuels avec deux chefs paysans et avec le conseil villageois le même jour, il faudra analyser les deux séries de données séparément. Durant l’analyse, les évaluateurs devront peut-être revenir sur les indicateurs de résultats afin de préciser les objectifs des discussions.

Les cinq étapes de l’analyse des données

1. Il faut relire les questions aux membres du groupe, afin de rappeler à chacun l’objectif du travail de S&E.
2. La personne qui a pris les notes doit lire à haute voix les réponses données à chaque question. S’il y a plusieurs séries de notes, il faut donner lecture de chacune.
3. Il faut examiner les réponses et faire part des éventuelles observations qui n’ont pas été enregistrées par écrit, afin de préciser ce que les personnes interrogées voulaient dire.
4. Regrouper les réponses et résumer les conclusions. Il faut collectivement définir des catégories de réponses parmi les données recueillies et rédiger des conclusions concises. Le résumé doit indiquer dans quelle mesure les attitudes ou les idées exprimées étaient partagées par les personnes interrogées (toutes, la majorité, la moitié, une minorité ou seulement quelques-unes). Même si l’on ne peut pas quantifier les différentes réponses, il faut donner des ordres de grandeur et indiquer les évolutions.
5. Repérer les données confuses ou les lacunes. Il faut déterminer si elles doivent faire l’objet d’une étude plus approfondie par la suite.

6.4.4. Stockage des informations relatives au suivi-évaluation

Pour garantir la communication, la transparence, le consensus et la continuité des processus participatifs, il est essentiel que les informations soient conservées. Les archives sont une source de mémoire institutionnelle à laquelle les nouveaux venus peuvent avoir recours. Par ailleurs, beaucoup d’informations issues d’un projet peuvent également intéresser un ou plusieurs autres projets. Il faut donc des systèmes pour stocker les données et les rendre accessibles à autrui.
En vue du stockage de l’information, il faut se poser quatre questions (voir aussi point 7.5).

1. Quelles informations faut-il archiver?

Conserver des informations est nécessaire pour orienter la stratégie du projet et pour suivre les activités. En principe, toutes les informations du S&E doivent être archivées sous une forme ou une autre. Analyse des acteurs, bilans annuels, bases de données sur les bénéficiaires, évolution du contexte, effets inattendus, procès verbaux de réunions, etc., la liste devient très vite longue. Étant donné l’ampleur des informations et les contraintes du stockage, il est obligatoire de s’interroger sur ce qu’il est véritablement intéressant de conserver. Pour cela, il faut se demander quelles sont les informations qui doivent être transmises, et à qui, pour la prise de décision et l’établissement de rapports.

2. Qui doit avoir accès à l’information et quand?

La méthode d’archivage dépend aussi de la nature des personnes qui doivent avoir accès à l’infor-mation et de la fréquence de cet accès. Les chefs de projet et les cadres des partenaires de mise en œuvre, les membres des comités directeurs, les représentants des bénéficiaires et les organismes de financement doivent absolument disposer des informations pour orienter la stratégie du projet. Les agents de terrain, les responsables des différentes composantes du projet et les principales parties prenantes ont besoin de renseignements opérationnels.

Il faut examiner quelles sont les compétences des utilisateurs et les modes de communication avec lesquels ils se sentent à l’aise.

Les documents ne doivent être archivés qu’aux endroits où ils auront des utilisateurs. Ce principe est particulièrement important dans le cas des données brutes sur papier, telles que les graphiques. Les schémas et croquis ne doivent pas être copiés, distribués et stockés à tous les échelons. Seules les personnes qui seront amenées à s’en servir doivent les avoir à leur disposition. De manière générale, il est toujours préférable de laisser les originaux à ceux qui les ont produits.

3. Sous quelle forme l’information doit-elle être stockée – documents sur papier ou fichiers informatiques centralisés?

Plus grand est le nombre de personnes qui ont besoin d’une information, plus il est préférable de l’informatiser. Toutefois, il n’est pas toujours possible de saisir toutes les données recueillies au niveau local, soit parce que les partenaires de mise en œuvre et les bénéficiaires n’ont pas accès à un ordinateur ou à un réseau électronique, ou n’ont pas les compétences nécessaires.

4. Réévaluer régulièrement les informations qu’il faut conserver et ce dont on peut se débarrasser

Un système de stockage de données sera rapidement saturé s’il n’est pas régulièrement mis à jour. Cela vaut aussi bien pour les archives sur papier que pour les données informatisées. Il est plus facile d’archiver des données informatisées de façon peu encombrante mais accessible. Il suffit de faire des copies de sauvegarde et de les stocker dans un lieu sûr, en dehors du disque dur.

Dans le cas des documents sur papier, il est plus difficile de décider ce qu’il faut conserver ou non. Il faut veiller à conserver tous les documents dont l’archivage est requis par la loi, tels que les documents fiscaux et des documents financiers nécessaires pour les audits, pendant la période prescrite, variable selon le pays. Il faut aussi conserver un exemplaire de tous les documents nécessaires au suivi de l’évolution du projet, tels que les données de base, les résumés sur l’avancement de la mise en œuvre et les données intérimaires sur l’impact.

Back to Top

6.5. Comment communiquer les conclusions du suivi-évaluation en vue de l’action et de l’obligation de rendre compte

6.5.1. Pourquoi communiquer les conclusions du suivi-évaluation?

Les conclusions du suivi-évaluation peuvent intéresser de nombreux publics. Les rapports d’avance-ment du programme de travail et budget s’adressent aux organismes de financement, aux comités de pilotage, aux institutions coopérantes et aux partenaires de mise en œuvre. Les bénéficiaires doivent savoir globalement comment le projet avance et il faut leur donner la possibilité de réagir aux premières constatations. Les organismes de financement et les cadres ont besoin de renseignements sur l’impact des projets, et tous les partenaires de mise en œuvre doivent avoir les moyens de comprendre les problèmes de façon à y trouver des solutions.

Il faudra communiquer deux catégories de conclusions du S&E. Premièrement, il est bon d’exa-miner les grands axes des conclusions avec les partenaires de mise en œuvre et les bénéficiaires afin de valider les données, de formuler des conclusions communes et de s’accorder sur les étapes suivantes. Une fois les conclusions approuvées, elles peuvent être transmises aux organismes de financement, aux institutions coopérantes, aux administrations nationales compétentes et aux responsables d’autres projets. Ces conclusions finales doivent répondre aux obligations de rendre compte, mais elles peuvent aussi être employées à des fins de négociation.

6.5.2. Planification de la communication des conclusions

Connaître les destinataires

Déterminer qui aura besoin de recevoir quel genre d’informations relatives au suivi-évaluation doit se faire avec les différents acteurs concernés. Le tableau 6-7 indique les besoins d’information des différents destinataires en ce qui concerne un projet PAM mené en Chine. Il indique quelles sont les données et les conclusions que le système de S&E doit produire et à qui elles sont destinées. Il convient de noter que ce tableau concerne la communication nécessaire pour que le projet respecte son devoir de redevabilité et non la communication à des fins d’action et de prise de décision.

Dans l’analyse des destinataires des éléments du S&E du projet, il ne faut pas oublier de:

• tenir compte de la nature des destinataires, selon qu’il s’agit de remplir les obligations de rendre compte, de négocier ou d’agir;
• définir ce qu’on attend du destinataire à qui l’on communique une information (aide financière, engagement dans l’action, etc.);
• s’accorder sur la nature et la forme de l’information qu’il faut communiquer pour atteindre les objectifs spécifiques du projet.

Tableau 6-7. Destinataires de l’information de S&E concernant un projet PAM en Chine¹⁰ (degré de priorité élevé, moyen ou faible)

Intégrer la communication dans le système de S&E

La communication des résultats du S&E doit être prévue dès la conception du système. Au Ghana, un atelier réunissant les différentes personnes intéressées par le S&E a été organisé afin de mettre au point un diagramme de circulation de l’information depuis la base jusqu’à la direction du projet. Ce diagramme a permis de déceler les goulots d’étranglement et d’y remédier, ainsi que de désigner les responsables des différents flux d’information et de fixer la fréquence et les délais de présentation des rapports. Le fait d’examiner et de planifier ces aspects de la communication devrait permettre au système de S&E de fonctionner plus efficacement.

Investir dans la communication

Une bonne stratégie de communication peut être un investissement rentable. Claire et efficace, la communication des résultats du S&E peut entraîner un appui plus large au projet de la part de ses partenaires ou d’autres acteurs jusqu’ici peu intéressés. L’encadré 6-13 indique quelques-uns des éléments qui ont assuré le succès de la stratégie de communication du projet de crédit rural du Maharashtra en Inde. Au-delà de la production de rapports et d’exposés argumentés, il faut également investir dans le renforcement des capacités au niveau du projet en matière de communication (voir encadré 6-14).

Planifier des ateliers pour débattre des résultats et organiser les prochaines étapes

Un des objectifs essentiels de la communication est de contrôler la validité des conclusions. Pour cela, il faut organiser des séances de travail avec les acteurs capables d’effectuer cette validation. Ces ateliers sont aussi des moments favorables pour analyser les incidences des conclusions et se mettre d’accord sur les prochaines étapes. Voir le module 8 qui suggère des modalités de communication des résultats du S&E pour susciter la réflexion, et inciter à l’action.

6.5.3. Quelques aspects pratiques de la communication qui favorisent la réflexion et l’action

• Veiller à ce que le message soit clair pour son destinataire. Les intérêts et préoccupations des différents destinataires ne sont pas les mêmes et il faudra donc que les rapports soient adaptés, tant dans leur teneur que dans leur langage. Les rapports doivent être plus ou moins détaillés selon l’audience. Au responsable de la stratégie, il faut donner un aperçu global de l’avancement des projets et des problèmes rencontrés. Aux responsables de la mise en œuvre, il faut fournir plus de détails pour faciliter la coordination et l’exécution des tâches quotidiennes.

• Se mettre d’accord sur la fréquence de la communication. Les réunions de prise de décision durant lesquelles sont, la plupart du temps, communiquées les informations doivent être programmées à l’avance afin que tous les intéressés puissent les inscrire dans leur emploi du temps.

• Ne pas attendre pour communiquer l’information. Il faut restituer rapidement les résultats après l’analyse pour que les réactions que susciteront les conclusions puissent être utilement valorisées pour conduire l’action. Si pour une raison ou pour une autre, les délais s’avèrent plus longs que prévu, il faut en informer les intéressés et leur dire clairement quelles en sont les causes. Cela est important non seulement pour obtenir des réactions constructives, mais aussi pour préserver la crédibilité du projet.

• Bien choisir le lieu. L’encadré 6-15 indique pourquoi il importe de réfléchir aux différents moyens de communiquer pour choisir le lieu et le moment adéquats afin d’atteindre les intéressés et de leur donner l’occasion de réagir.

Employer efficacement l’information graphique pour faciliter l’analyse. Il est souvent plus facile de comprendre une information présentée sous forme graphique. Plus l’information est facile à comprendre, plus il y a de chances d’obtenir des réactions directes et constructives. Il existe de nombreuses formes de présentation de l’information: graphiques, diagrammes, cartes, croquis, photographies ou bandes vidéo. Certaines de ces formes seront imposées par le choix de la méthode de collecte des données. Par exemple, des séries chronologiques de cartes ou de photographies permettent de montrer immédiatement ce qui a été mesuré, comment la mesure a été faite et quelle sont les évolutions. D’autres représentations graphiques doivent être élaborées à partir d’une analyse statistique des données.

Ne pas se laisser détourner de la tâche. Une séance de restitution peut facilement dégénérer en bavardage. Il faut s’y préparer soigneusement en définissant les résultats attendus (éclaircissements, nouveaux points de vue, conclusions, étapes suivantes, etc.). Attention à ne pas abuser de l’impro-visation ! Elle est toujours nécessaire, mais elle peut semer la confusion. Il faut éviter d’imposer des idées et animer la séance de manière à ce que les intéressés se sentent assez en confiance pour donner librement leur avis.

6.5.4. Les différents outils de communication

Rapports écrits

Il existe toute sortes de rapports de S&E: rapports d’avancement, études spéciales, mémorandums informels mettant l’accent sur une question importante, etc. La plupart des projets appuyés par le FIDA produisent des programmes de travail et des budgets annuels et des rapports d’activités trimestriels et semestriels (voir encadré 6-16), ainsi qu’un rapport d’examen à mi-parcours et un rapport d’achèvement. Certains produisent des rapports annuels et beaucoup produisent des bulletins d’information (voir encadré 6-17).

Exposés oraux

Il est plus efficace de communiquer les conclusions du S&E oralement que par d’autres moyens. Une grande partie des décisions est prise sur la foi d’informations obtenues par contacts personnels ou lors d’exposés oraux. Le fait de parler directement aux intéressés permet de transmettre le message plus rapidement et de façon plus souple. On peut modifier la présentation en fonction des réactions de l’audience. Le contact direct, s’il est bien géré, facilite la compréhension et permet de discuter plus ouvertement des constatations du S&E. Pour certaines informations, le contact individuel est parfois préférable à des réunions.

La radio peut aussi être un outil efficace. Dans le cadre d’un projet mené au Pérou, 20 stations de radio fournissent des renseignements quotidiens sur les activités en cours, sur les décisions liées aux projets, sur les ressources qui seront transférées aux communautés, sur les réunions, les visites et les entretiens avec des agriculteurs et des vulgarisateurs. La radio joue un rôle important dans le S&E en diffusant l’information, en communiquant les décisions et en motivant les parties prenantes.

Représentations graphiques

Les représentations graphiques, telles que les diagrammes ou les graphiques qui indiquent des tendances, ou encore les cartes, illustrent et complètent les renseignements communiqués dans des rapports écrits ou des exposés oraux. On peut aussi employer la photographie ou des films vidéo mettant en évidence les évolutions (voir méthode 20, annexe D). Les jeux de rôle, qu’ils soient filmés ou en direct, peuvent aussi être un bon moyen de communiquer les enseignements tirés de l’évaluation souvent plus efficacement que par l’écrit.

Toutefois, si l’on veut une communication plus créative il faut avoir assez de temps et d’argent pour pouvoir développer les idées et acquérir les compétences nécessaires ou engager des personnes qui les possèdent. Il faut tenir compte de cet aspect lorsqu’on envisage différentes options.

On trouvera dans le module 8 des renseignements supplémentaires concernant la réflexion critique qui est indispensable dans la communication de l’information relative au suivi-évaluation. Les modules 3, 4, 5 et 8 contiennent également des éléments sur ce sujet.

Back to Top

Lectures complémentaires

Aubel, J. 2000. Participatory Program Evaluation Manual: Involving Program Stakeholders in the Evaluation Process. Calverton, Maryland: Child Survival Technical Support Project (with Catholic Relief Services). Télécharger en anglais, espagnol et français à l’adresse: http://www.childsurvival.com/documents/csts.cfm.

Cameron, E. 2001. Facilitation Made Easy: Practical Tips to Improve Facilitation in Workshops. Londres: Kogan Page. Commander sur: http://www.kogan-page.co.uk/

Casley, D. J. et Kumar, K. 1988. The Collection, Analysis and Use of Monitoring and Evaluation Data. Washington, D.C.: Banque mondiale. Commander via: www.amazon.co.uk.

Casley, D. J. et Kumar, K. 1990. Project Monitoring and Evaluation in Agriculture. Washington, D.C.: Banque mondiale. Commander via: www.amazon.co.uk.

Feuerstein, M. T. 1986. Partners in Evaluation: Evaluating Development and Community Programmes with Partners. Londres: Macmillan. Commander via: http://www.talcuk.org/.

Guijt, I. 1998. “Participatory Monitoring and Impact Assessment of Sustainable Agriculture Initiatives: an Introduction to the Key Elements”. SARL Discussion Paper No. 1. Londres: IIED. Commander via: bookshop@iied.org ou http://www.iied.org/infopubs/index.html.

FIDA, ANGOC et IIRR. 2001. Enhancing Ownership and Sustainability: A Resource Book on Participation. Fonds international de développement agricole, Coalition des ONG d’Asie pour la réforme agraire et le développement rural et Institut international pour la reconstruction rurale. Contact: info@ifad.org.

Margoluis, R. et Salafsky, N. 1998. Measures of Success: Designing, Managing, and Monitoring Conservation and Development Projects. Washington, DC: Island Press. Commander via: http://www.islandpress.org/books/

1/ Gosling, L. et Edwards, M. 1995. “Toolkits: A Practical Guide to Assessment, Monitoring, Review and Evaluation”. Save the Children Development Manual 5. Londres: Save the Children.

2/ Johnson, D. avec Kanyinji, M.W., Lupenga, R., Nkhata, G.L.E., Siantumbu, B.K. et Sithole, S.M.H. 1998. Communication Strategy and Monitoring and Evaluation Framework: Main Report. Zambie: Projet de développement de district, Gouvernement de la République de Zambie et Fonds d’équipement des Nations Unies.

3/ FIDA, ANGOC et IIRR. 2001, 240. Voir Lectures complémentaires.

4/ Soulignons que le terme "approprié" n’est pas défini dans cet exemple. Herweg, K., Steiner, K. et Slaats, J. (éds.). 1998. Sustainable Land Management Guidelines for Impact Monitoring: Workbook and Toolkit. Page 65. Berne: Centre for Development and Environment.

5/ Abbot, J. et Guijt, I. 1998. “Changing Views on Change: Participatory Approaches to Monitoring the Environment”. SARL Discussion Paper 2. Londres: IIED. Accessible à l'adresse: http://www.eldis.org/.

6/ D’après Mikkelsen, B. 1995. Methods for Development Work and Research: A Guide for Practitioners. New Delhi, Londres et Thousand Oaks: Sage Publications; et Rugh, J. 1986. Self Evaluation - Ideas for Participatory Evaluation of Rural Community Development Projects. Oklahoma City: World Neighbors.

7/ Sidersky, P. et Guijt, I. 2000. “Experimenting with Participatory Monitoring in Northeast Brazil: The case of AS-PTA’s Projeto Paraíba”. In: M. Estrella et al. (éds). 2000. Learning from Change: Issues and Experiences in Participatory Monitoring and Evaluation. Londres: Intermediate Technology Publications.

8/ Feuerstein, M. T. 1986, 95-102, voir Lectures complémentaires.

9/ D’après Aubel, J. 2000. Voir Lectures complémentaires.

10/ Hereward, M. et Siping, W. 2000. "Bringing results to the people". Présentation à l'occasion de l'atelier S&E, Wuhan, 9–12 octobre, 2000. UNICEF Bureau pour la Chine.