|
|
|
5.1 Aspectos generales de la
decisión sobre el objeto del seguimiento y evaluación
¿Le ha ocurrido alguna vez estar avanzando a toda velocidad y
darse cuenta de que iba en sentido contrario? Esto es lo que le sucedió
a una cooperativa en Chile, y era porque la información objeto
del seguimiento era errónea.1
A pesar de varios años de duro trabajo, en diciembre de 1998
la cooperativa se vio en la incapacidad de reembolsar uno de sus préstamos.
Con una plantilla excesiva, los ingresos no podían cubrir los gastos
de explotación, entre otros. En la cooperativa trabajaban 11 asalariados,
y sólo se cultivaban 100 hectáreas de hortalizas.
Desde 1994 la cooperativa había organizado a un número
considerable de pequeños agricultores con escaso apoyo externo.
Disponía de una dirección enérgica, una acertada
percepción de las limitaciones de la comercialización y
una clara visión del modo de superarlas. La cooperativa gozaba
de la confianza de todas las partes, entre ellas el Instituto Nacional
de Desarrollo Agrícola (INDAP), y se expandió rápidamente
gracias al aumento de los créditos y los subsidios. Los resultados
de las primeras inversiones se consideraron prueba suficiente de que la
cooperativa podía triunfar, y el análisis de las perspectivas
futuras fue cada vez menos riguroso.
El seguimiento se limitó a los productos físicos: un almacén
más grande, instalación de sistemas de regadío en
las explotaciones de los miembros, un mayor número de camiones,
aumento de la producción, etc. Se prestó poca atención
a los resultados económicos y financieros de las inversiones, y
aún menos a su sostenibilidad. “Nunca tuvimos un método
de seguimiento de este proceso; seguimos los indicadores erróneos,
no nos formulamos las preguntas correctas y fuimos excesivamente miopes”,
dice un funcionario del INDAP, y añade, “En mi opinión,
lo mismo ocurrió con la cooperativa”. Otro consultor externo
que conocía bien el proceso observó: “Era como si
dos ciegos [el INDAP y la cooperativa] condujeran un automóvil
muy rápido”.
Para llegar al sitio donde quiere ir ha de saber qué información
necesita para el viaje. Si no hace las preguntas adecuadas, no obtendrá
respuestas útiles. Pero las preguntas que pueden hacerse son muchas.
¿Cómo elegir, y a quién hacer participar en el proceso?
¿Cómo equilibrar las ideas relativas al impacto con el seguimiento
de los gastos operativos? A la hora de detallar con precisión,
documentar y analizar el objeto del seguimiento, los interesados en el
proyecto tendrán que decidir entre muchas opciones.
5.1.1 Tener presentes las diferentes necesidades
de información
Al decidir la información que debe ser objeto de seguimiento
y evaluación, deberá tener presente lo siguiente:
- Trate de determinar las necesidades de información de los
diferentes interesados junto con ellos. No considere solamente las necesidades
de información de los gestores del proyecto.
- Asegúrese de que incluye información que pueda ayudarle
a responder a las cinco cuestiones esenciales de la evaluación:
pertinencia, eficacia, eficiencia, impacto y sostenibilidad.
- Incluya información que le ayude a determinar en qué
medida el proyecto se ocupa adecuadamente de las cuestiones transversales,
como la calidad de la participación, el equilibrio de género
de los impactos y la necesidad de llegar hasta los más pobres.
- No deje de incluir información para cada nivel de la jerarquía
de objetivos: meta, propósito, objetivos y actividades. Esto
le ayudará a responder a los cinco tipos de preguntas en que
se basa la evaluación (véase el punto 2).
- Incluya información operacional suficiente para saber si se
está haciendo un uso óptimo de los recursos, y si las
operaciones son de buena calidad.
- Busque información que le pueda ayudar no sólo a verificar
los fines sino también, y sobre todo, a explicar los progresos.
Sólo sabiendo por qué ocurre o no algo podrá decidir
la acción correctiva necesaria.
- Tenga en cuenta los imprevistos. El seguimiento de la información
relacionada con la jerarquía de objetivos sólo le mantendrá
al corriente de lo que se propone alcanzar. Trate de determinar los
impactos positivos y negativos no previstos, para adoptar las medidas
correctivas que puedan ser necesarias.
- Por último –pero no por ello menos importante–
aténgase al principio “menos es más”. Incluya
solamente un elemento de información si algún miembro
del proyecto lo utiliza claramente para mejorar el impacto. Revise regularmente
su lista de necesidades de información a fin de eliminar la información
que no parezca esencial para la gestión orientada al impacto
5.1.2 La utilidad de la matriz de SyE
El enfoque del marco lógico (EML), al que han de ajustarse todos
los proyectos que reciben apoyo del FIDA, no proporciona mucha orientación
detallada sobre la información que conviene mantener al día.
El modelo de matriz del marco lógico no prevé espacio suficiente
para los comentarios detallados sobre el SyE. Sólo se prevén
dos columnas para resumir el SyE: una de “indicadores” y otra
de “medios de verificación” (véase la sección
4). La práctica del SyE no puede limitarse a esto.
La puesta en marcha del SyE conlleva una gran cantidad de detalles, que
pueden resumirse en la “matriz de SyE” (véase el apartado
5.3), en la que se encuentra la información siguiente:
- preguntas de desempeño;
- necesidades de información e indicadores;
- necesidades de información de base (línea de base),
condiciones y responsabilidades;
- métodos de recolección de datos, frecuencia y responsabilidades;
- formularios requeridos, planificación, capacitación,
gestión de los datos, conocimientos técnicos, recursos
y responsabilidades;
- análisis, preparación de informes, retroalimentación
y procesos y responsabilidades en relación con el cambio.
A la vista de la matriz es muy probable que se pregunte qué necesidad
hay de tanto detalle. Una regla práctica es: “Si todos saben
lo que tienen que hacer, cuándo, por qué y para quién,
el nivel de detalle es suficiente”. Entretanto., siga obteniendo
detalles de las personas pertinentes.
La elaboración de la matriz de SyE después de la puesta
en marcha del proyecto se divide en seis etapas:
- Identificar las preguntas de desempeño.
- Identificar las necesidades de información y los indicadores.
- Conocer la información de base que se necesita.
- Seleccionar los métodos de recolección de datos que
se van a utilizar y determinar quién los va a utilizar y con
qué frecuencia.
- Identificar el apoyo práctico necesario para la recolección
de información.
- Organizar el análisis, la retroalimentación y el cambio.
En la parte restante de esta sección se detalla cómo se
trabaja con una matriz de SyE. En el anexo
C figura un ejemplo de una matriz de SyE, basado en el ejemplo del
marco lógico del anexo
B.
5.1.3 Preguntas e indicadores de desempeño
Es muy corriente que se pase directamente de elaborar los objetivos
en la matriz del marco lógico a detallar los indicadores. Esto
causa una serie de problemas, porque la gente se pierde en los detalles
y no acaba de determinar por qué los indicadores que proponen podrían
ser de interés, y cómo podrían apoyar al proceso
de adopción de decisiones.
Identificar las preguntas de desempeño para cada nivel de la jerarquía
de objetivos (véase el punto 2 del subapartado
5.1.2, supra), antes de detallar los indicadores, le ayudará
a concentrarse en recoger información que promueva verdaderamente
la comprensión y mejore el desempeño del proyecto. Las preguntas
de desempeño son muy útiles para los proyectos que tratan
de innovar los métodos para alcanzar el desarrollo. Por ejemplo,
el proyecto MARENASS, en el Perú, desembolsa los fondos mediante
concursos de agricultores, mientras que el proyecto FODESA, en Malí
subcontrata todas las actividades. Estos proyectos tienen que aprender
cómo hacer bien estas prácticas, y por consiguiente deben
verificar la calidad del proceso y no solamente el logro de los fines.
Las preguntas de desempeño le permitirán empezar a identificar
la información que necesita, entre otras cosas los indicadores
y, posiblemente, un mayor número de antecedentes para interpretar
los datos provenientes de los indicadores. Los indicadores ofrecen solamente
una visión parcial; representan una simplificación o una
visión aproximada de la situación. Un indicador no sirve
más que para comunicar cambios que, normalmente, son más
complejos. Utilizar un indicador a menudo significa reducir los datos
a la representación simbólica del objetivo de un proyecto,
de un modo pertinente y significativo para las personas que utilizarán
la información.
Casi todos los temas que deban ser objeto de seguimiento pueden evaluarse
mediante indicadores cualitativos o cuantitativos, según la clase
de información que se desee. Muchos indicadores utilizan adjetivos,
de los cuales los más habituales son los siguientes: exitoso, adecuado,
equitativo, bueno, eficaz, participativo, potenciado y “que funciona
bien”. Cuando utilice adjetivos en los indicadores, asegúrese
de que todos los participantes están de acuerdo en su significado.
Cuando se trabaja con indicadores para evaluar el impacto, se está
tratando de crear una imagen global compuesta de diversos aspectos. Un
proyecto típico querrá conocer su impacto en la “calidad
de vida” o en el “alivio de la pobreza”. Y sin embargo,
cada componente de un proyecto aporta una contribución única:
las actividades sanitarias reducen la morbilidad/mortalidad, el desarrollo
agrícola contribuye a aumentar los rendimientos y los ingresos,
la alfabetización funcional promueve la autoestima, etc. Así
pues, un solo indicador –y ni siquiera varios– no será
suficiente para entender los cambios. Para las evaluaciones del impacto,
un análisis descriptivo suele captar los cambios globales mejor
que los indicadores individuales.
5.1.4 La comparación permite ver
el cambio
Una de las primeras tareas concretas que usted, en su calidad de director
del proyecto o coordinador de la unidad de SyE, tendrá que realizar
será probablemente el establecimiento de líneas de base.
Para ver los cambios logrados es necesario efectuar una comparación:
una línea de base sirve de punto de comparación. Dispone
usted de tres opciones, cada una de ellas con sus ventajas e inconvenientes
(véase el apartado 5.6):
- Compare la situación, por ejemplo de una comunidad, una familia
o una organización, “antes de que empezara el proyecto”,
con la situación “después del inicio”.
- Proceda al seguimiento de los cambios con el proyecto y sin él,
es decir, compare los cambios en la zona del proyecto con los registrados
en lugares parecidos del exterior.
- Compare las diferencias entre dos grupos similares, uno que haya
trabajado con el proyecto y el llamado “grupo de referencia”,
que no está sujeto a la influencia del proyecto.
Hay tres alternativas: 1) utilizar la primera medición como punto
de partida, aunque sea posterior al inicio de su intervención;
2) utilizar una línea de base rotatoria, o sea, no recoger información
de un lugar o grupo hasta que no se empiece a trabajar en él, o
con ellos; y 3) hacer un uso óptimo de la documentación
existente para trazar un panorama general de la situación.
5.1.5 Actualizar las necesidades de información
y los indicadores
El rasgo característico de un sistema adecuado de SyE es que
evoluciona con el tiempo. A medida que evoluciona el proyecto, las actividades
cambian, los grupos evolucionan y se conoce mejor qué información
es útil. Planee revisar con regularidad la lista de necesidades
de información y los indicadores. Back
to Top 
5.2 Saber qué necesita
saber
5.2.1 Información para (y con) diferentes
interesados
Para decidir lo que necesita usted saber, procure determinar primero
las necesidades de información de los diferentes interesados (véase
el recuadro 5.1). Para ello deberá analizar
con los interesados la información que necesitan, pidiéndoles
que confeccionen su propia lista de necesidades o verificando con ellos
una lista ya preparada. Los interesados probablemente optarán por
concentrar sus necesidades de SyE en los sectores que más les interesan
(véase el cuadro 5-1). La participación
de diferentes interesados en la identificación de la información
que ha de ser objeto de seguimiento aumentará las probabilidades
de que se utilicen los datos.
| |
Recuadro
5-1. Saber quién necesita saber –y sabe– en Bangladesh
El
equipo principal del proyecto ADIP (Bangladesh) recomendó
que se colaborase con diversos interesados (interesados directos
seleccionados, ONG y sus facilitadores de grupo, empleados públicos,
etc.) en el seguimiento del impacto en función de sus intereses
específicos, a saber: “Debe alentarse a los grupos-objetivo
a observar y documentar los cambios en su propio trabajo, producción
e ingresos, y las mejoras en sus condiciones de vida en relación
con la seguridad alimentaria, la educación infantil, el agua
y el saneamiento, los bienes y la vivienda. Hay que facultar a los
facilitadores de grupo de las ONG para que se encarguen del seguimiento
del desarrollo de grupos, de las relaciones de género y de
la promoción de las capacidades individuales de los miembros
del grupo (alfabetización, teneduría de libros, etc.).
Hay que capacitar a los jefes de extensión sobre el terreno
en la aplicación de métodos sencillos para el seguimiento
de los cambios en los conocimientos y las técnicas, la adopción
de nuevas técnicas de gestión agrícola y hortícola,
y la diversificación e intensificación de la producción”.
|
|
Cuadro 5-1. Ejemplos de indicadores para diferentes
interesados en un proyecto de extensión de agricultor a agricultor
en México
2
| Organismos
de financiación
|
Extensionistas
y asesores técnicos |
Agricultores
|
| Oportunidades
de aprendizaje
Condiciones agroclimáticas
Zonas marginales
Ampliación del impacto
Búsqueda de alianzas/redes
Concienciación en materia
de salud y género
Visión y apoyo locales
[Trabajar con] poblaciones
indígenas
Capacidad de hablar el idioma
de los agricultores |
Identificación
con el proyecto
Extensión lateral (número
de parcelas experimentales)
Impacto de los talleres de
aprendizaje
Cambios en los ingresos/riqueza
en comparación con otros
Defensa vigorosa de la experiencia
técnica local
Cambios en el comportamiento
Rendimientos
Adquisición de conocimientos
Persistencia
Mantenimiento de los resultados
en el tiempo
Dedicación de los extensionistas
Sencillez en el lenguaje y
la gestión de la tecnología necesaria |
Erosión
(control)
Nutrición y vitaminas
Rendimientos
Calidad de la cosecha
Mano de obra, insumos
Variedad de la producción
(diversificación)
Ingreso
Facilidad de cultivo
Trabajar juntos como grupo
Creación de ingresos
independientes
No suscitar las críticas
de los demás
Respeto de sí mismo
Desalentar la migración
Proporcionar empleos
Enseñar algo útil
y práctico |
Haga una lista de todos los interesados principales y organice reuniones
con ellos para definir sus necesidades de información (véase
el recuadro 5-2). Sea consciente de que no podrán
preverse anticipadamente todas las necesidades de información.
A medida que avanza el proyecto y los interesados concretan su visión
y su comprensión del proyecto, las necesidades de información
deberán irse ajustando (véase el apartado
5.7).
La unidad de SyE del proyecto tendrá que coordinar los flujos
de información para que los elementos de información se
complementen entre sí (y no haya duplicaciones), y para organizar
el acceso recíproco a los datos y los análisis. En la sección
6 figura más información sobre el método de elaboración
de una estrategia de comunicación de SyE.
| |
Recuadro 5-2. En Zimbabwe
se compendian las ideas antes de decidir los indicadores
En el curso de la revisión del marco lógico de un
proyecto de regadío en Zimbabwe, el personal del proyecto
y los consultores compilaron un conjunto inicial de indicadores
mediante visitas a los planes de regadío y conversaciones
con agricultores de ambos sexos, jefes de distrito y extensionistas.
Para refinar este conjunto de datos se organizaron dos talleres
de un día y medio de duración con unos 40 participantes
cada uno. En primer lugar, los participantes aprendieron el concepto
y el propósito del seguimiento del proyecto. Se presentaron
los productos y los indicadores compilados y se refinaron los indicadores
específicos del plan con los agricultores. Los indicadores
institucionales se refinaron en conversaciones con los gestores
del proyecto. También se debatieron los vínculos institucionales
y las funciones/responsabilidades de seguimiento a los niveles del
plan, de distrito y nacional. |
|
5.2.2 El SyE de los diferentes niveles de
la jerarquía de objetivos
Empiece identificando
sus necesidades de información en relación con la jerarquía
de objetivos. Cada nivel de la jerarquía (meta, propósito,
producto y actividad) tiene sus propias preguntas de desempeño
y, por consiguiente, sus propias necesidades de información. Por
lo general, a medida que se pasa de las actividades a la meta en la jerarquía
de objetivos, el SyE pierde concreción (véase el cuadro
5-2). Por ejemplo, a los niveles de la actividad y el producto, el
seguimiento de las actividades que se han completado y de los productos
directos es bastante fácil. Ésta es información operacional.
No obstante, los efectos directos del conjunto de productos son más
difíciles de determinar.
A nivel
del impacto, evaluar el grado en que el proyecto ha reducido la pobreza
y mejorado los niveles de subsistencia de la población requiere
reflexionar detenidamente para establecer qué preguntas e indicadores
de desempeño serán adecuados. Por lo general, es probable
que a medida que vaya subiendo por la jerarquía de objetivos estime
necesario integrar la información cualitativa y la cuantitativa
y basarse menos en cada uno de los indicadores cuantitativos para explicar
los progresos.
Cuadro
5-2. El desplazamiento de las necesidades de información en la
jerarquía de objetivos
| Nivel en la
jerarquía de objetivos |
Cuál
ha de ser el objeto del seguimiento y la evaluación
|
| Actividades
|
¿Se
han completado a tiempo las actividades planeadas, y se ha respetado
el presupuesto? ¿Qué actividades no planeadas se han
completado? |
| Productos |
¿Qué
productos o servicios tangibles y directos ha prestado el proyecto
de resultas de las actividades? |
| Efectos
directos/componentes principales |
¿Qué
cambios se han registrado de resultas de los productos, y en qué
medida es probable que contribuyan al propósito y el impacto
deseado del proyecto? |
| Propósito |
En
general, y a lo largo de toda su vida, ¿ha alcanzado el proyecto
los cambios de los que se le puede considerar responsable con un
criterio realista? |
| Impacto
|
¿En
qué medida ha contribuido el proyecto a alcanzar sus metas
a largo plazo? ¿Por qué, o por qué no? ¿Qué
consecuencias positivas o negativas imprevistas tuvo el proyecto?
¿Por qué se produjeron? |
5.2.3 Las cinco cuestiones clave
Una vez haya identificado la información básica que necesita
para determinar si el proyecto va adelante con arreglo al plan, es posible
que tenga que añadir otras necesidades de información. Asegúrese
de que puede responder a las cinco preguntas típicas de evaluación
(véase el apartado 2.1),
llamadas aquí las “cinco cuestiones clave”:
- Pertinencia: ¿Era/es el proyecto una buena idea,
dada la situación que debe mejorarse? ¿Se ocupa de las
prioridades del grupo-objetivo? ¿Por qué, o por qué
no?
- Eficacia: ¿Se han logrado el propósito, los
objetivos de los componentes, los productos y actividades planeados?
¿Por qué, o por qué no? ¿Es correcta la
lógica de la intervención? ¿Por qué, o por
qué no?
- Eficiencia: ¿Se han utilizado los insumos (recursos
y tiempo) del mejor modo posible para alcanzar los efectos directos?
¿Por qué, o por qué no? ¿Qué se podría
haber hecho de otro modo para mejorar la ejecución, y conseguir
así maximizar el impacto con un costo aceptable y sostenible?
- Impacto: ¿En qué medida ha contribuido el
proyecto al logro de las metas a largo plazo? ¿Por qué,
o por qué no? ¿Qué consecuencias positivas o negativas
imprevistas tuvo el proyecto? ¿Por qué se produjeron?
¿En qué medida ha contribuido el proyecto a la reducción
de la pobreza (u otras metas a largo plazo)? ¿Por qué,
o por qué no? ¿Qué consecuencias positivas o negativas
imprevistas tuvo el proyecto? ¿Por qué se produjeron?
- Sostenibilidad: ¿Se seguirán obteniendo impactos
positivos del proyecto cuando éste haya concluido? ¿Por
qué, o por qué no?
El SyE de las operaciones se centrará en las cuestiones de la
“eficacia” y la “eficiencia”. En las reflexiones
más estratégicas, como las de las revisiones anuales y
las misiones de supervisión, se considerarán las cuestiones
de la “pertinencia”, el “impacto” y la “sostenibilidad”.
A algunos proyectos también se les requiere que demuestren su
eficacia en función de los costos (véase el recuadro
5-3).
| |
Recuadro
5-3. Entender la eficacia en función de los costos
Cada vez es más frecuente que los proyectos
deban demostrar su eficacia en función de los costos. Esto
significa que han de indicar cuánto gastan por “producto”
o “servicio”. Por ejemplo, por cada paciente del nuevo
hospital, ¿cuánto ha gastado el proyecto en términos
de tiempo del personal, capacitación, kilómetros de
transporte y materiales de construcción? Esto puede calcularse
comparando los costos reales del proyecto con los costos estimados
inicialmente. Otro método más frecuente consiste en
calcular los costos unitarios y compararlos con los mismos costos
de otros proyectos similares. El análisis de la eficacia
en función de los costos debería proporcionar los
máximos beneficios con el costo unitario más bajo
posible, independientemente de cómo se defina el concepto
de “beneficio”.
Sin embargo, en la práctica este tipo de cálculo
es difícil cuando se trabaja con cuestiones menos tangibles,
como la potenciación de la organización local, el
aumento de la concienciación de la mujer, el fortalecimiento
de la democracia, etc. Una unidad de “aumento de la democracia”
no es tan fácil de cifrar como el mayor número de
pacientes del hospital. Asimismo, lo que en un contexto puede considerarse
un uso “eficaz” de los recursos, en otros quizás
se vea como un gasto inútil. |
|
5.2.4 Mantener bajo vigilancia los problemas
transversales
Muchos proyectos que reciben el apoyo del FIDA tratan de promover la
igualdad de género paralelamente a la reducción de la pobreza.
Para saber qué resultados se está consiguiendo en materia
de igualdad de género hará falta un sistema de SyE que verifique
las diferencias desglosadas por sexos. De lo contrario, será muy
difícil demostrar la eficacia de un proyecto en relación
con cualquier objetivo sensible al género, como el “aumento
de la capacidad adquisitiva” o el “mayor acceso a la tierra”.
Deberán formularse indicadores que permitan la recolección
y el análisis de datos desglosados por sexos. Los estudios temáticos
de base e intermedios también deberán tener en cuenta el
factor género.
Durante los talleres de preparación del sistema de seguimiento
de un proyecto en Zimbabwe tuvo lugar un vivo debate entre los participantes
acerca del mejor modo de incluir una perspectiva de género. Los
problemas relativos al género son esenciales para el éxito
de un proyecto, ya que los desequilibrios de género persisten en
la propiedad de la tierra, la división del trabajo, el acceso a
los beneficios, etc. Y, sin embargo, en los objetivos de ese proyecto
no se habían especificado las cuestiones de género. La atención
prestada a estas cuestiones al proceder al seguimiento del cambio permitió
presentarlas como un problema transversal.
Sus necesidades específicas de información respecto al
género dependerán de sus objetivos, por lo que los ejemplos
siguientes son solamente de carácter indicativo:
- incidencia del retraso del crecimiento entre los niños de
ambos sexos;
- cantidad y tipo de familias que participan en actividades de generación
de ingresos relacionadas con el microcrédito, teniendo especialmente
en cuenta los hogares pobres o muy pobres a cargo de mujeres;
- cantidad y sexo de los niños que no van a la escuela, o han
dejado de ir;
- cantidad de agricultores de ambos sexos que pueden permitirse comprar
alimentos de primera necesidad; aumento del x% al y% de la población-objetivo
al final del programa;
- número de enfermedades relacionadas con la malnutrición
entre mujeres/ hombres y niños de ambos sexos. Disminución
de x a y al final del programa.
Hay que proceder también al seguimiento de otras diferencias
sociales, que los proyectos consideran esenciales. Por ejemplo, un proyecto
en Nepal desglosará los datos no sólo por género,
sino también por castas y grupos étnicos. Esto ayudará
al equipo de ejecución a determinar si los grupos más vulnerables
se están beneficiando.
5.2.5 Recordar la información operacional
La información destinada a la gestión de las operaciones
de un proyecto es tan importante para el desempeño general como
la destinada al logro de la estrategia del proyecto. El seguimiento de
la información operacional tiende a ser directo en la mayoría
de los proyectos, debido, en parte, a que el seguimiento físico
y financiero está basado en un simple recuento. Pero como hay tantas
cosas susceptibles de recuento, lo hábil será limitar este
tipo de seguimiento a lo estrictamente necesario. El cuadro
5-3 enumera las principales tareas de gestión y las necesidades
de información para los sectores clave de la gestión operacional.
Cuadro 5-3. Sectores clave de la gestión
operacional, tareas de gestión y necesidades de información
| Sector de
gestión operacional |
Principales
tareas de gestión |
Necesidades
de información |
| Planificación
del trabajo y seguimiento de la actividad |
- Planificación
anual, trimestral y semanal de las actividades
- Asignación de recursos a las actividades
- Verificación de la marcha
de las actividades y respuesta a los problemas |
- Listas detalladas
de actividades, subactividades y tareas para el logro de los productos
- Lista de los recursos requeridos por actividad
- Progreso de las actividades y tareas
|
| Gestión
financiera |
- Asignación
de recursos financieros a las actividades y las tareas
- Seguimiento del gasto con arreglo
al presupuesto
- Revisión de los presupuestos según
sea menester |
- Información
general financiera/de gestión del proyecto |
| Gestión de instalaciones, edificios
y equipos |
- Compra y mantenimiento
del equipo
-? Asignación del equipo
|
- Registro de
bienes
- Utilización de vehículos
-? Programa, normas y responsabilidades de
mantenimiento del equipo |
| Gestión del personal
|
- Elaboración
y seguimiento de los planes de trabajo del personal
- Evaluación del desempeño
del personal |
- Utilización
del tiempo del personal |
| Gestión de contratos
|
- Redacción
de contratos
- Seguimiento del cumplimiento de los contratoss
|
- Copias de contratos
- Fechas de terminación de
los contratos
- Informe sobre la calidad del cumplimiento
del contrato |
5.2.6 El seguimiento de la calidad y el
contexto para explicar los progresos
Según el personal de un proyecto en Indonesia, “necesitamos
entender los vínculos entre el seguimiento de los progresos materiales
y los beneficios de los productos físicos para los pobres del sector
rural. Por ejemplo, no sabemos cuáles son los efectos en los pobres
cuando los datos de seguimiento indican que se han construido 50 km de
caminos de acceso de un total de 100 km. Así pues, no conocemos
los beneficios de nuestras inversiones. Los indicadores físicos
de que disponemos actualmente no nos permiten ver el vínculo existente
entre inversión, actividad, progresos y beneficios”.
Para explicar los progresos –y no medir sólo la
cantidad – puede usted:
- supervisar la calidad del proceso de ejecución;
- utilizar métodos cualitativos para recabar las opiniones de
la gente sobre el proceso;
- mantenerse al día sobre el entorno de las operaciones.
En su calidad de director del proyecto o coordinador de la unidad de
SyE, es probable que le parezca que el seguimiento de la utilización
de los insumos, de los fines de las actividades y de los productos absorbe
mucho tiempo. Y, sin embargo, es esencial. Además, el ejemplo de
la cooperativa chilena, al inicio de esta sección, demuestra que
no es suficiente. Necesitará usted saber por qué algo funciona
bien o mal, a fin de proporcionar orientación estratégica
e introducir los ajustes necesarios. Saber simplemente que, por ejemplo,
se ha construido el 86% de los caminos en los plazos previstos, no le
dirá si los caminos son de buena calidad, pasan por los lugares
adecuados y ejercen un impacto en la pobreza, o si se han previsto los
servicios necesarios para su mantenimiento.
Un ejemplo práctico nos hará ver cómo se vinculan
los fines con el seguimiento que explica los progresos. Muchos proyectos
que reciben apoyo del FIDA tienen la intención de “aumentar
las capacidades” o “desarrollar las instituciones locales”.
Indicadores comunes de estos objetivos son, por ejemplo, “el número
de grupos de pequeños agricultores formados” o “el
número de extensionistas capacitados”. No obstante, esta
información no le dirá nada sobre la calidad de la labor
o el impacto que ha tenido. Es posible que haya contribuido a la creación
de 100 grupos de pequeños agricultores, y que a los seis meses
de la primera reunión sólo 18 estén en funcionamiento.
Así pues, será necesario proceder al seguimiento, por ejemplo,
de la calidad del proceso de creación de estos grupos, de modo
que más tarde esté usted en mejores condiciones de introducir
los ajustes necesarios para mantener en activo los grupos. Por otra parte,
si desea hacer una estimación del impacto, tendrá que evaluar
con los miembros del grupo cómo su pertenencia al grupo ha mejorado
o no su subsistencia.
En la práctica, el seguimiento destinado a mejorar la interpretación
de las cifras requiere el empleo de métodos cualitativos (véase
la sección 6 y el
anexo D).
Mantenerse informado del entorno de las operaciones es fundamental para
interpretar los éxitos o los fracasos. En el subapartado
2.2.3 se examinan diversos métodos de seguimiento del contexto
del proyecto. Los participantes en los proyectos se pondrán al
día mediante las fuentes de información existentes y sus
redes formales e informales; otro procedimiento de actualización
consiste en subcontratar en parte ciertas investigaciones sobre temas
clave relacionados con su proyecto. Otra posibilidad es organizar un seminario
anual al que invitar a especialistas para que lleven a cabo una descripción
general de las tendencias. Las cuestiones que deberán ser objeto
de seguimiento dependerán del tema principal del proyecto; las
más corrientes son la legislación, la macroeconomía
(mercados, precios), las políticas de precios agrícolas
y las tendencias a nivel nacional/ internacional, el estado de la pobreza,
las relaciones de género, el panorama organizacional, los cambios
demográficos y las tendencias de la salud.
5.2.7 Vigilar los imprevistos
Los indicadores son esenciales para los proyectos puesto que representan
informaciones que usted sabe que le interesarán. Pero, ¿qué
decir de la información importante no prevista? En el ejemplo de
Chile, no se pensó en verificar los resultados financieros de las
nuevas inversiones.
Algunos proyectos incluyen en sus evaluaciones anuales, de medio término
y finales la cuestión de los impactos positivos y negativos imprevistos
que no están comprendidos en la jerarquía de objetivos.
Ésta es una buena práctica de SyE. En la sección
6 y en el anexo D se
describen algunos métodos de evaluación de los impactos
no previstos.
El seguimiento de los imprevistos también puede hacerse mediante
reflexiones realizadas con más regularidad. Cuando se decide el
objeto del seguimiento, no es posible prever lo que no se conoce: pero
se puede reservar tiempo para reflexionar sobre lo imprevisto. Pregúntese:
“¿Qué ha ocurrido con esta actividad/relación/producto/componente
del proyecto que no esperábamos que ocurriera”?, y complemente
la respuesta contestando a estas otras preguntas:
- ¿Qué ha ocurrido después de nuestra última
reunión que no esperábamos que ocurriera?
- ¿En qué se diferenció de lo que esperábamos?
- ¿Cuáles son las consecuencias de los imprevistos para
nuestra labor (por ejemplo, para una actividad específica, una
relación con otra organización o un producto concreto
del proyecto)?
5.2.8 El principio “menos es más”
Una de las tareas más difíciles de los proyectos es mantener
el seguimiento dentro de sus límites. Según el personal
de un ministerio participante en un proyecto en Indonesia: “En el
centro de Jakarta sólo obtenemos datos mensuales del 30% de los
grupos. En las dos provincias con el mejor desempeño, recibimos
datos del 80% de los grupos”. Si se reducen los requisitos (frecuencia,
número de indicadores y nivel de detalle) el proyecto podría
obtener un mejor índice de respuestas y utilizar sus limitados
recursos en un seguimiento más óptimo.
Probablemente la queja más importante del personal de SyE de
los proyectos es que el seguimiento de muchos indicadores obstaculiza
el trabajo “real” de ejecución. Es indispensable reducir
la recolección de datos al mínimo necesario para satisfacer
las principales necesidades de gestión, aprendizaje y preparación
de informes. Tratar de realizar el seguimiento de demasiadas cosas puede
arruinar por completo el sistema de SyE.
El proyecto PADEMER, en Colombia, tropezó con muchas dificultades
debido al gran número de indicadores propuestos en el informe de
evaluación ex ante. En consecuencia, la unidad de seguimiento procedió
a revisar los indicadores junto con la unidad nacional de coordinación
técnica y las ONG ejecutoras. Entre todos acordaron, primero, que
seguirían utilizando los principales indicadores de impacto que
figuraban en el informe de evaluación ex ante (“variación
de los ingresos” y “generación de empleo”) y,
acto seguido, formularon los indicadores para los cinco componentes del
proyecto: desarrollo de la productividad, gestión de empresas,
mercados y comercialización, desarrollo de la organización
y servicios financieros. Los más de 100 indicadores iniciales quedaron
reducidos a 18 indicadores clave que podían demostrar los cambios
que esperaban los interesados en el proyecto.
Verifique con los participantes en la elaboración detallada del
plan operacional de SyE todos los indicadores propuestos antes de aceptarlos.
Para cada indicador o elemento de información que usted u otros
propongan someter a seguimiento y evaluación, pregúntese:
“¿Quién necesita utilizar esta información,
cuándo y para qué exactamente?”. Un proyecto en Indonesia
registra los datos sobre el ganado, los insumos agrícolas, los
detalles de los grupos (por ejemplo, ahorros, préstamos, capacitación
completada y progresos técnicos efectuados), y la información
sobre las finanzas y la gestión. Los extensionistas recogen información
de 13 libros de registro distintos que lleva cada grupo de agricultores.
Es posible que la verificación de los indicadores de este proyecto
para determinar su calidad y uso final haga del seguimiento una actividad
más útil y menos gravosa.
Cuando hay dudas acerca de un indicador, examine seriamente la posibilidad
de excluirlo de su plan de SyE, aunque le tiente pensar que alguien pueda
encontrarlo de interés. Incluir lo que es bueno saber no hará
más que crearle dificultades: limítese a incluir lo que
necesita saber.
Back
to Top
5.3 Utilizar la matriz de SyE
para la planificación detallada
5.3.1 En qué consiste la matriz de
SyE
Para llevar a la práctica el SyE se necesita un nivel mucho mayor
de detalle, que se resume en la “matriz de SyE” (véase
el cuadro 5-4). En el resto de esta sección,
y en las secciones 6 a 8, se indican los pormenores que deben incluirse
en cada columna. Aquí nos limitaremos a describir brevemente la
matriz de SyE, considerando cada una de sus columnas.
Cuadro 5-4. Contenido de la matriz de SyE
| Preguntas de
de-sempeño |
Necesidades de
información e indi-cadores |
Necesidades
de información
de base, condición y responsa-bilidades |
Métodos
de recolección
de datos, frecuencia y responsa-bilidades |
Formularios requeridos,
planificación, capacitación, gestión de
datos, conocimientos técnicos, recursos y responsa-bilidades
|
Análisis,
preparación
de informes, retroalimenta-ción y procesos de cambio, y responsa-bilidades
|
| EJEMPLO –
Efecto directo clave del proyecto 1: |
|
|
|
|
|
|
|
| EJEMPLO –
Efecto directo clave del proyecto 1: |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
5.3.2 Primera fase: identificar las preguntas
de desempeño
En vez de empezar con los indicadores, conviene identificar primero
las preguntas de desempeño. Esto le ayudará a concentrarse
en recoger la información que va a utilizar realmente para comprender
y mejorar el desempeño del proyecto. La identificación de
las preguntas de desempeño (indicadores y métodos de selección)
es un proceso iterativo: haga una elección inicial, evalúe
su viabilidad, acéptela y utilícela, o bien rechácela
y pase a la opción siguiente. La primera fase se examina en el
apartado 5.4.
5.3.3 Segunda fase: identificar las necesidades
de información y los indicadores
Las preguntas de desempeño pueden facilitar la identificación
de indicadores útiles y de otras informaciones necesarias para
las cuales deberán recogerse datos. Sólo son necesarios
los datos que ayuden a responder a las preguntas de desempeño.
Esto evita recoger información que es difícil de utilizar
para orientar la estrategia y las operaciones del proyecto. Esta fase
se examina en detalle en el apartado 5.5.
5.3.4 Tercera fase: conocer la información
de base que se necesita
Muchos estudios de base adolecen de una excesiva cantidad de información
infrautilizada. Cuando decida recoger datos de base para responder a una
determinada pregunta de desempeño, pregúntese si necesita
comparar la información para ser capaz de responder a la pregunta.
De no ser así, o si ya existe tal información, no será
necesario recoger los datos de base. Esta fase se examina en detalle en
el apartado 5.6.
5.3.5 Cuarta fase: seleccionar los métodos
de recolección de datos que deben utilizarse, por quién
y con qué frecuencia
Una vez haya decidido qué información necesita y qué
indicadores han de utilizarse, deberá elegir los métodos
para recoger los datos. Existen muchas posibilidades: métodos más
o menos cualitativos o cuantitativos, más o menos participativos,
o que requieran una mayor o menor utilización de recursos. Cada
uno de esos métodos proporcionará información con
grados diversos de exactitud y fiabilidad.
Para elegir los métodos que vayan a emplearse habrá que
sopesar estos distintos factores (véase el recuadro
5-4). Al examinar las consecuencias de una pregunta o indicador de
desempeño, piense en cambiarlos si no son prácticos o resultan
demasiado costosos. Para ello deberá considerar quién ha
de utilizar el método, y con qué frecuencia. Por ejemplo,
si no tiene la capacidad necesaria para utilizar su método preferido,
deberá planear actividades de capacitación o, si no dispone
de recursos suficientes, buscar otro método.
Otro elemento que debe determinarse es la frecuencia de recolección
de datos. Ésta variará según la pregunta o indicador
de que se trate. Si los datos para un indicador esencial han de recogerse
a menudo, quizás deba reducir la frecuencia de otro indicador menos
importante, o eliminarlo por completo. Los métodos se consideran
en detalle en la sección
6 y en el anexo D.
| |
Recuadro 5-4. Sopesar el
costo, el tipo de información y los beneficios adicionales
Supongamos
que la pregunta de desempeño es: “¿Qué
mejoras se han obtenido en la seguridad alimentaria del hogar de
resultas de las actividades del proyecto?”. Necesitará
usted conocer dos elementos principales de información: 1)
los tipos de cambios en la seguridad alimentaria experimentados
por las familias destinatarias, y el alcance de esos cambios; y
2) la medida en que esos cambios pueden atribuirse al proyecto.
Este tipo de información no se analizará con mucha
frecuencia, porque los cambios de esta clase son lentos. Una encuesta
cada dos años, más o menos, debería darle una
indicación al respecto. |
|
Pueden considerarse tres métodos distintos para recoger información
sobre los cambios en la seguridad alimentaria: 1) una encuesta detallada
de los hogares a cargo de investigadores independientes; 2) un proceso
de evaluación participativa en el que las mujeres de la familia
se ocupen del seguimiento y discutan sus conclusiones; o 3) grupos de
discusión para examinar los cambios en determinados colectivos
sociales. El primer método es el que necesitaría más
recursos, pero también el que puede proporcionar los productos
más cuantificables. Si se facilita adecuadamente, el segundo método
también puede proporcionar resultados precisos a un costo inferior
al del primer método, y quizás con debates interesantes
que pueden alumbrar nuevas ideas. Una ventaja adicional de este método
podría ser la mejor comprensión del proyecto por parte de
las mujeres de la localidad. El tercer método proporcionaría
la información menos precisa y cuantitativa, pero también
requerirá menos recursos. Antes de emprender un ejercicio de recolección
de datos que requiera un volumen considerable de recursos, considere cuidadosamente
si un método más sencillo no facilitaría información
suficiente y de calidad adecuada para sus propósitos.
5.3.6 Quinta fase: identificar el apoyo
práctico necesario para la recolección de información
Si quiere que el método le proporcione la información
que necesita, tendrá que crear las condiciones necesarias para
que funcione. A menudo este aspecto se pasa por alto porque la atención
la acapara la identificación de los indicadores, pero es fundamental
para el éxito del proyecto. Para cada método considere si
necesita lo siguiente (y cómo lo necesita):
- preparar formularios para el registro de los datos;
- preparar formularios, sistemas de archivación y bases de datos
para la compaginación y el almacenamiento de la información;
- capacitar al personal, a los asociados o a los miembros de la comunidad
que participarán en la operación;
- comprobar y convalidar los datos;
- organizar los servicios de expertos de SyE o de investigadores externos
que sean necesarios;
- llegar a un acuerdo sobre quién es responsable de las diferentes
tareas;
- asegurarse de que todos disponen de los recursos financieros y el
equipo suficientes.
Este tema se examina con más detalle en las secciones
6 y 7.
5.3.7 Sexta fase: organizar el análisis,
la retroalimentación y el cambio
Con las prisas por empezar la operación de recolección
de datos, muchas unidades de SyE no prestan atención suficiente
a la utilización de la información para el análisis
y la promoción de los cambios en el proyecto.
Para asegurarse de que los datos no solamente se recogen, sino que además
se utilizan, piense en el modo en que organizaría el análisis
de la información para cada pregunta de desempeño. A veces
la pregunta no puede responderse sin un análisis previo de diferentes
elementos de información. ¿Quién lo hará?
¿Cuándo se hará? Considere también en qué
forma debe presentarse la información para que puedan utilizarla
los diferentes interesados. Por ejemplo, ¿será útil
presentar la información visualmente, en gráficos o en mapas?
¿O bien será necesario organizar varias reuniones de la
comunidad para obtener más retroalimentación sobre el análisis
inicial de los datos?
Más importante aún es el modo en que puede utilizarse
la información obtenida para comprobar los progresos e introducir
mejoras a medida que avanza el proyecto. Este tema se examina en las secciones
6 y 8.
Back
to Top
5.4 Cómo guiarse por las
preguntas de desempeño
5.4.1 ¿Qué es una pregunta
de desempeño?
En la fase de puesta en marcha la mayoría de los proyectos pasan
directamente a la identificación de los indicadores cuantitativos,
después de revisar la jerarquía de objetivos de la matriz
del marco lógico (véase el apartado
3.3). Esto produce, normalmente, largas listas de indicadores cuantitativos
que se refieren solamente a los fines, prescindiendo de otras informaciones
que son esenciales para explicar las cifras resultantes. Si no se entiende
el “porqué”, será difícil ajustar la
estrategia y las operaciones del proyecto para conseguir un impacto mayor.
Procure empezar, en cambio, identificando las preguntas clave –las
preguntas de desempeño– que tiene que responder respecto
de cada actividad y producto, y del propósito y la meta. Centrarse
inicialmente en las preguntas le permitirá evitar que le abrumen
unos indicadores que, en última instancia, quizás no le
digan lo que necesita saber realmente para mejorar el proyecto. Las preguntas
de desempeño le ayudarán a concentrar los procesos de búsqueda
y análisis de información en lo que es necesario para determinar
si el proyecto rinde con arreglo a los planes y, de no ser así,
por qué no. Una vez disponga de las preguntas de desempeño,
podrá decidir más fácilmente qué información
necesita seguir, y no cuál sería bueno seguir.
Estas preguntas además facilitan el análisis conjunto
de las diferentes clases de información, al proporcionar la estructura
necesaria para combinar los datos. Esto es especialmente importante en
los niveles más altos de la jerarquía de objetivos. Disponer
de una estructura reducirá el problema que supone contar con múltiples
indicadores en distintos niveles de la jerarquía de objetivos,
y no ser capaz de comprender lo que está pasando. En el cuadro
5-5 puede verse esto claramente. Los proyectos que no se sirvan de
preguntas de desempeño incluirán solamente informaciones/indicadores
en la columna de la derecha, que tendrán que interpretar en relación
con la meta, el propósito o el producto.
Tomemos un ejemplo relativo a la capacitación que se da en la
mayoría de los proyectos. Supongamos que uno de los objetivos del
proyecto es “que los extensionistas agrícola utilicen enfoques
más participativos en su labor con los agricultores”. La
actividad correspondiente del proyecto podría ser “organizar
cinco cursos de formación de diez días de duración
para un total de 60 extensionistas”. El seguimiento del número
de cursos celebrados, la duración y el número de participantes
es, evidentemente, fácil. A nivel del producto podría usted
limitarse a sumar el número de extensionistas que han recibido
capacitación sobre métodos participativos. Pero su objetivo
es, probablemente, mejorar la utilización eficaz de estos métodos
participativos sobre el terreno, y, a continuación, contribuir
a que los agricultores adopten prácticas agrícolas mejoradas.
Un indicador cuantitativo podría ser “el porcentaje de
extensionistas capacitados que utilizan métodos participativos
sobre el terreno”. Pero, ¿qué se entiende por “participativo”
y “que utilizan”? Estos términos no nos dicen nada
sobre la medida en que se utilizan los métodos o la calidad de
la utilización, de manera que la información del indicador
es relativamente inútil. En este caso, una pregunta de desempeño,
como por ejemplo, “¿utilizan eficazmente los extensionistas
capacitados sus técnicas participativas sobre el terreno?”,
daría mejor resultado. Los informes de los extensionistas acerca
de sus propias actividades sobre el terreno pueden complementarse con
informes de los agricultores que colaboran con ellos. Sólo el proceso
de recuento, el conocimiento del modo en que se aplican las técnicas
y la valoración de este cambio por los agricultores le ofrecerán
una respuesta que le ayudará a determinar si la gestión
del proyecto está orientada al impacto.
Recuerde que el nivel de las actividades del marco lógico no
necesita indicadores, por lo que a ese nivel tampoco harán falta
preguntas de desempeño.
Cuadro 5-5. Ejemplos de preguntas de desempeño
y su relación con las necesidades de información, incluidos
los indicadores
| Ejemplo de
objetivo |
Ejemplos de
preguntas de desempeño |
Ejemplos de
necesidades de información e indicadores |
| Meta: mejora
sostenida de los ingresos no agrícolas de 135 000 familias
pobres que viven en las tierras bajas de Penkalingo
|
- ¿Qué
clase de mejoras se han introducido de resultas del aumento de las
oportunidades de obtener ingresos facilitadas por el proyecto?
- ¿Quién se ha beneficiado
de estas mejoras?
- ¿Qué grupos-objetivo no se
han beneficiado?
- ¿Qué probabilidades hay de
que estas mejoras sean sostenidas?
- ¿Cuáles son los impactos
negativos o positivos no previstos de este aumento de las actividades
generadoras de ingresos? |
- Tipos de mejoras
por cada grupo-objetivo
- Nivel de cambios en los ingresos (aumento/disminución)
por cada grupo-objetivo
- Percepción de la población
del porqué los ingresos han aumentado o disminuido
- Porcentaje de hogares que no se han beneficiado
- Amenazas contra la posibilidad de sostener
los mayores ingresos
- Impactos negativos de las actividades generadoras
de ingresos (sociales, ambientales, etc.)
- Otros impactos positivos del desarrollo
de las actividades generadoras de ingresos |
| Propósito:
promover las actividades generadoras de ingresos para los grupos
destinatarios del proyecto |
- ¿Qué
tipos de actividades generadoras de ingresos se han creado?
- ¿Cuántas personas
han emprendido nuevas actividades generadoras de ingresos, y cuáles
son estas actividades? |
- Tipos de actividades
generadoras de ingresos creadas
? Número de personas que realizan cada actividad generadora
de ingresos
? Tipos de actividades generadoras de ingresos que las personas
creen necesarias |
| Producto 1: servicios
mejorados de ahorro y crédito a disposición de los
pobres |
- ¿Quién
se ha beneficiado de qué tipo de servicio?
- ¿Quién ha quedado
excluido? |
- Tipos de servicios
de ahorro/crédito
- Número de personas que utilizan
cada servicio
- Problemas con los servicios, y sus
causas
- Número de personas del grupo-objetivo
excluidas de cada servicio
- Nivel de capacidad local para sostener
los servicios |
| Producto 2: técnicas
empresariales desarrolladas entre las familias participantes
|
- ¿Qué
clases de técnicas han mejorado en cuántas familias?
- ¿Se observa un equilibrio
de género en el desarrollo de las técnicas
- ¿Satisfacen estas técnicas
una necesidad en la zona del proyecto? |
- Tipos de técnicas
empresariales desarrolladas
- Nivel de las técnicas desarrolladas
(mujeres/hombres)
- Número de personas del grupo-objetivo
(mujeres/hombres) que disponen de nuevas técnicas
- Número de personas del grupo-objetivo
excluidas del desarrollo de técnicas, y causas de la exclusión
- Demanda local de las nuevas técnicas
desarrolladas |
5.4.2 Trabajar con las preguntas de desempeño
El personal de los proyectos está tan acostumbrado a zambullirse
inmediatamente en los indicadores que en un primer momento quizás
se sienta confundido por tener que ocuparse antes de las preguntas de
desempeño. La siguiente pregunta puede ayudarle a encontrar una
buena pregunta de desempeño para cada nivel de la jerarquía
de objetivos:
¿A qué preguntas deberá responder para conocer
el grado en que se está alcanzando el objetivo, y explicar el
éxito o el fracaso de los resultados reales?
Las preguntas de desempeño pueden ser bastante sencillas. Por
ejemplo, al nivel “actividad” de la jerarquía de objetivos,
todo lo que hay que hacer es determinar si la actividad se ha llevado
a cabo adecuadamente y a tiempo. Asimismo, al nivel “producto”
con frecuencia será posible limitarse a unas pocas preguntas que
son relativamente fáciles de cuantificar. Por ejemplo, en el cuadro
5-5, las preguntas relativas al nivel del producto son: “¿Qué
tipos de técnicas se han mejorado y en cuántas familias?”,
“¿Se observa un equilibrio de género en el desarrollo
de las técnicas?” y “¿Satisfacen estas técnicas
una necesidad en la zona del proyecto?”.
A los niveles del propósito y de la meta en la jerarquía
de objetivos, las preguntas de desempeño adquieren un carácter
más cualitativo y son más eficaces si se plantean junto
con otras preguntas. Esto es debido a que los cambios observables a estos
niveles son resultado de todas las actividades o productos subyacentes.
Para evaluar el desempeño a los niveles del propósito y
la meta, habrá que considerar las interacciones entre los cambios
en cada nivel y determinar si los cambios observados pueden atribuirse
a las actividades o los productos del proyecto.
Una pregunta de desempeño especialmente importante es la que
concierne a los proyectos que tratan de innovar en la forma en que se
realizan ciertas actividades o productos. El aprendizaje basado en el
ensayo de nuevos métodos de trabajo es esencial. Por ejemplo, el
proyecto puede haber planeado la prestación de apoyo a la creación
de asociaciones autosuficientes de usuarios del agua. Pero puede ocurrir
que el mejor medio de hacerlo sólo se encuentre después
de varios intentos y rectificaciones. Por ejemplo, en el proyecto FODESA,
en Malí, los gestores efectuarán revisiones participativas
anuales y evaluaciones aperiódicas del impacto en cada comunidad,
subcontratando esta operación a ONG y consultores. Como se trata
de un experimento metodológico, las preguntas importantes de desempeño
podrían ser, entre otras: “¿Piensan los aldeanos que
los subcontratistas están facilitando adecuadamente las revisiones
participativas?” y “¿Contribuye la información
derivada de estas revisiones anuales a guiar la estrategia y las operaciones
del proyecto?”. En realidad, esto se ha convertido en un miniproyecto
de investigación para FODESA. A medida que se vea con más
claridad el mejor modo de realizar las revisiones anuales en las aldeas,
las preguntas de desempeño cambiarán o incluso habrá
que prescindir de algunas.
Las preguntas de desempeño no han de ser elaboradas, ni hacen
falta muchas. Los tipos básicos de preguntas de desempeño
se indican en el recuadro 5-5. Una vez se haya llegado
a un acuerdo sobre estas preguntas, se podrá decidir la información
que se necesita para responderlas, y determinar los indicadores.
| |
Recuadro
5-5. Preguntas básicas del desempeño para cada nivel
de la jerarquía de objetivos
- Actividades: ¿Qué hemos hecho en realidad?
- Productos: ¿Qué hemos producido como consecuencia
de las actividades del proyecto (por ejemplo, número de
personas capacitadas)?
- Efectos directos (resultados): ¿Qué se ha conseguido
como resultado de los productos (por ejemplo, medida en que las
personas capacitadas utilizan efectivamente las nuevas técnicas)?
- Impactos: ¿Qué se ha obtenido como resultado
de los efectos directos (por ejemplo, hasta qué punto las
ONG son más eficaces)? ¿Qué contribución
se está efectuando al logro de la meta? ¿Hay algún
impacto positivo o negativo no previsto?
- Lecciones: ¿Qué se ha aprendido del proyecto
que pueda contribuir a la mejora de la ejecución o a la
promoción de las disciplinas pertinentes?
Back
to Top
5.5 Centrar la atención
en la información clave y en los indicadores óptimos
Una vez se ha confeccionado una lista de preguntas de desempeño,
el siguiente paso consiste en identificar la información necesaria
para responder a esas preguntas. Compruebe primero si la pregunta puede
responderse con un indicador sencillo y fiable; para las actividades y
los productos quizás esto sea posible. Si no lo es (véase
el recuadro 5-6), tendrá que reflexionar más
detenidamente acerca de los diferentes tipos de información que
necesita para responder a las preguntas de desempeño, en particular
a los niveles más elevados de la jerarquía de objetivos
–la meta y el propósito–, en las que los indicadores
raramente pueden proporcionar las informaciones necesarias para juzgar
los efectos directos y los impactos.
| |
Recuadro
5-6. Saber cuándo no basta un solo indicador
Pongamos el objetivo siguiente:
“Al término del quinto año del
proyecto, el 50% de las familias de la zona del proyecto satisfacen
el 25% de sus necesidades anuales de liquidez con la venta de servicios
basados en las técnicas que han adquirido gracias a la capacitación
proporcionada por el proyecto.”
Como no hay un único indicador que pueda medir
este objetivo, necesitará usted diferentes tipos de información:
- porcentaje de familias que obtienen ingresos de las técnicas
que han adquirido en los talleres de capacitación organizados
por el proyecto;
- cantidades ganadas por las familias que han participado en
los talleres de capacitación organizados por el proyecto;
- necesidades anuales de liquidez por familia.
|
|
5.5.1 Tipos de cambio e información
Lo primero es identificar con absoluta claridad la información
que se necesita para responder a la pregunta de desempeño. ¿Quiere
usted conocer los cambios en:
- la presencia de algo (por ejemplo, número de bancos de semillas
o ensayos sobre el terreno conducidos por los agricultores)
- el tipo de acceso a una innovación o a un nuevo servicio (por
ejemplo, están en mejores o en peores condiciones las personas
que participan en los nuevos ensayos de cultivos)?
- el nivel de uso (por ejemplo, frecuencia con que cada agricultor utiliza
un fondo rotatorio u otra fuente de crédito)?
- el alcance o cobertura de una actividad (por ejemplo, número
de miembros del grupo de crédito o número de personas
participantes en los ensayos con variedades de maíz, y, de personas
excluidas)?
- la pertinencia de la innovación agrícola (por ejemplo,
resuelven o no los bancos de semillas un importante “cuello de
botella” para la producción)?
- la calidad de una innovación (por ejemplo, la calidad de las
semillas del banco de semillas o la eficacia de un sistema de manejo
integrado de las plagas para combatir el gorgojo del banano)?
- el esfuerzo requerido para introducir un cambio (por ejemplo, la mano
de obra requerida para el nuevo método de arado en curvas de
nivel)?
En el recuadro 5-7 se describe un marco interesante
que puede ayudarle a identificar los cambios que le conciernen.
| |
Recuadro
5-7. Identificar los indicadores de impacto utilizando el Marco
de Desarrollo de Base3
La Fundación Interamericana creó el
Marco de Desarrollo de Base (MDB) para medir los resultados y el
impacto de los proyectos. Se basa en la premisa de que el desarrollo
en la base produce resultados a tres niveles: los individuos, las
organizaciones y la sociedad, e impactos de dos tipos: tangibles
e intangibles. La combinación de los tres niveles de resultados
y los dos tipos de impacto arroja seis categorías principales
que representan los objetivos de desarrollo local y para las cuales
pueden elegirse indicadores localmente pertinentes.
- A nivel individual o familiar, los impactos tangibles están
relacionados con los cambios en la calidad de vida, incluidos
el entorno y los medios de subsistencia de las personas. Los impactos
intangibles se refieren a las capacidades personales, y conciernen
a los cambios en las expectativas, motivaciones y acciones del
individuo.
- A los niveles de la organización o del capital social,
los impactos tangibles corresponden a la gestión local
y reflejan la capacidad de las organizaciones y los municipios
de dedicarse a actividades de desarrollo local. Los impactos intangibles
se refieren al interés en la colaboración y consideran
los cambios en los valores de desarrollo y en las prácticas
de liderazgo local.
- A nivel de la sociedad en general, los impactos tangibles incluyen
la creación de oportunidades para la sociedad civil que
tienen que ver con la institucionalización de la democracia.
Los impactos intangibles miden los principios de la ciudadanía
en relación con los cambios en la cultura ciudadana, o
comportamiento colectivo, en favor de una mayor tolerancia y respeto
por la diversidad social y cultural.
Puede pedirse a los diferentes grupos de interesados
que discutan cada categoría. Discuta los indicadores compilados
con los grupos interesados. La determinación de un orden
de prioridad de los indicadores puede ofrecerle una base sólida
para evaluar el impacto, ya que le permitirá captar una amplia
variedad de impactos. |
|
Independientemente de la clase de información que desee, necesitará
comprender las causas de los cambios que observe. Si éstos son
diferentes de lo previsto, deberá preguntarse: “¿Por
qué el cambio es mayor o menor de lo previsto?”, a fin de
gestionar el proyecto de modo que se consiga un impacto mejor (véase
el recuadro 5-8).
| |
Recuadro
5-8. El “porqué” no depende de las cifras
En
el proyecto REP, en Ghana, el seguimiento del contacto con los beneficiarios
ha facilitado la participación de los clientes del proyecto,
porque el personal gestor ha examinado sus ideas y opiniones y ha
actuado en consecuencia. Pero la atención sigue estando concentrada
primordialmente en los indicadores cuantitativos. Por ejemplo, después
de cada actividad de capacitación se envían formularios
de evaluación a los participantes para recoger informaciones
u opiniones sobre aspectos tales como: estilo docente (métodos,
materiales, actitud de los instructores), contribuciones inmediatas
y a largo plazo de la capacitación percibidas, competencia
técnica del instructor y utilidad general. Los encuestados
sólo responden “sí” o “no”.
Esto evita dar explicaciones de los “porqués”.
La interpretación de los datos no hace más que aumentar
el número de las respuestas, sin que permita entender las
causas y tratar de obtener ideas mediante preguntas abiertas. |
|
Es probable que para responder a las preguntas de desempeño necesite
diversas informaciones (véase el recuadro 5-9),
entre ellas las siguientes:
? indicadores: indicadores cuantitativos simples, indicadores complejos
o compuestos, índices, indicadores cualitativos (véase el
cuadro 5-6);
- información cualitativa específica;
- información cualitativa de carácter general;
- información básica;
- observaciones generales de las interacciones con los interesados.
| |
Recuadro 5-9. Algo más
que indicadores en Uganda
En el programa DDSP, en Uganda, la unidad de planificación
del gobierno local de cada distrito es responsable del seguimiento
de la ejecución y la evaluación del impacto. Para
ejercer estas responsabilidades ha de obtener muchas clases de información:
- Información sobre los progresos materiales y financieros
a fin de que puedan adoptarse (o revisarse) decisiones sobre los
gastos y la distribución de los recursos, con lo que se
contribuye a mantener el proyecto en funcionamiento y a no exceder
el presupuesto.
- Información sobre la distribución de los beneficios
del proyecto (algunas personas pueden beneficiarse más
que otras). Esto es útil para los grupos que desean verificar
la equidad y el nivel de responsabilización del proyecto.
- Las respuestas de la población-objetivo a los servicios
e insumos proporcionados por el proyecto. Esta información
puede contribuir a la aceptación y utilidad de las actividades
del proyecto.
- Estudios sobre problemas concretos de ejecución que
se plantean a los proyectos, para identificar las causas y recomendar
soluciones prácticas.
- Información sobre el impacto en la población-objetivo,
especialmente en forma de cambios en la calidad y los niveles
de vida (ingresos, salud, potenciación de la capacidad
de acción, relaciones con el medio ambiente, etc.).
- Otras pruebas relativas al cumplimiento y la responsabilización,
para satisfacer las condiciones de los donantes.
|
|
5.5.2 Diferentes clases de indicadores
Los indicadores constituyen el tipo más común de información
relativa al SyE. En el cuadro 5-7 se describen diferentes
clases de indicadores.
Algunos indicadores son sencillos y directos, como los que están
destinados a medir los progresos de las actividades, por ejemplo, “número
de kilómetros construidos de canales de regadío”.
Otros indicadores, como el índice de desarrollo humano con el que
el Programa de las Naciones Unidas para el Desarrollo (PNUD) clasifica
a todos los países, comparan el bienestar de las poblaciones mediante
una combinación de indicadores ponderados. El cuadro
5-6 muestra ejemplos de indicadores para cuatro categorías
comunes.
Cuadro 5-6. Ejemplos de cuatro categorías
comunes de indicadores en proyectos de desarrollo rural
4
| Seguridad
alimentaria |
Pobreza
|
Potenciación
de la capacidad de acción de las instituciones de base
|
Potenciación
de la capacidad
de acción
de la mujer |
| - cambio en la
producción de alimentos
- cambio en las zonas cultivadas
- cambio en el rendimiento de los cultivos
alimentarios básicos
- cambio en el consumo de los alimentos básicos
- cambio en los precios de los alimentos
básicos
- cambio en el acceso a mercados
- cambio en la capacidad de almacenamiento
de alimentos en la explotación
- cambio en la malnutrición crónica
de los niños
- cambio en el índice de incidencia
del retraso del crecimiento (menores de 5 años) |
- cambio en los
ingresos reales de las familias
- cambio en el acceso a los ingresos
no agrícolas
- cambio en el acceso a los capitales
- cambio en el acceso a la mano de obra
- cambio en el acceso a los servicios de
riego
- cambio en la dispon-ibilidad de servicios
para atender a necesidades básicas
- cambio en el acceso al agua potable
- cambio en el acceso a la educación
básica
- cambio en el acceso a los servicios sanitarios
básicos |
- cambio en la
participación de los grupos de agricultores en la adopción
de decisiones a nivel local/ de proyecto
- cambio en la formación de
grupos autónomos de agricultores en la zona del proyecto
- cambio en la capacidad de la población
de practicar el autoseguimiento y la evaluación de los progresos
- cambio en la capacidad de comercializar
los propios productos
- cambio en los términos y condiciones
de los dispositivos de comer-cialización |
- cambio en la
matriculación femenina en la enseñanza
primaria
- cambio en el número de
grupos de
mujeres constituidos
en la zona del proyecto
- cambio en el número de préstamos
aprobados/ desembolsados
para los grupos
de mujeres
- cambio en el número de
grupos de
mujeres que
tienen acceso
a un segundo y tercer préstamo
- cambio en el número de
mujeres que
son miembros
de asociaciones locales de producción/
servicios
- cambio en la capacidad de adopción
de decisiones de
las mujeres a
nivel de la
familia
- cambio en la participación de
las mujeres en
la adopción de decisiones a
nivel local/del proyecto |
Cuadro 5-7. Ejemplos de diferentes tipos de indicadores
| Tipos de indicadores
|
Ejemplos
|
Explicación
|
| Indicadores cuantitativos
simples |
- kilómetros
de caminos construidos
- días-hombre
de capacitación en X disciplinas
- rendimiento medio del cultivo X en Y zonas
|
Este indicador
requiere solamente la medición de una simple unidad.
|
| Indicadores cuantitativos
complejos |
- úmero
de meses en los que las familias sufren de escasez de alimentos
|
Este indicador
abarca varios elementos distintos de información, como meses,
familias y clases de escasez de alimentos. Si no se especifica qué
tipos de familias sufren qué clases de penurias de alimentos,
y en qué medida, el indicador no será tan útil.
Esto quiere decir que este indicador es más complejo que
una simple medición de un factor simple, como el promedio
de rendimiento de un cultivo. |
| Indicadores compuestos
|
- número
de asociaciones de usuarios del agua que funcionan efectivamente
en la zona del proyecto
- número
de planes de desarrollo de aldeas completados que reúnen
las condiciones necesarias para recibir financiación
|
Estos indicadores
tienen un elemento común que debe definirse y evaluarse.
Es preciso definir lo que se entiende por funcionar efectivamente,
y ello quiere decir que se deberá evaluar la calidad de cada
asociación. Lo mismo puede decirse de los planes de las aldeas,
que deben evaluarse en relación con los criterios de financiación.
Sólo entonces podrá procederse al recuento.
|
| Indices |
- índice
de desempeño del sistema de regadío |
Los índices
combinan varios indicadores diferentes para permitir la comparación.
El índice de desarrollo humano es un ejemplo bien conocido.
Trabajar con índices es estadísticamente complejo,
y por ello no suelen utilizarse en el SyE de proyectos. |
| Indicadores sustitutivos
|
- porcentaje
de familias con bicicletas |
Este es un indicador
que no es preciso pero se utiliza más bien con carácter
simbólico y aproximativo. Este ejemplo podría ser
un indicador sustitutivo para un cierto nivel de bienestar en una
zona donde las bicicletas sean caras y difíciles de comprar.
|
| Indicadores cualitativos
generales |
- percepciones
de los interesados sobre el desempeño general del proyecto
|
La información
cualitativa de tipo general permite determinar lo que es importante
para la gente. Las preguntas abiertas le permitirán obtener
información sobre cosas que quizás no hubiera pensado
preguntar. |
| Indicadores cualitativos
específicos |
- percepciones
de los interesados acerca de un aspecto muy específico del
proyecto |
La información
cualitativa específica es importante cuando se desea obtener
datos concretos. |
5.5.3 Formular indicadores claros
Para ser útil, un indicador tiene que ser claro: esto es lo que
permitirá efectuar mediciones. Sin embargo, la mayor parte de las
personas que trabajan en los proyectos saben que encontrar un indicador
claro es más difícil de lo que parece a primera vista. ¿Qué
condiciones debe reunir un indicador para ser claro?
Las preguntas de desempeño respecto de la meta, el propósito,
los efectos directos y los productos le permitirán identificar
el tipo de datos que necesita. Por ejemplo, si su producto consiste en
“rehabilitar tierras degradadas en la zona X”, le convendrá
un indicador como “superficie de tierra degradada rehabilitada”.
Pero, ¿qué se entiende por “degradada” y “rehabilitada”?
Un indicador claro comprende los siguientes elementos:
- el grupo-objetivo específico al que se aplicará el
indicador;
- la unidad o unidades específicas de medición que se
emplearán para el indicador;
- el calendario específico de seguimiento del indicador;
- una mención de la línea de base/punto de referencia
a efectos de comparación;
- cualidades definidas (si hace falta un adjetivo –véase
más abajo–);
- el lugar concreto en el que se aplicará el indicador.
Consideremos un indicador propuesto por un proyecto en China que recibe
apoyo del FIDA y cuya finalidad consiste en evaluar el impacto al nivel
de propósitos: “Empresas iniciadas, en particular por mujeres”.
Este concepto es demasiado vago para prestarse a una medición.
Una expresión más concreta del indicador sería, por
ejemplo: “Número de nuevas empresas formales e informales
que inician todos los años las familias pobres a cargo de mujeres
y de hombres en la provincia X, en comparación con el número
original”. Otro ejemplo de un indicador deficiente lo ofrece un
proyecto en el Yemen: “Número de equipos de elaboración
de forraje”. Para proceder al seguimiento de esta actividad es necesario
ser más específico, por ejemplo: “Incremento anual
del número de máquinas de elaboración de forraje
del tipo X adquiridas desde el comienzo del proyecto, por grupos de familias
destinatarias”.
Se preguntará usted si un indicador cualitativo puede ser específico.
Por definición, un indicador cualitativo no es tan preciso como
uno cuantitativo, ya que al primero no se le imponen límites deliberados.
En el subapartado 5.5.4 se examina este punto con
más detalle.
Debe prestarse especial atención a los indicadores que incluyen
algún tipo de adjetivación, como “ejecutado con éxito”,
“utilizado adecuadamente”, “aplicado eficazmente”,
“tierra degradada” o “personas que disponen de muy pocos
alimentos”. Estos términos descriptivos pueden interpretarse
de muchas maneras, y en consecuencia prestarse a confusión.
Un ejemplo habitual lo ofrecen los proyectos de creación de grupos
de microcrédito, grupos comunitarios de autoayuda o planes comunitarios.
Como deseará usted conocer su calidad, el indicador incluirá
probablemente especificaciones tales como “grupos de microcrédito
que funcionan adecuadamente”, “grupos de autoayuda potenciados”
o “planes comunitarios participativos”. Por ejemplo, ¿qué
se entiende por “plan comunitario participativo”?, ¿significa
que se pidió al 50% de los adultos que expusieran ideas?, ¿que
el 80% estuvo de acuerdo con el plan final?, ¿o que ha sido aprobado
por el consejo local de aldea? Será necesario definir con precisión
cualquier término que pueda tener más de un significado.
Cuanto más preciso sea un indicador, menos probabilidades habrá
de que lo interpreten erróneamente los participantes a la hora
de recoger los datos y analizarlos. La búsqueda de indicadores
locales puede dar resultados muy útiles (véase el recuadro
5-10).
| |
Recuadro
5-10. Ejemplos de indicadores locales de pobre
- tipo y tamaño de los funerales (utilizado en Ghana y
en Burkina Faso, donde el gasto en los funerales se considera
importante)
- disponibilidad de ropa nueva para las celebraciones (en muchos
lugares)
- aplazamiento de los matrimonios cuando no se aporta una dote
(Somalia)
- utilización regular de zapatos (India)
- tres comidas al día (varios lugares)
- posibilidad de dormir en un lugar distinto de aquél
en que duermen los animales de la granja (India)
- mujeres que poseen utensilios de cocina o platos para invitados,
en tamaño y cantidad suficientes (Malí, Sudán).
|
|
Para contribuir a la reflexión sobre los posibles indicadores,
y en particular sobre los indicadores cualitativos, que pueden ser difíciles
de formular, las preguntas siguientes le permitirán obtener respuestas
concretas:
- Si el proyecto está destinado al fracaso, ¿cómo
lo sabrá usted? (Redactando estos indicadores de “fracaso”
en términos positivos sabrá lo que desea que cambie).
- ¿Qué significa “nutrición mejorada”?
(O cualquier otro objetivo/propósito/ efecto directo que se esté
examinando).
- ¿Cómo sabe que se ha producido un impacto?
- ¿Puede dar un ejemplo concreto del modo en que observa un impacto?
Hay otros métodos útiles para identificar los indicadores,
como la matrices de puntuación y los diagramas de flujo del impacto
(véase el anexo
D).
5.5.4 Trabajar con información cualitativa
e indicadores
Hasta ahora los sistemas de SyE prestaban mucha más atención
a los datos cuantitativos; esta situación se está equilibrando
con la mayor importancia atribuida a los indicadores cualitativos, de
los que se espera que proporcionen información más en profundidad.
Sin embargo, estos tipos de indicadores son intercambiables y compatibles
(véase el recuadro 5-11). Por ejemplo, para
evaluar la calidad de un taller sobre el manejo integrado de plagas, puede
recabarse la opinión de los agricultores que asistieron al curso
y hacer listas con sus opiniones sobre las fortalezas y debilidades, y
los sectores que se prestan a mejora. Por otra parte, un enfoque más
cuantitativo consistiría en pedir a los agricultores que indiquen
si están satisfechos de la calidad de la capacitación, puntuándola
en una escala de 0 a 5, y a continuación contar el número
de agricultores en cada categoría. Es evidente que la clasificación
no le dará indicaciones de lo que debe mejorarse, pero sí
del grado de satisfacción.
| |
Recuadro
5-11. Profundización cualitativa de indicadores cuantitativos
Una
de las distinciones fundamentales en el procedimiento de utilización
del marco lógico del consultor ugandés Dan Kisauza
es que el debate sobre la elaboración del marco lógico
se basa en el modo en que el personal del proyecto ha de llevar
a la práctica la visión, y no en lo que debe hacer.
Para ello es necesario concentrarse en los aspectos cualitativos
del proyecto –no en los cuantitativos– cuando se elaboren
los indicadores. Con esta finalidad el proceso de elaboración
de los indicadores puede transformarse en otro consistente en redactar
una declaración sobre el modo en que el personal pretende
llevar a cabo las actividades para alcanzar sus objetivos, incorporando
a los planes una dimensión de proceso. Por ejemplo, en vez
de un indicador cuantitativo más común para la meta
general de la seguridad alimentaria, como “se han desarrollado
dos nuevas variedades de X”, el nuevo indicador diría
“se han desarrollado dos nuevas variedades en colaboración
con los agricultores (con algunas indicaciones de que los agricultores
aceptan las variedades)”. |
|
Si se quiere que los indicadores cualitativos ofrezcan indicaciones rigurosas
sobre cuestiones importantes, deberán ser tan específicos
como los indicadores cuantitativos. Haga más específico
un indicador cualitativo definiendo lo siguiente:
- el tema de interés (sobre la base de la pregunta de desempeño);
- el tipo de cambio que trata de determinar, incluida la unidad de
análisis (por ejemplo, cambios en una familia, en una aldea o
en una región);
- el calendario de su seguimiento;
- el lugar en que se aplicará el indicador.
Por ejemplo, el indicador “percepciones del 25% de los participantes
que asisten a cada programa de capacitación sobre el tema Y, respecto
de la medida en que el programa los ha ayudado a asumir mejor sus responsabilidades
de trabajo”, es mucho más fácil de aplicar que este
otro, más común: “conocimientos técnicos de
los participantes en el taller”. Las normas para los indicadores
cualitativos son las mismas que para los indicadores cuantitativos, o
sea, han de ser mensurables, representativos, fiables y factibles.
Para los indicadores cualitativos, la idea de “mensurable”
se refiere a la capacidad de encontrar datos sobre el indicador, más
que a la capacidad de proceder a un recuento. Por ejemplo, de un proyecto
en Zimbabwe se declaró explícitamente que “produciría
grandes beneficios no cuantificables para los habitantes de la zona del
proyecto y para la nación”. Entre los ejemplos facilitados
figuraba “el aumento de la capacidad de los habitantes de recibir
asistencia de la extensión agrícola y los investigadores”
y “la elaboración de un marco de políticas y desarrollo
para la inversión del sector público en las zonas más
secas”.
Es muy posible que se disponga de una serie de aspectos cualitativos
de desarrollo que no pueden expresarse en forma de indicadores mensurables
(véase el recuadro 5-12). Ejemplos de estos
aspectos cualitativos son “el proceso de movilización social”,
“la gestión colectiva” o “los vínculos
con los proveedores de servicios”. En tales casos, los estudios
monográficos sobre lo que sucede en una comunidad podrán
ayudarle a entender estos procesos (véase el recuadro
5-13).
| |
Recuadro
5-12. Medir lo inmensurable
En Bangladesh, los proyectos que reciben apoyo del
FIDA colaboran con organizaciones comunitarias (OC). Los asociados
en la ejecución son ONG que necesitan mantenerse al corriente
del crecimiento de estas organizaciones. El crecimiento de las OC
puede seguirse con indicadores tales como “existencia de una
evaluación aperiódica de las necesidades realizada
por la propia organización, y dirigentes elegidos democráticamente,
y movilización de recursos iniciada por la OC”. Estos
indicadores pueden examinarse en un taller conjunto con las OC,
en el que los participantes puedan considerar también las
medidas correctivas adecuadas y quiénes las necesitan, en
caso de que la OC tropiece con dificultades.
El objetivo primordial de un programa sobre la pobreza
rural en los Estados Unidos5
era la “revitalización comunitaria”. Los indicadores
elegidos para determinar el éxito del programa eran “las
actitudes de la gente (espíritu comunitario), el voto en
las elecciones, la recogida de basuras, la limpieza de estructuras
en mal estado, la propiedad del hogar y la capacidad comunitaria
medida en función del número de organizaciones de
potenciación de la comunidad que hayan formado redes y de
la capacidad de acceder a los recursos y formar a dirigentes”. |
|
| |
Recuadro
5-13. Estudios cualitativos específicos sobre aspectos complejos
del cambio
En el programa WUPAP, en Nepal, el desempeño del enfoque
a nivel de aldea se evaluará del modo siguiente:
-
Medir el grado de utilización de enfoques
participativos sobre el terreno.
-
Documentar la respuesta de la comunidad al
programa en general.
-
Medir los cambios en la visión de la
comunidad y el papel de los pobres, las mujeres y los niños,
en la actualidad y en el futuro.
-
Documentar los cambios en las actitudes y enfoques
de los proveedores de servicios.
-
Determinar la voluntad y la capacidad de la
comunidad de asumir más responsabilidades.
-
Examinar los beneficios de las actividades
del programa y su distribución entre los diferentes grupos.
-
Registrar los primeros signos de impacto en
los niveles de subsistencia, y de mejoras en el bienestar material.
-
Proponer cambios en el proceso de movilización
social, la estructura de la OC y las condiciones de la asociación.
Estos estudios monográficos deberían encargarse
a OC relativamente experimentadas de diferentes distritos, examinando
sus registros, planes e informes parciales, así como sus
técnicas participativas. Los gestores del programa se encargarán
de presentar conclusiones y recomendaciones basadas en los estudios
monográficos en los talleres anuales de interesados.
|
|
A menudo una parte fundamental de muchos proyectos, que guarda una estrecha
relación con los indicadores cualitativos, es el desarrollo institucional
de las organizaciones comunitarias (OC). Bastantes proyectos que reciben
apoyo del FIDA ven en la creación y el fortalecimiento de estas
organizaciones el elemento esencial de un impacto sostenido. Así
pues, muchos proyectos deberán evaluar cuestiones tales como las
dinámicas de grupo, la igualdad y la transparencia, la orientación
del grupo hacia el aprendizaje, etc.
Un método cada vez más empleado para realizar una evaluación
aperiódica de la calidad de las OC es el sistema de graduación,
que combina la evaluación cualitativa del desarrollo institucional
con una puntuación cuantitativa. En el recuadro
5-14 pueden verse varias aplicaciones de este procedimiento.
| |
Recuadro
5-14. La graduación del desarrollo de las organizaciones
en África, Asia y América Latina
En Ghana, el proyecto LACOSREP tiene una visión
de “asociaciones de usuarios del agua (AUA) socialmente coherentes
y gestionadas democráticamente”. Cada AUA se puntúa
en una escala de 0 a 5, teniendo en cuenta el desempeño de
diversos aspectos de su organización. Se consideran “la
existencia e idoneidad de los reglamentos”, “el nivel
de democracia en la elección de los miembros ejecutivos”
y “la adopción de decisiones por consenso”. Asimismo,
se procede al seguimiento de la movilización financiera con
el mismo sistema de clasificación, aunque se emplean también
otros indicadores, como “la capacidad de los ejecutivos de
recaudar derechos del agua”, “la cantidad movilizada
y la cantidad prevista” y “la utilización prudente
de los fondos por la AUA”.
En un estudio sobre las OC de Bangladesh6,
cada organización fue clasificada con arreglo a ocho indicadores:
- evaluación de necesidades/elección de medidas:
si los miembros de la comunidad necesitan una evaluación
aperiódica;
- organización: si las organizaciones han sido
impuestas desde el exterior o ya existían;
- liderazgo: si el apoyo a la organización refleja
plenamente los intereses comunitarios en general;
- capacitación: si los trabajadores comunitarios
pueden seguir cursos de capacitación durante el servicio,
y antes del servicio;
- movilización de recursos: si las comunidades
organizan actividades de recaudación de fondos;
- gestión: si las comunidades son responsables
de la gestión y la supervisión;
- orientación de las acciones: si las comunidades
tienen objetivos orientados al impacto;
- seguimiento y evaluación: si las comunidades
reciben retroalimentación del seguimiento, y son conscientes
de sus problemas.
En el proyecto TNWDP, en la India, el personal utiliza
un sistema de clasificación para evaluar la solvencia de
los grupos de autoayuda. Cada grupo de autoayuda se clasifica junto
con un miembro de otro grupo cercano y con un extensionista de una
ONG. Los indicadores combinan aspectos cualitativos y cuantitativos,
como por ejemplo “el 80% de los miembros conocen las reglas
y las respetan estrictamente”. Aunque este indicador está
basado en una cantidad (80%), su elemento principal es el conocimiento
de las normas y reglamentos del grupo por parte de sus miembros
(aspecto cualitativo). La clasificación se discute con los
miembros del grupo para analizar los problemas y mejorar las posibilidades
de éxito. Esta clase de seguimiento contribuye a alentar
el debate sobre los problemas, encontrar soluciones y hacer sostenible
el desarrollo de los impactos. Además, los grupos son objeto
de una clasificación general (A, B, etc.). El deseo de mejorar
la clasificación constituye un poderoso incentivo para aumentar
el desempeño. Este mismo sistema de clasificación
ha sido aprobado recientemente para las propias ONG ejecutoras.
Un proyecto que recibe el apoyo del FIDA en México
utiliza 14 indicadores para el seguimiento de las actividades de
fortalecimiento de las organizaciones de los grupos destinatarios.
Las organizaciones se clasifican con arreglo a su puntuación
total: de 14 a 22 puntos, “en desarrollo”; de 23 a 32
puntos, “en fase de fortalecimiento”; y de 33 a 42 puntos,
“en fase de consolidación”. Según la clasificación
de la organización se toman decisiones sobre las medidas
que deben adoptarse o reforzarse, como la capacitación en
disciplinas específicas. A continuación figuran dos
ejemplos de indicadores, con las puntuaciones correspondientes:
- venta del producto: individual = 1 punto; en grupo
= 2 puntos; organizada y planeada = 3 puntos;
- actividades de postcosecha: no administradas = 1 punto;
selección y embalaje tradicional = 2 puntos; selección
y embalaje adecuado = 3 puntos;
- estabilidad de la organización: 15% o más
de miembros que se dan de baja = 1 punto; del 5 al 14% de miembros
que se dan de baja = 2 puntos; menos de un 5% de miembros que
se dan de baja = 3 puntos.
|
|
5.5.5 Comprobar la calidad de los indicadores
La claridad de un indicador es lo que lo hace mensurable; pero hay otros
factores que condicionarán su utilización. La necesidad
de disponer de un conjunto manejable, y por lo tanto pequeño, de
indicadores, hace especialmente importante que sean de alta calidad. Examine
cada indicador en potencia para asegurarse no sólo de que está
claramente definido sino que, además, es representativo, fiable
y factible.
Si un indicador no reúne algunas de estas condiciones (véase
el cuadro 5-8), no le ayudará a responder a
la pregunta de desempeño, y tendrá que ajustarlo o encontrar
un sustituto.
Un indicador es plenamente representativo si abarca los aspectos más
importantes del objetivo que se desea seguir. Como esto será difícil
con los objetivos de alto nivel, es probable que necesite varios indicadores
para que el conjunto de indicadores sea representativo del tipo de cambio
que se quiere interpretar.
Un indicador será probablemente más fiable si es preciso,
si mide en términos normalizados con procedimientos de muestreo
sólidos y consistentes, y refleja directamente el objetivo. Asimismo
debe estar bien fundamentado, con una relación demostrada o probable
con el objetivo. Por ejemplo, el retraso del crecimiento de los niños
es un indicador bien fundamentado de la falta de alimentos, ya que muchos
estudios han demostrado la relación existente.
Un indicador es factible si los datos que necesita pueden obtenerse
sin costos o esfuerzos excesivos. Para determinar la factibilidad financiera
y técnica:
- Aténgase a su límite presupuestario para decidir
lo que “necesita saber”, y no incluir todo lo que es “bueno
saber”. La mayoría de los proyectos comienzan definiendo
lo que se quiere saber, para descubrir después que la recolección
de datos requiere un gasto y un esfuerzo excesivos. Es preferible hacer
el presupuesto del SyE durante la planificación del proyecto
y calcular qué volumen de seguimiento es posible con el presupuesto
de que se dispone. Pregunte qué información, y en qué
cantidad, puede obtenerse con un criterio realista, dados los recursos
que está dispuesto a asignar a la tarea. Considere también
cuán fácil o difícil resulta obtener estos datos.
Tenga en cuenta que algunos indicadores, aunque parezca que representan
un costo adicional escaso, en realidad no son tan económicos
porque en el cálculo del gasto debe incluirse el tiempo que necesitan
los encuestados para responder, y el tiempo del personal dedicado a
incorporar, elaborar y analizar los datos.
- Asegurese de que dispone de las capacidades humanas necesarias
para evaluar los indicadores. El personal de un proyecto de SyE
en Marruecos, que se limitaba a registrar los progresos en el logro
de los fines numéricos del proyecto, se percató un día
de sus limitaciones al tratar de evaluar el impacto más amplio
consistente en la mejora de las condiciones de vida. Por ejemplo, era
necesario determinar si la plantación en curvas de nivel aumentaría
la producción de forraje para el ganado, si esto haría
aumentar el peso de los animales, y si con ello aumentarían los
ingresos de las familias. No obstante, en este caso el proceso de seguimiento
se vio limitado por la falta de acceso a los especialistas que disponían
de los conocimientos necesarios para llevar a cabo esta clase de análisis,
y por la falta de apoyo del proyecto al SyE.
- Evitar las duplicaciones. Localice las organizaciones que
disponen ya de la información que necesita. Algunos datos estadísticos
se encuentran fácilmente en las instituciones nacionales (oficina
nacional de estadística, empresas del sector privado, oficina
del censo, oficina estadística del Ministerio de Agricultura,
bancos, etc.). Esta información sobre los antecedentes puede
ser fundamental para explicar los progresos. En la fase de puesta en
marcha deben prepararse los sistemas necesarios para aprovechar estos
datos “secundarios”. Por ejemplo, la Oficina de Estadística
de Indonesia lleva a cabo encuestas de hogares (200 000 hogares) todos
los años, y cada cinco años un censo agrícola.
Como dijo un gestor de un proyecto en Indonesia: “Si queremos
saber si nuestro proyecto de ganadería está progresando,
deberemos obtener datos de los centros sanitarios de los subdistritos
sobre la mortalidad y las enfermedades de los animales de menos de 5
años de edad. Asimismo, las cifras sobre el ahorro total de los
planes de crédito y los bancos proporcionan información
muy precisa acerca de los progresos logrados con los grupos de agricultores”.
Cuadro 5-8. Decidir si los indicadores tienen
la suficiente calidad7
| Calidad del
indicador |
Qué
hacer con el indicador |
| El indicador
es mensurable, representativo, fiable y factible. |
Muy bien, utilícelo.
|
| El indicador
es mensurable, fiable y factible, pero no lo suficientemente representativo.
|
Utilícelo
y trate de encontrar otros tipos de información o indicadores,
hasta que vea que puede responderse a la pregunta del desempeño.
|
| El indicador
es mensurable, representativo y factible, pero no muy fiable.
|
¿Es lo
suficientemente fiable como para ser utilizado si se hacen públicas
sus deficiencias? En caso afirmativo, utilícelo y trate de
encontrar otra información que, junto con la primera, ofrezca
una imagen más fiable. En caso negativo, prescinda de él
y trate de encontrar un sustituto. |
| El indicador
es mensurable, representativo y fiable, pero no factible.
|
¿Puede
otro indicador o conjunto de indicadores representar el objetivo
de un modo razonable? En caso afirmativo, prescinda del primer indicador
propuesto. En caso negativo, reconsidere la factibilidad del indicador.
Puede haber un medio más creativo y eficaz en función
del costo de encontrar los datos requeridos. |
| El indicador
es mensurable y factible, pero no es lo suficientemente representativo
y no es muy fiable. |
¿Es suficientemente
fiable para utilizarlo si se hacen públicas sus deficiencias?
En caso afirmativo, utilícelo y trate de encontrar otra información
para obtener una imagen más fiable. En caso negativo, prescinda
de él y trate de encontrar un sustituto. De todos modos,
como el indicador adolece de dos problemas importantes, es mejor
prescindir de él que conservarlo. |
| El
indicador es factible, pero no es ni mensurable, ni representativo,
ni fiable. |
Olvídese
de él. |
5.5.6 Identificación participativa
de los indicadores (impacto)
La identificación de los indicadores puede efectuarse con diferentes
métodos y con diversos grados de participación de los interesados.
Especialmente cuando se evalúan los impactos, algunos proyectos
piden a los interesados directos que definan lo que es un impacto y utilicen
sus indicadores para el seguimiento y la evaluación. El proceso
de identificación participativa de los indicadores es muy similar
al proceso general de identificación de los mismos.
- Decida qué aspecto del SyE será participativo: ¿los
aspectos relativos al impacto, o bien los referentes a la ejecución
(por ejemplo, actividades, calidad de los proveedores de servicios)?
- Llegue a un acuerdo sobre quién debe participar en la determinación
de los Indicadores.
- Organice un acto adecuado (tiempo, lugar, instalaciones, facilitación)
para que todos los grupos puedan aportar una contribución significativa.
- Si hay más de un grupo de interesados, tendrá usted
dos opciones:
Opción 1. Redacte los indicadores con cada grupo. Esto le proporcionará
una lista inicial de posibles indicadores, la información que
falta respecto a esos indicadores y la justificación para elegirlos.
Distribuya las listas de indicadores a todos los grupos. Organice una
reunión con los representantes de los grupos para seleccionar
los indicadores más adecuados, ya que generalmente hay demasiados.
Decida qué indicadores responden mejor a las preguntas de desempeño
en las que todos están interesados. Empiece determinando los
criterios para la selección de los indicadores. Para establecer
las prioridades con más facilidad, utilice la matriz de puntuación
(véase el anexo
D).
Opción 2. El equipo del proyecto y los coejecutores pueden redactar
una lista inicial, que a continuación se modificará con
los interesados directos. Siga un proceso similar para establecer el
orden de prioridad de los indicadores que deban ser objeto de seguimiento.
- Defina las unidades de análisis (grupos de crédito,
familias, organizaciones comunitarias, etc.) y el procedimiento de muestreo.
- Decida los métodos de recolección de datos (véase
la sección 6).
Para ello quizás deban revisarse los indicadores, si los métodos
resultan inadecuados.
- Diseñe formatos de tratamiento de datos y decida cuáles
han de ser los procesos de análisis (véanse las secciones
6 y 8).
- Ponga a prueba los indicadores, métodos y análisis
de los datos. Asegúrese de que son adecuados y manejables, y
de que le proporcionarán la información que necesita para
responder a las preguntas de desempeño. ¡No deje de hacerlo!
Le puede evitar muchos esfuerzos inútiles y derroche de recursos.
Considere que para favorecer la participación de grupos de interesados
en la identificación de los indicadores es necesario negociar lo
que cada grupo entiende por “éxito”, cosa que naturalmente
llevará más tiempo. El proceso de negociación se
irá volviendo más crítico a medida que las diferentes
opiniones y prioridades deban reducirse a un número limitado de
indicadores. Asegúrese de que la participación de los interesados
directos es auténtica y no meramente simbólica.
Las negociaciones pueden promover una visión compartida del desarrollo,
en particular cuando se trabaja con grupos muy diferentes entre sí.
Esto puede ser un importante aspecto positivo del desarrollo participativo
del sistema de SyE.
Recuerde que los indicadores deberán actualizarse constantemente,
a medida que cambian las visiones o las políticas de desarrollo
y las necesidades de información.
Un buen ejemplo del vínculo existente entre la identificación
de los indicadores y la potenciación de la capacidad de acción
lo ofrece un importante programa de silvicultura en Nepal. Los coejecutores
colaboraron con grupos de usuarios del bosque, utilizando series paralelas
de indicadores. El personal del programa identificaba una serie, y los
grupos identificaban la otra. En un sector, una tercera serie de indicadores
fue identificada por las mujeres de la localidad, que tenían problemas
específicos que no se habían tenido en cuenta en la serie
inicial de indicadores.
| |
Recuadro
5-15. Identificación participativa de indicadores en México8
En un programa de extensión de agricultor a agricultor en
México, el equipo del proyecto siguió el proceso que
se indica a continuación para elaborar los indicadores:
- Definir amplios sectores para los indicadores (sobre la base
de los objetivos de nivel más alto).
- Seleccionar indicadores disponibles para estos sectores, según
la utilización del programa existente y los trabajos publicados
sobre este asunto.
- Definir los grupos de interesados.
- Seleccionar los grupos de interesados a los que consultar.
- Elaborar indicadores con diferentes grupos de interesados.
- Poner a prueba estos indicadores en diferentes grupos de interesados
a fin de determinar su importancia para los otros y su eficacia
como indicadores de los cambios.
- Llegar a un acuerdo sobre una lista prioritaria de opciones
en materia de indicadores.
- Reunir datos sobre el terreno destinados a los indicadores.
- Confeccionar listas de indicadores que puedan emplearse en
una evaluación detallada; los indicadores deberán
ser de importancia específica para diferentes actores (con
un máximo, por ejemplo, de tres indicadores clave para
cada grupo de interesados).
El equipo del programa identificó el conjunto de diferentes
actores institucionales e individuales que influían en el
proyecto y eran influidos por éste. A continuación
se determinaron los tres principales grupos de interesados que debían
consultarse para la elaboración de los indicadores en esta
fase experimental: agricultores (participantes o no), agricultores-extensionistas
(y sus cónyuges) y los organismos de financiación.
El equipo de investigación propuso inicialmente siete áreas
que los indicadores debían cubrir. Finalmente se redujeron
a cuatro, sobre la base de los objetivos de los grupos: 1) cambios
en la normativa y las prácticas locales, regionales, políticas
y sectoriales (por ejemplo, nivel de dependencia con respecto a
los recursos externos, participación de la población
local, crecimiento de las instituciones locales y cambios en las
políticas y las prácticas); 2) impactos de difusión:
ampliación a otras localidades/regiones (por ejemplo, vinculaciones
horizontales y verticales con otros proyectos, organismos y ONG
no pertenecientes a la región); 3) cambios en las funciones
de los individuos participantes en el proyecto (principalmente el
coordinador, los asesores externos, los participantes inmediatos
en el proyecto y las familias del personal de ONG); y 4) cambios
en la estructura institucional (dentro y fuera del proyecto mismo). |
|
Cuando elija un procedimiento participativo de identificación
de los indicadores en un proyecto basado en un enfoque participativo general,
habrá de ser extraordinariamente flexible. Estos proyectos suelen
comenzar con pequeñas intervenciones basadas en evaluaciones participativas,
o con actividades de fortalecimiento de las capacidades. Sólo después
de que se haya llegado a un consenso sobre las actividades que deberán
ejecutarse, podrá empezar a identificar los indicadores. Suele
suceder que durante la ejecución del proyecto aparecen nuevos asociados,
se adquieren nuevas percepciones y se adoptan nuevas metas de desarrollo.
Cada cambio conlleva revisar los indicadores existentes (véase
el recuadro 5-16), como demostraron los siguientes
proyectos:
- En Laos, los agricultores abandonaron los criterios negativos de
seguimiento, que reflejaban su temor acerca de la nueva tecnología
que se estaba introduciendo, y adoptaron criterios positivos cuando
comprobaron los efectos beneficiosos de la tecnología.
- En un proyecto administrado por una ONG en la Región del Nordeste
del Brasil, el seguimiento se limitó a 17 de los 22 indicadores
seleccionados en un principio, ya que algunos indicadores y métodos
resultaron demasiado difíciles de utilizar en la práctica.
Por ejemplo, resultó imposible seguir el indicador “producción
de las plantaciones de bananos donde se practicó el control del
gorgojo, en comparación con las parcelas donde no se practicó”.
La comparación entre la producción de las diferentes parcelas
con muchas variables incontrolables hizo que los datos fueran poco fiables.
- En Nepal, había un entendimiento común insuficiente
sobre sectores fundamentales de actividad como el “fortalecimiento
institucional” y la “regulación del rendimiento maderero”,
y los indicadores eran de baja calidad. A medida que mejoró la
comprensión, los indicadores se hicieron más precisos.
| |
Recuadro
5-16. ¿Sacrificar la participación en el SyE para
disponer de indicadores estables?
La
participación de los interesados directos puede plantear
un problema a las personas interesadas en determinar las tendencias
de los indicadores fijados. Todo cambio en un indicador reduce la
posibilidad de producir una serie cronológica de datos. Y
sin embargo, si se quiere que el proceso de seguimiento sea participativo
es necesario incluir a nuevos asociados a medida que avanza el proyecto.
Un sistema participativo de SyE tiene que adaptarse a las nuevas
necesidades de información, al cambio en los niveles técnicos
de los participantes y a los nuevos niveles de participación
a medida que ingresan nuevos asociados y otros abandonan el proyecto. |
|
Back
to Top
5.6 Las comparaciones y la función
de las líneas de base
5.6.1 Tener una base para la comparación
El seguimiento requiere hacer repetidas evaluaciones aperiódicas
de una situación en el tiempo. Disponer de una base inicial de
comparación ayudará a establecer lo que ha cambiado en un
período determinado, y si ello es resultado del proyecto. Así
pues, debe disponer de información sobre el punto de partida o
situación inicial, antes de que se haya producido una intervención.
Esta información suele denominarse “línea de base”,
y es la línea de las condiciones de base con las cuales se hacen
las comparaciones más tarde.
Un estudio de base puede ayudar a redefinir el proyecto en la fase de
puesta en marcha. El proyecto PROCHALATE, en El Salvador, efectuó
un estudio de base a comienzos de la ejecución, gracias al cual
el equipo pudo señalar la existencia de importantes diferencias
entre el diagnóstico del informe de evaluación ex ante y
la situación real. Esta información sirvió para ajustar
las metas del proyecto.
La mayoría de los proyectos tienen grandes dificultades con las
líneas de base y pocos cuentan con una que sea útil para
juzgar el cambio. Algunos de los problemas más comunes que plantean
los estudios de base son que se hacen tarde o nunca, son excesivamente
detallados o demasiado generales e irrelevantes, parten de una muestra
demasiado grande que sobrepasa la capacidad analítica del proyecto
o de los coejecutores, no prevén un grupo de referencia, contienen
datos sobre agricultores que no pertenecen al grupo de destinatarios directos,
etc. Con frecuencia las líneas de base no pueden cumplir su propósito
principal de facilitar las evaluaciones, por lo que pocas veces se utilizan
durante las estimaciones del impacto (véase el recuadro
5-17).
Aunque no utilice una línea de base, tendrá que encontrar
algún criterio de comparación para conocer los logros del
proyecto.
| |
Recuadro
5-17. Un exceso de datos de base en Bangladesh
El proyecto ADIP, en Bangladesh, reunió una cantidad impresionante
de datos de base: información sobre más de 1 900 familias
e información de perfiles municipales y de distrito. Las
ONG ejecutoras crearon perfiles socioeconómicos de los grupos
con datos sobre cada grupo de beneficiarios en el momento de la
formación del grupo, a fin de confirmar que las personas
consideradas marginales y carentes de tierra, o los miembros de
los grupos de pequeños agricultores, reunían las condiciones
necesarias para ser seleccionados. Estos datos se almacenaron en
las ONG. No obstante, los recursos dedicados a la recolección
de la información no se justificaron, ya que ésta
apenas se utilizó. Los datos de base sólo fueron parcialmente
útiles porque:
- se recogieron antes de la selección de los grupos;
- las muestras no incluyeron sistemáticamente a los agricultores
que participaban realmente en el proyecto;
- los datos no se referían específicamente a grupos
y familias de participantes en el proyecto.
Estos factores hicieron imposible utilizar los datos para componer
retrospectivamente un grupo de referencia. Si se quiere que estas
encuestas, y las encuestas futuras, sean útiles para el seguimiento
de los impactos, habrá que prever un procedimiento de muestreo
que incluya a los agricultores “participantes en el proyecto”
y a los “no participantes” si es necesario. Asimismo,
las actividades recientes de seguimiento participativo del impacto
podrían aprovecharse estableciendo una pequeña muestra
de campesinos marginales y sin tierra, o de pequeños agricultores
–de ambos sexos– e incluyendo a un grupo de referencia,
a fin de proceder a la evaluación continua del impacto mediante
encuestas anuales. |
|
En los proyectos participativos es necesario prestar especial atención
a los estudios de base. Estos proyectos pueden empezar con intervenciones
más pequeñas y diversificadas a modo de tanteo. Dada la
incertidumbre existente acerca de la orientación final de estos
proyectos, es difícil determinar de manera precisa la información
que deberá recogerse para el estudio de base. La idea de una “linea
de base rotatoria” podría ser útil (véase más
abajo). Otras organizaciones efectúan evaluaciones participativas
abiertas al inicio del proyecto, que van seguidas de encuestas específicas
cuando ya se conocen bien los datos complementarios que hacen falta.
5.6.2 Opciones para hacer posible un análisis
comparativo
Para demostrar el impacto del proyecto es necesario comparar los cambios
resultantes del mismo. Hay tres opciones para ello:
- Comparar la diferencia entre el “antes” y el “después”
de que diese comienzo el proyecto.
- Comparar los cambios “con” y “sin” el proyecto,
o sea, comparar los cambios dentro del área de ejecución
con los registrados en lugares parecidos que no están comprendidos
en la esfera de influencia del proyecto.
- Comparar las diferencias entre un grupo que haya trabajado con el
proyecto y el llamado “grupo de referencia”, que es ajeno
a la influencia del proyecto.
Cada una de estas opciones presenta ventajas e inconvenientes (véase
el cuadro 5-9). Las tres opciones pueden aplicarse
con o sin indicadores predeterminados, y con criterios cualitativos o
cuantitativos.
El proyecto TNWP, en la India, utilizó un grupo de referencia
(véase la tercera opción en el cuadro 5-9).
Se efectuaron encuestas de base en el grupo-objetivo en potencia y en
un grupo de referencia. Los coejecutores, que eran ONG locales, identificaron
inicialmente a los beneficiarios con miras a la encuesta de base, y después
estos mismos beneficiarios fueron objeto de otra encuesta con fines de
verificación. La encuesta de base con el grupo-objetivo y el grupo
de referencia se complementó con datos económicos que se
recogieron mediante un muestreo en las aldeas del proyecto, que abarcó
los tres distritos en los tres primeros años de la ejecución.
Cuadro 5-9. Comparación de las diferentes
opciones de comparación
| Tipo de comparación
|
Base de la comparacióon
|
Ventajas
|
Inconvenientes
|
| Antes/
después
del proyecto |
Cambios en el
tiempo en la zona del proyecto |
- Ofrece momentos
claros para la recolección de datos |
- Es necesario
saber qué otros factores han influido en el efecto directo
- Los cambios observados pueden ser
difíciles de explicar debido a otras influencias
|
| Con/sin el proyecto
|
Cambios entre
una zona geográfica en la que el proyecto ha desarrollado
actividades, y otra donde no ha intervenido |
- Puede facilitar
la explicación de los factores causales del cambio
|
- Podría
ser difícil encontrar zonas comparables |
| Grupo de referencia/
grupo- objetivo |
Cambios entre
grupos de personas seleccionadas por el proyecto y grupos similares
de personas no seleccionadas |
- Se centra bien
en el impacto sobre el grupo-objetivo del proyecto
- Puede ayudar a explicar los factores
causales del cambio
- Está en la misma área, y
por consiguiente no plantea el problema de la variación relacionada
con el lugar |
- Plantea el
problema ético de que se excluya a ciertos grupos de las
oportunidades de desarrollo y se los utilice para medir el cambio
- Es difícil asegurar la comparabilidad
de los dos grupos
- Cambiar el proyecto a medio camino distorsionará
las conclusiones |
5.6.3 Determinar la línea de base
y utilizarla
Considerando que es posible recoger toda clase de informaciones acerca
de la situación, y que los proyectos no siempre conocen en detalle
sus actividades desde un principio, ¿cuánto tiempo y esfuerzo
deberá dedicar a establecer una línea de base? En una etapa
específica de la matriz de SyE (véase el apartado
5.3) debe decidir si prever o no una línea de base para una
determinada necesidad de información. No todas las informaciones
necesitan su propia línea de base.
Los estudios de base más simplificados están orientados
a los objetivos y se limitan a medir la condición de aspectos específicos
del proyecto. Esto significa que darán los mejores resultados si
se diseñan después de que se haya revisado la matriz del
marco lógico del proyecto. Sin embargo, con un informe claro de
evaluación ex ante, un proyecto puede iniciar pronto sus actividades
a partir de una línea de base (véase el recuadro
5-18). Además de la información relacionada con la jerarquía
de objetivos, se necesitará en todos los casos información
adicional sobre el contexto a fin de poder explicar los cambios que se
observen. Si ha identificado la información cualitativa y cuantitativa
que le permitirá responder a las preguntas de desempeño,
su encuesta de base incluirá también esos dos tipos de información.
| |
Recuadro
5-18. Información cualitativa para equilibrar las cuentas
en Uganda
El estudio de base para el programa DDSP, en Uganda,
se completó antes del taller de puesta en marcha, teniendo
en cuenta las necesidades de información identificadas en
el informe de evaluación ex ante. El estudio era una encuesta
cuantitativa complementada con un análisis cualitativo en
algunas de las mismas aldeas. La parte cualitativa tenía
por objeto dar una explicación más detallada de los
resultados de la encuesta cuantitativa, para evitar una interpretación
incorrecta de las cifras debido a una comprensión insuficiente
del contexto de las aldeas. Así pues, la encuesta inicial
sirvió de base para efectuar una evaluación del impacto
de buena calidad.
El estudio de base se presentó a los principales
interesados de los distritos antes y durante el taller de puesta
en marcha, para obtener ideas complementarias y decidir cómo
incorporar la línea de base en las actividades continuas
de SyE. Se recomendó que algunos de los lugares (donde se
habían efectuado trabajos tanto cualitativos como cuantitativos)
siguieran siendo “garitas de centinela” del programa.
En los lugares en que se realizó la encuesta cualitativa,
toda la información documentada por las aldeas y los poblados
se confió a las autoridades locales para que la utilizaran
en su línea de base de SyE. |
|
Tenga en cuenta lo siguiente cuando prepare su línea de base:
- Recoja solamente la información que va a utilizar.
Así pues, tendrá que conocer lo que va a utilizar. Como
regla práctica, recoja solamente la información de base
que esté relacionada directamente con las preguntas e indicadores
de desempeño que haya identificado. No pierda el tiempo recogiendo
otra información.
- Planee las líneas de base como planearía cualquier
encuesta. Al igual que en los demás procesos de recolección
y análisis de datos, una vez conozca bien la información
que necesita recoger, deberá:
- determinar qué información existente puede utilizar,
y verificar su calidad;
- determinar dónde va a encontrar la información;
- decidir los métodos (véase el anexo
D);
- decidir qué recursos hacen falta;
- llegar a un acuerdo sobre las responsabilidades en materia de
recolección, análisis y uso de los datos, y el momento
en que deben efectuarse cada una de estas operaciones;
- llegar a un acuerdo sobre el momento y la manera en que se revisará
el estudio de base durante la ejecución del proyecto.
- Mantener factible el proceso. Una línea de base siempre
será aproximativa, nunca perfecta. Es mejor una línea
de base pequeña que se utilice que una grande que acumule polvo
en las estanterías. El proyecto SDPMA, en Tanzanía, no
tenía un presupuesto adecuado para el seguimiento del estudio
de base. El oficial de SyE trató de continuar el estudio de base
con un cuestionario, pero no tenía los recursos necesarios para
hacer una encuesta sobre el terreno. Envió los cuestionarios,
pero al final no los recogió ni los analizó por falta
de fondos.
- Adopte métodos creativos. Los métodos para
recoger los datos de seguimiento son los mismos que los de los estudios
de base. De hecho, deberían utilizarse los mismos métodos
para hacer que los datos sean comparables. Un método típico
es la encuesta cuantitativa o la evaluación rural participativa
(ERP), pero también pueden utilizarse vídeos y fotografías
(véase el recuadro 5-19). En Venezuela,
el proyecto PRODECOP elaboró una línea de base participativa
mediante el vídeo. Cada vez que empezaban las actividades en
una nueva comunidad, el equipo del proyecto filmaba un vídeo
de los medios de subsistencia y los niveles de vida en colaboración
con los residentes. Dentro de tres años se filmarán vídeos
de las mismas comunidades para mostrar lo que ha mejorado gracias a
la intervención del proyecto. En China, el Programa Mundial de
Alimentos (PMA) toma fotografías de viviendas “antes”
y “después” para evaluar el impacto en los participantes
de sus programas de alimentos a cambio de trabajo. En la sección
6 y en el anexo D
se dan más ideas sobre los métodos.
- No olvide las cuestiones relativas a la pobreza y el género
en el estudio de base. El proyecto PADEMER, en Colombia, llevó
a cabo 302 encuestas por medio de los coejecutores. Una parte importante
del estudio de base estaba dedicada al género. El estudio no
se limitó a la información básica desglosada por
sexos, sino que analizó las diferencias entre hombres y mujeres
en relación, por ejemplo, con la jornada de trabajo, el tiempo
dedicado a las microempresas rurales y las diferencias de ingresos y
empleo.
| |
Recuadro
5-19. Evaluaciones visuales con fines de comparación9
El
Programa de Apoyo Rural Aga Khan (AKRSP) es una ONG india que presta
asistencia a los grupos locales de las aldeas para que utilicen
sus recursos naturales de un modo sostenible y equitativo. El AKRSP
ayuda a estos grupos a realizar sus propias evaluaciones y planear
sus prioridades de desarrollo. Como parte de la evaluación
ex ante anterior al proyecto, las poblaciones locales preparan mapas
detallados de sus aldeas que incluyen el análisis de los
recursos disponibles, cómo se utilizan y cuestiones relativas
a la propiedad, problemas y dificultades. Estos mapas detallados
constituyen un inventario de las cuestiones relacionadas con los
recursos y sirven de base para la planificación de los proyectos
en las aldeas. Todas las actividades propuestas se indican en los
mapas: conservación de suelos y aguas, pequeños sistemas
de regadío, plantación y protección forestal,
etc. Los mapas se guardan en las aldeas y se exhiben en un lugar
conveniente al que tengan acceso todos los miembros del grupo. Durante
las reuniones y las revisiones de los proyectos, estos mapas se
utilizan para el seguimiento de las actividades del proyecto y para
la solución de los problemas. |
|
Lo más importante de una línea de base es utilizarla; de
lo contrario será una pérdida de tiempo. Para utilizar de
un modo activo las líneas de base:
- sepa cuándo tiene que realizar la siguiente fase de recolección
de datos, y quién se encargará de ello;
- haga un presupuesto adecuado para todas las operaciones subsiguientes
de recogida de datos que necesite para hacer comparaciones con regularidad;
- cuando disponga de una segunda serie de datos, planee una reunión
con las personas para las cuales los datos son importantes a fin de
comparar la información, analizar las conclusiones y llegar a
un acuerdo sobre medidas correctivas, si es menester.
5.6.4 Alternativas a los estudios de base
clásicos
Muchos proyectos tienen dificultades para realizar bien y a tiempo los
estudios de base. No es de extrañar, pues, que la utilización
de líneas de base suscite cada vez más dudas. Están
apareciendo algunas alternativas a las encuestas de base clásicas.
- Primeras mediciones como punto de partida. Una alternativa
consiste en indicar si se observa una mejora o un empeoramiento respecto
de la primera medición o en comparación con la condición
deseada, o sea el fin. En el Brasil, un proyecto administrado por una
ONG utiliza los datos de seguimiento del primer año como “línea
de base”, simplemente porque no puede permitirse una encuesta
más detallada.
- Líneas de base rotatorias. Este método consiste
en recoger información de base para preparar perfiles sobre una
base rotatoria a medida que se van constituyendo organizaciones de aldeas,
empiezan a funcionar los grupos de crédito o las comunidades
adoptan una estrategia de intervención. La noción de “línea
de base rotatoria” representa una opción intermedia entre
la realización de un estudio de base completo y un enfoque de
evaluación aperiódica del impacto totalmente retrospectivo.
Obsérvese que la información procedente de esta línea
de base quizás deba complementarse con una información
de carácter más general.
- Utilización óptima de la documentación existente.
Hay quien resuelve el problema de la línea de base haciendo una
descripción de la situación original basada en la documentación
existente, por lo que no necesita recoger datos sobre el terreno (véase
el recuadro 5-20).
| |
Recuadro
5-20. Un enfoque no tradicional del establecimiento de una línea
de base para la reducción de la pobreza pastoral en Kenya10
El Proyecto de desarrollo pastoral de Wajir, en el
nordeste de Kenya, se inició con una serie de ejercicios
intensivos de evaluación rural participativa (ERP) con las
comunidades, para determinar la meta y la estrategia del proyecto.
Inicialmente se pensó en recoger los datos de base con los
cuales podrían evaluarse todos los aspectos del proyecto.
Pero pensándolo bien, los gestores vieron que había
varios problemas: se utilizaría a las poblaciones de pastores
como fuentes de información y no como interesados del proyecto,
el método estaría sesgado hacia los datos cuantitativos,
no se captarían los aspectos cualitativos y se podría
perder el carácter participativo del proyecto. Así
pues, lo que en cambio se hizo fue:
- integrar las conclusiones iniciales de la ERP con las de ejercicios
subsiguientes de ERP en forma de un “documento de antecedentes”
que incluía datos secundarios, a fin de insertar estas
perspectivas en un contexto más amplio;
- elaborar, junto con las comunidades, varios sistemas participativos
con miras al seguimiento continuo de diferentes aspectos del proyecto;
- realizar una evaluación participativa del impacto de
los principales indicadores identificados por las propias poblaciones
de pastores;
- proceder con regularidad al seguimiento de una muestra aleatoria
de familias seleccionadas durante un largo período para
estimar los cambios en las situaciones de los hogares y determinar
lo que podía atribuirse a las actividades del proyecto.
Aunque el proyecto no utiliza un estudio de base en el sentido
tradicional del término, su sistema de SyE incluye diferentes
instrumentos para detectar los cambios de desarrollo y la medida
en que puedan atribuirse al proyecto. Además, se ha reforzado
el sentido de responsabilidad compartida de la organización
ejecutora (OXFAM) y las asociaciones pastorales en lo relativo al
logro de los objetivos del proyecto.
|
|
Back
to Top
5.7 Actualizar sus necesidades
de información e indicadores
Al igual que con los demás aspectos del sistema de SyE, debe
usted actualizar sus necesidades de información y sus indicadores.
Esto es necesario simplemente porque el proyecto evoluciona. El sistema
automatizado de seguimiento del proyecto Cuchumatanes, en Guatemala, ha
sido actualizado varias veces por la unidad de SyE con arreglo a las nuevas
necesidades de información y actividades, reflejadas en los nuevos
indicadores. Los gestores del proyecto ADIP, en Bangladesh, al examinar
y actualizar su sistema de SyE, observaron que hacían falta indicadores
cualitativos para medir el cambio en los grupos de crédito. Los
indicadores originales, como por ejemplo “número de grupos
formados”, no captaban el nivel de madurez de los grupos, que era
una información indispensable para determinar cómo podía
el proyecto proporcionarles apoyo. Fue necesario identificar indicadores
cualitativos que tuvieran debidamente en cuenta el contexto local, en
colaboración con los interesados.
Reexamine los indicadores haciéndose esta simple pregunta: “¿Quién
utiliza (o va a utilizar) la información?” Si no la utiliza
nadie, prescinda del indicador o cámbielo. Si observa omisiones
importantes, subsánelas identificando la información que
necesita ahora.
La actualización es igualmente necesaria en las formas más
participativas de SyE, ya que todos están empezando a aprender
lo que es el SyE cuando lo ponen en práctica. Al comienzo pocos
sabrán de qué depende la idoneidad de un indicador, qué
métodos existen y cuáles son los mejores, con qué
frecuencia deben recogerse los datos y qué clase de información
será verdaderamente útil.
En los proyectos participativos los indicadores también cambiarán
debido a las diferencias locales y a la evolución de los grupos.
Un proyecto de riego en Zimbabwe trabaja con una serie básica de
indicadores para los 36 planes de riego, complementada con otros indicadores
más específicos para los distintos planes, elegidos teniendo
en cuenta la opinión de los agricultores y el ritmo de desarrollo
del plan.
Revisar y ajustar su lista de necesidades de información y sus
indicadores le permitirá elaborar un sistema de SyE cada vez más
pertinente y factible.
Back
to Top
Otro material de lectura
GERMANN, D., E. GOHL y B. SCHWarz (1996): Participative Impact Monitoring,
Stuttgart, FAKT. Serie de cuatro folletos disponibles en inglés
(número limitado de ejemplares gratuitos para el Sur). Los folletos
1 y 2 también pueden obtenerse en versión francesa y portuguesa.
Pueden encargarse a: fakt_ger@csi.com,
o bien a FAKT GmbH, Gänsheidestr. 43, D-70184 Stuttgart, Alemania.
MARGOLUIS, R. y N. SALAFSKY (1998): Measures of Success: Designing,
Managing, and Monitoring Conservation and Development Projects, Washington
DC, Island Press. Puede encargarse a: http://www.islandpress.org/books/
MACGUILLIVRAY, A., C. WESTON y C. UNSWORTH (1998): Communities Count!
A Step-by-Step Guide to Community Sustainability Indicators, Londres,
NEF. Puede descargarse en: http://www.neweconomics.org/
(Busque la expresión “communities count” y se le dirigirá
al vínculo).
OAKLEY, P., B. PRATT y A. CLAYTON (1998): Outcomes and Impact: Evaluating
Change in Social Development, Oxford, Centro Internacional de Formación
e Investigaciones de las ONG (INTRAC). Puede encargarse a: publications@intrac.org
o a INTRAC, P.O. Box 563, Oxford, OX2 6RZ, Reino Unido.
Sitio web sobre indicadores: http://www.sustainablemeasures.com.
Nota: este sitio web detallado trata principalmente de los indicadores
aplicables en el Norte, y de su utilización para evaluar la sostenibilidad.
1/
Berdegúe, J. (2001):. Cooperating to Compete. Associative
Peasant Business Firms in Chile. Wageningen: Universidad y Centro
de Investgación de Wageningen (tesis de doctorado publicada).
2/
Blauert, J. y Quintanar, E. (2000):"Seeking Local Indicators: Participatory
Stakeholder Evaluation of Farmer-to-Farmer Projects, Mexico", en:
M. Estrella (ed.). Learning from Change: Issues and Experiences in
Participatory Monitoring and Evaluation. Londres: Intermediate Technology
Publications. págs. 32 a 49.
3/
Véase www.iaf.org
4/
FIDA ( 2000):IFAD's Revised Operating Model for Impact Management
Process. FIDA, Roma.
5/
Community Partnership Center (1998): Findings and Recommendations
of the Community Partnership Center EZ/EC Learning Initiative. Knoxville:
Universidad de Tennessee.
6/
Shrimpton, R. (1995): Community Participation in Food and Nutrition Programs:
An Analysis of Recent Government Experiences, en: P. Pinstrup-Andersen
(ed.): Child Growth. Ithaca, N.Y.: Cornell University Press.
7/
Adaptado de IUCN (2001): A Resource Kit on Sustainability Assessment.
Gland, Unión Internacional para la Naturaleza (IUCN). Puede descargar
el documento original en: http://iucn.org/themes/eval/sustassess.htm
8/
Blauert y Quintanar, véase
la nota a pie de página
n° 2.
9/
Shah, P., G. Bharadwaj y R. Ambastha. Participatory Impact Monitoring
of a Soil and Water Conservation Programme by Farmers, Extension Volunteers
and AKRSP in Gujarat. RRA Notes 13: agosto 1991. págs.
86-88.
10/
Action Aid (2000): ALPS: Accountability, Learning and Planning System,
Londres, Action Aid.
Download PDF Version (360KB)
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| Back |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
