|
|
|
4.1 Descripción general
del establecimiento de un sistema de SyE
4.1.1 Ver el SyE como un sistema
Un sistema de SyE que funcione adecuadamente consigue integrar el aspecto
más formal y orientado a la información, que generalmente
se relaciona con la tarea del SyE, con el seguimiento y la comunicación
informales, como el intercambio a la hora del café de impresiones
sobre experimentos agrícolas entre el personal del proyecto sobre
el terreno y sus gestores. Si puede usted ver el SyE de este modo –como
un sistema integrado de reflexión y comunicación en apoyo
de la ejecución del proyecto– podrá planearlo y gestionar
durante toda la vida del proyecto. Sin embargo, a menudo en el SyE no
se ve más que una tarea estadística o una aburrida obligación
externa impuesta, de escasa relevancia para los que ejecutan el proyecto.
También es habitual que los proyectos separen la función
de seguimiento de la de evaluación. En tales casos, las evaluaciones
aperiódicas de nivel superior relacionadas con el impacto se subcontratan
y el proyecto se concentra exclusivamente en las actividades a corto plazo,
con lo que hay menos posibilidades de saber si dichas actividades cumplen
una función estratégica.
Para ver el SyE como un apoyo integrado a los participantes en la ejecución
del proyecto es necesario:
- crear procesos de SyE que faciliten el aprendizaje claro y regular
de todos los participantes en la estrategia y las operaciones del proyecto
(véase el recuadro 4-1);
- entender los vínculos existentes entre las funciones de SyE
y la gestión;
- utilizar los procesos existentes de aprendizaje, comunicación
y adopción de decisiones entre los diversos interesados como
base para el SyE orientado al proyecto;
- crear las condiciones y las capacidades necesarias para la realización
del SyE.
| |
Recuadro
4-1. Componentes planeados del sistema de SyE en el programa WUPAP
(Nepal)
El programa WUPAP en Nepal ha identificado una amplia variedad
de actividades que deben integrarse en su sistema de seguimiento
y evaluación. Se trata de prácticas normalizadas del
plan de trabajo e innovaciones propias del proyecto:
-
agenda de acontecimientos críticos
|
- talleres con las partes interesadas
|
- análisis contextual participativo
|
- planificación del trabajo y preparación del
presupuesto
|
- seguimiento de la situación política
|
- seguimiento de la marcha y el desempeño del proyecto
|
- seguimiento financiero y auditoría
|
- encuestas de los interesados directos
|
- seguimiento participativo del impacto
|
- seguimiento de los procesos
|
- evaluaciones externas
|
|
|
El gráfico 4-1 da una imagen de un sistema
de SyE y el modo en que se vincula con otros elementos clave de un proyecto.
Hay cuatro tareas que son fundamentales para que el SyE sea eficaz:
1. diseño y establecimiento del sistema;
2. recolección y gestión de la información;
3. reflexión crítica para mejorar la acción;
4. comunicación y preparación de informes sobre los resultados.
Aunque el gráfico 4-1 muestra las cuatro
tareas en orden sucesivo, en realidad se superponen. Por ejemplo, el gestor
de un proyecto o un componente puede discutir con el personal sobre sus
observaciones sobre el terreno, a la hora del café. En esta ocasión,
el gestor (o gestora) conoce las observaciones de diferentes personas,
reflexiona al respecto con ellas y, a la vez, comparte enseguida la información
con los demás. En cambio, la preparación del informe anual
sobre la marcha del proyecto requiere un proceso más estructurado
con etapas distintas: recolección de información a lo largo
del año, un proceso participativo de revisión del proyecto
en el que se discute y analiza la información, y la redacción
del informe.
4.1.2 Vincular el SyE con el proyecto en
general
En el gráfico que figura a continuación puede verse cómo
encaja el sistema de SyE en el proyecto. En la sección
2, el concepto de “gestión orientada al impacto”
se explicó sobre la base de cuatro elementos: orientar la estrategia
del proyecto hacia el logro del impacto, garantizar la eficacia de las
operaciones, crear un entorno de aprendizaje y establecer y utilizar el
sistema de SyE. El gráfico 4-1 tiene por tema
principal el SyE y el modo en que se enlaza con dos elementos: la estrategia
y las operaciones del proyecto. El elemento restante –el entorno
de aprendizaje– es el contexto que influye en la manera en que se
ejecuta un proyecto y su sistema de SyE.
Gráfico 4-1. El sistema de SyE y el modo
en que se vincula con la estrategia y las operaciones del proyecto

1. La estrategia del proyecto (el plan de lo que
se logrará, y cómo se logrará) es
el punto de partida de la ejecución del proyecto y el establecimiento
del sistema de SyE (véase la sección
3).
2. La estrategia es la base de la determinación de las operaciones
del proyecto que son necesarias para llevar a cabo las actividades
de un modo eficiente y eficaz.
3. La terminación de las actividades del proyecto se plasma en
una serie de productos, efectos directos e impactos reales.
Una función esencial del sistema de SyE es la de comparar los productos,
efectos directos e impactos reales con los planeados en la estrategia
del proyecto, y entender las diferencias para definir los cambios en la
estrategia y las operaciones.
4. El sistema de SyE se compone de cuatro partes interrelacionadas.
4a.
El establecimiento del sistema de SyE
comienza con la identificación de las necesidades de información
que han de orientar la estrategia del proyecto, asegurar la eficacia
de las operaciones y satisfacer las necesidades externas de informes
(véase la sección
5). A continuación habrá que decidir cómo reunir
y analizar esa información y documentar un plan para el sistema
de SyE. El proceso de determinar cómo se llevarán a cabo
el seguimiento y la evaluación de un proyecto suscita inevitablemente
interrogantes acerca de la propia estrategia del proyecto que pueden
servir para mejorar el diseño inicial. El establecimiento del
sistema de SyE con un enfoque participativo contribuye a aumentar la
comprensión del proyecto por parte de los interesados, y da inicio
a la creación de un entorno de aprendizaje.
4b. Ejecutar el sistema de SyE significa reunir y gestionar
la información (véase la sección
6). Para ello puede recurrirse a enfoques informales, o a otros
más estructurados. La información se obtiene del seguimiento
de los productos, los efectos directos y los impactos que se están
alcanzando, y de la verificación de las operaciones del proyecto
(p.ej. terminación de actividades, gestión financiera
y uso de recursos). Cuando empiece el proceso de recolección
y gestión de la información, usted deberá resolver
problemas o se le ocurrirán nuevas ideas para mejorar el plan
inicial de SyE.
4c. Promover la participación de los interesados
en la reflexión crítica (véase la
sección 8). La información
recogida ha de ser analizada y debatida por los interesados del proyecto.
Esto puede efectuarse de un modo formal, por ejemplo, en el taller anual
de revisión del proyecto, o informal, como en las conversaciones
sostenidas con los agricultores durante las visitas semanales sobre
el terreno. Durante estas reflexiones y conversaciones, observará
usted probablemente la existencia de lagunas en la información.
Esas lagunas pueden favorecer la introducción de ajustes en el
plan de SyE, para garantizar que se recoja la información necesaria.
4d. Los resultados del SyE deben comunicarse
a las personas que los necesitan. Sólo entonces podrá
decirse que el sistema del SyE ha tenido éxito (véase
la sección 6). Este
proceso incluye la presentación de informes a los organismos
de financiación, pero es mucho más amplio. Por ejemplo,
es necesario que los gestores entiendan los problemas con que tropieza
el personal sobre el terreno. La información sobre la marcha
del proyecto y los problemas planteados deben compartirse con los participantes,
a fin de encontrar conjuntamente las soluciones. Los informes a los
organismos de financiación deben considerar a la vez los éxitos
y los errores y, sobre todo, ser analíticos y estar orientados
a la acción. Algunos de los futuros usuarios de la información
pueden haber participado en la recolección de datos y en su análisis
parcial. No obstante, usted tiene que planear cómo informar a
quienes no participaron.
5. En última instancia, los resultados del SyE –tanto
los procesos de comunicación como la información–
mejorarán la estrategia y las operaciones del proyecto.
El personal superior de gestión es responsable del logro de este
objetivo, con el apoyo del personal de SyE. A veces las mejoras son inmediatas;
por ejemplo, puede suceder que el personal de extensión se queje
un día del mantenimiento de los vehículos, y que el director
del proyecto sea capaz de tomar medidas directas para atender a esa queja.
O quizás sea necesario cambiar la secuencia de determinadas actividades,
cosa para la que el gestor responsable de la unidad tiene la flexibilidad
necesaria. Sin embargo, a veces deberáncelebrarse negociaciones
más amplias entre el director del proyecto, el ministerio supervisor,
la institución cooperante y el FIDA. Por ejemplo, si una misión
de supervisión observa la existencia de importantes problemas en
todo un componente de un proyecto, como el microcrédito, quizás
deban efectuarse modificaciones en el convenio de préstamo.
Así
pues, si se quiere que el SyE sea un instrumento para la gestión
orientada al impacto, los gestores del proyecto y el personal de SyE han
de ver con claridad cómo identificar las mejoras que necesita el
proyecto, llegar a un acuerdo al respecto y proceder a su realización.
Sin un proceso de este tipo para orientar el cambio, ni siquiera un sistema
muy bueno de SyE tendría gran utilidad para el proyecto.
4.1.3 Tareas principales de SyE durante
el ciclo del proyecto
Considerar el SyE como un sistema permite comprender todas las tareas
de SyE que diferentes personas tendrán que realizar durante el
ciclo del proyecto. La lista de tareas que figura a continuación
parece, desde luego, formidable. Pero si se examina detenidamente, se
verá sin duda que muchas de esas tareas ya se están realizando
en el contexto de las responsabilidades del SyE. Además, son específicas
para cada etapa del proyecto, y la mayoría se compartirá
entre varias personas.
Obsérvese que estas tareas de SyE no son responsabilidad exclusiva
del personal o de la unidad de SyE, si hay una en el proyecto. Más
bien deberían considerarse funciones de responsabilidad compartida.
Esto hace que sea esencial reflexionar detenidamente acerca de a quién
asignar cada función. Aumentar el carácter participativo
del sistema y los procesos de SyE significa compartir estas funciones.
A su vez, esto posibilita un aprendizaje compartido, por mediación
del SyE.
Gráfico 4-2. Principales tareas de SyE
| Fase
inicial de diseño
(formulación y evaluación
ex ante) |

|
- Determinar el alcance y la finalidad del sistema de SyE.
- Señalar las principales preguntas e indicadores de desempeño,
más los mecanismos asociados de seguimiento.
- Identificar los mecanismos de organización del SyE.
- Redactar los términos de referencia del personal de
SyE.
- Indicar los procesos de establecimiento del SyE durante la
fase de puesta en marcha.
- Establecer un presupuesto indicativo de SyE.
- Documentar las actividades anteriores en el marco del SyE.
|
| Etapa
de puesta en marcha,
antes de la entrada en vigor
del préstamo (con el Servicio
de Operaciones Especiales) |

|
- Revisar las preguntas relativas al desempeño, los indicadores
y los mecanismos de seguimiento, tras examinar la estrategia del
proyecto.
- Organizar la capacitación con el personal y los asociados
que probablemente participarán en el SyE.
- Emprender estudios de base, según proceda.
- Preparar un manual de ejecución del proyecto, con el
personal principal.
|
| Puesta
en marcha después
de la entrada en vigor del préstamo |

|
- Revisar el diseño del proyecto en relación con
el SyE junto a los principales interesados.
- Elaborar un plan detallado de SyE, teniendo en cuenta los mecanismos
existentes con los asociados.
- Crear las condiciones y capacidades necesarias para la ejecución
del SyE.
|
| Ejecución
principal |

|
-
Asegurarse de que se satisfacen las necesidades de información
para la gestión.
-
Coordinar la recolección y la gestión de la información.
-
Facilitar la recolección de información y la comunicación
informales.
-
Prestar apoyo a las reuniones periódicas y a los procesos
de revisión con todos los encargados de la ejecución.
-
Preparar las misiones de supervisión.
-
Preparar y facilitar la revisión anual del proyecto.
-
Realizar estudios específicos sobre las cuestiones que
puedan surgir.
-
Comunicar los resultados a las partes interesadas.
- Preparar
informes anuales sobre la marcha del proyecto.
|
| Revisión
de medio
término (RMT) |

|
- Cotejar la información para la revisión de medio
término.
- Facilitar el proceso de revisión interna para preparar
el proceso de revisión externa.
- Contribuir a responder a la retroalimentación derivada
de la RMT.
- Ajustar el sistema de SyE, según sea menester.
|
| Desmantelamiento
gradual
y terminación |

|
- Determinar lo que pueden hacer los encargados de la ejecución
para hacer sostenible el impacto y el SyE después del cierre
del proyecto, y aplicar estas ideas.
- Organizar talleres y realizar estudios sobre el terreno con
los principales interesados para evaluar los impactos.
- Identificar las lecciones aprendidas para la próxima
fase o para otros proyectos.
En cada proyecto deberá modificarse esta lista para ajustarla
a las condiciones operativas. El recuadro 4-2 contiene
un ejemplo de funciones específicas de SyE para un proyecto en
Guatemala. Otro ejemplo lo ofrece el proyecto SAIP, en Bangladesh, en
cuya fase de puesta en marcha se contrató a especialistas en SyE
para que colaboraran con los gestores del proyecto en el diseño
y funcionamiento del sistema de SyE. Los especialistas en SyE se encargaron
también de elaborar la metodología de seguimiento del impacto,
y de alcanzar un acuerdo sobre los indicadores, con la participación
de ONG y de interesados directos. Como ese proyecto consistía principalmente
en actividades de desarrollo participativo, fue indispensable proceder
a una detenida introducción al seguimiento participativo del impacto
en una fase inicial. Los especialistas en SyE se encargaron de trazar
y llevar a cabo un plan de capacitación para el personal de SyE,
a nivel de distrito y sobre el terreno.
Una tercer ejemplo procede de un proyecto en Benin. En la fase de puesta
en marcha del proyecto, el coordinador de SyE preparó un manual
para guiar el proceso de seguimiento y evaluación del proyecto.
El manual ofrece formatos para el registro de las rentas derivadas de
las actividades de generación de ingresos, detalles sobre la recogida
de datos para los indicadores e información sobre cómo deben
preparar los informes los extensionistas sobre el terreno, las ONG y los
jefes de los departamentos. Este manual está sometido a un proceso
evolutivo dictado por las experiencias de sus usuarios. Así pues,
la revisión del manual será una tarea recurrente del SyE
en fases posteriores.
| |
Recuadro
4-2. Funciones de SyE que permitieron al proyecto Cuchumatanes (Guatemala)
adquirir conocimientos y ajustar sus actividades
- Preparar informes mensuales y semestrales sobre los progresos
materiales y financieros, a partir de una base de datos de seguimiento
automatizada
- Preparar informes mensuales sobre la marcha del proyecto para
el sistema nacional de información y planificación
del Ministerio de Agricultura
- Aplicar el sistema de seguimiento automatizado sobre los efectos
directos de las actividades
- Actualizar permanentemente la base de datos sobre los interesados
directos
- Elaborar normas y reglas acerca del uso de la información
del SyE (para asegurar su calidad)
- Organizar campañas anuales de autoevaluación
- Celebrar talleres anuales de evaluación participativa
- Llevar a cabo las evaluaciones internas de la unidad de gestión
del proyecto (UGP)
- Emprender el análisis FODA (véase el anexo
D) del proyecto, sus componentes, sus mecanismos internos
de funcionamiento y las organizaciones encargadas de la ejecución
- Participar en estudios temáticos para saber más
acerca de la idoneidad de la estrategia de intervención
- Preparar los términos de referencia de las evaluaciones
especiales sobre aspectos fundamentales de la estrategia de intervención,
y proporcionarles apoyo
- Realizar evaluaciones de las cuestiones críticas que
surjan
- Realizar evaluaciones ocasionales no planeadas, según
las necesidades
- Participar en actividades operacionales continuas sobre el
terreno
4.1.4 Responder a las necesidades y solicitudes
de información no planeadas
Hasta ahora hemos considerado el SyE como un proceso que se presta íntegramente
a la planificación anticipada. Sin embargo, la mayoría de
las unidades de SyE de los proyectos suelen recibir solicitudes repentinas
del director del proyecto, los ministerios, los comités directivos
y los organismos de financiación, para que preparen un informe
sobre un tema concreto o faciliten cualquier otro tipo de información.
Cuando se prepare el presupuesto, conviene incluir una partida de costos
imprevistos, por ejemplo una asignación del 10% para contingencias.
Los principales institutos de investigación suelen reservar parte
del presupuesto y el tiempo dedicados a la investigación a proyectos
que no encajan en las categorías establecidas. A veces se reserva
hasta un 25% del presupuesto de investigación para ideas que no
encajan en las categorías existentes . Puede ocurrir también
que se asignen a partidas presupuestarias concretas recursos para actividades
no planeadas. Por ejemplo, puede usted reservar dos semanas al año
para que los consultores se ocupen de evaluaciones centradas en una cuestión
específica o de preguntas de seguimiento que podrían plantearse
durante el año. Asimismo, hay que prever tiempo adicional para
que el personal clave pueda ocuparse de las solicitudes no planeadas relativas
al SyE. Tres días al mes, por ejemplo, parece mucho; pero en la
práctica es muy corriente que se necesiten aún más
días.
En el proyecto Cuchumatanes, en Guatemala, la unidad de SyE lleva a
cabo lo que llama “evaluaciones emergentes”, que son las que
el director del proyecto solicita cuando necesita más información
acerca de determinadas actividades. La unidad de SyE prepara “informes
de alerta” que ponen de relieve la necesidad de información
adicional. Algunas evaluaciones temáticas o investigaciones complementarias
se contratan externamente. Entre las evaluaciones emergentes realizadas
hasta ahora figuran estudios monográficos sobre cuestiones de organización,
una evaluación del programa de bancos comunales y una evaluación
del impacto ambiental.
Durante la fase de diseño del proyecto conviene incluir una categoría
de “oportunidades repentinas” o “SyE contingente”
en el informe de evaluación ex ante y determinar los límites
máximos de presupuesto y tiempo para las actividades no planeadas
de SyE. Si los gestores se mantienen informados del tiempo y del dinero
dedicados a las actividades no planeadas de SyE, y comprueban que se ha
llegado casi al límite, podrán explicar más fácilmente
a los que pidan informes o información adicionales por qué
no es posible atender a todas las solicitudes.
Back
to Top 
4.2 Etapas clave en el establecimiento
del sistema de SyE
El diseño de un sistema de SyE consta de las seis etapas siguientes:
1. Determinar la finalidad y el alcance: ¿Por qué necesitamos
el SyE y cuán amplio ha de ser nuestro sistema de SyE?
2. Identificar las preguntas de desempeño, las necesidades de
información y los indicadores: ¿Qué necesitamos saber
para llevar a cabo el seguimiento y la evaluación del proyecto,
a fin de gestionarlo adecuadamente?
3. Planear la recolección y la organización de la información:
¿Cómo se reunirá y organizará la información
requerida?
4. Planear los procesos y ejercicios de reflexión crítica:
¿Cómo haremos para que la información reunida sea
significativa, y cómo la utilizaremos para introducir mejoras?
5. Planear una comunicación y preparación de informes
de calidad: ¿Cómo y a quién queremos comunicar qué
en relación con las actividades y procesos de nuestro proyecto?
6. Planear las condiciones y capacidades necesarias: ¿qué
hace falta para asegurar que nuestro sistema de SyE funcione en la práctica?
Un buen informe de evaluación ex ante incluirá un marco
indicativo de SyE que contenga detalles suficientes acerca de estas cuestiones
para preparar el presupuesto y asignar los servicios técnicos,
proporcionar a los organismos de financiación una descripción
general del modo en que el SyE se llevará a la práctica,
y orientar al personal del proyecto y de los asociados durante la fase
de puesta en marcha. Pero esto sólo será indicativo, y deberá
ajustarse y detallarse ulteriormente, durante la puesta en marcha (véase
el recuadro 4-3).
| |
Recuadro
4-3. Diseño del SyE en la evaluación ex ante de un
proyecto de desarrollo de la microempresa rural en Colombia
En el informe de evaluación ex ante del proyecto PADEMER,
el sistema de SyE se describió del modo siguiente, sugiriendo
una situación ideal y facilitando los detalles requeridos
para hacerla operativa en la fase de puesta en marcha.
La unidad nacional de coordinación técnica del proyecto
debería integrar las funciones de seguimiento y evaluación
en el marco del sistema nacional de evaluación. La unidad
de coordinación se encargará de la formulación
de los planes de trabajo y presupuesto anuales (PTPA), la sistematización
de la información sobre la marcha del proyecto para que los
gestores puedan adoptar decisiones en su debido momento, y la preparación
de los informes pertinentes. La unidad de seguimiento será
responsable del suministro oportuno de información para que
los gestores puedan tomar decisiones. Los recursos humanos y de
otro tipo de la unidad son el jefe de SyE, los auxiliares administrativos
y el necesario equipo informático y de oficina, más
un presupuesto que cubra los costos de consulta para estudios específicos.
La unidad de seguimiento deberá garantizar la recolección,
la elaboración y el análisis de la información
sobre la marcha del proyecto que se comunicará a los gestores,
en función de sus objetivos. Tanto la unidad de seguimiento
como la de evaluación efectuarán actividades de evaluación
de la marcha del proyecto; sus respectivas responsabilidades se
definirán ulteriormente. Las actividades propuestas para
la unidad de seguimiento son las siguientes: preparar informes semanales
sobre la marcha del proyecto con datos sobre los progresos logrados,
y formular indicadores para el seguimiento del proyecto de conformidad
con el plan de ejecución. |
|
A continuación figura una lista de las tareas para cada etapa
de la elaboración de un sistema de SyE partiendo del informe de
evaluación ex ante, y del diseño de los detalles que permitan
ponerlo en funcionamiento (véase el cuadro 4-1).
En las secciones 5 a 8 figuran explicaciones más detalladas para
cada etapa.
Cuadro 4-1. Tareas necesarias para detallar el
plan de SyE, partiendo del informe de evaluación ex ante
| Etapas del
diseño de SyE |
Productos
del informe de evaluación ex ante (el marco de SyE)
|
Tareas que deben efectuarse durante la
fase de puesta en marcha para elaborar un plan detallado de SyE
|
| 1.
Determinar el propósito y el alcance |
Definición
amplia del propósito y el alcance del SyE en el contexto
del proyecto |
-
Revisar el propósito y alcance con los principales interesados.
|
| 2.
Identificar las preguntas de desempeño, los indicadores y
las necesidades de información |
Lista
de las principales preguntas indicativas e indicadores al nivel
de las metas, propósitos y productos |
-
Determinar las necesidades e intereses en materia de información
de todos los principales interesados.
-
Definir con precisión todas las preguntas, indicadores y
necesidades de información a todos los niveles de la jerarquía
de objetivos.
-
Verificar la pertinencia y el uso final de cada elemento de información.
|
| 3.
Planear la recolección y la organización de la información
|
Descripción
general de métodos de recolección y organización
de la información, para permitir la asignación de
los recursos |
-
Planear en detalle la recolección y la organización
de la información (quién utilizará qué
método para reunir/sintetizar qué información,
con qué frecuencia y cuándo, dónde, con quién
y con qué producto previsto de información).
-
Verificar la viabilidad técnica y de recursos de las necesidades,
indicadores y métodos de información.
-
Elaborar formatos para la recolección y la síntesis
de los datos. |
| 4.
Planear la comunicación y la preparación de informes
|
Amplia descripción
de los principales destinatarios y tipos de información que
se les deberá comunicar para permitir la asignación
de los recursos |
-
Hacer una lista precisa de todos los destinatarios, la información
que necesitan, cuándo la necesitan y en qué formato.
-
Definir lo que debe hacerse con la información: enviarla
sin más, organizar un debate para proceder al análisis,
recabar la retroalimentación pertinente para la verificación,
etc.
-
Hacer una amplia lista para la producción de información,
indicando quién ha de hacer qué y cuándo, a
fin de que la información esté disponible a tiempo. |
| 5.
Planear procesos y ejercicios de reflexión crítica
|
Descripción
general de los principales procesos y ejercicios |
-
Detallar con precisión qué métodos/enfoques
deben utilizarse, con qué grupos de interesados y con qué
finalidad.
-
Identificar a los encargados de los diferentes ejercicios de reflexión.
-
Hacer una lista de los principales ejercicios y de los momentos
de preparación de informes/adopción de decisiones
|
| 6.
Planear las condiciones y capacidades necesarias |
Establecimiento
de forma indicativa de los niveles y tipos de los puestos de trabajo,
descripción clara de la estructura organizativa del SyE,
presupuesto indicativo |
-
Definir con precisión cuántas personas integrarán
la plantilla de SyE, sus responsabilidades y vinculaciones, los
incentivos necesarios para que funcione el SyE, las relaciones organizativas
entre los principales interesados del SyE, el tipo de sistema de
gestión de la información que debe establecerse, y
el presupuesto detallado. |
Hay que estudiar cuidadosamente a quiénes se va a incluir cuando
se detalle el sistema de SyE. En los primeros años del proyecto
PADEMER, en Colombia, por ejemplo, la unidad de seguimiento diseñó
el sistema de SyE. El proceso preveía la celebración de
un taller para definir los principales indicadores. Participaron en el
taller la unidad de coordinación técnica nacional, las ONG
coejecutoras, la Corporación Mixta para el Desarrollo de la Microempresa
y diversos miembros del comité de gestión (Ministerios de
Agricultura y Desarrollo Económico y el Departamento Nacional de
Planificación).
Cuanto más variadas sean las partes interesadas que pueda incluir
en el proceso, más claramente decidirá lo que hace falta,
de quién y cuándo. Pero esto llevará más tiempo,
como ocurre inevitablemente con la participación.
4.2.1 Propósito y alcance del sistema
de SyE
Una definición clara del propósito y alcance del sistema
previsto de SyE es útil para decidir cuestiones tales como los
niveles presupuestarios, el número de indicadores, el tipo de comunicación
necesario, etc. El informe de evaluación ex ante incluirá
una breve declaración del propósito del SyE (véase
el recuadro 4-4), pero esta cuestión deberá
reconsiderarse en la fase de puesta en marcha con los representantes de
los coejecutores y los principales interesados.
Cuando no esté usted seguro sobre si proceder a un seguimiento
más o menos sostenido, o si elegir una u otra opción metodológica,
el propósito declarado del SyE representa siempre un punto de referencia.
Especificar el propósito contribuye a determinar claramente lo
que puede esperarse del sistema de SyE, ya que obliga a reflexionar acerca
de la naturaleza del proyecto y de la información que es necesaria
para una buena gestión.
| |
Recuadro
4-4. Ejemplos de declaración de propósitos del SyE
Los propósitos esenciales del sistema de SyE del Proyecto
de desarrollo rural SWA, en Armenia, consisten en proporcionar la
información necesaria para la gestión orientada al
impacto, y hacer que los principales interesados aprendan a mejorar
la ejecución del proyecto. El sistema de SyE presentará
con regularidad informes sobre la marcha del proyecto a los diferentes
grupos de interesados, en un formato apropiado a sus necesidades.
El programa WUPAP, en Nepal, describe del modo siguiente el principal
propósito del elemento de SyE participativo (SyEP) y del
sistema de información de gestión: “El objetivo
del elemento de SyEP consiste en prestar apoyo a la gestión
del programa a fin de asegurar el cumplimiento de su estrategia
y enfoque, mejorar la capacidad de respuesta, la eficacia y la eficiencia
mediante la retroalimentación constante proveniente de los
beneficiarios, el personal del programa y otros interesados, y contribuir
al aprendizaje de todos los interesados con una política
de promoción del diálogo. El objetivo del sistema
de información de gestión es prestar apoyo a la gestión
del programa para lograr un proceso eficaz de adopción de
decisiones y mejorar la capacidad de respuesta de los interesados
mediante la recolección, la elaboración y el suministro
de información fiable y oportuna”.
El propósito del SyE de un proyecto que promueva el aumento
de las capacidades de los principales interesados para la gestión
del proyecto podría ser el siguiente: “El propósito
principal del sistema de SyE consiste en reforzar la capacidad de
los principales interesados de gestionar los recursos sobre los
que tienen poder de decisión. El sistema de SyE proporcionará
información sobre la calidad de los proveedores de servicios
y la marcha del proyecto a los principales interesados, y efectuará
análisis para identificar las mejoras concretas. Asimismo
el sistema presentará con regularidad informes sobre la marcha
del proyecto a los organismos de financiación y a los ministerios
responsables”. |
|
Al formular el propósito en la fase de evaluación ex ante,
o al reconsiderarlo en la fase de puesta en marcha, pregúntese
lo siguiente:
- ¿Cuáles son las principales razones de que se establezca
y se aplique el SyE, para nosotros –en nuestra condición
de coejecutores e interesados directos– y para los otros interesados
principales?
Tras compartir la comprensión del propósito general, el
próximo paso consiste en aclarar el alcance del sistema de SyE.
Por “alcance” se entiende el ámbito y el grado de sofisticación
del sistema. Los sistemas de SyE pueden ser muy sofisticados y requerir
considerables conocimientos técnicos sobre métodos cualitativos
y cuantitativos de investigación y una amplia información
sobre gestión. También pueden ser sistemas muy sencillos,
basados en gran parte en conversaciones con los interesados sin que se
trate de obtener grandes cantidades de datos.
Estos distintos sistemas no dan los mismos resultados. Cada uno de ellos
tiene sus ventajas e inconvenientes, como el grado de precisión
y de capacidad requerido y la mano de obra y el costo necesarios. El grado
de sofisticación del sistema de SyE que convenga a su situación
dependerá del propósito de su SyE, los recursos disponibles
y los conocimientos técnicos en la materia. Para determinar el
alcance del sistema SyE, pregúntese lo siguiente:
- ¿Qué nivel de financiación existe en potencia?
- ¿Qué nivel de participación en el SyE de los
interesados directos y las organizaciones asociadas es conveniente y
viable?
- ¿Cuán detallada ha de ser la información del
SyE, en datos cuantitativos o cualitativos?
- ¿Qué clase de estudio de base es conveniente y viable?
- ¿Cuáles son las capacidades actuales de SyE de los interesados
directos y las organizaciones asociadas, y cómo afectarán
a los niveles deseados de SyE?
4.2.2 Preguntas de desempeño, necesidades
de información e indicadores
El método más común para establecer el SyE de un
proyecto es que el coordinador de SyE incluya la lista de los indicadores
cuantitativos de cada objetivo en la segunda columna de la matriz del
marco lógico. Esto suele causar problemas, que no se derivan de
los indicadores cuantitativos sino del paso directo de los objetivos a
los indicadores. Muchos objetivos son complejos y no pueden resumirse
en uno o varios indicadores. Además, si bien sería posible
encontrar información cuantitativa que indique si los objetivos
se están alcanzando, ello no explica necesariamente por qué
y si esto puede atribuirse al proyecto. Por consiguiente, las diferentes
fuentes de información cuantitativa y cualitativa son más
importantes que los indicadores aislados para explicar lo que está
sucediendo y hacer un examen pormenorizado de las relaciones entre diferentes
rubros de información.
La utilización de preguntas de desempeño (véase
el recuadro 4-5) para orientar el análisis
de los indicadores proporciona una imagen más integrada y significativa
de los logros globales del proyecto. Para responder a estas preguntas
son necesarios un análisis descriptivo e información cuantitativa.
Empezar identificando las preguntas de desempeño hace más
fácil reconocer qué indicadores específicos son realmente
necesarios. A veces una pregunta de desempeño puede responderse
directamente con un simple indicador cuantitativo. No obstante, muy a
menudo la respuesta precisa obligatoriamente de una serie de datos cualitativos
y cuantitativos.
Recuadro
4-5. Ejemplos de preguntas de desempeño
Las preguntas de desempeño no tratan solamente
de lo que se ha alcanzado; también se pregunta por qué
el proyecto ha sido un éxito o un fracaso, y qué se
ha aprendido para mejorar la acción futura. Ejemplos de preguntas
de desempeño podrían ser:
- ¿Cómo ha cambiado la capacidad adquisitiva de
las familias destinatarias en comparación con los grupos
no destinatarios? ¿Qué factores externos han influido
en los eventuales cambios?
- ¿En qué medida las familias destinatarias están
en mejores condiciones de satisfacer sus necesidades de vivienda,
educación y salud que las familias no destinatarias?
- ¿Cómo ha cambiado la diversidad, producción
y productividad de la agricultura en la zona seleccionada debido
a las actividades del proyecto y a factores externos?
Las preguntas de desempeño son necesarias para cada nivel de la
jerarquía de los objetivos, pero también para el proyecto
en general. Por ejemplo, es muy probable que desee usted formular algunas
preguntas acerca de la ejecución del proyecto, como la calidad
de las relaciones entre ciertos grupos-objetivo y las ONG encargadas de
la ejecución. O quizás podría preguntar: “¿Cómo
creen los asociados que puede mejorar la unidad de gestión del
proyecto para facilitarles el ejercicio de sus responsabilidades?”.
También es conveniente seguir de cerca los impactos imprevistos,
preguntando por ejemplo: “¿Hay innovaciones del proyecto
que hayan sido adoptadas por personas de distritos vecinos que no pertenecen
al principal grupo-objetivo?”
Recuerde que las necesidades de información cambian con el tiempo,
por lo que las preguntas de desempeño deberán revisarse.
En los proyectos basados en la idea de las preguntas de desempeño,
el informe de evaluación ex ante incluye una lista de preguntas
e indicadores indicativos. Después de revisar la jerarquía
de objetivos con los principales interesados en la fase de puesta en marcha,
podrá refinar con ellos estas preguntas indicativas para tener
en cuenta las revisiones introducidas en la estrategia del proyecto.
En la mayoría de los proyectos las preguntas de desempeño
no existirán (todavía). Para preparar buenas preguntas de
desempeño, lo primero es tener una idea muy clara de los objetivos
del proyecto. Así pues, el proceso de identificación de
estas preguntas con los interesados le ayudará a refinar con ellos
el diseño del proyecto.
En los proyectos que reciben apoyo del FIDA, los interesados directos
participan cada vez más en la identificación de las preguntas
de desempeño y en la selección de los indicadores. El proceso
de identificación participativa de las preguntas y los indicadores
es muy distinto del proceso que se limita al equipo del proyecto. Ésta
y otras cuestiones acerca de las preguntas e indicadores de desempeño
se examinan con más detalle en la sección
5.
4.2.3 Recolección y organización
de la información
Muchos informes de evaluación ex ante contienen una larga lista
de indicadores. Y, sin embargo, en general se presta poca atención
a las consecuencias prácticas de la recolección de la información
necesaria, por no hablar del modo en que se utiliza para la gestión
orientada al impacto. Durante la fase de puesta en marcha, una tarea fundamental
de todos los asociados en la ejecución es determinar con un criterio
realista la información que puede recogerse dados los recursos
humanos y financieros disponibles.
Para cada necesidad de información o indicador, deberá
determinarse el procedimiento de recolección y organización
de la información. Por ejemplo, el seguimiento de la marcha de
un proyecto de desarrollo de infraestructuras de regadío puede
requerir que los interesados directos y el personal del proyecto verifiquen
si las infraestructuras que ya están construidas funcionan adecuadamente.
Esto es relativamente fácil. Sin embargo, para el seguimiento del
impacto de ese mismo proyecto –por ejemplo, en el cambio en los
ingresos de las familias– es necesario un método distinto.
Un posible método es el de las encuestas de hogares. Se trata de
una actividad de seguimiento bastante costosa y que lleva tiempo, y que
además no facilita la participación de los interesados directos.
Una opción distinta podría consistir en efectuar encuestas
en las aldeas y celebrar debates abiertos con diagramas de flujo del impacto
(véase el anexo D)
sobre los cambios registrados en la vida cotidiana debidos al regadío.
Otro ejemplo podría ser el seguimiento de la ejecución de
un proyecto de constitución de un fondo experimental de desarrollo
de la microempresa. Con esta finalidad podrían celebrarse reuniones
o talleres periódicos con los asociados en la ejecución
y los empresarios.
No sólo deberá elegirse un método distinto para
cada indicador, sino que además, generalmente, deberán presentarse
varias opciones para cada indicador o información necesarios. El
anexo D describe muchos métodos de seguimiento y recolección
de información, cualitativos y cuantitativos, y de carácter
individual o colectivo, desde simples formularios de registro de los cambios
en el rendimiento agronómico para las evaluaciones aperiódicas
hasta encuestas de hogares y talleres participativos. Por ejemplo, en
vez de una detallada y costosa encuesta de hogares sobre la vacunación
infantil, podría organizarse un grupo de discusión con las
madres para debatir la extensión de la campaña de vacunación,
recabar opiniones sobre el modo en que se presta este servicio, etc. Cada
método tiene sus propias ventajas e inconvenientes en materia de
costos, fiabilidad de los datos, conocimientos técnicos necesarios
y capacidad de cuantificar los resultados y riqueza de la información
obtenida.
En el momento de seleccionar el método es especialmente importante
saber quién participará en la recolección, la compilación
y el análisis de la información. Cuanto más participen
los usuarios previstos de los métodos en la selección o
elaboración de éstos, más probabilidades habrá
de que los entiendan y los usen correctamente. Si los métodos son
seleccionados por alguien que no los utiliza, será esencial capacitar
a los usuarios en su empleo.
Reunir datos está muy bien, pero cada elemento de información
tiene que ser cotejado, quizás resumido y ciertamente analizado
por las personas adecuadas. Este proceso deberá planearse en detalle
en la fase de puesta en marcha. Con frecuencia el personal sobre el terreno
sólo participa en la tarea de recolección de datos, y el
papel de los interesados directos se limita a suministrar datos. Para
considerar el seguimiento como un proceso de aprendizaje es necesario
que el análisis de las medidas y la concertación de acuerdos
al respecto tengan lugar a todos los niveles de la jerarquía del
proyecto, y con los asociados. Por regla general, la recolección
y análisis de la información debe llevarse a cabo con aquéllos
a quienes conciernen los datos, los análisis y las decisiones,
o sea, en el nivel pertinente. El personal sobre el terreno, por ejemplo,
deberá conocer el alcance del proyecto para la división
administrativa de la que es responsable, mientras que el director necesitará
analizar el alcance de toda el área del proyecto.
En la sección 6 se
indican los aspectos prácticos de la recolección y gestión
de la información.
4.2.4 Procesos y ejercicios de reflexión
crítica
¿Cómo puede participar la gente en la interpretación
de los datos derivados de los procesos de SyE y en la evaluación
de sus consecuencias para la estrategia y las operaciones del proyecto?
La matriz del marco lógico no tiene en cuenta este aspecto del
SyE, que raramente recibe la atención que merece durante el diseño
del proyecto.
Es posible que en el apartado sobre SyE del informe de evaluación
ex ante figure una descripción de los principales procesos y ejercicios
de reflexión crítica. Pero no es frecuente. Generalmente,
durante la fase de puesta en marcha es necesario planear en detalle estos
procesos (cuál será el centro de atención, quiénes
participarán, si habrá facilitadores o serán autogestionados,
cómo encajan los procesos entre ellos, etc.), y establecer los
calendarios (véase el cuadro 4-2). En la sección
8 se examina en detalle la reflexión crítica. El gráfico
2-3 de la sección 2, muestra algunos ejercicios de reflexión
colectiva que se celebran durante la vida de la mayoría de los
proyectos, y el modo en que se complementan recíprocamente.
La reflexión crítica puede ser formal o informal. La primera
puede facilitarse durante las reuniones del proyecto, los talleres con
los asociados y los interesados directos, o en el contexto de evaluaciones
externas. La segunda puede producirse en los debates continuos entre los
interesados del proyecto. Hay innumerables ejemplos del modo en que puede
alentarse la reflexión. En el proyecto Cuchumatanes, en Guatemala,
la promoción del aprendizaje individual se logró haciendo
que el personal de SyE participase en las actividades continuas sobre
el terreno. Esto les dio una idea más clara de las operaciones
del proyecto, las relaciones y el modo en que los interesados directos
generalmente aceptaban y consideraban las operaciones. En el proyecto
TROPISEC, en Nicaragua, el extensionista del coejecutor se reúne
con las organizaciones de base para analizar la marcha del proyecto y
los resultados e identificar posibles acciones y necesidades de recursos
para el período siguiente. En el contexto del programa anual de
trabajo del proyecto, se espera que todo el personal técnico comparta
por lo menos una experiencia significativa de aprendizaje con sus compañeros
de trabajo.
Cuadro 4-2. Ejemplo de un programa de reflexión
crítica para un proyecto
| Nota:
Esta es una lista centrada en el proyecto. Los interesados directos
tendrán su propio programa de ejercicios, y lo mismo ocurrirá
con cada uno de los coejecutores El secreto del SyE participativo
consiste en vincular estos diferentes programas, para compartir el
aprendizaje. |
| Procesos
o ejercicios de reflexión crítica
|
Propósito
y descripción |
Quién
debe participar |
Calendario
|
| Revisión
participativa de la estrategia del proyecto |
Actualizar
el análisis de situación, revisar los problemas/visiones,
ajustar la jerarquía de objetivos y los supuestos |
Representantes
de los interesados directos seleccionados, el personal de la organización
participante, todo el personal del proyecto, el facilitador
|
Un
taller de tres días en la fase de puesta en marcha |
| Elaboración
de un plan de SyE con los interesados |
Evaluar
las diferentes necesidades de información, determinar quién
está haciendo ya qué, llegar a un acuerdo sobre los
sectores prioritarios de información, refinar las preguntas/indicadores,
decidir los métodos, llegar a un acuerdo sobre las responsabilidades
|
Representantes
de los interesados directos seleccionados, el personal de la organización
participante, todo el personal del proyecto, el facilitador
|
Reuniones
de cuatro o cinco días completos durante los seis primeros
meses del proyecto |
| Revisiones
trimestrales de la marcha del proyecto por el personal de la UGP
|
Debate
sobre los principales éxitos y problemas |
Personal
superior de la UGP y organización asociada |
Una
reunión de un día cada tres meses |
| Visitas
sobre el terreno |
Comprobación
directa de lo que ocurre sobre el terreno, conversaciones informales
sobre el modo en que se están realizando las actividades
|
Personal
sobre el terreno, supervisores del personal sobre el terreno, director
del proyecto |
Visita
semanal para el personal sobre el terreno, y mensual para el director
del proyecto |
| Revisión
anual del proyecto |
Resumen
de los principales éxitos y problemas, ideas para cambiar
las actividades/ productos y supuestos del proyecto, revisión
de las consecuencias para el marco lógico del proyecto, identificación
de las lecciones aprendidas acerca de la ejecución del proyecto,
ajuste del sistema de SyE |
Los
representantes de los interesados directos seleccionados, el personal
de la organización participante, todo el personal del proyecto,
el facilitador |
Una
vez al año |
| Talleres
periódicos de revisión de los principales componentes
del proyecto |
Debate
centrado en la estrategia y las operaciones de los principales componentes
para ajustar la jerarquía de objetivos, resolver problemas
e identificar lecciones aprendidas |
Principales
interesados del componente del proyecto: interesados directos previstos,
coejecutores, altos cargos del proyecto y personal sobre el terreno
|
Una
vez al año durante los dos primeros años; después,
una vez cada dos años |
| Preparación
de las misiones de supervisión |
Explicar
el propósito de la misión, llegar a un acuerdo sobre
lo que el proyecto y los interesados quieren obtener de la misión,
determinar quién debe preparar qué antes de la misión,
organizar la logística |
Un
pequeño grupo de representantes de los interesados directos,
altos cargos de la organización participante, altos cargos
del proyecto |
Un
mes antes del envío de la misión de supervisión
|
4.2.5 Comunicación y presentación
de informes
El informe de evaluación ex ante habitualmente indica el programa
previsto de preparación de informes, así como quién
debe recibir un informe y cuándo. A menudo estos informes van dirigidos
a los organismos de financiación, por razones de responsabilización.
No obstante, también es necesario comunicar las conclusiones de
SyE a otros muchos interesados, y por diferentes motivos. Por ejemplo,
las consecuencias para las políticas deben ponerse en conocimiento
de los empleados públicos, la utilización de los fondos
puede comunicarse a los asociados y los interesados directos, y las lecciones
aprendidas documentadas acerca de la estrategia del proyecto deberían
distribuirse a otros proyectos.
Durante la fase de puesta en marcha, desarrolle en detalle su estrategia
de comunicación. Incluya en su elaboración no sólo
los informes oficiales sino también los intentos de obtener retroalimentación
acerca de las conclusiones provisionales, y discuta las medidas que deben
adoptarse.
- Con representantes de todos los principales interesados, confeccione
una lista precisa de todos los destinatarios, la información
que necesitan, cuándo la necesitan y en qué formato.
- Dedique tiempo a discutir por qué cada una de esos destinatarios
necesita información. ¿Para obtener retroalimentación
con fines de verificación?, ¿como aportación a
los debates sobre las consecuencias para la estrategia y las operaciones
del proyecto?, ¿para esclarecer sus responsabilidades?, ¿por
razones de responsabilización?, ¿para influir en las actividades
sobre el terreno, y obtener más apoyo para ellas?
- Programe claramente las necesidades de producción de información,
indicando quién ha de hacer qué y cuándo, a fin
de que la información esté disponible a tiempo.
- Organice las reuniones en el curso de los cuales se comunicará
y discutirá la información.
En la sección 6 se
examinan los principios de la comunicación y los medios de obtener
retroalimentación. En el anexo
D se indican métodos que pueden resultar útiles para
facilitar la comunicación.
4.2.6 Condiciones y capacidades necesarias
En el informe de evaluación ex ante encontrará un presupuesto
indicativo para el SyE y una descripción de cómo debería
o podría organizarse. Pero poner en funcionamiento el sistema de
SyE significa pensar en los incentivos adecuados, asegurarse de que se
dispone de las capacidades humanas correctas y suficientes y reflexionar
sobre los medios de almacenar y compartir la información. En la
sección 2 se expusieron
las condiciones y capacidades necesarias para que el sistema de SyE funcione.
En la sección 7 se examinan
con más detalle. En el cuadro 4-3 figuran las
principales preguntas que deben responderse cuando se detalle el SyE para
hacerlo operacional.
Discuta las estructuras organizativas adecuadas para el SyE en la fase
de puesta en marcha. Esto es fundamental para el éxito o el fracaso
del SyE. Es el momento en el que los negociadores han de llegar a una
decisión acerca de las responsabilidades y las necesidades de información
de cada asociado.
Con frecuencia los proyectos que reciben apoyo del FIDA adoptan uno
de los dos métodos básicos de organización del SyE
que se indican a continuación:
- la coordinación del SyE se encarga a un coordinador o unidad
especializados en SyE, en el marco de la unidad de gestión del
proyecto (y se complementa con contratos externos de SyE), a fin de
facilitar el uso rápido de la información por los gestores;
- el SyE corre a cargo de un grupo independiente de SyE –por
ejemplo, se subcontrata a un instituto de investigación o se
instala en una dependencia gubernamental– con la intención
de conseguir una mayor objetividad y un análisis independiente.
En general, las experiencias de un gran número de proyectos hacen
pensar que el SyE es mucho más eficaz cuando los encargados de
su aplicación están integrados en las operaciones del proyecto
y en el grupo que toma las decisiones. Esto puede complementarse de modo
importante con más apoyo externo de SyE. Están apareciendo
otros métodos innovadores, que colocan decididamente el SyE bajo
el control de los interesados directos o los equipos sobre el terreno
(véase el recuadro 4-6).
Cuadro 4-3. Preguntas para orientar la planificación
detallada de las condiciones y capacidades del SyE
Condiciones y capacidades |
Preguntas para orientar la planificación detallada |
| Capacidades humanas
para el SyE |
-
¿De qué capacidades de SyE disponen los asociados
del proyecto?
-
¿Qué
actividades de capacitación deberán organizarse?
-
¿Qué
apoyo de asesoramiento será necesario? |
| Incentivos para
aplicar el SyE |
-
¿Están incluidas las responsabilidades de SyE en las
descripciones de los puestos de trabajo y los términos de
referencia?
-
¿Cómo
debe promoverse la reflexión y el aprendizaje entre el personal,
los asociados y los interesados directos previstos? |
| Estructuras
de organizativas |
-
¿Habrá una unidad de SyE, o se dispersará entre
todas las partes? Si se prevé una unidad de SyE, ¿de
cuánto personal dispondrá y dónde estará
situada, y bajo qué autoridad?
-
¿Cuán
estrechamente conectados con el personal de SyE estarán los
gestores del proyecto? |
| Sistemas de información
de gestión |
-
¿Qué información debe almacenarse y estar accesible,
cuándo, cómo y para quién?
-
¿Qué
nivel de informatización es necesario y apropiado?
-
¿Qué
conocimientos técnicos serán menester para establecer
el sistema de información de gestión? |
| Recursos
financieros |
-
¿Se dispone de un presupuesto aparte para el SyE, y se han
asignado recursos suficientes?
-
Al asignar el personal para el proyecto, ¿se ha tenido en
cuenta la necesidad de reservar tiempo para las actividades de SyE
de todo el personal pertinente? |
| |
Recuadro
4-6. El SyE participativo propicia en las organizaciones comunitarias
una actitud y una cultura de autoevaluación y potenciación
El método de evaluación participativa
utilizado por uno de los organismos de ejecución del proyecto
PROCHALATE, en El Salvador, se centra en la promoción de
una actitud y una cultura de autoevaluación y potenciación
de los equipos sobre el terreno de la organización comunitaria.
Este sistema permite evitar las ideas preconcebidas y las opiniones
interesadas, al tiempo que refuerza la idea de la evaluación
con fines de mejora y no para formular juicios. El enfoque tiene
cuatro etapas: autoevaluación, evaluación recíproca
sobre el terreno, taller plenario (con los dos equipos) y resumen
final.
- Durante la autoevaluación cada equipo evalúa
su plan de trabajo a mediados y finales del año, considerando:
i) los objetivos propuestos; ii) los objetivos alcanzados y los
no alcanzados; y iii) las mejoras necesarias.
- La evaluación recíproca se hace con un equipo
sobre el terreno que facilita la evaluación participativa
de otro equipo. Esto requiere la realización de visitas
sobre el terreno para observar los aspectos técnicos y
la celebración de un taller de revisión. Se organizan
talleres con los interesados directos del otro equipo para evaluar
la calidad de la labor realizada por el organismo de ejecución,
en vez de prestar atención exclusiva a los extensionistas.
Esto facilita y garantiza la neutralidad y la libertad de los
interesados de dar a conocer sus opiniones. Con ello se evita
también la intimidación que causa la presencia del
extensionista. Todo ello promueve la ética profesional
y la crítica constructiva.
- En el taller plenario, cada equipo presenta su propia
evaluación y la evaluación efectuada por el otro
equipo.
- El proceso concluye con un resumen final en el que los resultados
del taller de autoevaluación se comparan con los resultados
del otro equipo.
|
|
Una vez se ha completado la mayor parte del plan detallado de SyE, puede
plantearse la cuestión del presupuesto. El recuadro
4-7 contiene una lista de los costos probables de SyE. El modo en
que calcule los costos de SyE dependerá de que asigne los recursos
a actividades específicas de SyE, o incluya el SyE en categorías
genéricas como “capacitación del personal”,
“talleres participativos”, etc. En la sección
7 se examinan los detalles de la preparación del presupuesto
para el SyE.
| |
Recuadro
4-7. Posibles costos del SyE que deben considerarse en el presupuesto
(en la sección 7
figuran más detalles)
-
Tiempo del personal, como por ejemplo: para
planificar, ejecutar y mejorar todos los procesos de SyE; redactar
informes y efectuar análisis; captar y documentar las
lecciones aprendidas y facilitar los procesos de SyE de base
comunitaria.
- Consultores/asistencia técnica (honorarios, gastos de
viaje), como por ejemplo: elaborar un plan detallado de SyE; establecer
sistemas de información de gestión; facilitar los
talleres de revisión, la capacitación y el fortalecimiento
de las capacidades, verificar las auditorías.
- Actividades de evaluación (costos de locales, viajes
y alojamiento, materiales, dietas, honorarios), como por ejemplo:
talleres de planificación del SyE; talleres anuales comunitarios
de revisión; actividades concretas de seguimiento; evaluaciones
específicas de temas importantes.
- Materiales y equipo, como por ejemplo: equipo técnico
para el seguimiento; material y programas informáticos
y de redes; gastos de establecimiento de redes; contrato de mantenimiento
de redes.
- Publicación y documentación, como por ejemplo:
impresión y distribución de documentos; tableros
de avisos; materiales.
|
|
Back
to Top 
4.3 Documentar el plan de SyE
Los proyectos disponen de tres documentos fundamentales que sirven para
guiar el SyE:
- el marco de SyE en el informe de evaluación ex ante del proyecto
(una discusión acerca de esta cuestión figura en la sección
3 y en el cuadro 4-1 del apartado
4.2);
- el manual de ejecución del proyecto;
- plan o manual de SyE.
4.3.1 El SyE en el manual de ejecución
del proyecto
La mayoría de los proyectos destinan tiempo y recursos a la elaboración
del llamado “manual (o procedimiento) de ejecución del proyecto”.
Se trata de una serie de directrices acerca de los procedimientos contables
y financieros, procedimientos de compra, viajes del personal, utilización
de vehículos y otros equipos y otros detalles necesarios para el
correcto funcionamiento del proyecto.
El plan detallado de SyE puede formar parte del manual de ejecución
del proyecto, o acompañarlo en forma de anexo o apéndice.
Independientemente de la modalidad que se elija, las directrices de ejecución
y las directrices de SyE deberán estar estrechamente vinculadas
y, sobre todo, coordinadas. Hay que evitar las contradicciones o las ambigüedades
en los dos conjuntos de directrices.
Como los planes de SyE pueden ser abrumadoramente detallados, un resumen
será útil para que todos los participantes en el proyecto
concentren su atención en sus responsabilidades. Un buen modo de
resumir los distintos insumos es incluir un calendario de SyE para todos
aquéllos que desempeñen una función importante a
este respecto (véase el recuadro 4-8). Idealmente
estos calendarios deberán conjugarse con programas semanales y
mensuales de actividad, de modo que el SyE pase a formar parte integrante
de las actividades.
Recuadro 4-8. Trabajar con un calendario
de SyE
| Es
fundamental saber cuándo hace falta la información.
Cuando haya llegado usted a este punto específico del plan
de SyE, le resultará difícil recordar todos los momentos
clave del SyE y su relación entre ellos y con la planificación.
Un calendario de SyE es un instrumento
útil para mantener una visión general de las diversas
actividades internas programadas, los momentos clave de la preparación
de informes y las misiones externas. Un medio sencillo de coordinar
las actividades de SyE es colgar un ejemplar del calendario en una
sala central de reuniones y pedir a cada miembro del equipo que
haga una versión personalizada en la que se describan sus
responsabilidades a lo largo del año.
Ejemplo
1. Un proyecto en Zimbabwe anotaba las diversas etapas
de SyE en un calendario como el que figura a continuación.
Este proyecto disponía también de un calendario de
seguimiento del proceso institucional que indicaba cuándo
debían enviarse los informes, a quién y sobre qué
tema. |
| Extraído
del calendario de seguimiento y evaluación de los efectos
directos y el impacto (anual) |
| |
| Año
|
Actividad
|
Persona
y/
o unidad responsable |
| Primer
año,
3er y 4º
trimestres |
Evaluación
de todos los sistemas de riego participativos |
>
Equipo de distrito/
facilitadores de
la planificación |
| Segundo
año,
1er y 2º
trimestres |
- Encuesta de base a los agricultores, a nivel
de los planes (cuestionario)
- Estudio de los costos de los planes
- Encuesta de viabilidad financiera de 24 planes
|
>
Gestores del proyecto/
consultor
> Gestores del proyecto/
consultor
> Facilitadores
de la planificación
|
| Segundo
año, 3er y 4º trimestres |
- Protección
y alcance ambiental
-
Evaluación de las necesidades de capacitación
-
Evaluación del desempeño de los servicios de determinados
consejos rurales de distrito y organismos de apoyo
-
Trazado de mapas institucionales y análisis FODA
-
Evaluación del contexto
|
>
Consultor
> Coordinador
de la capacitación
> Consultor
> Consultor
> Experto en
seguimiento |
|
Ejemplo
2.
Un proyecto en Nepal planea utilizar una agenda de acontecimientos
críticos en la que se enumeran los indicadores más
importantes del proyecto que deben ser objeto de seguimiento. Esta
agenda se discutirá en los talleres anuales de interesados
y se incluirá en todos los informes anuales, actualizándose
periódicamente. La agenda es parecida al cuadro que figura
a continuación. |
| Número
|
Acontecimiento
crítico |
Fecha
prevista |
Fecha
de
terminación |
Situación/
causa de las
demoras |
| |
|
|
|
|
| |
|
|
|
|
|
Este
mismo proyecto describió su plan indicativo de seguimiento
y evaluación en el informe ex ante, indicando lo que cada
informe y actividad de SyE aportaba al logro de los seis principales
objetivos de SyE fijados (véase a continuación).
|
| Informe
y registros
de SyE |
Objetivos
|
Responsa-
bilidad |
Metodo-logía
|
Usuarios
|
| Segui-miento
de los pro-
gresos |
Segui-
miento
del de-
sempeño |
Apren-
dizaje |
Segui-
miento
del
impacto |
Rastreo
de un contexto más
amplio |
Análisis
y pre-
visión
de ten-
dencias |
| Periódicos
|
|
|
|
|
|
|
|
|
|
| 19
anota-ciones diferentes |
|
|
|
|
|
|
|
|
|
| No
periódicos |
|
|
|
|
|
|
|
|
|
| 8anota-
ciones |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
4.3.2 Contenido indicativo de un plan de
SyE
Un plan documentado es fundamental para mantenerse al corriente de las
actividades y los recursos. El plan operacional de SyE sienta las bases
conceptuales y, sobre todo, las prácticas de planificación,
seguimiento y evaluación del proyecto. En el proyecto Cuchumatanes,
en Guatemala, el documento de SyE describía lo siguiente: objetivos,
estrategias, metodologías, plan de trabajo, actividades en detalle
e instrumentos técnicos que debían utilizarse. El documento
definía también los principales conceptos relacionados con
el SyE, la matriz del marco lógico rediseñada, el ajuste
de los sistemas de recolección de información y la base
de datos de los interesados directos.
El plan operacional de SyE será el punto de referencia para los
interesados a lo largo de la vida del proyecto. Así pues, ha de
ser suficientemente amplio, a macronivel, para ofrecer una imagen clara
de las intenciones generales del proyecto y la manera en que el sistema
de SyE contribuirá a alcanzarlas. En el micronivel, deberá
indicar con bastante detalle los calendarios, responsabilidades, presupuestos,
etc., que contribuirán a orientar la preparación del PTPA.
Cuando las tareas de seguimiento se lleven a cabo con los interesados
locales, estos detalles quizás deban traducirse a su idioma.
Cuadro 4-4. Contenido indicativo de un plan operacional
de SyE
| Tema
|
Descripción
|
| Propósito
y alcance |
-
Visión general del proyecto y objetivos, razones y justificación
para el diseño del sistema de SyE
-
Cómo el sistema de SyE proporcionará apoyo a la gestión
del proyecto, cumplirá los requisitos de preparación
de informes y atenderá a las necesidades de información
de los diferentes interesados
-
Resumen de la experiencia general del SyE, realizado con los principales
interesados
-
Debate sobre el alcance de la participación, el equilibrio
entre el enfoque cualitativo y el cuantitativo, utilización
intensiva de los recursos y atención especial a la pobreza
en el sistema de SyE |
| Enfoque
|
Descripción
general del modo en que participarán los interesados, qué
enfoques orientados al aprendizaje se utilizarán y, en general,
qué métodos de recolección y análisis
de la información se emplearán; por ejemplo, frecuencia
del uso de enfoques participativos, de sistemas de información
geográfica, de sistemas informatizados de información
o encuestas de base. |
| Marco
lógico revisado, y preguntas de desempeño, indicadores,
necesidades de información y fuentes |
Definición precisa de todas las preguntas de desempeño,
indicadores y necesidades de información a todos los niveles
de la jerarquía de objetivos:
-
Evaluación
aperiódica de las necesidades de información y de
los intereses de todos los principales interesados
- Evaluación aperiódica de los indicadores de factores
y supuestos exógenos (p.ej., clima, precios, brotes de plagas
y enfermedades, situación económica, entorno político,
etc.)
- Evaluación aperiódica de las necesidades de información
e indicadores de la pertinencia y el uso final, y de la viabilidad
técnica y de recursos
- Selección de preguntas e indicadores de desempeño
|
| Sistema
de información de gestión y preparación de
informes |
Propósito
del sistema de información de gestión SIG
Organización de la recolección
y síntesis de la información:
- Para cada
producto previsto de información: quién, qué,
cuándo y dónde
- Calendario
de la producción de información: quién, qué,
cuándo, a quién, para qué propósito
- Cómo
se prevé que funcionen las redes informáticas y los
sistemas manuales de archivación, con y para quién,
para qué datos
- Esbozo de
las necesidades de almacenamiento de datos
Productos previstos de los informes, por
ejemplo:
Canales informales de comunicación
y retroalimentación
- Flujos de
información: plazos y frecuencias
- PTPA: esbozo
del formato del PTPA, incluidos los planes y presupuestos de productos/actividades,
presupuestos consolidados, un plan de capacitación, un plan
de compras, un plan de servicios contratados
- Informes
(bi)anuales de la marcha del proyecto en general y de cada componente,
exámenes en las aldeas
- Informes
financieros (bi)anuales
- Misiones
periódicas de supervisión |
| Plan
de trabajo de SyE (procesos y actividades) y calendario de actividades
|
Definición
precisa de los métodos que deberán utilizarse con
los diferentes grupos interesados con dos propósitos básicos:
1. SyE de los recursos, las
actividades y la ejecución de las operaciones efectivas del
proyecto:
-
Recursos del proyecto: utilización del transporte, prestaciones,
registro de activos, registro de servicios/asistencia técnica
- Actividades del proyecto:
capacitación (talleres, viajes de estudio, etc.), construcción
(infraestructura técnica o social), organización de
planes, ensayos y demostraciones, líneas de crédito,
etc.
- Otras actividades de seguimiento
2. SyE de los efectos directos
y los impactos para orientar la estrategia del proyecto, por ejemplo:
-
Encuestas propuestas: encuestas de base/hogares, componentes, personal
- Evaluación anual participativa
y talleres de planificación
-
Otras evaluaciones anuales y evaluaciones aperiódicas de
los beneficiarios, revisiones y sesiones de planificación
- Revisión de medio término
e informe final del proyecto
- Viabilidad de los métodos
en relación con la tecnología y los recursos
- Programa del plan de trabajo
de SyE: programa integrado de las actividades principales y los
momentos de preparación de informes/adopción de decisiones
- Agenda de acontecimientos
críticos
|
| Determinación
de las condiciones y las capacidades |
Organización
del SyE:
-
Vinculaciones institucionales y con los interesados necesarias para
el SyE
- Existencia (o inexistencia)
de una unidad específica de SyE, y su relación con
la estructura del proyecto y la jerarquía de autoridad
Necesidades de recursos humanos:
-
Número, capacidad y responsabilidades de los diferentes interesados
en el SyE, incluido el personal del proyecto y los interesados directos
- Incentivos para los distintos
interesados
- Necesidades de capacitación
de los interesados y del personal
Necesidades de recursos:
-
Vehículos y equipo
- Asistencia técnica
|
| Presupuesto
de SyE |
Asignación
detallada del presupuesto |
| Apéndices |
-
Marco lógico original y revisado
-
Lista de indicadores propuestos
-
Proyectos de formatos para la recolección de datos, programa
anual y bianual de actividades, etc.
-
Proyecto de formatos para preparar los informes trimestrales,
bianuales y anuales; un resumen de los principales logros del
proyecto; informes de situación sobre los insumos, los
recursos, los productos y los resultados del proyecto; estudios
de evaluación: resumen de conclusiones y recomendaciones
-
Cuestionario de la encuesta de base
-
Descripción de los puestos de trabajo y detalles de los
sueldos
-
Términos de referencia de la asistencia técnica
-
Plan de trabajo del SyE
-
Presupuesto detallado del SyE
|
Back
to Top 
4.4 Calidad de su SyE y necesidad
de mantenerlo al día
Una vez cuente con un sistema detallado de SyE, le quedarán por
franquear otras dos etapas. Primero, tiene usted que verificar la calidad
general del sistema, tal como está diseñado. Segundo, tendrá
que mantener al día el sistema para atender a las nuevas necesidades
de información, niveles de tecnología y contextos, así
como las estrategias y actividades perfeccionadas del proyecto. En el
recuadro 4-9 puede verse por qué y cómo
un proyecto revisó sus funciones de SyE.
Los criterios típicos para evaluar la calidad de un sistema de
SyE son los siguientes:
- utilidad: el sistema de SyE atenderá a las necesidades
de información práctica de los usuarios previstos;
- viabilidad: los métodos, secuencias, calendarios
y procedimientos de elaboración propuestos son realistas, prudentes
y eficaces en función del costo;
- corrección: las actividades de SyE se llevarán
a cabo de un modo legal y ético, y teniendo debidamente en cuenta
el bienestar de los afectados por sus resultados;
- precisión: los productos del SyE revelarán
y darán a conocer información técnicamente adecuada.
Estos criterios también pueden aplicarse cuando se actualice
el sistema de SyE.
| |
Recuadro
4-9. Asegurar la calidad del SyE
Para normalizar la información del SyE, el
proyecto Cuchumatanes, en Guatemala, preparó junto con los
organismos de ejecución directrices y normas de elaboración
de formatos para registrar y utilizar la información. Esto
fue muy importante para analizar las acciones del proyecto utilizando
informaciones que habían sido recogidas y analizadas por
diversos actores a distintos niveles y con diversos métodos
y modelos de intervención.
El personal directivo del proyecto ADIP, en Bangladesh,
examinó y evaluó regularmente el desempeño
de diferentes métodos de seguimiento y trató de rectificar
los problemas y eliminar los “cuellos de botella”. Además,
actualizó constantemente los planes de SyE. Por ejemplo,
cuatro años después de la puesta en marcha del proyecto,
los planes eran los siguientes:
- nueva informatización de las actividades periódicas
de seguimiento;
- mayor seguimiento sobre el terreno (mediante la recolección
de datos normalizados), después de organizar al nuevo personal
de asistencia técnica del SyE;
- aumento gradual de la importancia atribuida a los sistemas
participativos de SyE.
|
|
Así como el proyecto debe adaptarse continuamente, el sistema
de SyE deberá también ajustarse y mejorarse con regularidad
a medida que el proyecto evoluciona y se adquiere más experiencia
(véase el recuadro 4-10). El programa WUPAP,
en Nepal, reconocía esta necesidad en su informe de evaluación
ex ante: “Teniendo en cuenta que el enfoque del programa se basa
en la demanda y la flexibilidad incorporada a los dispositivos de ejecución,
el enfoque del SyE y del sistema de información de gestión
también será flexible… ya que responderá a
las necesidades que vayan surgiendo de retroalimentación e información
de los usuarios, diseñando de nuevo su productos a medida que se
amplía la visión de los interesados”.
| |
Recuadro
4-10. Revisión del SyE en Guatemala
Cuatro años después de su puesta en marcha, el equipo
del proyecto Cuchumatanes, en Guatemala, analizó las expectativas
de SyE indicadas en el informe de evaluación ex ante y las
necesidades de información en diferentes fases de la gestión
y ejecución del proyecto. Los resultados mostraron que las
actividades de SyE no eran muy eficaces para:
- adoptar decisiones en los diversos niveles de la administración;
- determinar los progresos y los logros de los componentes;
- analizar los cambios registrados entre los interesados directos
debidos a la intervención del proyecto;
- determinar la idoneidad de los mecanismos institucionales adoptados.
Esto dio lugar a una gran cantidad de información, que
todavía no se utiliza para la planificación del proyecto
ni se comparte con otros.
El proyecto decidió reorganizar y reorientar la unidad
de SyE, reformular el plan de trabajo de SyE y renovar el equipo
dedicado a esas tareas. El principal propósito pasó
a ser “garantizar que las acciones y la estrategia de trabajo
de la unidad de SyE contribuyan al logro de los efectos directos
previstos del proyecto”. Se diseñó un nuevo
sistema de SyE con la finalidad concreta de:
- reforzar la capacidad de gestión de la UGP;
- reforzar las capacidades de SyE de los interesados locales;
- asegurar la documentación, organización, difusión
y utilización de las experiencias del proyecto.
Un efecto directo debía ser la generación de un
proceso de reflexión y comunicación permanente acerca
del tema central del proyecto, la idoneidad de la estrategia de
intervención y los progresos en la ejecución, y el
cumplimiento de los objetivos. Otro, la contribución al ordenamiento
y la utilización de la información. Se preveía
también el aumento y/o el fortalecimiento de las capacidades
locales de los diferentes actores y las circunstancias relacionadas
con la gestión y la ejecución del proyecto, con miras
a conseguir un SyE sostenible. |
|
Los debates entre los principales interesados son esenciales para detectar
los puntos débiles del sistema de SyE de un proyecto. De los debates
con las autoridades estatales encargadas del proyecto APPTDP, en la India,
se dedujo la necesidad de emprender un proceso que pudiera documentar
los cambios en las distintas aldeas, y los recursos de que se dispondría
para atender a las nuevas prioridades. Las autoridades también
querían asistencia para sintetizar las lecciones y documentar los
impactos del proyecto. Además, sugirieron que se examinasen y modificasen
los formatos de seguimiento de la marcha del proyecto para hacer sitio
al registro de información cualitativa, además de cuantitativa.
Por último, sugirieron que se examinasen los formatos para que
se dejaran de recoger los datos que no hubiesen resultado útiles
en los últimos diez años de ejecución.
La actualización no sólo se aplica a lo sistemas y procedimientos
del SyE basado en el proyecto. Los procesos de aprendizaje de otros grupos
de interesados también deben ponerse al día con regularidad
(véase el recuadro 4-11).
| |
Recuadro
4-11. Autoevaluación significa que los indicadores cambian
con el tiempo
La
autoevaluación de los grupos de autoayuda de un proyecto
en la India se había convertido en un proceso rutinario y
era necesario revisarla. A medida que los grupos iban madurando
y alcanzando estabilidad, se hacía preciso cambiar los indicadores,
por ejemplo en relación con la asistencia y el depósito
de fondos. Los indicadores originales ya no eran tan esenciales.
Cuestiones más pertinentes, como "el aumento de los
préstamos de los bancos, en vez de limitarse a los préstamos
internos”, podían constituir un nuevo indicador posible
que reflejaría la evolución de los grupos locales
de autoayuda. |
|
Back
to Top 
Otro material de lectura
Tres sitios web útiles sobre seguimiento y evaluación
(en inglés):
Servicio de noticias, listas de discusión, lecturas clave, proyectos,
cursos y talleres sobre SyE: http://www.mande.co.uk
Una búsqueda rápida en la siguiente dirección por
“PME” (“seguimiento y evaluación participativo”)
proporciona enlaces con documentación, listas de documentos y discusiones
en línea sobre SyE participativo: http://www.ids.ac.uk/eldis/.
Enlaces sobre SyE participativo en: http://www.worldbank.org/participation/partme.htm;
o bien busque por “OED” (Operations Evaluation Department)
desde la página principal.
ACTION AID (2000): “ALPS: Accountability. Learning and Planning
System” (con Notas de acompañamiento del ALPS), Londres,
Action Aid. Descárguelo en inglés y en español en:
http://www.actionaid.org/policyandresearch/mae/mae.shtml.
O bien póngase en contacto con iau@actionaid.org.uk
o Action Aid, Hamlyn House, Macdonald Road, Archway, Londres N19 5PG,
Reino Unido.
ESTRELLA, M. y J. GAVENTA (1998): “Who Counts Reality? Participatory
Monitoring and Evaluation: A Literature Review”, IDS Working Paper
70, Brighton, Institute of Development Studies – IDS (Instituto
de Estudios sobre el Desarrollo – IED). Descárgue éste
y otros documentols sobre participación realizando una búsqueda
en: www.ids.ac.uk/ids/particip/information/.
HOGGER, R., C. KUCHLI, A. ZIMMERMAN y E. WOKRAL (1997): “Monitoring
– keeping in touch with reality”, Berna, Agencia Suiza para
el Desarrollo y la Cooperación. Descárguelo de: www.gtz.de/pcm/download/english/monit_e.pdf
Download PDF Version (364 KB)
|
|
|
|
|
|
|
|
 |
|
|
|
|
|
|
|
| Back |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| | |