HOME
Introducción
SyE y su Impacto
Diseño, Planificación y SyE
Establecer el Sistema
Decidir el Objeto
Manejo de la Información
Capacidades y Condicisiones
Reflexión Crítica
Glosario
Ejemplo Marco Lógico
Ejemplo Matriz de SyE
Métodos de SyE
Ejemplo Términos de Referencia


 

 

 

 

 

4.1 Descripción general del establecimiento de un sistema de SyE

4.1.1 Ver el SyE como un sistema

Un sistema de SyE que funcione adecuadamente consigue integrar el aspecto más formal y orientado a la información, que generalmente se relaciona con la tarea del SyE, con el seguimiento y la comunicación informales, como el intercambio a la hora del café de impresiones sobre experimentos agrícolas entre el personal del proyecto sobre el terreno y sus gestores. Si puede usted ver el SyE de este modo –como un sistema integrado de reflexión y comunicación en apoyo de la ejecución del proyecto– podrá planearlo y gestionar durante toda la vida del proyecto. Sin embargo, a menudo en el SyE no se ve más que una tarea estadística o una aburrida obligación externa impuesta, de escasa relevancia para los que ejecutan el proyecto. También es habitual que los proyectos separen la función de seguimiento de la de evaluación. En tales casos, las evaluaciones aperiódicas de nivel superior relacionadas con el impacto se subcontratan y el proyecto se concentra exclusivamente en las actividades a corto plazo, con lo que hay menos posibilidades de saber si dichas actividades cumplen una función estratégica.

Para ver el SyE como un apoyo integrado a los participantes en la ejecución del proyecto es necesario:

  • crear procesos de SyE que faciliten el aprendizaje claro y regular de todos los participantes en la estrategia y las operaciones del proyecto (véase el recuadro 4-1);
  • entender los vínculos existentes entre las funciones de SyE y la gestión;
  • utilizar los procesos existentes de aprendizaje, comunicación y adopción de decisiones entre los diversos interesados como base para el SyE orientado al proyecto;
  • crear las condiciones y las capacidades necesarias para la realización del SyE.
 

Recuadro 4-1. Componentes planeados del sistema de SyE en el programa WUPAP (Nepal)

El programa WUPAP en Nepal ha identificado una amplia variedad de actividades que deben integrarse en su sistema de seguimiento y evaluación. Se trata de prácticas normalizadas del plan de trabajo e innovaciones propias del proyecto:

- agenda de acontecimientos críticos

- talleres con las partes interesadas

- análisis contextual participativo

- planificación del trabajo y preparación del presupuesto

- seguimiento de la situación política

- seguimiento de la marcha y el desempeño del proyecto

- seguimiento financiero y auditoría

- encuestas de los interesados directos

- seguimiento participativo del impacto

- seguimiento de los procesos

- evaluaciones externas

 

El gráfico 4-1 da una imagen de un sistema de SyE y el modo en que se vincula con otros elementos clave de un proyecto. Hay cuatro tareas que son fundamentales para que el SyE sea eficaz:

1. diseño y establecimiento del sistema;
2. recolección y gestión de la información;
3. reflexión crítica para mejorar la acción;
4. comunicación y preparación de informes sobre los resultados.

Aunque el gráfico 4-1 muestra las cuatro tareas en orden sucesivo, en realidad se superponen. Por ejemplo, el gestor de un proyecto o un componente puede discutir con el personal sobre sus observaciones sobre el terreno, a la hora del café. En esta ocasión, el gestor (o gestora) conoce las observaciones de diferentes personas, reflexiona al respecto con ellas y, a la vez, comparte enseguida la información con los demás. En cambio, la preparación del informe anual sobre la marcha del proyecto requiere un proceso más estructurado con etapas distintas: recolección de información a lo largo del año, un proceso participativo de revisión del proyecto en el que se discute y analiza la información, y la redacción del informe.

4.1.2 Vincular el SyE con el proyecto en general

En el gráfico que figura a continuación puede verse cómo encaja el sistema de SyE en el proyecto. En la sección 2, el concepto de “gestión orientada al impacto” se explicó sobre la base de cuatro elementos: orientar la estrategia del proyecto hacia el logro del impacto, garantizar la eficacia de las operaciones, crear un entorno de aprendizaje y establecer y utilizar el sistema de SyE. El gráfico 4-1 tiene por tema principal el SyE y el modo en que se enlaza con dos elementos: la estrategia y las operaciones del proyecto. El elemento restante –el entorno de aprendizaje– es el contexto que influye en la manera en que se ejecuta un proyecto y su sistema de SyE.

Gráfico 4-1. El sistema de SyE y el modo en que se vincula con la estrategia y las operaciones del proyecto

Gráfico 4-1. El sistema de SyE y el modo en que se vincula con la estrategia y las operaciones del proyecto


1. La estrategia del proyecto (el plan de lo que se logrará, y cómo se logrará) es el punto de partida de la ejecución del proyecto y el establecimiento del sistema de SyE (véase la sección 3).

2. La estrategia es la base de la determinación de las operaciones del proyecto que son necesarias para llevar a cabo las actividades de un modo eficiente y eficaz.

3. La terminación de las actividades del proyecto se plasma en una serie de productos, efectos directos e impactos reales. Una función esencial del sistema de SyE es la de comparar los productos, efectos directos e impactos reales con los planeados en la estrategia del proyecto, y entender las diferencias para definir los cambios en la estrategia y las operaciones.

4. El sistema de SyE se compone de cuatro partes interrelacionadas.

4a. El establecimiento del sistema de SyE comienza con la identificación de las necesidades de información que han de orientar la estrategia del proyecto, asegurar la eficacia de las operaciones y satisfacer las necesidades externas de informes (véase la sección 5). A continuación habrá que decidir cómo reunir y analizar esa información y documentar un plan para el sistema de SyE. El proceso de determinar cómo se llevarán a cabo el seguimiento y la evaluación de un proyecto suscita inevitablemente interrogantes acerca de la propia estrategia del proyecto que pueden servir para mejorar el diseño inicial. El establecimiento del sistema de SyE con un enfoque participativo contribuye a aumentar la comprensión del proyecto por parte de los interesados, y da inicio a la creación de un entorno de aprendizaje.

4b. Ejecutar el sistema de SyE significa reunir y gestionar la información (véase la sección 6). Para ello puede recurrirse a enfoques informales, o a otros más estructurados. La información se obtiene del seguimiento de los productos, los efectos directos y los impactos que se están alcanzando, y de la verificación de las operaciones del proyecto (p.ej. terminación de actividades, gestión financiera y uso de recursos). Cuando empiece el proceso de recolección y gestión de la información, usted deberá resolver problemas o se le ocurrirán nuevas ideas para mejorar el plan inicial de SyE.

4c. Promover la participación de los interesados en la reflexión crítica (véase la sección 8). La información recogida ha de ser analizada y debatida por los interesados del proyecto. Esto puede efectuarse de un modo formal, por ejemplo, en el taller anual de revisión del proyecto, o informal, como en las conversaciones sostenidas con los agricultores durante las visitas semanales sobre el terreno. Durante estas reflexiones y conversaciones, observará usted probablemente la existencia de lagunas en la información. Esas lagunas pueden favorecer la introducción de ajustes en el plan de SyE, para garantizar que se recoja la información necesaria.

4d. Los resultados del SyE deben comunicarse a las personas que los necesitan. Sólo entonces podrá decirse que el sistema del SyE ha tenido éxito (véase la sección 6). Este proceso incluye la presentación de informes a los organismos de financiación, pero es mucho más amplio. Por ejemplo, es necesario que los gestores entiendan los problemas con que tropieza el personal sobre el terreno. La información sobre la marcha del proyecto y los problemas planteados deben compartirse con los participantes, a fin de encontrar conjuntamente las soluciones. Los informes a los organismos de financiación deben considerar a la vez los éxitos y los errores y, sobre todo, ser analíticos y estar orientados a la acción. Algunos de los futuros usuarios de la información pueden haber participado en la recolección de datos y en su análisis parcial. No obstante, usted tiene que planear cómo informar a quienes no participaron.

5. En última instancia, los resultados del SyE –tanto los procesos de comunicación como la información– mejorarán la estrategia y las operaciones del proyecto. El personal superior de gestión es responsable del logro de este objetivo, con el apoyo del personal de SyE. A veces las mejoras son inmediatas; por ejemplo, puede suceder que el personal de extensión se queje un día del mantenimiento de los vehículos, y que el director del proyecto sea capaz de tomar medidas directas para atender a esa queja. O quizás sea necesario cambiar la secuencia de determinadas actividades, cosa para la que el gestor responsable de la unidad tiene la flexibilidad necesaria. Sin embargo, a veces deberáncelebrarse negociaciones más amplias entre el director del proyecto, el ministerio supervisor, la institución cooperante y el FIDA. Por ejemplo, si una misión de supervisión observa la existencia de importantes problemas en todo un componente de un proyecto, como el microcrédito, quizás deban efectuarse modificaciones en el convenio de préstamo.

Así pues, si se quiere que el SyE sea un instrumento para la gestión orientada al impacto, los gestores del proyecto y el personal de SyE han de ver con claridad cómo identificar las mejoras que necesita el proyecto, llegar a un acuerdo al respecto y proceder a su realización. Sin un proceso de este tipo para orientar el cambio, ni siquiera un sistema muy bueno de SyE tendría gran utilidad para el proyecto.

4.1.3 Tareas principales de SyE durante el ciclo del proyecto

Considerar el SyE como un sistema permite comprender todas las tareas de SyE que diferentes personas tendrán que realizar durante el ciclo del proyecto. La lista de tareas que figura a continuación parece, desde luego, formidable. Pero si se examina detenidamente, se verá sin duda que muchas de esas tareas ya se están realizando en el contexto de las responsabilidades del SyE. Además, son específicas para cada etapa del proyecto, y la mayoría se compartirá entre varias personas.

Obsérvese que estas tareas de SyE no son responsabilidad exclusiva del personal o de la unidad de SyE, si hay una en el proyecto. Más bien deberían considerarse funciones de responsabilidad compartida. Esto hace que sea esencial reflexionar detenidamente acerca de a quién asignar cada función. Aumentar el carácter participativo del sistema y los procesos de SyE significa compartir estas funciones. A su vez, esto posibilita un aprendizaje compartido, por mediación del SyE.

Gráfico 4-2. Principales tareas de SyE

Fase inicial de diseño
(formulación y evaluación
ex ante)

  • Determinar el alcance y la finalidad del sistema de SyE.
  • Señalar las principales preguntas e indicadores de desempeño, más los mecanismos asociados de seguimiento.
  • Identificar los mecanismos de organización del SyE.
  • Redactar los términos de referencia del personal de SyE.
  • Indicar los procesos de establecimiento del SyE durante la fase de puesta en marcha.
  • Establecer un presupuesto indicativo de SyE.
  • Documentar las actividades anteriores en el marco del SyE.

Etapa de puesta en marcha,
antes de la entrada en vigor
del préstamo (con el Servicio
de Operaciones Especiales)

  • Revisar las preguntas relativas al desempeño, los indicadores y los mecanismos de seguimiento, tras examinar la estrategia del proyecto.
  • Organizar la capacitación con el personal y los asociados que probablemente participarán en el SyE.
  • Emprender estudios de base, según proceda.
  • Preparar un manual de ejecución del proyecto, con el personal principal.

Puesta en marcha después
de la entrada en vigor del préstamo

  • Revisar el diseño del proyecto en relación con el SyE junto a los principales interesados.
  • Elaborar un plan detallado de SyE, teniendo en cuenta los mecanismos existentes con los asociados.
  • Crear las condiciones y capacidades necesarias para la ejecución del SyE.

Ejecución principal

  • Asegurarse de que se satisfacen las necesidades de información para la gestión.
  • Coordinar la recolección y la gestión de la información.
  • Facilitar la recolección de información y la comunicación informales.
  • Prestar apoyo a las reuniones periódicas y a los procesos de revisión con todos los encargados de la ejecución.
  • Preparar las misiones de supervisión.
  • Preparar y facilitar la revisión anual del proyecto.
  • Realizar estudios específicos sobre las cuestiones que puedan surgir.
  • Comunicar los resultados a las partes interesadas.
  • Preparar informes anuales sobre la marcha del proyecto.

Revisión de medio
término (RMT)

  • Cotejar la información para la revisión de medio término.
  • Facilitar el proceso de revisión interna para preparar el proceso de revisión externa.
  • Contribuir a responder a la retroalimentación derivada de la RMT.
  • Ajustar el sistema de SyE, según sea menester.

Desmantelamiento gradual
y terminación

  • Determinar lo que pueden hacer los encargados de la ejecución para hacer sostenible el impacto y el SyE después del cierre del proyecto, y aplicar estas ideas.
  • Organizar talleres y realizar estudios sobre el terreno con los principales interesados para evaluar los impactos.
  • Identificar las lecciones aprendidas para la próxima fase o para otros proyectos.

En cada proyecto deberá modificarse esta lista para ajustarla a las condiciones operativas. El recuadro 4-2 contiene un ejemplo de funciones específicas de SyE para un proyecto en Guatemala. Otro ejemplo lo ofrece el proyecto SAIP, en Bangladesh, en cuya fase de puesta en marcha se contrató a especialistas en SyE para que colaboraran con los gestores del proyecto en el diseño y funcionamiento del sistema de SyE. Los especialistas en SyE se encargaron también de elaborar la metodología de seguimiento del impacto, y de alcanzar un acuerdo sobre los indicadores, con la participación de ONG y de interesados directos. Como ese proyecto consistía principalmente en actividades de desarrollo participativo, fue indispensable proceder a una detenida introducción al seguimiento participativo del impacto en una fase inicial. Los especialistas en SyE se encargaron de trazar y llevar a cabo un plan de capacitación para el personal de SyE, a nivel de distrito y sobre el terreno.

Una tercer ejemplo procede de un proyecto en Benin. En la fase de puesta en marcha del proyecto, el coordinador de SyE preparó un manual para guiar el proceso de seguimiento y evaluación del proyecto. El manual ofrece formatos para el registro de las rentas derivadas de las actividades de generación de ingresos, detalles sobre la recogida de datos para los indicadores e información sobre cómo deben preparar los informes los extensionistas sobre el terreno, las ONG y los jefes de los departamentos. Este manual está sometido a un proceso evolutivo dictado por las experiencias de sus usuarios. Así pues, la revisión del manual será una tarea recurrente del SyE en fases posteriores.

 

Recuadro 4-2. Funciones de SyE que permitieron al proyecto Cuchumatanes (Guatemala) adquirir conocimientos y ajustar sus actividades

  • Preparar informes mensuales y semestrales sobre los progresos materiales y financieros, a partir de una base de datos de seguimiento automatizada
  • Preparar informes mensuales sobre la marcha del proyecto para el sistema nacional de información y planificación del Ministerio de Agricultura
  • Aplicar el sistema de seguimiento automatizado sobre los efectos directos de las actividades
  • Actualizar permanentemente la base de datos sobre los interesados directos
  • Elaborar normas y reglas acerca del uso de la información del SyE (para asegurar su calidad)
  • Organizar campañas anuales de autoevaluación
  • Celebrar talleres anuales de evaluación participativa
  • Llevar a cabo las evaluaciones internas de la unidad de gestión del proyecto (UGP)
  • Emprender el análisis FODA (véase el anexo D) del proyecto, sus componentes, sus mecanismos internos de funcionamiento y las organizaciones encargadas de la ejecución
  • Participar en estudios temáticos para saber más acerca de la idoneidad de la estrategia de intervención
  • Preparar los términos de referencia de las evaluaciones especiales sobre aspectos fundamentales de la estrategia de intervención, y proporcionarles apoyo
  • Realizar evaluaciones de las cuestiones críticas que surjan
  • Realizar evaluaciones ocasionales no planeadas, según las necesidades
  • Participar en actividades operacionales continuas sobre el terreno


4.1.4 Responder a las necesidades y solicitudes de información no planeadas

Hasta ahora hemos considerado el SyE como un proceso que se presta íntegramente a la planificación anticipada. Sin embargo, la mayoría de las unidades de SyE de los proyectos suelen recibir solicitudes repentinas del director del proyecto, los ministerios, los comités directivos y los organismos de financiación, para que preparen un informe sobre un tema concreto o faciliten cualquier otro tipo de información.

Cuando se prepare el presupuesto, conviene incluir una partida de costos imprevistos, por ejemplo una asignación del 10% para contingencias. Los principales institutos de investigación suelen reservar parte del presupuesto y el tiempo dedicados a la investigación a proyectos que no encajan en las categorías establecidas. A veces se reserva hasta un 25% del presupuesto de investigación para ideas que no encajan en las categorías existentes . Puede ocurrir también que se asignen a partidas presupuestarias concretas recursos para actividades no planeadas. Por ejemplo, puede usted reservar dos semanas al año para que los consultores se ocupen de evaluaciones centradas en una cuestión específica o de preguntas de seguimiento que podrían plantearse durante el año. Asimismo, hay que prever tiempo adicional para que el personal clave pueda ocuparse de las solicitudes no planeadas relativas al SyE. Tres días al mes, por ejemplo, parece mucho; pero en la práctica es muy corriente que se necesiten aún más días.

En el proyecto Cuchumatanes, en Guatemala, la unidad de SyE lleva a cabo lo que llama “evaluaciones emergentes”, que son las que el director del proyecto solicita cuando necesita más información acerca de determinadas actividades. La unidad de SyE prepara “informes de alerta” que ponen de relieve la necesidad de información adicional. Algunas evaluaciones temáticas o investigaciones complementarias se contratan externamente. Entre las evaluaciones emergentes realizadas hasta ahora figuran estudios monográficos sobre cuestiones de organización, una evaluación del programa de bancos comunales y una evaluación del impacto ambiental.

Durante la fase de diseño del proyecto conviene incluir una categoría de “oportunidades repentinas” o “SyE contingente” en el informe de evaluación ex ante y determinar los límites máximos de presupuesto y tiempo para las actividades no planeadas de SyE. Si los gestores se mantienen informados del tiempo y del dinero dedicados a las actividades no planeadas de SyE, y comprueban que se ha llegado casi al límite, podrán explicar más fácilmente a los que pidan informes o información adicionales por qué no es posible atender a todas las solicitudes.

Back to Top

4.2 Etapas clave en el establecimiento del sistema de SyE

El diseño de un sistema de SyE consta de las seis etapas siguientes:

1. Determinar la finalidad y el alcance: ¿Por qué necesitamos el SyE y cuán amplio ha de ser nuestro sistema de SyE?

2. Identificar las preguntas de desempeño, las necesidades de información y los indicadores: ¿Qué necesitamos saber para llevar a cabo el seguimiento y la evaluación del proyecto, a fin de gestionarlo adecuadamente?

3. Planear la recolección y la organización de la información: ¿Cómo se reunirá y organizará la información requerida?

4. Planear los procesos y ejercicios de reflexión crítica: ¿Cómo haremos para que la información reunida sea significativa, y cómo la utilizaremos para introducir mejoras?

5. Planear una comunicación y preparación de informes de calidad: ¿Cómo y a quién queremos comunicar qué en relación con las actividades y procesos de nuestro proyecto?

6. Planear las condiciones y capacidades necesarias: ¿qué hace falta para asegurar que nuestro sistema de SyE funcione en la práctica?

Un buen informe de evaluación ex ante incluirá un marco indicativo de SyE que contenga detalles suficientes acerca de estas cuestiones para preparar el presupuesto y asignar los servicios técnicos, proporcionar a los organismos de financiación una descripción general del modo en que el SyE se llevará a la práctica, y orientar al personal del proyecto y de los asociados durante la fase de puesta en marcha. Pero esto sólo será indicativo, y deberá ajustarse y detallarse ulteriormente, durante la puesta en marcha (véase el recuadro 4-3).

 

Recuadro 4-3. Diseño del SyE en la evaluación ex ante de un proyecto de desarrollo de la microempresa rural en Colombia

En el informe de evaluación ex ante del proyecto PADEMER, el sistema de SyE se describió del modo siguiente, sugiriendo una situación ideal y facilitando los detalles requeridos para hacerla operativa en la fase de puesta en marcha.

La unidad nacional de coordinación técnica del proyecto debería integrar las funciones de seguimiento y evaluación en el marco del sistema nacional de evaluación. La unidad de coordinación se encargará de la formulación de los planes de trabajo y presupuesto anuales (PTPA), la sistematización de la información sobre la marcha del proyecto para que los gestores puedan adoptar decisiones en su debido momento, y la preparación de los informes pertinentes. La unidad de seguimiento será responsable del suministro oportuno de información para que los gestores puedan tomar decisiones. Los recursos humanos y de otro tipo de la unidad son el jefe de SyE, los auxiliares administrativos y el necesario equipo informático y de oficina, más un presupuesto que cubra los costos de consulta para estudios específicos. La unidad de seguimiento deberá garantizar la recolección, la elaboración y el análisis de la información sobre la marcha del proyecto que se comunicará a los gestores, en función de sus objetivos. Tanto la unidad de seguimiento como la de evaluación efectuarán actividades de evaluación de la marcha del proyecto; sus respectivas responsabilidades se definirán ulteriormente. Las actividades propuestas para la unidad de seguimiento son las siguientes: preparar informes semanales sobre la marcha del proyecto con datos sobre los progresos logrados, y formular indicadores para el seguimiento del proyecto de conformidad con el plan de ejecución.

 

A continuación figura una lista de las tareas para cada etapa de la elaboración de un sistema de SyE partiendo del informe de evaluación ex ante, y del diseño de los detalles que permitan ponerlo en funcionamiento (véase el cuadro 4-1). En las secciones 5 a 8 figuran explicaciones más detalladas para cada etapa.

Cuadro 4-1. Tareas necesarias para detallar el plan de SyE, partiendo del informe de evaluación ex ante

Etapas del diseño de SyE

Productos del informe de evaluación ex ante (el marco de SyE)

Tareas que deben efectuarse durante la fase de puesta en marcha para elaborar un plan detallado de SyE

1. Determinar el propósito y el alcance

Definición amplia del propósito y el alcance del SyE en el contexto del proyecto

- Revisar el propósito y alcance con los principales interesados.

2. Identificar las preguntas de desempeño, los indicadores y las necesidades de información

Lista de las principales preguntas indicativas e indicadores al nivel de las metas, propósitos y productos

- Determinar las necesidades e intereses en materia de información de todos los principales interesados.

- Definir con precisión todas las preguntas, indicadores y necesidades de información a todos los niveles de la jerarquía de objetivos.

- Verificar la pertinencia y el uso final de cada elemento de información.

3. Planear la recolección y la organización de la información

Descripción general de métodos de recolección y organización de la información, para permitir la asignación de los recursos

- Planear en detalle la recolección y la organización de la información (quién utilizará qué método para reunir/sintetizar qué información, con qué frecuencia y cuándo, dónde, con quién y con qué producto previsto de información).

- Verificar la viabilidad técnica y de recursos de las necesidades, indicadores y métodos de información.

- Elaborar formatos para la recolección y la síntesis de los datos.

4. Planear la comunicación y la preparación de informes

Amplia descripción de los principales destinatarios y tipos de información que se les deberá comunicar para permitir la asignación de los recursos

- Hacer una lista precisa de todos los destinatarios, la información que necesitan, cuándo la necesitan y en qué formato.

- Definir lo que debe hacerse con la información: enviarla sin más, organizar un debate para proceder al análisis, recabar la retroalimentación pertinente para la verificación, etc.

- Hacer una amplia lista para la producción de información, indicando quién ha de hacer qué y cuándo, a fin de que la información esté disponible a tiempo.

5. Planear procesos y ejercicios de reflexión crítica

Descripción general de los principales procesos y ejercicios

- Detallar con precisión qué métodos/enfoques deben utilizarse, con qué grupos de interesados y con qué finalidad.

- Identificar a los encargados de los diferentes ejercicios de reflexión.

- Hacer una lista de los principales ejercicios y de los momentos de preparación de informes/adopción de decisiones

6. Planear las condiciones y capacidades necesarias

Establecimiento de forma indicativa de los niveles y tipos de los puestos de trabajo, descripción clara de la estructura organizativa del SyE, presupuesto indicativo

- Definir con precisión cuántas personas integrarán la plantilla de SyE, sus responsabilidades y vinculaciones, los incentivos necesarios para que funcione el SyE, las relaciones organizativas entre los principales interesados del SyE, el tipo de sistema de gestión de la información que debe establecerse, y el presupuesto detallado.

Hay que estudiar cuidadosamente a quiénes se va a incluir cuando se detalle el sistema de SyE. En los primeros años del proyecto PADEMER, en Colombia, por ejemplo, la unidad de seguimiento diseñó el sistema de SyE. El proceso preveía la celebración de un taller para definir los principales indicadores. Participaron en el taller la unidad de coordinación técnica nacional, las ONG coejecutoras, la Corporación Mixta para el Desarrollo de la Microempresa y diversos miembros del comité de gestión (Ministerios de Agricultura y Desarrollo Económico y el Departamento Nacional de Planificación).

Cuanto más variadas sean las partes interesadas que pueda incluir en el proceso, más claramente decidirá lo que hace falta, de quién y cuándo. Pero esto llevará más tiempo, como ocurre inevitablemente con la participación.

4.2.1 Propósito y alcance del sistema de SyE

Una definición clara del propósito y alcance del sistema previsto de SyE es útil para decidir cuestiones tales como los niveles presupuestarios, el número de indicadores, el tipo de comunicación necesario, etc. El informe de evaluación ex ante incluirá una breve declaración del propósito del SyE (véase el recuadro 4-4), pero esta cuestión deberá reconsiderarse en la fase de puesta en marcha con los representantes de los coejecutores y los principales interesados.

Cuando no esté usted seguro sobre si proceder a un seguimiento más o menos sostenido, o si elegir una u otra opción metodológica, el propósito declarado del SyE representa siempre un punto de referencia. Especificar el propósito contribuye a determinar claramente lo que puede esperarse del sistema de SyE, ya que obliga a reflexionar acerca de la naturaleza del proyecto y de la información que es necesaria para una buena gestión.

 

Recuadro 4-4. Ejemplos de declaración de propósitos del SyE

Los propósitos esenciales del sistema de SyE del Proyecto de desarrollo rural SWA, en Armenia, consisten en proporcionar la información necesaria para la gestión orientada al impacto, y hacer que los principales interesados aprendan a mejorar la ejecución del proyecto. El sistema de SyE presentará con regularidad informes sobre la marcha del proyecto a los diferentes grupos de interesados, en un formato apropiado a sus necesidades.

El programa WUPAP, en Nepal, describe del modo siguiente el principal propósito del elemento de SyE participativo (SyEP) y del sistema de información de gestión: “El objetivo del elemento de SyEP consiste en prestar apoyo a la gestión del programa a fin de asegurar el cumplimiento de su estrategia y enfoque, mejorar la capacidad de respuesta, la eficacia y la eficiencia mediante la retroalimentación constante proveniente de los beneficiarios, el personal del programa y otros interesados, y contribuir al aprendizaje de todos los interesados con una política de promoción del diálogo. El objetivo del sistema de información de gestión es prestar apoyo a la gestión del programa para lograr un proceso eficaz de adopción de decisiones y mejorar la capacidad de respuesta de los interesados mediante la recolección, la elaboración y el suministro de información fiable y oportuna”.

El propósito del SyE de un proyecto que promueva el aumento de las capacidades de los principales interesados para la gestión del proyecto podría ser el siguiente: “El propósito principal del sistema de SyE consiste en reforzar la capacidad de los principales interesados de gestionar los recursos sobre los que tienen poder de decisión. El sistema de SyE proporcionará información sobre la calidad de los proveedores de servicios y la marcha del proyecto a los principales interesados, y efectuará análisis para identificar las mejoras concretas. Asimismo el sistema presentará con regularidad informes sobre la marcha del proyecto a los organismos de financiación y a los ministerios responsables”.

 

Al formular el propósito en la fase de evaluación ex ante, o al reconsiderarlo en la fase de puesta en marcha, pregúntese lo siguiente:

  • ¿Cuáles son las principales razones de que se establezca y se aplique el SyE, para nosotros –en nuestra condición de coejecutores e interesados directos– y para los otros interesados principales?

Tras compartir la comprensión del propósito general, el próximo paso consiste en aclarar el alcance del sistema de SyE. Por “alcance” se entiende el ámbito y el grado de sofisticación del sistema. Los sistemas de SyE pueden ser muy sofisticados y requerir considerables conocimientos técnicos sobre métodos cualitativos y cuantitativos de investigación y una amplia información sobre gestión. También pueden ser sistemas muy sencillos, basados en gran parte en conversaciones con los interesados sin que se trate de obtener grandes cantidades de datos.

Estos distintos sistemas no dan los mismos resultados. Cada uno de ellos tiene sus ventajas e inconvenientes, como el grado de precisión y de capacidad requerido y la mano de obra y el costo necesarios. El grado de sofisticación del sistema de SyE que convenga a su situación dependerá del propósito de su SyE, los recursos disponibles y los conocimientos técnicos en la materia. Para determinar el alcance del sistema SyE, pregúntese lo siguiente:

  • ¿Qué nivel de financiación existe en potencia?
  • ¿Qué nivel de participación en el SyE de los interesados directos y las organizaciones asociadas es conveniente y viable?
  • ¿Cuán detallada ha de ser la información del SyE, en datos cuantitativos o cualitativos?
  • ¿Qué clase de estudio de base es conveniente y viable?
  • ¿Cuáles son las capacidades actuales de SyE de los interesados directos y las organizaciones asociadas, y cómo afectarán a los niveles deseados de SyE?

4.2.2 Preguntas de desempeño, necesidades de información e indicadores

El método más común para establecer el SyE de un proyecto es que el coordinador de SyE incluya la lista de los indicadores cuantitativos de cada objetivo en la segunda columna de la matriz del marco lógico. Esto suele causar problemas, que no se derivan de los indicadores cuantitativos sino del paso directo de los objetivos a los indicadores. Muchos objetivos son complejos y no pueden resumirse en uno o varios indicadores. Además, si bien sería posible encontrar información cuantitativa que indique si los objetivos se están alcanzando, ello no explica necesariamente por qué y si esto puede atribuirse al proyecto. Por consiguiente, las diferentes fuentes de información cuantitativa y cualitativa son más importantes que los indicadores aislados para explicar lo que está sucediendo y hacer un examen pormenorizado de las relaciones entre diferentes rubros de información.

La utilización de preguntas de desempeño (véase el recuadro 4-5) para orientar el análisis de los indicadores proporciona una imagen más integrada y significativa de los logros globales del proyecto. Para responder a estas preguntas son necesarios un análisis descriptivo e información cuantitativa. Empezar identificando las preguntas de desempeño hace más fácil reconocer qué indicadores específicos son realmente necesarios. A veces una pregunta de desempeño puede responderse directamente con un simple indicador cuantitativo. No obstante, muy a menudo la respuesta precisa obligatoriamente de una serie de datos cualitativos y cuantitativos.

Recuadro 4-5. Ejemplos de preguntas de desempeño

Las preguntas de desempeño no tratan solamente de lo que se ha alcanzado; también se pregunta por qué el proyecto ha sido un éxito o un fracaso, y qué se ha aprendido para mejorar la acción futura. Ejemplos de preguntas de desempeño podrían ser:

  • ¿Cómo ha cambiado la capacidad adquisitiva de las familias destinatarias en comparación con los grupos no destinatarios? ¿Qué factores externos han influido en los eventuales cambios?
  • ¿En qué medida las familias destinatarias están en mejores condiciones de satisfacer sus necesidades de vivienda, educación y salud que las familias no destinatarias?
  • ¿Cómo ha cambiado la diversidad, producción y productividad de la agricultura en la zona seleccionada debido a las actividades del proyecto y a factores externos?

Las preguntas de desempeño son necesarias para cada nivel de la jerarquía de los objetivos, pero también para el proyecto en general. Por ejemplo, es muy probable que desee usted formular algunas preguntas acerca de la ejecución del proyecto, como la calidad de las relaciones entre ciertos grupos-objetivo y las ONG encargadas de la ejecución. O quizás podría preguntar: “¿Cómo creen los asociados que puede mejorar la unidad de gestión del proyecto para facilitarles el ejercicio de sus responsabilidades?”. También es conveniente seguir de cerca los impactos imprevistos, preguntando por ejemplo: “¿Hay innovaciones del proyecto que hayan sido adoptadas por personas de distritos vecinos que no pertenecen al principal grupo-objetivo?”

Recuerde que las necesidades de información cambian con el tiempo, por lo que las preguntas de desempeño deberán revisarse. En los proyectos basados en la idea de las preguntas de desempeño, el informe de evaluación ex ante incluye una lista de preguntas e indicadores indicativos. Después de revisar la jerarquía de objetivos con los principales interesados en la fase de puesta en marcha, podrá refinar con ellos estas preguntas indicativas para tener en cuenta las revisiones introducidas en la estrategia del proyecto.
En la mayoría de los proyectos las preguntas de desempeño no existirán (todavía). Para preparar buenas preguntas de desempeño, lo primero es tener una idea muy clara de los objetivos del proyecto. Así pues, el proceso de identificación de estas preguntas con los interesados le ayudará a refinar con ellos el diseño del proyecto.

En los proyectos que reciben apoyo del FIDA, los interesados directos participan cada vez más en la identificación de las preguntas de desempeño y en la selección de los indicadores. El proceso de identificación participativa de las preguntas y los indicadores es muy distinto del proceso que se limita al equipo del proyecto. Ésta y otras cuestiones acerca de las preguntas e indicadores de desempeño se examinan con más detalle en la sección 5.

4.2.3 Recolección y organización de la información

Muchos informes de evaluación ex ante contienen una larga lista de indicadores. Y, sin embargo, en general se presta poca atención a las consecuencias prácticas de la recolección de la información necesaria, por no hablar del modo en que se utiliza para la gestión orientada al impacto. Durante la fase de puesta en marcha, una tarea fundamental de todos los asociados en la ejecución es determinar con un criterio realista la información que puede recogerse dados los recursos humanos y financieros disponibles.

Para cada necesidad de información o indicador, deberá determinarse el procedimiento de recolección y organización de la información. Por ejemplo, el seguimiento de la marcha de un proyecto de desarrollo de infraestructuras de regadío puede requerir que los interesados directos y el personal del proyecto verifiquen si las infraestructuras que ya están construidas funcionan adecuadamente. Esto es relativamente fácil. Sin embargo, para el seguimiento del impacto de ese mismo proyecto –por ejemplo, en el cambio en los ingresos de las familias– es necesario un método distinto. Un posible método es el de las encuestas de hogares. Se trata de una actividad de seguimiento bastante costosa y que lleva tiempo, y que además no facilita la participación de los interesados directos. Una opción distinta podría consistir en efectuar encuestas en las aldeas y celebrar debates abiertos con diagramas de flujo del impacto (véase el anexo D) sobre los cambios registrados en la vida cotidiana debidos al regadío. Otro ejemplo podría ser el seguimiento de la ejecución de un proyecto de constitución de un fondo experimental de desarrollo de la microempresa. Con esta finalidad podrían celebrarse reuniones o talleres periódicos con los asociados en la ejecución y los empresarios.

No sólo deberá elegirse un método distinto para cada indicador, sino que además, generalmente, deberán presentarse varias opciones para cada indicador o información necesarios. El anexo D describe muchos métodos de seguimiento y recolección de información, cualitativos y cuantitativos, y de carácter individual o colectivo, desde simples formularios de registro de los cambios en el rendimiento agronómico para las evaluaciones aperiódicas hasta encuestas de hogares y talleres participativos. Por ejemplo, en vez de una detallada y costosa encuesta de hogares sobre la vacunación infantil, podría organizarse un grupo de discusión con las madres para debatir la extensión de la campaña de vacunación, recabar opiniones sobre el modo en que se presta este servicio, etc. Cada método tiene sus propias ventajas e inconvenientes en materia de costos, fiabilidad de los datos, conocimientos técnicos necesarios y capacidad de cuantificar los resultados y riqueza de la información obtenida.

En el momento de seleccionar el método es especialmente importante saber quién participará en la recolección, la compilación y el análisis de la información. Cuanto más participen los usuarios previstos de los métodos en la selección o elaboración de éstos, más probabilidades habrá de que los entiendan y los usen correctamente. Si los métodos son seleccionados por alguien que no los utiliza, será esencial capacitar a los usuarios en su empleo.

Reunir datos está muy bien, pero cada elemento de información tiene que ser cotejado, quizás resumido y ciertamente analizado por las personas adecuadas. Este proceso deberá planearse en detalle en la fase de puesta en marcha. Con frecuencia el personal sobre el terreno sólo participa en la tarea de recolección de datos, y el papel de los interesados directos se limita a suministrar datos. Para considerar el seguimiento como un proceso de aprendizaje es necesario que el análisis de las medidas y la concertación de acuerdos al respecto tengan lugar a todos los niveles de la jerarquía del proyecto, y con los asociados. Por regla general, la recolección y análisis de la información debe llevarse a cabo con aquéllos a quienes conciernen los datos, los análisis y las decisiones, o sea, en el nivel pertinente. El personal sobre el terreno, por ejemplo, deberá conocer el alcance del proyecto para la división administrativa de la que es responsable, mientras que el director necesitará analizar el alcance de toda el área del proyecto.

En la sección 6 se indican los aspectos prácticos de la recolección y gestión de la información.

4.2.4 Procesos y ejercicios de reflexión crítica

¿Cómo puede participar la gente en la interpretación de los datos derivados de los procesos de SyE y en la evaluación de sus consecuencias para la estrategia y las operaciones del proyecto? La matriz del marco lógico no tiene en cuenta este aspecto del SyE, que raramente recibe la atención que merece durante el diseño del proyecto.

Es posible que en el apartado sobre SyE del informe de evaluación ex ante figure una descripción de los principales procesos y ejercicios de reflexión crítica. Pero no es frecuente. Generalmente, durante la fase de puesta en marcha es necesario planear en detalle estos procesos (cuál será el centro de atención, quiénes participarán, si habrá facilitadores o serán autogestionados, cómo encajan los procesos entre ellos, etc.), y establecer los calendarios (véase el cuadro 4-2). En la sección 8 se examina en detalle la reflexión crítica. El gráfico 2-3 de la sección 2, muestra algunos ejercicios de reflexión colectiva que se celebran durante la vida de la mayoría de los proyectos, y el modo en que se complementan recíprocamente.

La reflexión crítica puede ser formal o informal. La primera puede facilitarse durante las reuniones del proyecto, los talleres con los asociados y los interesados directos, o en el contexto de evaluaciones externas. La segunda puede producirse en los debates continuos entre los interesados del proyecto. Hay innumerables ejemplos del modo en que puede alentarse la reflexión. En el proyecto Cuchumatanes, en Guatemala, la promoción del aprendizaje individual se logró haciendo que el personal de SyE participase en las actividades continuas sobre el terreno. Esto les dio una idea más clara de las operaciones del proyecto, las relaciones y el modo en que los interesados directos generalmente aceptaban y consideraban las operaciones. En el proyecto TROPISEC, en Nicaragua, el extensionista del coejecutor se reúne con las organizaciones de base para analizar la marcha del proyecto y los resultados e identificar posibles acciones y necesidades de recursos para el período siguiente. En el contexto del programa anual de trabajo del proyecto, se espera que todo el personal técnico comparta por lo menos una experiencia significativa de aprendizaje con sus compañeros de trabajo.

Cuadro 4-2. Ejemplo de un programa de reflexión crítica para un proyecto

Nota: Esta es una lista centrada en el proyecto. Los interesados directos tendrán su propio programa de ejercicios, y lo mismo ocurrirá con cada uno de los coejecutores El secreto del SyE participativo consiste en vincular estos diferentes programas, para compartir el aprendizaje.

Procesos o ejercicios de reflexión crítica

Propósito y descripción

Quién debe participar

Calendario

Revisión participativa de la estrategia del proyecto

Actualizar el análisis de situación, revisar los problemas/visiones, ajustar la jerarquía de objetivos y los supuestos

Representantes de los interesados directos seleccionados, el personal de la organización participante, todo el personal del proyecto, el facilitador

Un taller de tres días en la fase de puesta en marcha

Elaboración de un plan de SyE con los interesados

Evaluar las diferentes necesidades de información, determinar quién está haciendo ya qué, llegar a un acuerdo sobre los sectores prioritarios de información, refinar las preguntas/indicadores, decidir los métodos, llegar a un acuerdo sobre las responsabilidades

Representantes de los interesados directos seleccionados, el personal de la organización participante, todo el personal del proyecto, el facilitador

Reuniones de cuatro o cinco días completos durante los seis primeros meses del proyecto

Revisiones trimestrales de la marcha del proyecto por el personal de la UGP

Debate sobre los principales éxitos y problemas

Personal superior de la UGP y organización asociada

Una reunión de un día cada tres meses

Visitas sobre el terreno

Comprobación directa de lo que ocurre sobre el terreno, conversaciones informales sobre el modo en que se están realizando las actividades

Personal sobre el terreno, supervisores del personal sobre el terreno, director del proyecto

Visita semanal para el personal sobre el terreno, y mensual para el director del proyecto

Revisión anual del proyecto

Resumen de los principales éxitos y problemas, ideas para cambiar las actividades/ productos y supuestos del proyecto, revisión de las consecuencias para el marco lógico del proyecto, identificación de las lecciones aprendidas acerca de la ejecución del proyecto, ajuste del sistema de SyE

Los representantes de los interesados directos seleccionados, el personal de la organización participante, todo el personal del proyecto, el facilitador

Una vez al año

Talleres periódicos de revisión de los principales componentes del proyecto

Debate centrado en la estrategia y las operaciones de los principales componentes para ajustar la jerarquía de objetivos, resolver problemas e identificar lecciones aprendidas

Principales interesados del componente del proyecto: interesados directos previstos, coejecutores, altos cargos del proyecto y personal sobre el terreno

Una vez al año durante los dos primeros años; después, una vez cada dos años

Preparación de las misiones de supervisión

Explicar el propósito de la misión, llegar a un acuerdo sobre lo que el proyecto y los interesados quieren obtener de la misión, determinar quién debe preparar qué antes de la misión, organizar la logística

Un pequeño grupo de representantes de los interesados directos, altos cargos de la organización participante, altos cargos del proyecto

Un mes antes del envío de la misión de supervisión

4.2.5 Comunicación y presentación de informes

El informe de evaluación ex ante habitualmente indica el programa previsto de preparación de informes, así como quién debe recibir un informe y cuándo. A menudo estos informes van dirigidos a los organismos de financiación, por razones de responsabilización. No obstante, también es necesario comunicar las conclusiones de SyE a otros muchos interesados, y por diferentes motivos. Por ejemplo, las consecuencias para las políticas deben ponerse en conocimiento de los empleados públicos, la utilización de los fondos puede comunicarse a los asociados y los interesados directos, y las lecciones aprendidas documentadas acerca de la estrategia del proyecto deberían distribuirse a otros proyectos.

Durante la fase de puesta en marcha, desarrolle en detalle su estrategia de comunicación. Incluya en su elaboración no sólo los informes oficiales sino también los intentos de obtener retroalimentación acerca de las conclusiones provisionales, y discuta las medidas que deben adoptarse.

  • Con representantes de todos los principales interesados, confeccione una lista precisa de todos los destinatarios, la información que necesitan, cuándo la necesitan y en qué formato.
  • Dedique tiempo a discutir por qué cada una de esos destinatarios necesita información. ¿Para obtener retroalimentación con fines de verificación?, ¿como aportación a los debates sobre las consecuencias para la estrategia y las operaciones del proyecto?, ¿para esclarecer sus responsabilidades?, ¿por razones de responsabilización?, ¿para influir en las actividades sobre el terreno, y obtener más apoyo para ellas?
  • Programe claramente las necesidades de producción de información, indicando quién ha de hacer qué y cuándo, a fin de que la información esté disponible a tiempo.
  • Organice las reuniones en el curso de los cuales se comunicará y discutirá la información.

En la sección 6 se examinan los principios de la comunicación y los medios de obtener retroalimentación. En el anexo D se indican métodos que pueden resultar útiles para facilitar la comunicación.

4.2.6 Condiciones y capacidades necesarias

En el informe de evaluación ex ante encontrará un presupuesto indicativo para el SyE y una descripción de cómo debería o podría organizarse. Pero poner en funcionamiento el sistema de SyE significa pensar en los incentivos adecuados, asegurarse de que se dispone de las capacidades humanas correctas y suficientes y reflexionar sobre los medios de almacenar y compartir la información. En la sección 2 se expusieron las condiciones y capacidades necesarias para que el sistema de SyE funcione. En la sección 7 se examinan con más detalle. En el cuadro 4-3 figuran las principales preguntas que deben responderse cuando se detalle el SyE para hacerlo operacional.

Discuta las estructuras organizativas adecuadas para el SyE en la fase de puesta en marcha. Esto es fundamental para el éxito o el fracaso del SyE. Es el momento en el que los negociadores han de llegar a una decisión acerca de las responsabilidades y las necesidades de información de cada asociado.

Con frecuencia los proyectos que reciben apoyo del FIDA adoptan uno de los dos métodos básicos de organización del SyE que se indican a continuación:

  1. la coordinación del SyE se encarga a un coordinador o unidad especializados en SyE, en el marco de la unidad de gestión del proyecto (y se complementa con contratos externos de SyE), a fin de facilitar el uso rápido de la información por los gestores;
  2. el SyE corre a cargo de un grupo independiente de SyE –por ejemplo, se subcontrata a un instituto de investigación o se instala en una dependencia gubernamental– con la intención de conseguir una mayor objetividad y un análisis independiente.

En general, las experiencias de un gran número de proyectos hacen pensar que el SyE es mucho más eficaz cuando los encargados de su aplicación están integrados en las operaciones del proyecto y en el grupo que toma las decisiones. Esto puede complementarse de modo importante con más apoyo externo de SyE. Están apareciendo otros métodos innovadores, que colocan decididamente el SyE bajo el control de los interesados directos o los equipos sobre el terreno (véase el recuadro 4-6).

Cuadro 4-3. Preguntas para orientar la planificación detallada de las condiciones y capacidades del SyE

Condiciones y capacidades

Preguntas para orientar la planificación detallada

Capacidades humanas para el SyE

- ¿De qué capacidades de SyE disponen los asociados del proyecto?

- ¿Qué actividades de capacitación deberán organizarse?

- ¿Qué apoyo de asesoramiento será necesario?

Incentivos para aplicar el SyE

- ¿Están incluidas las responsabilidades de SyE en las descripciones de los puestos de trabajo y los términos de referencia?

- ¿Cómo debe promoverse la reflexión y el aprendizaje entre el personal, los asociados y los interesados directos previstos?

Estructuras de organizativas

- ¿Habrá una unidad de SyE, o se dispersará entre todas las partes? Si se prevé una unidad de SyE, ¿de cuánto personal dispondrá y dónde estará situada, y bajo qué autoridad?

- ¿Cuán estrechamente conectados con el personal de SyE estarán los gestores del proyecto?

Sistemas de información de gestión

- ¿Qué información debe almacenarse y estar accesible, cuándo, cómo y para quién?

- ¿Qué nivel de informatización es necesario y apropiado?

- ¿Qué conocimientos técnicos serán menester para establecer el sistema de información de gestión?

Recursos financieros

- ¿Se dispone de un presupuesto aparte para el SyE, y se han asignado recursos suficientes?

- Al asignar el personal para el proyecto, ¿se ha tenido en cuenta la necesidad de reservar tiempo para las actividades de SyE de todo el personal pertinente?

 

 

Recuadro 4-6. El SyE participativo propicia en las organizaciones comunitarias una actitud y una cultura de autoevaluación y potenciación

El método de evaluación participativa utilizado por uno de los organismos de ejecución del proyecto PROCHALATE, en El Salvador, se centra en la promoción de una actitud y una cultura de autoevaluación y potenciación de los equipos sobre el terreno de la organización comunitaria. Este sistema permite evitar las ideas preconcebidas y las opiniones interesadas, al tiempo que refuerza la idea de la evaluación con fines de mejora y no para formular juicios. El enfoque tiene cuatro etapas: autoevaluación, evaluación recíproca sobre el terreno, taller plenario (con los dos equipos) y resumen final.

  • Durante la autoevaluación cada equipo evalúa su plan de trabajo a mediados y finales del año, considerando: i) los objetivos propuestos; ii) los objetivos alcanzados y los no alcanzados; y iii) las mejoras necesarias.
  • La evaluación recíproca se hace con un equipo sobre el terreno que facilita la evaluación participativa de otro equipo. Esto requiere la realización de visitas sobre el terreno para observar los aspectos técnicos y la celebración de un taller de revisión. Se organizan talleres con los interesados directos del otro equipo para evaluar la calidad de la labor realizada por el organismo de ejecución, en vez de prestar atención exclusiva a los extensionistas. Esto facilita y garantiza la neutralidad y la libertad de los interesados de dar a conocer sus opiniones. Con ello se evita también la intimidación que causa la presencia del extensionista. Todo ello promueve la ética profesional y la crítica constructiva.
  • En el taller plenario, cada equipo presenta su propia evaluación y la evaluación efectuada por el otro equipo.
  • El proceso concluye con un resumen final en el que los resultados del taller de autoevaluación se comparan con los resultados del otro equipo.
 

Una vez se ha completado la mayor parte del plan detallado de SyE, puede plantearse la cuestión del presupuesto. El recuadro 4-7 contiene una lista de los costos probables de SyE. El modo en que calcule los costos de SyE dependerá de que asigne los recursos a actividades específicas de SyE, o incluya el SyE en categorías genéricas como “capacitación del personal”, “talleres participativos”, etc. En la sección 7 se examinan los detalles de la preparación del presupuesto para el SyE.

 

Recuadro 4-7. Posibles costos del SyE que deben considerarse en el presupuesto (en la sección 7 figuran más detalles)

  • Tiempo del personal, como por ejemplo: para planificar, ejecutar y mejorar todos los procesos de SyE; redactar informes y efectuar análisis; captar y documentar las lecciones aprendidas y facilitar los procesos de SyE de base comunitaria.
  • Consultores/asistencia técnica (honorarios, gastos de viaje), como por ejemplo: elaborar un plan detallado de SyE; establecer sistemas de información de gestión; facilitar los talleres de revisión, la capacitación y el fortalecimiento de las capacidades, verificar las auditorías.
  • Actividades de evaluación (costos de locales, viajes y alojamiento, materiales, dietas, honorarios), como por ejemplo: talleres de planificación del SyE; talleres anuales comunitarios de revisión; actividades concretas de seguimiento; evaluaciones específicas de temas importantes.
  • Materiales y equipo, como por ejemplo: equipo técnico para el seguimiento; material y programas informáticos y de redes; gastos de establecimiento de redes; contrato de mantenimiento de redes.
  • Publicación y documentación, como por ejemplo: impresión y distribución de documentos; tableros de avisos; materiales.
 

Back to Top

4.3 Documentar el plan de SyE

Los proyectos disponen de tres documentos fundamentales que sirven para guiar el SyE:

  1. el marco de SyE en el informe de evaluación ex ante del proyecto (una discusión acerca de esta cuestión figura en la sección 3 y en el cuadro 4-1 del apartado 4.2);
  2. el manual de ejecución del proyecto;
  3. plan o manual de SyE.

4.3.1 El SyE en el manual de ejecución del proyecto

La mayoría de los proyectos destinan tiempo y recursos a la elaboración del llamado “manual (o procedimiento) de ejecución del proyecto”. Se trata de una serie de directrices acerca de los procedimientos contables y financieros, procedimientos de compra, viajes del personal, utilización de vehículos y otros equipos y otros detalles necesarios para el correcto funcionamiento del proyecto.

El plan detallado de SyE puede formar parte del manual de ejecución del proyecto, o acompañarlo en forma de anexo o apéndice. Independientemente de la modalidad que se elija, las directrices de ejecución y las directrices de SyE deberán estar estrechamente vinculadas y, sobre todo, coordinadas. Hay que evitar las contradicciones o las ambigüedades en los dos conjuntos de directrices.

Como los planes de SyE pueden ser abrumadoramente detallados, un resumen será útil para que todos los participantes en el proyecto concentren su atención en sus responsabilidades. Un buen modo de resumir los distintos insumos es incluir un calendario de SyE para todos aquéllos que desempeñen una función importante a este respecto (véase el recuadro 4-8). Idealmente estos calendarios deberán conjugarse con programas semanales y mensuales de actividad, de modo que el SyE pase a formar parte integrante de las actividades.

Recuadro 4-8. Trabajar con un calendario de SyE

Es fundamental saber cuándo hace falta la información. Cuando haya llegado usted a este punto específico del plan de SyE, le resultará difícil recordar todos los momentos clave del SyE y su relación entre ellos y con la planificación.

Un calendario de SyE es un instrumento útil para mantener una visión general de las diversas actividades internas programadas, los momentos clave de la preparación de informes y las misiones externas. Un medio sencillo de coordinar las actividades de SyE es colgar un ejemplar del calendario en una sala central de reuniones y pedir a cada miembro del equipo que haga una versión personalizada en la que se describan sus responsabilidades a lo largo del año.

Ejemplo 1. Un proyecto en Zimbabwe anotaba las diversas etapas de SyE en un calendario como el que figura a continuación. Este proyecto disponía también de un calendario de seguimiento del proceso institucional que indicaba cuándo debían enviarse los informes, a quién y sobre qué tema.

Extraído del calendario de seguimiento y evaluación de los efectos directos y el impacto (anual)

 

Año

Actividad

Persona y/
o unidad responsable

Primer año,
3er y 4º
trimestres

Evaluación de todos los sistemas de riego participativos

> Equipo de distrito/
facilitadores de
la planificación

Segundo año,
1er y 2º
trimestres

  • Encuesta de base a los agricultores, a nivel de los planes (cuestionario)
  • Estudio de los costos de los planes
  • Encuesta de viabilidad financiera de 24 planes

> Gestores del proyecto/
consultor

> Gestores del proyecto/
consultor
> Facilitadores
de la planificación

 

Segundo año, 3er y 4º trimestres

  • Protección y alcance ambiental
  • Evaluación de las necesidades de capacitación
  • Evaluación del desempeño de los servicios de determinados consejos rurales de distrito y organismos de apoyo
  • Trazado de mapas institucionales y análisis FODA
  • Evaluación del contexto

> Consultor
> Coordinador
de la capacitación
> Consultor

> Consultor
> Experto en
seguimiento

Ejemplo 2. Un proyecto en Nepal planea utilizar una agenda de acontecimientos críticos en la que se enumeran los indicadores más importantes del proyecto que deben ser objeto de seguimiento. Esta agenda se discutirá en los talleres anuales de interesados y se incluirá en todos los informes anuales, actualizándose periódicamente. La agenda es parecida al cuadro que figura a continuación.

Número

Acontecimiento
crítico

Fecha prevista

Fecha de
terminación

Situación/
causa de las
demoras

 

 

 

 

 

 

 

 

 

 

Este mismo proyecto describió su plan indicativo de seguimiento y evaluación en el informe ex ante, indicando lo que cada informe y actividad de SyE aportaba al logro de los seis principales objetivos de SyE fijados (véase a continuación).

Informe y registros
de SyE

Objetivos

Responsa-
bilidad

Metodo-logía

Usuarios

Segui-miento
de los pro-
gresos

Segui-
miento
del de-
sempeño

Apren-
dizaje

Segui-
miento
del
impacto

Rastreo
de un contexto más
amplio

Análisis
y pre-
visión
de ten-
dencias

Periódicos

 

 

 

 

 

 

 

 

 

19 anota-ciones diferentes

 

 

 

 

 

 

 

 

 

No
periódicos

 

 

 

 

 

 

 

 

 

8anota-
ciones

 

 

 

 

 

 

 

 

 

4.3.2 Contenido indicativo de un plan de SyE

Un plan documentado es fundamental para mantenerse al corriente de las actividades y los recursos. El plan operacional de SyE sienta las bases conceptuales y, sobre todo, las prácticas de planificación, seguimiento y evaluación del proyecto. En el proyecto Cuchumatanes, en Guatemala, el documento de SyE describía lo siguiente: objetivos, estrategias, metodologías, plan de trabajo, actividades en detalle e instrumentos técnicos que debían utilizarse. El documento definía también los principales conceptos relacionados con el SyE, la matriz del marco lógico rediseñada, el ajuste de los sistemas de recolección de información y la base de datos de los interesados directos.

El plan operacional de SyE será el punto de referencia para los interesados a lo largo de la vida del proyecto. Así pues, ha de ser suficientemente amplio, a macronivel, para ofrecer una imagen clara de las intenciones generales del proyecto y la manera en que el sistema de SyE contribuirá a alcanzarlas. En el micronivel, deberá indicar con bastante detalle los calendarios, responsabilidades, presupuestos, etc., que contribuirán a orientar la preparación del PTPA. Cuando las tareas de seguimiento se lleven a cabo con los interesados locales, estos detalles quizás deban traducirse a su idioma.

Cuadro 4-4. Contenido indicativo de un plan operacional de SyE

Tema

Descripción

Propósito y alcance

- Visión general del proyecto y objetivos, razones y justificación para el diseño del sistema de SyE

- Cómo el sistema de SyE proporcionará apoyo a la gestión del proyecto, cumplirá los requisitos de preparación de informes y atenderá a las necesidades de información de los diferentes interesados

- Resumen de la experiencia general del SyE, realizado con los principales interesados

- Debate sobre el alcance de la participación, el equilibrio entre el enfoque cualitativo y el cuantitativo, utilización intensiva de los recursos y atención especial a la pobreza en el sistema de SyE

Enfoque

Descripción general del modo en que participarán los interesados, qué enfoques orientados al aprendizaje se utilizarán y, en general, qué métodos de recolección y análisis de la información se emplearán; por ejemplo, frecuencia del uso de enfoques participativos, de sistemas de información geográfica, de sistemas informatizados de información o encuestas de base.

Marco lógico revisado, y preguntas de desempeño, indicadores, necesidades de información y fuentes

Definición precisa de todas las preguntas de desempeño, indicadores y necesidades de información a todos los niveles de la jerarquía de objetivos:

- Evaluación aperiódica de las necesidades de información y de los intereses de todos los principales interesados

- Evaluación aperiódica de los indicadores de factores y supuestos exógenos (p.ej., clima, precios, brotes de plagas y enfermedades, situación económica, entorno político, etc.)

- Evaluación aperiódica de las necesidades de información e indicadores de la pertinencia y el uso final, y de la viabilidad técnica y de recursos

- Selección de preguntas e indicadores de desempeño

Sistema de información de gestión y preparación de informes

Propósito del sistema de información de gestión SIG

Organización de la recolección y síntesis de la información:

- Para cada producto previsto de información: quién, qué, cuándo y dónde

- Calendario de la producción de información: quién, qué, cuándo, a quién, para qué propósito

- Cómo se prevé que funcionen las redes informáticas y los sistemas manuales de archivación, con y para quién, para qué datos

- Esbozo de las necesidades de almacenamiento de datos

Productos previstos de los informes, por ejemplo:

Canales informales de comunicación y retroalimentación

- Flujos de información: plazos y frecuencias

- PTPA: esbozo del formato del PTPA, incluidos los planes y presupuestos de productos/actividades, presupuestos consolidados, un plan de capacitación, un plan de compras, un plan de servicios contratados

- Informes (bi)anuales de la marcha del proyecto en general y de cada componente, exámenes en las aldeas

- Informes financieros (bi)anuales

- Misiones periódicas de supervisión

Plan de trabajo de SyE (procesos y actividades) y calendario de actividades

Definición precisa de los métodos que deberán utilizarse con los diferentes grupos interesados con dos propósitos básicos:

1. SyE de los recursos, las actividades y la ejecución de las operaciones efectivas del proyecto:

- Recursos del proyecto: utilización del transporte, prestaciones, registro de activos, registro de servicios/asistencia técnica

- Actividades del proyecto: capacitación (talleres, viajes de estudio, etc.), construcción (infraestructura técnica o social), organización de planes, ensayos y demostraciones, líneas de crédito, etc.

- Otras actividades de seguimiento

2. SyE de los efectos directos y los impactos para orientar la estrategia del proyecto, por ejemplo:

- Encuestas propuestas: encuestas de base/hogares, componentes, personal

- Evaluación anual participativa y talleres de planificación

- Otras evaluaciones anuales y evaluaciones aperiódicas de los beneficiarios, revisiones y sesiones de planificación

- Revisión de medio término e informe final del proyecto

- Viabilidad de los métodos en relación con la tecnología y los recursos

- Programa del plan de trabajo de SyE: programa integrado de las actividades principales y los momentos de preparación de informes/adopción de decisiones

- Agenda de acontecimientos críticos

Determinación de las condiciones y las capacidades

Organización del SyE:

- Vinculaciones institucionales y con los interesados necesarias para el SyE

- Existencia (o inexistencia) de una unidad específica de SyE, y su relación con la estructura del proyecto y la jerarquía de autoridad

Necesidades de recursos humanos:

- Número, capacidad y responsabilidades de los diferentes interesados en el SyE, incluido el personal del proyecto y los interesados directos

- Incentivos para los distintos interesados

- Necesidades de capacitación de los interesados y del personal

Necesidades de recursos:

- Vehículos y equipo

- Asistencia técnica

Presupuesto de SyE

Asignación detallada del presupuesto

Apéndices

- Marco lógico original y revisado

- Lista de indicadores propuestos

- Proyectos de formatos para la recolección de datos, programa anual y bianual de actividades, etc.

- Proyecto de formatos para preparar los informes trimestrales, bianuales y anuales; un resumen de los principales logros del proyecto; informes de situación sobre los insumos, los recursos, los productos y los resultados del proyecto; estudios de evaluación: resumen de conclusiones y recomendaciones

- Cuestionario de la encuesta de base

- Descripción de los puestos de trabajo y detalles de los sueldos

- Términos de referencia de la asistencia técnica

- Plan de trabajo del SyE

- Presupuesto detallado del SyE

Back to Top

4.4 Calidad de su SyE y necesidad de mantenerlo al día

Una vez cuente con un sistema detallado de SyE, le quedarán por franquear otras dos etapas. Primero, tiene usted que verificar la calidad general del sistema, tal como está diseñado. Segundo, tendrá que mantener al día el sistema para atender a las nuevas necesidades de información, niveles de tecnología y contextos, así como las estrategias y actividades perfeccionadas del proyecto. En el recuadro 4-9 puede verse por qué y cómo un proyecto revisó sus funciones de SyE.

Los criterios típicos para evaluar la calidad de un sistema de SyE son los siguientes:

  • utilidad: el sistema de SyE atenderá a las necesidades de información práctica de los usuarios previstos;
  • viabilidad: los métodos, secuencias, calendarios y procedimientos de elaboración propuestos son realistas, prudentes y eficaces en función del costo;
  • corrección: las actividades de SyE se llevarán a cabo de un modo legal y ético, y teniendo debidamente en cuenta el bienestar de los afectados por sus resultados;
  • precisión: los productos del SyE revelarán y darán a conocer información técnicamente adecuada.

Estos criterios también pueden aplicarse cuando se actualice el sistema de SyE.

 

Recuadro 4-9. Asegurar la calidad del SyE

Para normalizar la información del SyE, el proyecto Cuchumatanes, en Guatemala, preparó junto con los organismos de ejecución directrices y normas de elaboración de formatos para registrar y utilizar la información. Esto fue muy importante para analizar las acciones del proyecto utilizando informaciones que habían sido recogidas y analizadas por diversos actores a distintos niveles y con diversos métodos y modelos de intervención.

El personal directivo del proyecto ADIP, en Bangladesh, examinó y evaluó regularmente el desempeño de diferentes métodos de seguimiento y trató de rectificar los problemas y eliminar los “cuellos de botella”. Además, actualizó constantemente los planes de SyE. Por ejemplo, cuatro años después de la puesta en marcha del proyecto, los planes eran los siguientes:

  • nueva informatización de las actividades periódicas de seguimiento;
  • mayor seguimiento sobre el terreno (mediante la recolección de datos normalizados), después de organizar al nuevo personal de asistencia técnica del SyE;
  • aumento gradual de la importancia atribuida a los sistemas participativos de SyE.
 

Así como el proyecto debe adaptarse continuamente, el sistema de SyE deberá también ajustarse y mejorarse con regularidad a medida que el proyecto evoluciona y se adquiere más experiencia (véase el recuadro 4-10). El programa WUPAP, en Nepal, reconocía esta necesidad en su informe de evaluación ex ante: “Teniendo en cuenta que el enfoque del programa se basa en la demanda y la flexibilidad incorporada a los dispositivos de ejecución, el enfoque del SyE y del sistema de información de gestión también será flexible… ya que responderá a las necesidades que vayan surgiendo de retroalimentación e información de los usuarios, diseñando de nuevo su productos a medida que se amplía la visión de los interesados”.

 

Recuadro 4-10. Revisión del SyE en Guatemala

Cuatro años después de su puesta en marcha, el equipo del proyecto Cuchumatanes, en Guatemala, analizó las expectativas de SyE indicadas en el informe de evaluación ex ante y las necesidades de información en diferentes fases de la gestión y ejecución del proyecto. Los resultados mostraron que las actividades de SyE no eran muy eficaces para:

  • adoptar decisiones en los diversos niveles de la administración;
  • determinar los progresos y los logros de los componentes;
  • analizar los cambios registrados entre los interesados directos debidos a la intervención del proyecto;
  • determinar la idoneidad de los mecanismos institucionales adoptados.

Esto dio lugar a una gran cantidad de información, que todavía no se utiliza para la planificación del proyecto ni se comparte con otros.

El proyecto decidió reorganizar y reorientar la unidad de SyE, reformular el plan de trabajo de SyE y renovar el equipo dedicado a esas tareas. El principal propósito pasó a ser “garantizar que las acciones y la estrategia de trabajo de la unidad de SyE contribuyan al logro de los efectos directos previstos del proyecto”. Se diseñó un nuevo sistema de SyE con la finalidad concreta de:

  • reforzar la capacidad de gestión de la UGP;
  • reforzar las capacidades de SyE de los interesados locales;
  • asegurar la documentación, organización, difusión y utilización de las experiencias del proyecto.

Un efecto directo debía ser la generación de un proceso de reflexión y comunicación permanente acerca del tema central del proyecto, la idoneidad de la estrategia de intervención y los progresos en la ejecución, y el cumplimiento de los objetivos. Otro, la contribución al ordenamiento y la utilización de la información. Se preveía también el aumento y/o el fortalecimiento de las capacidades locales de los diferentes actores y las circunstancias relacionadas con la gestión y la ejecución del proyecto, con miras a conseguir un SyE sostenible.

 

Los debates entre los principales interesados son esenciales para detectar los puntos débiles del sistema de SyE de un proyecto. De los debates con las autoridades estatales encargadas del proyecto APPTDP, en la India, se dedujo la necesidad de emprender un proceso que pudiera documentar los cambios en las distintas aldeas, y los recursos de que se dispondría para atender a las nuevas prioridades. Las autoridades también querían asistencia para sintetizar las lecciones y documentar los impactos del proyecto. Además, sugirieron que se examinasen y modificasen los formatos de seguimiento de la marcha del proyecto para hacer sitio al registro de información cualitativa, además de cuantitativa. Por último, sugirieron que se examinasen los formatos para que se dejaran de recoger los datos que no hubiesen resultado útiles en los últimos diez años de ejecución.

La actualización no sólo se aplica a lo sistemas y procedimientos del SyE basado en el proyecto. Los procesos de aprendizaje de otros grupos de interesados también deben ponerse al día con regularidad (véase el recuadro 4-11).

 

Recuadro 4-11. Autoevaluación significa que los indicadores cambian con el tiempo

La autoevaluación de los grupos de autoayuda de un proyecto en la India se había convertido en un proceso rutinario y era necesario revisarla. A medida que los grupos iban madurando y alcanzando estabilidad, se hacía preciso cambiar los indicadores, por ejemplo en relación con la asistencia y el depósito de fondos. Los indicadores originales ya no eran tan esenciales. Cuestiones más pertinentes, como "el aumento de los préstamos de los bancos, en vez de limitarse a los préstamos internos”, podían constituir un nuevo indicador posible que reflejaría la evolución de los grupos locales de autoayuda.

 

Back to Top

Otro material de lectura

Tres sitios web útiles sobre seguimiento y evaluación (en inglés):

Servicio de noticias, listas de discusión, lecturas clave, proyectos, cursos y talleres sobre SyE: http://www.mande.co.uk

Una búsqueda rápida en la siguiente dirección por “PME” (“seguimiento y evaluación participativo”) proporciona enlaces con documentación, listas de documentos y discusiones en línea sobre SyE participativo: http://www.ids.ac.uk/eldis/.

Enlaces sobre SyE participativo en: http://www.worldbank.org/participation/partme.htm; o bien busque por “OED” (Operations Evaluation Department) desde la página principal.

ACTION AID (2000): “ALPS: Accountability. Learning and Planning System” (con Notas de acompañamiento del ALPS), Londres, Action Aid. Descárguelo en inglés y en español en: http://www.actionaid.org/policyandresearch/mae/mae.shtml. O bien póngase en contacto con iau@actionaid.org.uk o Action Aid, Hamlyn House, Macdonald Road, Archway, Londres N19 5PG, Reino Unido.

ESTRELLA, M. y J. GAVENTA (1998): “Who Counts Reality? Participatory Monitoring and Evaluation: A Literature Review”, IDS Working Paper 70, Brighton, Institute of Development Studies – IDS (Instituto de Estudios sobre el Desarrollo – IED). Descárgue éste y otros documentols sobre participación realizando una búsqueda en: www.ids.ac.uk/ids/particip/information/.

HOGGER, R., C. KUCHLI, A. ZIMMERMAN y E. WOKRAL (1997): “Monitoring – keeping in touch with reality”, Berna, Agencia Suiza para el Desarrollo y la Cooperación. Descárguelo de: www.gtz.de/pcm/download/english/monit_e.pdf

Download PDF Version (364 KB)

Back