PARTICIPACIÓN CIUDADANA EN LA ADMINISTRACIÓN DEL ESTADO
¿ES LA EVALUACIÓN PARTICIPATIVA UNA A LTERN ATIVA VIABLE?
CITIZEN PARTICIPATION IN THE STATE ADMINISTRATION,
IS PARTICIPATORY EVALUATION A VIABLE A LTERN ATIVE?
175
Resumen
La tensión entre eficiencia y democracia —y participación ciudadana— es uno de los grandes tópicos que tocan a la Administración pública, tanto como práctica social como disciplina académica. Las diferencias entre las perspectivas eficientistas y participativas generan diversas formas de comprender el funcionamiento de las instituciones públicas y su relación con la ciudadanía. Una de las principales divergencias se genera en relación a la rendición de cuentas. Este debate no se remite únicamente al tipo de información a utilizar sino también a qué criterios de evaluación considerar. En respuesta a las aproximaciones eficientistas que han dominado la implementación de sistemas de monitoreo y evaluación en las últimas décadas, la evaluación participativa, enfoque que se basa en supuestos constructivistas y de la teoría crítica, se ha levantado como una alternativa válida. Este artículo presenta una revisión de literatura sobre evaluaciones participativas en distintas regiones y sectores de intervención administrativa, con el fin de responder dos preguntas: ¿Qué podemos aprender de este enfoque y la forma en que ha sido utilizado? ¿Es posible incorporar la evaluación participativa de forma más amplia en la Administración del Estado?
Palabras clave: evaluación – evaluación participativa – participación ciudadana
– Administración pública
1 Administrador público de la Universidad de Chile; magíster en Administración Pública y en Políticas Públicas de la Universidad de Southern California, Estados Unidos; director de la Escuela de Gobierno y Gestión Pública de la Universidad de Chile.
2 Administrador público de la Universidad de Chile; magíster en Historia de la Pontificia Universidad Católica de Chile; doctor en Historia de la Universiteit Leiden, Países Bajos; profesor titular de la Escuela de Administración Pública de la Universidad de Valparaíso.
The tension between efficiency and democracy —and citizen participation— is one of the head topics that concern public administration, both as a social practice and as an academic discipline. The difference between efficiency and participatory perspectives generate various ways of understanding the running of public institutions and their relationship with citizens. One of the main divergences occurs in accountability. This debate refers not only to the sort of information to be used but also the evaluation criteria to consider. In response to the efficientist approaches, which have dominated the implementation of monitoring and evaluation systems in recent decades, participatory evaluation, an approach that is based on constructivist assumptions and critical theory, has emerged as a valid alternative. This article presents a literature review on participatory evaluations in different regions and sectors of administrative intervention, in order to answer two questions: What can we learn from this approach and how has it been used? Is it possible to incorporate participatory evaluation more broadly in the state administration?
Keywords: evaluation – participatory evaluation – citizen participation – public administration
La tensión entre eficiencia y democracia —y participación ciudadana— es uno de los grandes tópicos que tocan a la Administración pública, tanto como práctica social como disciplina académica. Hoy en día, existen diversas manifestaciones que dan cuenta de un descontento con instituciones y políticas públicas promercado (por ejemplo, para el caso de Europa Central, véase Mazur, 2020) y con reformas administrativas tipo nueva gestión pública (Reiter & Klenk, 2019). En consecuencia, han surgido opciones alternativas como el nuevo servicio público (Denhardt & Denhardt, 2000, 2015a, 2015b), el Gobierno abierto (Ramírez-Alujas, 2011; Maríñez Navarro, 2013; Sandoval-Almazán, 2015; Gil-García et al., 2020) y la coproducción de bienes y servicios públicos (Nabatchi et al., 2017; Zurbriggen & González Lago, 2014).
Las diferencias entre las perspectivas eficientistas y participativas generan diversas formas de comprender el funcionamiento de las instituciones públicas y su relación con la ciudadanía. Una de las principales divergencias se genera en relación a la rendición de cuentas. La nueva gestión pública ha promovido la accountability, o rendición de cuentas, a través de la adopción de sistemas de monitoreo y evaluación capaces de entregar información objetiva y confiable sobre la marcha administrativa. Las instituciones responden al quedar expuestas al escrutinio ciudadano a través de dicha información sobre su
desempeño (Chouinard, 2013). Por otra parte, posturas como el nuevo servicio público plantean una versión alternativa. Denhardt, J. y Denhardt, R. (2015a) consideran que la rendición de cuentas es más compleja que la presentación de métricas y el acatamiento de estándares profesionales, pues incluye, además, el cumplimiento del interés general, las leyes, los valores democráticos y las preferencias ciudadanas.
Si la divergencia no se refiere únicamente al tipo de información a utilizar sino también a qué criterios de evaluación considerar, entonces es necesario discutir con mayor profundidad qué deben hacer los sistemas de monitoreo y evaluación. Precisamente en esa línea, han surgido visiones antagónicas frente a lo que se ha llamado la evaluación tecnocrática, siendo una de ellas la versión participativa (Chouinard, 2013). Este último enfoque, que se basa en supuestos constructivistas y de la teoría crítica, ha sido ampliamente utilizado en la cooperación para el desarrollo. En la actualidad, existe un nutrido conjunto de publicaciones que documentan cómo la evaluación participativa ha sido utilizada en diversos contextos geográficos y sectores de intervención. Teniendo en cuenta la disponibilidad de esta literatura, y la necesidad de discutir cómo funcionan los sistemas de monitoreo y evaluación para generar rendición de cuentas, este artículo pretende evaluar la utilidad de la evaluación participativa para fomentar el involucramiento ciudadano en los procesos de diagnóstico y medición de los programas públicos. ¿Qué podemos aprender de este enfoque y la forma en que ha sido utilizado? ¿Es posible incorporar la evaluación participativa de forma más amplia en la Administración del Estado?
El artículo tiene la siguiente estructura: primero se discute cómo diversas visiones —dependiendo de su priorización de la eficiencia o la participación— conceptualizan el monitoreo y la evaluación en la Administración del Estado; con posterioridad, se analiza el enfoque de la evaluación participativa y sus rasgos distintivos respecto a otras formas de evaluación, y se identifican aspectos críticos para su implementación; luego se presentan casos de evaluación participativa en varios sectores y ámbitos geográficos; y finalmente, en las conclusiones, se discute la utilidad de esta perspectiva para fomentar la participación ciudadana en la Administración del Estado y se identifican algunos factores relevantes que podrían facilitar o inhibir su adopción.
debate de la Administración pública y su implicancia en la evaluación
1.1. La nueva gestión pública, la evaluación y la rendición de cuentas
Durante la década de 1970 y debido a la crisis económica derivada por el precio
del petróleo, los Estados debieron enfrentar crisis fiscales. En ese contexto, surgió una fuerte presión por contar con Gobiernos capaces de generar resultados al menor costo posible (Denhardt & Catlaw, 2015; García López & García Moreno, 2010). Surgió así una corriente, catalogada por Hood (1991) como la nueva gestión pública. En realidad, más que una corriente, bajo este paraguas se encontraron propuestas provenientes del institucionalismo económico y la elección racional, el análisis de políticas y el gerencialismo. Ellas plantearon aumentar la productividad, usar a los mercados en la provisión de servicios públicos, fomentar la orientación de servicio, promover la descentralización y la privatización, la separación del diseño e implementación de las políticas y la rendición de cuentas (Denhardt & Catlaw, 2015). Sobre este último punto, se planteó la generación de mecanismos de monitoreo y evaluación, guiados por la búsqueda de la generación de información imparcial, objetiva, centrada en la evidencia, como insumo para la toma de decisiones (Chouinard, 2013).
En este contexto, un enfoque que ha venido a dar un marco orientador respecto a cómo identificar y medir resultados y avanzar hacia mejoras en el funcionamiento del sector público es el de la gestión por resultados —resultsbased management—. Como señalan el Banco Interamericano de Desarrollo (BID) y el Centro Latinoamericano de Administración para el Desarrollo (CLAD) (2007), este es un concepto elusivo, que tiene diferentes significados e interpretaciones, pero que apunta a orientar la gestión hacia resultados concretos. De hecho, una revisión reciente de sistemas de gestión por resultados de organismos centrados en la cooperación para el desarrollo, ha mostrado que no hay una única conceptualización para definir estos sistemas (véase Vähämäki & Verger, 2019).
La Organización para la Cooperación y el Desarrollo Económico (OCDE) (2001), ha planteado que la gestión por resultados es una estrategia administrativa que busca generar cambios en la forma en que las agencias públicas operan, teniendo como foco central de atención mejorar el desempeño y los resultados. El BID y el CLAD, plantean que es una «herramienta cultural, conceptual y operativa que se orienta a priorizar el resultado en todas las acciones, y capacita para conseguir la optimización del desempeño gubernamental» (BID-CLAD, 2007). A partir de la discusión que se ha desarrollado respecto a los problemas del paradigma burocrático y las promesas de los enfoques de estilo privado, se ha dicho que, a diferencia de la burocracia, centrada en los insumos y procesos, la gestión por resultados cambia el foco de atención, para centrarse en los resultados y la rendición de cuentas (Vähämäki & Verger, 2019; González & Cerdán, 2008; García López & García Moreno, 2010). Ello se logra enfocándose en cuestiones centrales para incidir en los resultados de la acción pública: el nivel de las políticas y estrategias, el presupuesto, la ejecución y la evaluación (BID-CLAD, 2007). Otras miradas entienden que la gestión por resultados combina la atención en la planificación y en el monitoreo y evaluación de las acciones (UNDG, 2011). En general, existe un cierto consenso respecto a que el enfoque de la gestión por resultados apunta a lograr cuatro objetivos: establecer
mecanismos de rendición de cuentas, levantar mecanismos de comunicación, apoyar la dirección y la toma de decisiones, junto con gatillar procesos de aprendizaje (Vähämäki & Verger, 2019).
La gestión por resultados se ha materializado en la construcción de sistemas de monitoreo y evaluación. Estos sistemas buscan cumplir ciertos objetivos como: apoyar el desarrollo de políticas, permitir la asignación presupuestaria basada en evidencia, medir el desempeño institucional y materializar la rendición de cuentas (Mackay, 2012). Para ello, los sistemas de monitoreo y evaluación implementados en diversos lugares en las últimas décadas tienen como fin último producir información de desempeño y evaluaciones de buena calidad. Se ha planteado que, bajo un enfoque de gestión por resultados, los sistemas no solamente deben entregar información que apunte a determinar si las organizaciones están realizando lo que les corresponde, sino que deben pasar a otro nivel, en el cual se deben formular preguntas de fondo, que apuntan a cuestionar cuáles son los objetivos de las organizaciones, si están siendo cumplidos, y cómo ello puede ser demostrado (Kusek & Rist, 2004). Igualmente, se ha destacado un aspecto importante de los sistemas de monitoreo y evaluación: junto con buscar la mejora administrativa, son diseñados para ser útiles a clientes internos, principalmente oficinas de planificación o presupuestos, y agentes externos a la Administración, como el Congreso y la sociedad civil (Briceño, 2012).
Si bien este enfoque ha permitido establecer instrumentos para conectar la planificación organizacional con la asignación de recursos y los resultados obtenidos, algunas experiencias han mostrado que vincular la planificación con el presupuesto no es una cuestión fácil. En un estudio reciente, Kure, Nørreklit y Røge (2020), sugieren que los sistemas de gestión por resultados, en lugar de ser instrumentos útiles para medir el desempeño, pueden terminar entregando una ilusión de efectividad administrativa. A partir de un estudio de caso de las universidades danesas, plantean que estos sistemas pueden ser incapaces de explicar qué es lo que finalmente se mide. También ponen en duda la capacidad que estos sistemas tienen de guiar cambios en el desempeño, pues tienden a establecer relaciones causales mecánicas y discutibles. Es decir, crean una pseudorrealidad. Por su parte, Vähämäki y Verger (2019) advierten que, si no se establecen los objetivos que se buscan lograr y medir, es posible que un sistema de monitoreo, finalmente, levante información en vano. Agregan que, además, estos sistemas tienden a enfocar la atención en aquellas cuestiones que son más fáciles de medir. En síntesis, existe el riesgo de que la gestión por resultados termine incorporando «rituales» sin efecto y que siga imponiéndose la lógica inercial e incremental que, tradicionalmente, siguen los presupuestos públicos (Sotelo Maciel, 2008; véase también Schick, 2003, 2007).
Fuera de estas cuestiones de orden operativo, también se debe tener en cuenta que, bajo el esquema de la nueva gestión pública, tanto el monitoreo como la evaluación juegan un rol central para lograr mayores niveles de eficiencia, efectividad y rendición de cuentas (Chouinard & Milley, 2015). No obstante, no
es tan claro que la rendición de cuentas tenga un único sentido. De hecho, las críticas a la nueva gestión pública han provenido tanto desde el campo de la práctica administrativa como desde el mundo académico. Si bien no ha surgido una visión alternativa completamente coherente, sí han aparecido perspectivas y tipos de reformas que se han catalogado como post nueva gestión pública. Dos focos de este tipo de iniciativas han sido la reconfiguración de la relación con los ciudadanos y la evaluación del desempeño. De ello deriva una conceptualización de la rendición de cuentas relacionada con el ciudadano y la responsabilidad política antes que con el cliente y consideraciones propias del desempeño administrativo (Reiter & Klenk, 2019).
1.2. Visiones alternativas centradas en el involucramiento ciudadano
La tensión entre quienes promueven la aceptación de la eficiencia como valor último de la acción administrativa del Estado y visiones alternativas que priorizan cuestiones como la importancia de los valores, la democracia y la participación es una constante en la historia intelectual de la Administración pública (Frederickson et al., 2012; Denhardt & Catlaw, 2015). El último capítulo de este debate es la irrupción de miradas que, desde la década de 1990, han centrado su atención en lo que consideran los efectos negativos de la nueva gestión pública (Reiter & Klenk, 2019).
En 2000, Janet Denhardt y Robert Denhardt acuñaron el concepto de nuevo servicio público. En él agruparon tanto a experiencias prácticas como una serie de propuestas académicas que apuntaban a colocar el servicio a la comunidad como el centro de atención preferente de la acción administrativa pública (Denhardt & Denhardt, 2000). El nuevo servicio público se constituyó, además, en una crítica al enfoque de la nueva gestión pública, sus fines de eficiencia y la preponderancia que este le dio al rol de los gerentes públicos (Denhardt & Catlaw, 2015).
El nuevo servicio público se levanta a partir de cuatro fundamentos. El primero, la idea de ciudadanía democrática. Plantean Denhardt y Denhardt (2000) que la ciudadanía es más que una categoría formal que asegura la pertenencia a una comunidad. Los ciudadanos son, finalmente, los dueños del Gobierno. Igualmente, se caracterizan por contar un espíritu cívico, que los hace involucrarse en discusiones colectivas, además de priorizar valores como la justicia, la participación y la deliberación. Por lo mismo, sostienen Denhardt y Denhardt, los Gobiernos deben ser ciudadano-céntricos. En segundo lugar, destacan la noción de comunidad: la ciudadanía se organiza en espacios de la sociedad civil. Por lo mismo, las autoridades debieran tomar en cuenta esto y aprovechar el capital social existente en esas organizaciones (Denhardt & Denhardt, 2000). En tercer lugar, está el humanismo organizacional. En este punto, destacan perspectivas alternativas que promueven tipos de organización menos jerárquicas y más dialógicas. Por último, se encuentra la teoría posmoderna y la idea de construcción de la realidad a través del lenguaje. Ello implica que los funcionarios debieran conectarse con los ciudadanos para establecer consensos.
Para Denhardt y Denhardt, los funcionarios no pueden centrar su labor únicamente en el cumplimiento de la normativa legal y los requisitos técnicos de los programas. Al contrario, deben servir —en lugar de dirigir— a los ciudadanos, actuar democráticamente y buscar el interés público. En su opinión, el nivel de complejidad actual no hace posible pensar que «el Gobierno está a cargo». En otras palabras, consideran que el involucramiento de los ciudadanos en la gestión pública no se funda únicamente en aspectos filosóficos. También hay cuestiones prácticas que justifican esta opción, principalmente, la obtención de mejor información y la legitimación de los programas públicos. De hecho, en una revisión de su propuesta, Denhardt y Denhardt (2015a, 2015b), muestran una serie de ejemplos norteamericanos y europeos exitosos en materia de participación. Lamentablemente, no incluyeron otras experiencias, como los presupuestos participativos, creados en Brasil en 1992 (véase Silva y Cleuren, 2009).
Al igual que en el debate promovido por la nueva gestión pública, el nuevo servicio público centra su atención en la accountability. Desde esta perspectiva, la rendición de cuentas debe ser enfocada en una lógica que sirva a los ciudadanos (Denhardt & Denhardt, 2015b).
En esta línea, Callahan (2010) ha planteado la importancia de contar con sistemas de medición del desempeño ciudadano-céntricos. Este debate surge por el imperativo de asegurar que los sistemas de monitoreo sean capaces de determinar, por una parte, si las intervenciones satisfacen las necesidades de los ciudadanos y si los estándares de servicio se logran de la forma más eficiente posible. En su opinión, lo que se requiere es que la información levantada sea significativa para los ciudadanos. Ello no es tan simple, pues diferentes actores enfatizan disímiles criterios para evaluar la gestión gubernamental (Woolum, 2010). Por esto, es preciso lograr un equilibrio entre la información que demandan los ciudadanos y los funcionarios (Callahan, 2010). En la medida que esto sea posible, se puede obtener mejor información de cuestiones tan relevantes como determinar si la acción pública es capaz de mejorar la calidad de vida de la comunidad (Callahan, 2010).
Woolum (2010) va más allá y sostiene que este tipo de forma de medición del desempeño abre una ventana para reestablecer la confianza de la ciudadanía en los Gobiernos. Ello implica que los mismos ciudadanos participan en la definición respecto a qué tipo de información es relevante para ejercer control ciudadano y, además, participan en las evaluaciones. El informe final de un proyecto en esta línea desarrollado en el estado de Iowa, publicado en 2005, plantea como principales lecciones que, por una parte, los ciudadanos no tienen mayores problemas para comprender la información que las instituciones generan sobre desempeño y, por otro lado, que el trabajo conjunto entre funcionarios y ciudadanos lleva a una comprensión mutua respecto a qué es la entrega de servicios de calidad (Denhardt & Denhardt, 2015a).
Las propuestas del nuevo servicio público no son las únicas existentes en las últimas décadas para fomentar la participación. En sus diversas variantes,
aparece el concepto de gobernanza (véase Frederickson et al., 2012), que reconoce que los asuntos públicos se basan en la participación de diversos actores. Una de sus variantes, la cogestión adaptativa, presenta un esfuerzo por desarrollar la solución de problemas a partir de la combinación de un enfoque científico, propio del análisis de política, con el conocimiento propio de las comunidades.
En ese contexto, la participación en los sistemas de monitoreo y evaluación resulta relevante (Trimble & Plummer, 2019). Igualmente, en un escenario de crisis de legitimidad institucional y avance tecnológico, desde la década de 1990 se ha promovido el uso de internet para establecer diálogos entre ciudadanos y autoridades (véase Barría Traverso et al., 2016) Por ejemplo, se ha acuñado el concepto de Gobierno abierto, compuesto de, al menos, tres componentes: la transparencia, la participación y la colaboración (Ramírez-Alujas, 2011).
La primera dirección de los esfuerzos de apertura —liberación de información—, ha producido dos etapas más complejas, el uso de la información por parte de los ciudadanos para relacionarse con el Gobierno y, por último, la apertura y reutilización de datos (Sandoval-Almazán, 2015). Por esto, autores como Valenzuela Mendoza (2014) y Maríñez Navarro (2013) han señalado que el Gobierno abierto tiene un componente transformador de las relaciones Gobiernociudadano y de las estructuras y procesos gubernamentales.
Fruto de esto, han irrumpido nuevos conceptos, como la cocreación de servicios públicos. Esta se ha promocionado como una posibilidad de gatillar procesos de innovación y mejora de servicios. Su fundamento se encuentra en la investigación participativa y la incorporación de actores generalmente no considerados
—los usuarios— en la definición de causas de problemas y soluciones. En ese sentido, se ha destacado que la cocreación implica que la producción de bienes y servicios se realiza con los afectados. Una de las cuestiones que más se ha destacado es que este enfoque permite incorporar a los procesos de diseño de políticas voces y conocimientos que de otra forma serían difíciles de capturar (Zurbriggen & González Lago, 2014).
Aunque un gran abanico de iniciativas ha sido implementado a nivel internacional bajo la idea de utilizar la participación y la transparencia como antídoto contra la desconfianza hacia los Gobiernos, los resultados no son prometedores en términos de restituir la legitimidad institucional. En general, la literatura reporta que las iniciativas de participación son ritualistas y de bajo impacto (para el caso chileno, véase Delamaza, 2019; Barría Traverso et al., 2016). A ello se suman dudas respecto a la transparencia como herramienta para mejorar la confianza, mediante una ampliación de la rendición de cuentas (Grimmelikhuijsen et al., 2013).
En la siguiente sección se analiza la incorporación de la evaluación participativa en la gestión de programas. Este enfoque, aunque no hace referencia explícita al nuevo servicio público y la gobernanza, lleva a la práctica varias de las
propuestas de ambas perspectivas, sobre todo en el tipo de relación que se establece entre los funcionarios públicos y los ciudadanos participantes de la acción del Estado. ¿Tiene algo que aportar en el creciente esfuerzo de las administraciones públicas para mejorar la confianza ciudadana?
2.1. ¿Qué es la evaluación participativa?
El uso de la evaluación participativa ha ganado terreno tanto en el campo de la práctica evaluativa como en el debate académico. Por sus características, es una buena alternativa en contextos sociales diversos. No extraña, entonces, que, en las últimas dos décadas, su uso haya sido ampliamente promovido por diferentes organismos bilaterales y multilaterales de asistencia técnica y cooperación internacional al desarrollo a través de manuales, orientaciones técnicas y capacitaciones a los evaluadores (Canadian International Cooperation Agency, 2001; Narayan, 1993; Organización Panamericana de la Salud/ Organización Mundial de la Salud, 2005; Huenchuan & Paredes, 2007; Guijt, 2014; Organización de las Naciones Unidas para la Alimentación y la Agricultura, 2017). En paralelo, han surgido revisiones del funcionamiento de los sistemas de gestión por resultado y evaluación, que admiten la utilidad de abrirse a enfoques alternativos, basados en el reconocimiento de la pluralidad de actores, el carácter valórico del conocimiento, la importancia de los contextos y las relaciones sociales que existen en torno a los programas, por ejemplo, Vähämäki & Verger (2019).
Dichas propuestas no provienen de la nada, sino que recogen la experiencia acumulada en las últimas décadas, de la cual da cuenta una creciente literatura, que viene realizando un interesante trabajo de sistematización de prácticas de evaluación participativa que se pueden encontrar principalmente en programas de los sectores de servicios sociales, salud, educación y agricultura, en los ámbitos público y de la cooperación internacional al desarrollo y con mayor frecuencia a partir de los años ochenta (Estrella & Gaventa,1998; Plottu & Plottu, 2009; Cousins & Chouinard, 2012; Chouinard, 2013; Chouinard & Milley, 2016,
2018).
Ante la creciente aceptación de la necesidad de incorporar la voz de los ciudadanos en los procesos de evaluación, la pregunta es cómo. Esta cuestión no es únicamente operativa, sino que es fundamental para definir qué se entiende por esta forma de evaluar. Para Chouinard (2013), la característica central de la evaluación participativa es que involucra a los participantes en el proceso, de manera que el punto central es determinar qué voces se incorporarán en
la evaluación. En esa misma línea, los diferentes enfoques de evaluación participativa existentes —por ejemplo, la evaluación de empoderamiento, cuarta generación de evaluación, evaluación crítica, evaluación focalizada en la utilización, evaluación pluralista y evaluación democrática— coinciden en «el principio común de la activa participación de las principales partes interesadas3 como fundamental para la buena práctica de la evaluación» (Plottu & Plottu, 2009).
Para Cousins y Whitmore (2007), resulta fundamental la colaboración entre el evaluador y las partes interesadas. Así, emerge una asociación entre las partes interesadas de un programa y los evaluadores para producir conocimiento de forma colectiva (Cousins & Chouinard, 2012). Por otra parte, las partes interesadas pueden ser incorporadas en diferentes las etapas del proceso evaluativo (Guijt, 2014): desde la identificación de preguntas relevantes, el diseño de la evaluación, la selección de medios de recolección de datos, su aplicación y análisis, la discusión de hallazgos, conclusiones y recomendaciones y la difusión de los resultados (Zukoski & Luluquisen, 2002). Para Aragona et al. (2014), una de las cuestiones centrales es la generación de un consenso con los usuarios de los programas respecto a los criterios de evaluación.
Si bien lo que distingue a la evaluación participativa de otras formas es la incorporación de las voces de las partes interesadas, las características de dicha participación y los fines que se buscan con ella permiten distinguir vertientes:
1) La práctica, focalizada en la resolución de problemas y en el mejor uso de la evaluación, la que se logra como resultado del proceso participativo.
2) La transformativa, basada en una racionalidad emancipatoria y política, en la que el proceso de búsqueda mismo de la evaluación es usado como palanca para el cambio social (Cousins & Whitmore, 2007).
La tabla 1 presenta una comparación entre los enfoques tradicionales de evaluación y la evaluación participativa, donde se destaca la diferencia de actores que participan de la evaluación entre ambas prácticas.
Tabla 1. Características de la evaluación convencional y participativa
|
Pregunta |
Evaluación convencional |
Evaluación participativa |
|
¿Quién evalúa? |
Expertos externos |
Beneficiarios, empresarios, tomadores de decisión de política pública, equipo de evaluación |
|
¿Qué se evalúa? |
Criterios de éxito y necesidades de información están predeterminadas |
Los participantes identifican sus propias necesidades de información y determinan sus propios criterios de éxito del programa |
3 Aquí, el concepto de «partes interesadas», también referido como «actores involucrados», corresponde al vocablo anglosajón stakeholders para referirse a todos quienes tienen un interés particular en la intervención pública: política, programa o proyecto.
|
¿Cómo lo hacen? |
Distancia entre el equipo de evaluación y otros participantes |
Métodos compartidos y resultados del involucramiento de los participantes |
|
¿Cuándo se evalúa? |
En general, cuando la política o el programa ha finalizado |
Frecuentemente, a través de la duración de la política. Evaluación continua |
|
¿Por qué se evalúa? |
Evaluación sumativa. ¿Debería la política o el programa continuar? |
Evaluación formativa para generar acciones de mejoramiento. Aprendizaje continuo |
Fuente: Aragona et al. (2014).
El uso de esta forma de evaluación supone, por una parte, una clara diferenciación respecto a sus alternativas. En este punto, aunque la literatura sobre nuevo servicio público y evaluación participativa no tienen una conversación explícita, comparten varios puntos en común. Por ejemplo, ambas sospechan del positivismo y adhieren a miradas alternativas, junto con criticar abiertamente a la nueva gestión pública.
Chouinard (2013) plantea una serie de diferencias entre la evaluación participativa y el enfoque tecnocrático al estilo nueva gestión pública. En primer lugar, destaca que, mientras la primera establece un espacio intersubjetivo entre evaluador y partes interesadas, a través de un enfoque ascendente, la segunda establece una distancia entre ambos actores y una aproximación descendente. Si la ciudadanía tiene un rol que jugar es como receptor de la información que la evaluación genera. Dicha separación se debe a que el modelo de evaluación tecnocrática se sustenta en la conceptualización del conocimiento como una cuestión objetiva y ajena al evaluador. Al contrario, la evaluación participativa considera que el conocimiento es una construcción social, anclada en el contexto político, social e histórico de las comunidades en las que operan los programas. Así, mientras la versión tecnocrática se centra en el macrocontexto y busca imponer métricas utilizadas universalmente, la evaluación participativa se aboca a comprender los microcontextos en los que los programas operan. De igual forma, difieren en las relaciones políticas que se desprenden de la evaluación. La versión participativa hace definiciones sobre quién debe participar, algo alejado a la definición de la evaluación tecnocrática, la cual, al ignorar estas preguntas, tiende a reproducir las estructuras de poder existentes.
Estrella y Gaventa (1998) ilustran este punto de la siguiente forma:
Tradicionalmente, el monitoreo y evaluación han sido usados por agencias donantes y gubernamentales para hacer responsables a los beneficiarios y receptores del programa a las metas y blancos acordados. En este contexto convencional, las agencias definen qué es monitoreado y evaluado y cómo se realizarán estas operaciones. Mucho del monitoreo y evaluación participativa surgió en respuesta a estos enfoques descendentes y externos para la evaluación, insistiendo que los beneficiarios se involucren en el proceso. El monitoreo y evaluación participativa no solo es un medio de mantener a los beneficiarios y
receptores del programa responsables, sino que también es una forma para que los mismos participantes del proyecto y los ciudadanos locales monitoreen y evalúen el desempeño de las instituciones donantes y gubernamentales.
Otra diferencia, según Chouinard, tiene relación con el aprendizaje que generan. Para la versión participativa, este se transforma en un fruto del proceso de investigación conjunta. La versión tecnocrática, en cambio, considera que hay un resultado pedagógico a través del uso de los hallazgos para la toma de decisiones. Teniendo en cuenta esto, no es extraño que, además, ambos enfoques tomen definiciones metodológicas diferentes. La evaluación tecnocrática prioriza estudios cuantitativos, experimentales o cuasiexperimentales, mientras la versión participativa es ecléctica y define metodologías de acuerdo a qué tan bien se ajusten a los contextos en los cuales operan los programas.
Teniendo a la vista estas diferencias, la decisión de hacer evaluación participativa se basa en la presunción de que presenta ventajas que otros enfoques no son capaces de entregar. En este sentido, quienes promueven la aplicación de la evaluación participativa identifican tres tipos de justificación de su uso: una política, otra filosófica y una pragmática.
Para Chouinard (2013), la evaluación participativa entrega la posibilidad de materializar valores relevantes desde una perspectiva política, como son la justicia social y la democracia. A la vez, considera que este enfoque se justifica filosóficamente, pues acepta que la realidad es un proceso de construcción social. Y, por último, sugiere que este tipo de evaluación permite aumentar el apoyo de las partes interesadas hacia el programa evaluado y a la toma de decisiones en torno a él.
Por su parte, Guijt (2014) plantea que la evaluación participativa presenta una serie de ventajas de tipo operativo. Entre ellas se cuentan:
1) Mayor exactitud y relevancia de los resultados de las evaluaciones.
2) Establecer de mejor forma las relaciones causales que sustentan la teoría del programa, permitiendo, además, comprender mejor la forma en que este interviene en el campo social.
3) Mejora la implementación y su capacidad de adaptación y, en términos generales, optimiza el desempeño organizacional.
Otros autores destacan que la evaluación participativa entrega mejores resultados que la tradicional, toda vez que permite obtener información local y validarla con actores clave, de manera que facilita la generación de conocimiento, capacidades y relaciones entre la comunidad y otros intervinientes (Zukoski & Luluquisen, 2002).
2.2. Aspectos críticos para la implementación de una evaluación participativa
La evaluación participativa no siempre es una buena alternativa. Cousins y Chouinard (2012) alertan que, en ciertos contextos, un esfuerzo de este tipo
podría ser contraproducente. En esa línea, Plottu y Plottu (2009) indican que su uso debe estar reservado para aquellas áreas en que puedan hacer un mayor aporte. En definitiva, la evaluación participativa sí es una buena alternativa cuando se pretende que las partes interesadas tengan una voz en el proceso. Sin embargo, definir a quién incorporar dentro de un equipo de evaluación no es una cuestión simple, toda vez que la literatura sobre evaluación participativa no cuenta con una teoría del poder, cuestión relevante, pues diferentes modalidades de poder tienen efecto en la forma que las evaluaciones son implementadas (Haugen & Chouinard, 2019). Esto resulta un problema, si se tiene en cuenta que una de las características de la evaluación participativa busca promover una narrativa de justicia social (Chouinard & Milley, 2018).
Adicionalmente, surge el problema de definir quiénes deben ser incorporados en el proceso —beneficiarios, ejecutores del programa, personas que no esperan recibir la prestación, pero esperan incidir en cómo la intervención pública se lleva a cabo—. A la vez, la inclusión de estas partes puede tener diversos niveles de intensidad, desde ser una fuente de información hasta desarrollar un rol activo en el equipo de evaluación. Una reciente revisión de literatura destaca el reclutamiento en diferentes niveles del contexto social de los programas y la equidad de género como criterios ampliamente utilizados para la selección de participantes (Chouinard & Milley, 2018).
Como se ha mencionado, quienes promueven la evaluación participativa destacan que ella genera un espacio intersubjetivo de cocreación de conocimiento entre evaluadores y participantes (Chouinard, 2013; Chouinard & Milley, 2016, 2018). Pero ello no ocurre naturalmente. Por ello, la literatura ha destacado la importancia de capacitar a las partes interesadas y a los evaluadores para que una dinámica participativa emerja, especialmente a los más débiles. En concreto, importa ayudarlos a construir una visión común sobre los valores asociados al programa evaluado y dotarlos de capacidad para expresar y defender sus puntos de vista frente al de otros actores (Plottu & Plottu, 2009). Asimismo, son relevantes las competencias profesionales específicas para el desarrollo de la evaluación participativa (Cousins & Chouinard, 2012). En este punto destaca la necesidad de desarrollar habilidades blandas, tales como comunicación, negociación, resolución de conflictos, colaboración y fomento de la diversidad.
A continuación, se presentan algunas experiencias de evaluación participativa reportadas en la literatura reciente. Ellas abarcan diversas zonas geográficas y, además, han sido aplicadas en diferentes sectores de intervención pública y de organismos internacionales. Se ha optado por una descripción detallada de cada
uno de estos casos, como forma de entregar la mayor cantidad de elementos que permitan ejemplificar cómo funcionan las evaluaciones participativas.
3.1. Evaluación de un programa de salud mental en Canadá
Rouse et al. (2017) analizan el proceso de evaluación participativo en Clubhouse Progress Place, una filial ubicada en Toronto de Clubhouse International, organización sin fines de lucro dedicada a la creación comunitaria de programas de rehabilitación psicosocial de personas que viven con enfermedades mentales en diferentes países. En este caso, la evaluación se utilizó con el fin de investigar mecanismos —autodeterminación, normalización de la vida y reducción de estigma— y resultados —redes sociales de apoyo, desarrollo de habilidades y empleo— que permitan describir los cambios que le ocurren a las personas con enfermedades mentales que utilizan los programa y servicios de Clubhouse Progress Place.
La metodología utilizada siguió las orientaciones propuestas por Cousins y Whitmore (1998) para empoderar a los beneficiarios que participan en el proceso, reducir la distancia entre evaluador y participantes, e incorporar en el análisis los intereses y prioridades de los participantes y personal facilitador del programa para la evaluación.
La evaluación se realizó en dos etapas, utilizando métodos cualitativos mixtos de investigación. En la primera, participaron 39 personas de grupos de beneficiarios del programa, personal e integrantes de directorio de la organización, en seis focus groups para conocer los resultados, procesos y actividades del programa. En la segunda etapa participaron de entrevistas grupales semiestructuradas y aplicación de cuestionarios 39 personas, integrantes del personal y beneficiarios del programa, para obtener confirmación y retroalimentación en relación al modelo de apoyo del programa a los beneficiarios.
Los resultados de la evaluación mostraron que los participantes identificaron solamente dos de las variables del modelo testeado. En relación a los mecanismos o procesos esperados, se identificó la reducción de estigma y sobre los resultados del programa en los beneficiarios, se apuntó al desarrollo de habilidades en varias áreas, tales como sociales, para la vida diaria, salud, computación y laborales.
Sin embargo, quienes participaron de la evaluación detectaron otros mecanismos y resultados consistentes con aquellos encontrados en el modelo de rehabilitación psicológica. Por ejemplo, en relación a los procesos, se identificaron el sentido de respeto, igualdad y la no realización de juicios sobre la condición de las personas con enfermedades mentales; autonomía en las decisiones; relaciones con otras personas y aislamiento reducido; sentido de propósito y logro personal; sentido de conexión y pertenencia, entre otros.
Sobre los resultados de la participación en los servicios y actividades, los participantes, adicionalmente, reportaron un sentido de existencia más allá de su condición de personas enfermas, además de sentirse mejor, en paz, y ser parte de una comunidad empoderada.
3.2. Gobernanza de zonas pesqueras artesanales en la costa del río de la Plata, Uruguay
Otro ejemplo de uso de evaluación participativa se encuentra en la gestión de recursos marinos en Uruguay, a partir de 2013, fecha en que se implementaron consejos conformados por varios actores para la cogestión de pesquerías de artesanales.
La evaluación llevada adelante, que ha sido reportada por Trimble y Plummer (2018, 2019), tuvo tres objetivos. El primero, investigar las percepciones de los integrantes de los primeros de estos consejos en el río de la Plata en relación a esta nueva forma de gobernanza de los recursos pesqueros. En segundo término, se buscó analizar el proceso de definición y priorización de indicadores para evaluar el consejo. Finalmente, la evaluación a apuntó explorar las implicancias de esta experiencia participativa en los acuerdos tomados por parte de estos cuerpos colegiados.
Estos consejos de cogestión de pesquerías —zonas de pesca— artesanales, regulados por la ley Nº 19.175, están conformados por representantes de:
1) Los pescadores artesanales organizados.
2) La Dirección Nacional de Recursos Acuáticos.
3) La Prefectura Nacional Naval y de los gobiernos locales.
A la fecha, existen ocho consejos zonales pesqueros, cuya función es ser una instancia consultiva para que la autoridad administrativa defina la categorización de franjas pesqueras.
La evaluación se realizó entre 2014 y 2017. Ella se focalizó en funcionamiento del Consejo Local de Pesca de la Costa, uno de los tres primeros consejos implementados en forma piloto en 2012 en el área costera de Canelones —costa del río de La Plata—, que abarca a las municipalidades de Paso Carrasco, Ciudad de la Costa y Salinas. Se utilizó la metodología de estudio de caso y se aplicaron los siguientes métodos:
1) Observación participante de dos sesiones del consejo, entre 2014 y 2016.
2) Entrevistas semiestructuradas realizadas con los doce representantes de las diferentes organizaciones integrantes del consejo, entre junio y julio de 2014. En ellas se indagó sobre las fortalezas y debilidades del consejo y se realizó la invitación a ser parte de la evaluación participativa.
3) Observación participante durante cuatro talleres de evaluación participativa realizados, entre 2014 y 2015, en que los actores definieron colectivamente los indicadores o criterios de la evaluación, a través de la construcción de consensos, generando un espacio en el que se intercambiaron opiniones y reflexiones sobre el funcionamiento del consejo.
4) Nueve entrevistas semiestructuradas con los representantes involucrados en la evaluación, entre julio y agosto de 2015.
5) Cuatro entrevistas semiestructuradas con representantes que participaron de la evaluación, entre febrero y mayo de 2017, después de haber enviado a los miembros del consejo una versión borrador de los resultados de la evaluación, incluyendo las fortalezas y debilidades del consejo, así como recomendaciones para los acuerdos operacionales.
La evaluación permitió generar resultados en tres ámbitos. El primero de ellos apuntó al funcionamiento del consejo. Uno de los principales hallazgos fue que esta instancia no tenía un objetivo o visión clara, más allá de lo que indica genéricamente la ley Nº 19.175, en el sentido de que los consejos son creados para la cogestión de los recursos de cada zona pesquera. No obstante, los participantes indicaron que los consejos debieran buscar soluciones a los problemas de la pesca, así como mejorar la calidad de vida de los pescadores. Por su parte, el representante de la Prefectura Nacional Naval declaró que el consejo debiera ser una instancia para discutir con los pescadores sobre la seguridad en el mar y las regulaciones que se deben cumplir. Entre las opiniones divergentes en relación a la visión del consejo, se observó una tensión entre los representantes de los pescadores y los de las organizaciones públicas, en cuanto sus intereses y percepciones. Adicionalmente, se consensuaron las fortalezas y debilidades del consejo, entre las que se encuentran la creación de una nueva relación entre los pescadores y autoridades y la falta de personal de apoyo para el funcionamiento de esta instancia.
En segundo lugar, la evaluación permitió que los involucrados acordaran —a través de un proceso que combinó consenso y preferencias individuales— diecinueve indicadores y sus respectivas métricas, organizados en dos categorías:
1) Los relacionados con el funcionamiento del consejo —ocho indicadores de participación—.
2) Los referidos a los resultados o efectos esperados del consejo —once indicadores de resultado—.
Entre los primeros se encuentran la citación a las reuniones del consejo, la continuidad de participación durante el tiempo y la intervención de todos los miembros del consejo cuando se abordan ciertos temas; mientas que la segunda categoría incorpora la gestión mejorada de las zonas pesqueras, el mayor cuidado de las franjas costeras y las soluciones a los problemas de las zonas pesqueras locales, entre otros.
Finalmente, la evaluación permitió tomar acuerdos respecto a trece normas para el funcionamiento del consejo. Ellas abordaron aspectos como la frecuencia de las sesiones, la representatividad de los actores involucrados, los mecanismos de comunicación, participación y moderación de las reuniones, además de otras cuestiones como la generación de minutas de las reuniones y la distribución de tareas entre los integrantes del consejo.
3.3. La evaluación de programas de apoyo a niños de pueblos originarios en Australia
Rogers et al. (2018) reportan una evaluación del Programa Comunidades para Niños, creado por el Gobierno australiano para apoyar a familias de las comunidades de las islas Tiví y Palmerston, localizadas en el Territorio del Norte, con niños entre los 0 y los 12 años. El programa estuvo a cargo de la Cruz Roja Australiana del Territorio del Norte, ubicada en Darwin. Se contrataron los servicios de organizaciones locales para la operación del programa en las dos comunidades:
1) Islas Tiví, con una población de aproximadamente 2.400 personas, mayoritariamente pertenecientes a pueblos originarios —89 % o 2.000 habitantes—.
2) Palmerston, ciudad satélite de la capital Darwin, con una población de aproximadamente 34.000 habitantes, de las cuales el 11 % se identifican como pertenecientes a pueblos originarios.
En este caso, la evaluación se desarrolló entre 2010 y 2014, a cargo de un evaluador externo contratado por la Cruz Roja. El marco conceptual para el diseño e implementación de evaluación participativa combinó aspectos de la teoría de evaluación de empoderamiento y evaluación para el desarrollo4.
Los objetivos definidos en este proceso fueron amplios, incluyendo aspectos relacionados a la implementación, resultados y mejoras del programa. Estos fueron los siguientes:
1) Aumentar el entendimiento de los actores involucrados y los miembros de la comunidad de las actividades del programa.
2) Aumentar el conocimiento y habilidades de evaluación de los integrantes del comité y organizaciones participantes.
3) Vincular a los integrantes de la comunidad y sus líderes como participantes y promotores de la evaluación.
4) Desarrollar un diseño de evaluación específico y basado en las fortalezas
—strengths-based approach— para el programa.
5) Proveer información oportuna y útil sobre los resultados del programa.
6) Apoyar las decisiones y fortalezas del modelo de gobernanza.
7) Mejorar la rendición de cuentas hacia los integrantes de la comunidad y la calidad de los servicios entregados.
4 Los principios que guían el primer enfoque son: mejoramiento, propiedad comunitaria, inclusión, participación democrática, justicia social, valoración del conocimiento comunitario, estrategias basadas en evidencia, desarrollo de capacidades, aprendizaje organizacional y responsabilidad
—accountability—. El segundo enfoque tiene como base los principios de: propósito de desarrollo, rigor de la evaluación, foco en la utilización, nicho de innovación, perspectiva de complejidad, sistemas de pensamiento, cocreación y retroalimentación oportuna (Rogers et al.,2018).
8) Incorporar la reflexión y aprendizaje que se genere durante el proceso de evaluación.
Para el logro de los objetivos planteados, el diseño de la evaluación incorporó una estructura y variados métodos de levantamiento y análisis de datos. En primer lugar, el comité estratégico5, encargado de supervisar y dar recomendaciones sobre la evaluación del programa, estableció un grupo de referencia de 8 a 10 participantes, integrado por miembros del comité estratégico, representantes de comunidades locales, expertos en desarrollo temprano de niños, la organización que financia el programa y el equipo de gestión de la Cruz Roja. Junto al evaluador, este grupo tomó las decisiones clave sobre el diseño y evaluación, tales como los estándares y criterios de la misma, que incluyeron la realización de talleres y encuentros con organizaciones locales.
Gracias a esta ronda de encuentros, el evaluador, en conjunto con el grupo de referencia, diseñaron una matriz de evaluación —quality rubric— para el programa, la que permitió determinar sistemáticamente la calidad de los múltiples aspectos y resultados del programa, entre los que se encuentran el involucramiento de la comunidad, aceptación, pertenencia, apropiación cultural, asociativismo, gobernanza, y participación. Para la evaluación de estos indicadores se utilizó una técnica de medición y ubicación gráfica —ripple tool—, que asemeja las ondas generadas por un objeto al caer a un cuerpo de agua, permitiendo la participación en procesos de evaluación de personas que carenen de experiencia o conocimientos técnicos (sobre esta técnica, véase Brimblecombe et al., 2014 y FAO, 2017).
De forma previa al levantamiento de datos, se realizaron reuniones de planificación entre el evaluador y los equipos de evaluación en las islas Tiví y en Palmerston, para discutir los objetivos de las actividades de evaluación, revisar la información existente, determinar si se requería más información y planificar las actividades de recolección de datos. Adicionalmente, se realizó un proceso de entrenamiento con el propósito de desarrollar diferentes habilidades de evaluación para las diferentes partes interesadas del programa.
Los métodos para el levantamiento de datos de esta evaluación incluyeron:
1) focus groups;
2) entrevistas semiestructuradas con informantes clave de establecimientos educacionales, centros de salud y de proveedores de cuidado de niños, líderes comunitarios, concejales, participantes del programa y sus familias;
3)
5 En la estructura de gobernanza del programa, el comité estratégico es la máxima autoridad y su rol es: obtener orientaciones de los comités locales en las islas Tiví y Palmerston, supervisar la calidad de la evaluación y entregar recomendaciones y apoyo al evaluador. La composición de este comité incluye: representantes de comités locales del programa; expertos en desarrollo temprano de niños provenientes de centros de investigación independientes; representantes de los gobiernos locales, regionales y nacional; organizaciones proveedoras de servicios que no recibían fondos de la Cruz Roja; y un investigador aborigen.
4) encuestas en línea para organizaciones asociadas y proveedores de servicios;
5) observación y recolección de historias;
6) reuniones comunitarias;
7) discusiones en pequeños grupos;
8) paneles de expertos con integrantes de la comunidad, padres abuelos y expertos;
9) revisión de documentos;
10) utilización de la técnica ripple tool para evaluar el progreso y generar discusión.
Una o dos veces al año, se realizaron dos talleres de buenas prácticas en las localidades de islas Tiví y Palmerston en los que se presentaron los resultados del levantamiento de datos, el programa de actividades y se compartieron éxitos y desafíos del proceso de la evaluación.
La evaluación posibilitó introducir una serie de mejoras al programa. Por una parte, los hallazgos permitieron ajustar las actividades culturales infantiles en las islas Tiví, haciéndolas más pertinentes con la cultura de las islas que las que se estaban realizando a la fecha.
De igual forma, gracias a este proceso se reactivó el grupo de mujeres de islas Tiví, enfocándolo en asuntos de familia y permitiendo que el Centro de la Mujer pudiera postular a financiamiento para entregar actividades culturales y transformarse, en el largo plazo, en una de las organizaciones asociadas del programa.
Por último, se crearon juntas de padres en la ciudad de Palmerston —reuniones mensuales tendientes a desarrollar redes de apoyo para padres en el cuidado de sus hijos—.
Estas juntas se diseñaron colaborativamente entre diferentes actores involucrados, a partir de las lecciones aprendidas de experiencias anteriores en el programa, siendo aprobada por la estructura de gobernanza del Programa Comunidades para Niños e implementada a partir de 2012.
Adicionalmente, el proceso de evaluación generó instancias de intercambio de experiencias entre las comunidades de islas Tiví y Palmerston, permitiendo, a través de visitas recíprocas de integrantes de estos dos territorios, el conocimiento de experiencias relevantes para ser discutidas e implementadas en sus respectivas comunidades.
3.4. Investigación-acción participativa con mujeres afectadas por la guerra en África
En el contexto de los procesos de posconflicto en países africanos, catalizados por medio de una conferencia internacional sobre niñas soldados, Worthen et
al. (2019) llevaron a cabo, entre 2006 y 2009, un estudio de investigación-acción participativa con niñas combatientes de las guerras en Liberia, Sierra Leona y el norte de Uganda. Este trabajo apuntó a entender qué significa para ellas la reinserción, para así implementar iniciativas de acción social, diseñadas por las mismas participantes del estudio, capaces de promover su bienestar y lograr la reinserción social en sus comunidades.
El estudio fue liderado por un equipo de cuatro investigadores y diez agencias de protección infantil. Se implementó en dos territorios por cada una de las agencias de protección infantil y participaron 658 jóvenes madres, de las cuales dos tercios estuvieron asociadas a grupos armados, mientras que el resto eran mujeres vulnerables de las respectivas comunidades. El 80 % tenía un rango etario de 16 a 24 años. Como parte de las actividades de la investigación-acción, se utilizaron diversos métodos, como grupos de discusión, role-play, canciones improvisadas, y entrevistas individuales, para profundizar el entendimiento de sus experiencias durante y después de la guerra, con énfasis en qué significa la reinserción para ellas.
El análisis de los datos se realizó en forma colectiva por las participantes, quienes luego diseñaron acciones sociales para mitigar problemas identificados. Por ejemplo, la solicitud de entrega de terrenos para su explotación agrícola o la creación de un sistema de microcréditos para iniciar pequeños negocios. En un proceso continuo y de acuerdo con los principios de la investigación-acción participativa, estas iniciativas de acción social se desarrollaron, evaluaron, modificaron, e implementaron nuevamente.
La evaluación participativa de este estudio de investigación-acción se concibió como parte integrante del mismo proceso de investigación, permitiendo compartir la información y aprendizaje en forma oportuna, facilitando así la adaptación del mismo. Para la realización de la evaluación participativa se desarrollaron múltiples métodos de recolección y análisis de datos, entre los que se encuentran:
1) evaluación de proceso para conocer los procesos del estudio y los niveles y tipos de participación;
2) reuniones anuales del equipo de investigación-acción participativa, incluyendo a las madres participantes, miembros del equipo de evaluación, organizadores, agencias de financiamiento y agencias públicas, así como representantes de la UNICEF para compartir información y coaprender;
3) reuniones entre las madres participantes representantes de cada lugar en que se desarrolla la investigación-acción, para compartir y analizar en conjunto los datos;
4) trabajo etnográfico de terreno, realizado por los organizadores de la investigación-acción para observar y documentar las experiencias y perspectivas de participantes, comunidades y otras partes interesadas; y
5) desarrollo participativo de indicadores cuantitativos y cualitativos de resultados de la investigación-acción, definidos por los actores involucrados, en un proceso facilitado por el personal del staff del estudio y socios académicos.
Worthen et al. (2019) argumentan que estos cinco métodos participativos de levantamiento y análisis de datos fueron usados para evaluar un estudio participativo complejo, localizado en múltiples países, y para identificar resultados que puedan ser transferibles. Este proceso permitió al equipo identificar una serie de fortalezas de la evaluación participativa. Entre ellas, destacan cuatro cuestiones:
1) la evaluación participativa es útil para ser usada contextos de alta complejidad geográfica y cultural, permitiendo la participación de actores de diferentes localidades y poder.
2) ella permite instaurar procesos de diálogos reflexivos entre los diferentes actores involucrados. Estos diálogos se basaron en relaciones igualitarias, para así maximizar la participación y minimizar las relaciones de poder. Así, se pudo avanzar en una evaluación más centrada en el aprendizaje que en la rendición de cuentas.
3) el proceso de evaluación permitió validar y mejorar la calidad de los datos, generando conocimiento y recomendaciones creadas por los propios participantes.
4) este proceso contribuyó a la generación de capacidades de todos los actores involucrados del proceso de la evaluación en todas las direcciones posibles. Es decir, las partes interesadas aprendieron de los evaluadores, pero estos últimos también desarrollaron un aprendizaje gracias a la comunidad.
Frente a un contexto de crisis de legitimidad, la rendición de cuentas, la transparencia y la participación han sido promovidas como un antídoto contra la desconfianza. En consecuencia, nuevas formas de trabajo, inspiradas en estas ideas fuerza, han sido promovidas por diversos Gobiernos y académicos en el ámbito de la Administración del Estado, entre ellas la reutilización de datos (Sandoval-Almazán, 2015) y la coproducción de políticas y servicios (Nabatchi et al., 2017; Zurbriggen & González Lago, 2014).
La evaluación de programas es otra de las alternativas posibles para ampliar la rendición de cuentas. Sin embargo, tal como plantea Chouinard (2013), no es tan fácil definir qué es la accountability. Existe una tensión entre enfoques administrativos que priorizan la eficiencia y aquellos que se centran en la participación ciudadana, que tiene efectos directos tanto en la conceptualización
de la rendición de cuentas como en el tipo de evaluación que se promueve para hacer a los Gobiernos más responsables frente a los ciudadanos.
En ese contexto, las secciones anteriores discuten qué es la evaluación participativa y revisan literatura reciente que presenta casos de uso de este enfoque en diversos países y sectores. No ha sido nuestro afán promover su uso como la solución para todos los problemas de legitimidad que los sistemas políticos y administrativos enfrentan hoy. Al contrario, hemos buscado abrir una discusión respecto a si esta práctica administrativa, asentada principalmente en el campo de la cooperación internacional, puede ser útil para cumplir con el objetivo de incorporar a los ciudadanos en la gestión de los asuntos públicos.
En efecto, este trabajo ha mostrado que la evaluación participativa es útil para incorporar a los ciudadanos y, al mismo tiempo, promover la mejora de la gestión de programas. Esta utilidad no se funda en un preciosismo metodológico, sino que en un sustento epistemológico funcional con una serie de valores democráticos. En esa línea, su principal fortaleza es que da un marco de acción para considerar la visión de los diferentes actores involucrados en la gestión de programas, junto con permitir empoderar a los grupos más desfavorecidos de la sociedad. Así, en su versión transformativa, la evaluación participativa avanza hacia el cambio de las estructuras y relaciones de poder en las sociedades. Sin embargo, es necesario poner una nota de cautela respecto del uso generalizado de este enfoque. Tal como sugieren Plottu y Plottu (2009), la evaluación participativa no es una panacea y su aplicación debiera estar reservada para situaciones donde será más productiva.
Aun teniendo en cuenta esa precaución, los casos presentados en la sección anterior muestran que, con distintos niveles de intensidad y sin importar la diversidad de metodologías utilizadas, la evaluación participativa sí tiene bondades concretas que pueden ser de utilidad para mejorar la calidad de los programas, junto con ampliar la rendición de cuentas y la confianza ciudadana respecto a las instituciones.
En primer término, tal como plantean Trimble y Plummer (2019), respecto al caso del sector pesquero uruguayo, y Worthen et al. (2019), respecto al proyecto de investigación-acción que impulsaron en África, la evaluación participativa es útil en el caso de contextos sociales que presentan conflictos entre actores. Como la experiencia uruguaya indica, la conformación de consejos permitió fortalecer las relaciones entre los diversos involucrados y hacerlos corresponsables de una serie de objetivos comunes.
Por otro lado, el caso de los nativos australianos muestra que la generación de comunidades de discusión permite que los aprendizajes ocurran entre quienes participan en ellas. Además, este mismo caso, como el proyecto de investigación-acción participativa implementado en África, son claros en mostrar que la promesa de dar voces a las partes interesadas, sobre todo a aquellas que tienen menos posibilidades de ser escuchadas, es efectiva, pues
son capaces de hacer aportes relevantes para la gestión de programas. Y no solamente eso, sus opiniones pueden ser integradas en la gestión de los programas. Esto lleva a un tercer aspecto, y es que la evaluación participativa, al permitir gestionar conflictos y dar voz a sectores excluidos, puede aumentar los niveles de legitimidad de los programas públicos.
Sin embargo, incorporar la evaluación participativa dentro del conjunto de prácticas administrativas no es una tarea sencilla, toda vez que requiere cambios en el ámbito de la política y las ideas. Respecto al primero, su éxito depende de la concepción de participación que se fomente por parte del sistema político. Al mismo tiempo, precisa de un cambio de orden epistemológico. En este campo, como se ha venido mostrando, generalmente, dominan enfoques tecnocráticos y positivistas, donde el valor de las evaluaciones se funda en la calidad de la información, medida por el nivel de sofisticación metodológica empleada. De modo contrario, la evaluación participativa exige abrirse a miradas alternativas. Esto es más simple en el campo de la cooperación internacional, pues los donantes son quienes determinan los criterios de medición de los programas, pero no es claro que avanzar en esta línea permita generar consensos en los sistemas políticos y en las agencias de evaluación de políticas nacionales.
Otro desafío para el éxito de este tipo de evaluaciones apunta a la formación de los participantes y evaluadores. Al ciudadano se lo debe empoderar para que pueda expresar su opinión. En tanto, el evaluador tradicionalmente ha actuado como un experto mandatado para hacer posible la rendición de cuentas gracias a un proceso de indagación que permitirá producir conocimiento objetivo y confiable sobre la efectividad de la intervención (Chouinard, 2013). En un esquema participativo, es necesario que los evaluadores transiten desde un rol de expertos hacia uno de facilitadores, para lo que requieren las competencias técnicas y sociales que faciliten esto. Sin embargo, más importante es que tengan la voluntad genuina de aceptar la participación de quienes no tienen el conocimiento técnico, para así permitir la aparición de aprendizajes colectivos respecto de los resultados del programa o política pública que está siendo evaluado (véase Trimble & Plummer, 2019). Esto, además, exige un esfuerzo para transmisión de valores en las escuelas de asuntos públicos, que tiende a ser enunciativa y disociada de la enseñanza de instrumentos de gestión y evaluación. La formación para la evaluación participativa, en cambio, requiere que ambas esferas se integren. Pero avanzar en esa línea implica que las instituciones educativas desarrollen un profundo proceso de reformulación paradigmática.
En síntesis, la evaluación participativa podría ser una alternativa útil para incorporar a la ciudadanía en la gestión de los asuntos públicos, pero exige que, primero, se establezcan definiciones respecto a:
1) el tipo de participación que se busca fomentar;
2) el mecanismo adecuado a utilizar;
3) si los actores del sistema político y administrativo están dispuestos a aceptar como válido y útil un tipo de conocimiento alternativo al dogma positivista; y
4) si los directivos y académicos de las instituciones de formación son capaces de capacitar evaluadores-facilitadores.
¿Están dispuestos los actores políticos, administrativos y las escuelas de asuntos públicos a avanzar en esa línea?
• Aragona, C., Arangurena, M. A., Díez, M., Iturrioz, C., & Wilson, J. (2014). Participatory evaluation: a useful tool for contextualising cluster policy? Policy Studies, 35, 1-21.
• Banco Interamericano de Desarrollo (BID) & Centro Latinoamericano de Administración para el Desarrollo (CLAD). (2007). Modelo abierto de gestión para resultados en el sector público. Washington: BID-CLAD.
• Barría Traverso, D., González-Bustamante, B., & Araya, E. (2016). Democracia electrónica y participación digital. Avances y desafíos. En J. R. Gil-García, Tecnologías de información y comunicación en la Administración pública: conceptos, enfoques, aplicaciones y resultados. México: INFOTEC.
• Briceño, B. (2012). Defining the type of M&E system: Clients, intended uses, and utilization. En G. K. López-Acevedo, Building Better Policies. The nuts and bolts of monitoring and evaluation systems, 33-46. Washington: Banco Mundial.
• Brimblecombe, J., Van den Boogaard, Ch., Ritchie, J., Bailie, R., Coveney, J., & Liberato, S. (2014). From targets to ripples: Tracing the process of developing a community capacity building appraisal tool with remote Australian indigenous communities to tackle food security. BMC Public Health, 14 (914).
• Callahan, K. (2010). Next wave of performance measurement: Citizen engagement. En J. Svara, & J. Denhardt, Connected communities: Local governments as a partner in citizen engagement and community building, 95-
101. Phoenix: Alliance for Innovation.
• Canadian International Development Agency. (2001). How to perform evaluations: participatory evaluations. Quebec: Canadá.
• Chouinard, J. A. & Milley, P. (2015). From new public management to new political governance: implications for evaluation. Canadian Journal of Program Evaluation, 30 (1), 1-22.
• Chouinard, J. A. & Milley, P. (2016). Mapping the spatial dimensions of participatory practice: a discussion of context in evaluation. Evaluation and Program Planning, 54, 1-10.
• Chouinard, J. A. & Milley, P. (2018). Uncovering the mysteries of inclusion: empirical and methodological possibilities in participatory evaluation in an international context. Evaluation program and planning, 67, 70-78.
• Chouinard, J. A. (2013). The case for participatory evaluation in an era of accountability. American Journal of Evaluation, 34 (2), 237-253.
• Cousins J. & Chouinard, J. (2012). Participatory evaluation up close: an integration of research-based knowledge. Charlotte: Information Age Publishing.
• Cousins, J. & Whitmore, E. (1998). Framing participatory evaluation. New Directions for Evaluation, 80, 5-23.
• Cousins, J. & Whitmore, E. (2007). Making sense of participatory evaluation: framing participatory evaluation. New Directions for Evaluation, 114, 33-105.
• Delamaza, G. (2019). La participación ciudadana en la superación de la pobreza. Realidad y desafíos para la democracia chilena. Revista de Gestión Pública, XVIII (2).
• Denhardt, J. & Denhardt, R. (2000). The new public service. Serving rather steering. Public Administration Review, 60 (6), 549-559.
• Denhardt, J. & Denhardt, R. (2015a). The new public service. Serving, not steering. Nueva York: Routledge.
• Denhardt, J. & Denhardt, R. (2015b). The new public service revisited. Public Administration Review, 75 (5), 664-667.
• Denhardt, R. & Catlaw, T. (2015). Theories of public organization. Stamford: Cengage.
• Estrella, M. & Gaventa, J. (1998). Who counts reality? participatory monitoring and evaluation: a literature review. IDS, Brighton.
• Frederickson, H. G., Smith, K., Larimer, C. & Licari, M. (2012). The public administration theory primer. Filadelfia: Westview Press.
• García López, R., & García Moreno, M. (2010). La gestión para resultados en el desarrollo. Avances y desafíos en América Latina y el Caribe. Washington: Banco Interamericano de Desarrollo.
• Gil-García, J. R., Gascó, M., & Pardo, T. (2020). Beyond transparency, participation and collaboration? A Reflection on the Dimensions of Open Government. Public Performance & Management Review, 43 (2), 1-20.
• González, A. & Cerdán, A. (2008). Marco analítico y de investigación. En
A. González (Ed.), ¿Gobernar por resultados? Implicancias de la política de evaluación del desempeño del Gobierno, 23-41. México: Gesoc A.C.
• Grimmelikhuijsen, S., Porumbescu, G., Hong, B., & Im, T. (2013). The effect of transparency on trust in government: a cross‐national comparative experiment. Public Administration Review, 73 (4), 575-586.
• Guijt, I. (2014). Methodological briefs impact evaluation No. 5. Participatory Approaches. Florencia: Unicef.
• Haugen, J. S., & Chouinard, J. A. (2019). Transparent, translucent, opaque: exploring the dimensions of power in culturally responsive evaluation contexts. American Journal of Evaluation, 40 (3), 376-394.
• Hood, C. (1991). A Public Management for all seasons? Public Administration,
69 (1), 3-19.
• Huenchuan, S. & Paredes, M. (2007). Guía metodológica para la evaluación participativa de políticas y programas, en el marco de la estrategia regional sobre el envejecimiento. Comisión Económica para América Latina y El Caribe.
• Kure, N., Nørreklit, H., & Røge, K. (2020). Objective and results-based management of universities: constructing reality or illusions? Financial Accountability & Management in Governments, 1.27. Obtenido de https://doi. org/10.1111/faam.12251
• Kusek, J. & Rist, R. (2004). Ten steps to a results-based monitoring and evaluation system. A handbook for development practitioners. Washington: Banco Mundial.
• Mackay, K. (2012). Conceptual framework for monitoring and evaluation. En López-Acevedo, G., Krause, P., & Mackay, K., Building Better Policies. The Nuts and Bolts of Monitoring and Evaluation Systems, 21-31. Washington: Banco Mundial.
• Maríñez Navarro, F. (2013). ¿Qué transparencia requiere el gobierno abierto?
Revista de Gestión Pública, II (2), 303-333.
• Mazur, S. (2020). The competition of ideas and ideational disruption. En Public Administration in Central Europe. Ideas as Causes of Reforms. Londres: Routledge.
• Nabatchi, T., Sancino, A. & Sicilia, M. (s.f.). Varieties of participation in public services: the who, when and what of coproduction. Public Administration Review, 77 (5), 766-776.
• Organización de las Naciones Unidas para la Alimentación y la Agricultura (FAO). (2017). Toolkit for the application of green negotiated territorial development (GreeNTD). Working Paper 16b.
• Organización para la Cooperación y el Desarrollo Económico (OCDE). (2001). Results Based Management in the Development Co-Operation Agencies: A Review of Experience. París: OCDE.
• Plottu B. & Plottu, E. (2009). Approaches to Participation in Evaluation: Some Conditions for Implementation. Evaluation, 15 (3), 343-359.
• Plottu B. & Plottu, E. (2012). Participatory evaluation: The virtues for public governance, the constraints on implementation. Group Decis Negot, 20, 805824.
• Ramírez-Alujas, A. (2011). Gobierno abierto y modernización de la gestión pública. Tendencias zactuales y el (inevitable) camino que viene. Reflexiones seminales. Enfoques, IX (15), 99-125.
• Reiter, R. & Klenk, T. (2019). The manifold meanings of ‘post-new public management’ – A Systematic Literature Review. International Review of Administrative Sciences, 85 (1), 11-27.
• Rogers, A., Harrison, N., Puruntatameri, T., Puruntatameri, A., Meredith, J., & Dunne, R. (2018). Participatory evaluation is the sea eagle looking “long way wide eyed”. Evaluation Journal of Australasia, 18 (2), 78-98.
• Rouse, J., Mutschler, C., McShane, K. & Habal-Brosek, C. (2017). Qualitative Participatory Evaluation of a Psychosocial Rehabilitation Program for Individuals with Severe Mental Illness. International Journal of Mental Health, 46 (2), 139-156.
• Sandoval-Almazán, R. (2015). Gobierno abierto y transparencia: construyendo un marco conceptual. Convergencia, 68, 203-227.
• Schick, A. (2003). The performing state: reflection on an idea whose time has come but whose implementation has not. OECD Journal on Budgeting, 3 (2), 71-103.
• Schick, A. (2007). Performance budgeting and accrual budgeting: decision rules or analytic tools? OECD Journal on Budgeting, 7 (2), 109-138.
• Silva, P. & Cleuren, H. (Eds.). (2009). Widening democracy. Citizens and participatory schemes in Brazil and Chile. Leiden: Brill.
• Sotelo Maciel, A. (2008). La planificación-presupuesto en el marco de la gestión orientada a resultados. Reforma y democracia. Revista del CLAD, 40.
• Trimble, M. & Plummer, R. (2018). Participatory evaluation in times of governance transition: The case of small-scale fisheries in Uruguay. Ocean and Coastal Management, 161, 74-83.
• Trimble, M. & Plummer, R. (2019). Participatory evaluation for adaptive comanagement of social-ecological systems: a transdisciplinary research approach. Sustainability Science, 14, 1091-1103.
• United Nations Development Group (UNDG). (2011). Results-based management handbook. Sin ciudad: Naciones Unidas.
• Vähämäki, J. & Verger, C. (2019). Learning from results-based management evaluations and reviews. OECD. Obtenido de https://doi.org/10.1787/3fda0081en
• Valenzuela Mendoza, R. (2014). Gobierno abierto en una perspectiva multinivel: reflexiones entre la razón teórica y la innovación práctica. Revista de Gestión Pública, III (1), 163-197.
• Whorten, M., Veale, A., McKay, S. & Wessells, M. (2019). The transformative and emancipatory potential of participatory evaluation: reflections from a participatory action research study with war-affected young mothers. Oxford Development Studies, 47 (2), 154-170.
• Woolum, J. (2010). Citizen-government dialogue in performance measurement cycle: cases from local government. En Connected communities: local governments as a partner in citizen engagement and community building, editado por Svara, J. & Denhardt, J., 102-105. Phoenix, AZ: Alliance for Innovation.
• Zukoski, A. & Luluquisen, M. (2002). Participatory evaluation: what is it? why do it? what are the challenges? Comunity-Based Public Health Policy & Practice, 5, 1-6.
• Zurbriggen, C. & González Lago, M. (2014). Innovación y co-creación: nuevos desafíos para las políticas públicas. Revista de Gestión Pública, III (2), 329361.
•