83
DISEÑO DE UN MODELO PILOTO DE EVALUACIÓN DE RESULTADOS DE ACTIVIDADES DE CAPACITACIÓN DE LA CONTRALORÍA A FUNCIONARIOS PÚBLICOS
DESIGN OF A PILOT MODEL FOR EVALUATION OF RESULTS OF TRAINING ACTIVITIES IN THE OFFICE OF THE COMPTROLLER FOR CIVIL SERVANTS
Manuel Ignacio Fernández Córdova 1
Resumen
Este trabajo pretende el diseño de unmodelopiloto de evaluación de resultados de las actividades de capacitación que realiza la Contraloría General de la República a los funcionarios públicos. El diseño del modelo piloto se realiza mediante a la revisión teórica y aplicación de entrevistas, tanto a funcionarios y jefaturas de la Contraloría, como a expertos en temas de capacitación. Luego se testea el modelo piloto de evaluación a los funcionarios aprobados —y sus jefaturas— de un curso virtual que la Contraloría ejecutó durante el segundo semestre de 2018. A partir del testeo, se concluye que el diseño evaluativo es aplicable, y replicable, a otras actividades de capacitación, con ciertas modificaciones dependiendo del tipo y contexto de capacitación.
Palabras clave: capacitación – modelos de evaluación – desarrollo de conocimiento – funcionarios públicos
Abstract
This work aims to design a pilot model for evaluating the results of the training activities carried out by the Office of the Comptroller General of the Republic of Chile for public workers. The design of the pilot model is carried out through the theoretical revision and conduction of interviews, both to civil servants, heads of the Office of the Comptroller and to experts in training topics. Then, the pilot eva - luation model is tested on the public officials —and their department heads— that approved a virtual course that the Office of the Comptroller carried out during the second semester of 2018. From the testing, it is concluded that the evaluative
1 Administrador público, magíster © en Gobierno y Gerencia Pública de la Universidad de Chile.
84
Manuel Ignacio Fernández Córdova
design is applicable, and replicable, to other training activities, with modifica - tions depending on the type and context of training.
Keywords: training – evaluation models – knowledge development – public offi - cials
Introducción
La Contraloría General de la República de Chile es el órgano superior de fiscali - zación de la Administración del Estado, que está contemplado en la Constitución Política y es autónomo respecto del Poder Ejecutivo y de los demás órganos públicos. Controla la legalidad de los actos administrativos y resguarda el co- rrecto uso de los fondos públicos (Contraloría General de la República, s.f.). Su funcionamiento se enmarca en la ley Nº 10.336.
Además de lo anterior, uno de sus objetivos estratégicos es apoyar el fortale- cimiento del sector público (Contraloría General de la República de Chile, 2016, pág. 2), generando mecanismos que permitan a las entidades fiscalizadas lograr conocimiento y habilidades de normativas y procedimientos, con la finalidad de disminuir posibles observaciones en los procesos de fiscalización. En dicho marco, desde 2010 la Contraloría realiza de manera gratuita capacitaciones a instituciones públicas y municipios, con el objeto de que los funcionarios de las entidades participantes adquieran conocimientos y habilidades concretas para la mejora en la eficiencia de los procesos internos y el buen uso de los recursos públicos con ajuste al cumplimiento normativo.
Este proceso, denominado capacitación externa, fue gestionado hasta 2018 por el Departamento de Capacitación de la Contraloría (2013), unidad que establecía en sus definiciones estratégicas ser la instancia que «colabora estratégicamente con las demás instituciones públicas, produciendo actividades de capacitación que contribuyan en la mejora de los procesos en la Administración Pública, po- niendo especial atención en aquellas prácticas que optimicen, eficiente y eficaz - mente, el uso de los recursos y la generación de valor público resguardando la probidad administrativa» (pág. 1). Actualmente este proceso lo lleva a cabo el Centro de Estudios de la Administración del Estado (CEA), instancia académica de la Contraloría que tiene como principal objetivo «fortalecer la gobernanza a través de la formación transversal de funcionarios y servidores de la Administra- ción del Estado, estudiantes y la sociedad civil, promoviendo la implementación de buenas prácticas en la gestión pública, la generación de contenidos y la vin- culación con la ciudadanía» (CEACGR, s.f.).
En dicho contexto, el Departamento de Capacitación gestionó desde 2010 a 2016, más de mil actividades para funcionarios de instituciones públicas y mu- nicipios, con recursos presupuestarios y humanos propios de la Contraloría; es
Diseño de un modelo piloto de evaluación de resultados de actividades de capacitación de la Contraloría a funcionarios públicos
decir, los gastos en la ejecución de las actividades han estado a cargo de la ins- titución fiscalizadora, gastos por ejemplo en salas, equipamiento y materiales. Asimismo, son funcionarios de la Contraloría —especialistas en temáticas espe- cíficas relacionadas con la Administración del Estado— quienes han levantado y relatado los contenidos de cada actividad.
La relevancia del proceso capacitador de la Contraloría se puede verificar en que la institución ha destinado, en los últimos años, a la ejecución de actividades de capacitación para funcionarios de la Administración del Estado, alrededor del 1% de su presupuesto, según cifras del Departamento de Presupuesto de la Con - traloría; ofreciendo 42.751 cupos de capacitación entre los años 2010 y 2016.
Si bien se puede constatar la relevancia del esfuerzo institucional, realizando una amplia cartera y tipologías de actividades de capacitación, como cursos, talleres, charlas, seminarios, entre otros, por distintas razones de gestión, hasta ahora la Contraloría no cuenta con un diseño metodológico que permita evaluar si los esfuerzos institucionales —financieros y de recursos humanos— de realizar estas actividades han generado los resultados esperados, en términos de influir en la mejora de la eficiencia de las instituciones participantes o producir cam - bios en el comportamiento de los funcionarios una vez aprobados los cursos.
Lo anterior constituye una problemática, pues no contar con un diseño metodo- lógico que permita evaluar los resultados de las actividades de capacitación es relevante, porque la realización de las mismas implica significativos recursos institucionales, tanto de la Contraloría como de las instituciones públicas parti- cipantes, que posiblemente distraen capacidades profesionales, con la expecta- tiva de incrementar el capital humano en su gestión.
Actualmente la sociedad civil exige a las instituciones públicas que sus gastos generen resultados, los cuales puedan ser medibles y transparentes. Por esta razón, es importante que la Contraloría, como órgano encargado de velar por el buen uso de los recursos públicos, genere mecanismos efectivos para evaluar sus propios esfuerzos, en este caso específico, los que realiza en actividades de capacitación de otras instituciones del Estado.
En este orden de consideraciones, este trabajo pretende diseñar un posible modelo de evaluación de resultados de las actividades de capacitación de la Contraloría a funcionarios públicos, para luego «testearlo» en un curso esta ins- titución haya ejecutado en los últimos años, verificando su aplicación.
Con tal finalidad, esta investigación se estructura en el siguiente orden:
1. Marco teórico, con el propósito de obtener criterios referenciales del desa- rrollo de habilidades, conocimientos y actitudes en adultos, y su conexión con el proceso de evaluación de resultados.
85
86
Manuel Ignacio Fernández Córdova
2. Diseño metodológico, que permitirá establecer las preguntas y objetivos que se buscan cumplir, señalando el tipo y enfoque de investigación, des- cribiendo las técnicas e instrumentos para la recolección de los datos.
3. Contexto institucional, donde se expondrá de manera general la magnitud del esfuerzo que realiza la Contraloría en la ejecución de las actividades de capacitación, señalando posibles causas acerca de por qué la institución no cuenta con un modelo para evaluar los resultados de las actividades de capacitación.
4. Análisis de resultados de la investigación, exponiendo el diseño y levanta- miento del modelo piloto de evaluación de las actividades de capacitación que realiza la Contraloría a funcionarios públicos.
5. Conclusiones del trabajo, en atención a las preguntas de investigación y el marco teórico, verificando limitaciones del trabajo y futuras investigaciones que se puedan desprender de los resultados.
1. Marco teórico
1.1. Enfoque sistémico de la capacitación
En general, ha sido implementado por aquellas organizaciones que pretenden asegurar calidad en la gestión del proceso de capacitación, pues permite dotarlo de una estructura referencial para el establecimiento de etapas, procedimientos y tareas adecuados.
El enfoque, desde los aportes de Donald Kirkpatrick en 1959, indicaba que para lograr acciones formativas afectivas se debían tener en cuenta diez pasos fun- damentales:
1) determinación de las necesidades;
2) fijación de objetivos;
3) determinación de los contenidos;
4) selección de los participantes;
5) determinación del mejor plan de trabajo; 6) selección de la infraestructura apropiada; 7) selección de los formadores apropiados;
8) selección y preparación de materiales audiovisuales;
9) coordinación de la acción formativa;
10) evaluación de la acción formativa (Kirkpatrick, 1999).
Diseño de un modelo piloto de evaluación de resultados de actividades de capacitación de la Contraloría a funcionarios públicos
Por su parte, la Dirección Nacional del Servicio Civil de Chile (DNSC) señala que, a través de la instalación de un diseño ad hoc para la Administración pública chilena —orientado desde el Programa de Mejoramiento de la Gestión (PMG)—, se ha logrado implementar paulatinamente en ministerios y servicios públicos un modelo de gestión de capacitación, basado en el clásico modelo sistémico, compuesto por las siguientes etapas:
Etapa 1: Detección de necesidades de capacitación. Busca información, a través de evidencia sistematizada, con jefaturas o clientes internos acerca de los pro- blemas, necesidades o desafíos que están interfiriendo en el desempeño de los funcionarios. También se determinan las expectativas sobre la capacitación y se consensúan cuáles son los objetivos de desempeño o conductas que el partici- pante una vez finalizada la capacitación debe poner en práctica.
Etapa 2: Planificación. Se genera el diseño instruccional de la capacitación, transformando los objetivos de desempeño, relevados en la etapa anterior, en objetivos de aprendizaje, definiendo contenidos, metodología y duración de la actividad, teniendo presente elementos que faciliten una mayor probabilidad de transferencia desde la actividad de capacitación al puesto de trabajo, des- cribiendo los mecanismos de evaluación de satisfacción, aprendizaje y trans- ferencia. También se verifican las condiciones logísticas de las actividades de capacitación que se ejecutarán.
Etapa 3: Ejecución. Referida a todas las tareas que aseguran calidad en la imple- mentación, a través de una estrategia de seguimiento y monitoreo, y una meto- dología de gestión que permita tomar decisiones de ajustes sobre variables que puedan afectar la calidad del aprendizaje, por ejemplo, instructores, diseño de las actividades, duración, frecuencia, rol de las jefaturas, entre otros.
Etapa 4: Evaluación de la capacitación. Su finalidad es buscar información, a través de las mediciones realizadas —reacción, aprendizaje, transferencia e im- pacto—, que permitan tomar decisiones basadas en evidencias, para mejorar las actividades de capacitación que se están desarrollando (Dirección Nacional del Servicio Civil de Chile, 2014, págs.10-15).
1.2. Modelos de evaluación de la capacitación
En la Administración pública se consideran relevantes los procesos evaluativos, porque dotan de información estratégica acerca de las acciones y decisiones que se generan, verificando si se han cumplido los objetivos planteados para la realización de uno u otro programa.
En relación a la evaluación de la capacitación, se puede establecer que «la eva- luación de la formación en las organizaciones es una estrategia necesaria para garantizar la calidad de las acciones formativas que se llevan a cabo en su seno
87
88
Manuel Ignacio Fernández Córdova
y para impulsar el proceso de aprendizaje constante que el entorno actual exige» (Dirección Nacional del Servicio Civil de Chile, 2014, pág. 13).
En este marco, varios autores han ideado modelos de evaluación de la capa- citación, la mayoría basados en el de los cuatro niveles de Donald Kirkpatrick (1999), quien señala que «evaluar es el equivalente a tener un par de ojos: evita que andemos a tientas; nos proporciona información de qué debe continuar, qué debe cambiar y qué debe desaparecer…tendremos que basarnos en ella para poder demostrar a los colectivos interesados que su tiempo, dinero y esfuerzo han sido bien empleados» (pág. 13).
Los cuatro niveles que plantea Kirkpatrick son los siguientes:
Nivel 1: Reacción. Mide la forma como los participantes reaccionan a una acción formativa. El objetivo es que su satisfacción sea positiva, pues existen más po- sibilidades de que se produzca aprendizaje.
Nivel 2: Aprendizaje. Se refiere a la medición del aprendizaje adquirido por los participantes en la actividad de capacitación, modificando conocimientos, habi - lidades y actitudes.
Nivel 3: Transferencia. Concierne a los cambios de conducta en el puesto de trabajo a raíz del conocimiento adquirido. Estos pueden estar influenciados por factores externos a la capacitación, como la propia motivación de cambiar del participante, la estimulación de las jefaturas y un sistema de incentivos orga- nizacionales adecuados para producir el cambio. De ahí que en este nivel es necesario analizar también estos factores externos a la capacitación.
Nivel 4: Impacto. Se refiere a los resultados positivos que una acción formativa podría tener en una organización, ya sea por aumento de producción, mejora de calidad, incremento de usuarios satisfechos, entre otros.
La Dirección Nacional del Servicio Civil de Chile (2014) define que los procesos de evaluación en la Administración pública debiesen basarse en el modelo de los cuatro niveles, enfatizando en algunas consideraciones, por ejemplo que la com- plejidad de medición es mayor a medida que se aumenta de nivel, por tanto, la conveniencia de evaluar en el tercer y cuarto nivel deberá ser analizada a través de «criterios y herramientas que permitan identificar cuándo y cómo evaluar en estos niveles» (pág. 38).
1.3. Dimensiones de resultados en una evaluación
Complementariamente al punto 1.2, es necesario agregar que los resultados de la evaluación de un proyecto o programa bien planteado pueden ser a nivel de proceso, producto, resultados intermedios y resultados finales. Esto se puede
Diseño de un modelo piloto de evaluación de resultados de actividades de capacitación de la Contraloría a funcionarios públicos
realizar a través de la metodología de marco lógico de la Agencia Internacional de Desarrollo de Estados Unidos (USAID), cuya finalidad fue obtener un «…esque - ma evaluatorio, que permitiera definir si un proyecto funcionó o no, si produjo los resultados esperados y si los medios y recursos empleados tuvieron el impacto apropiado» (Calderón Vázquez, 2008, pág. 7). Esta herramienta proporciona in- formación de utilidad para la planificación, ejecución, monitoreo y evaluación de proyectos o programas, a través del análisis estructurado de un problema, sus relaciones causales y los objetivos que persigue el proyecto o programa que se desplegó como solución.
Siguiendo a Ortegón et al. (2005), los niveles de objetivos en la metodología de marco lógico se pueden definir de la siguiente manera (págs. 23-24):
a) Fin: objetivo de desarrollo en que el proyecto o programa se enmarca, des- cribiendo el impacto a largo plazo que contribuirá la operación de la interven- ción.
b) Propósito: efecto directo, ya sea en cambios de comportamientos o resul- tado esperado al final del período de ejecución del proyecto o programa. Se define como una hipótesis sobre lo que debiese ocurrir si se realiza la intervención, como tal, está fuera del control total de quienes ejecutan el pro- yecto o programa, pues ellos son responsables de generar las condiciones necesarias para que se produzca el propósito, a través del cumplimiento de los componentes, pero existen más variables que pueden afectar el logro del propósito, como por ejemplo condiciones ambientales, sociales y humanas.
c) Componentes: resultados que entregará la ejecución del proyecto o progra- ma, que pueden ser, por ejemplo: obras, estudios o capacitación terminadas. Se supone que, si se logran los componentes de manera adecuada, se logra- ría el propósito.
d) Actividades: lo que se hará en la ejecución del proyecto o programa, para cumplir cada componente.
Se verifica una lógica vertical en los niveles de objetivos, existiendo vínculos causales de abajo hacia arriba entre estos niveles, es decir, las actividades son necesarias para producir el componente; se requiere de cada componente para lograr el propósito del proyecto; si se logra el propósito del proyecto, contribuirá al logro del fin.
En este enfoque de marco lógico, la evaluación de los niveles de objetivos está referida al cumplimiento de los indicadores planteados para cada nivel, siendo la evaluación posible en cuatro dimensiones:
1) A dimensión de procesos: por ejemplo, apego a procedimientos de compra, procesos tecnológicos y de administración financiera.
89
90
Manuel Ignacio Fernández Córdova
2) A dimensión de productos: logro de los servicios o productos que pretende realizar un proyecto o programa.
3) A dimensión de resultados intermedios: cumplimiento de cambios en el comportamiento, actitudes o estado de quienes son los beneficiarios de la intervención, una vez que han recibido los bienes o servicios.
4) A dimensión de resultados finales: impactos en el mejoramiento significati - vo y perdurable en el tiempo de alguna de las condiciones o características de la población, objetivo que se definió como esencial en la definición del problema. (Dirección de Presupuestos, 2015, pág. 20).
Estas dimensiones de resultados de la evaluación en proyectos y programas, analizadas bajo la metodología de marco lógico, son perfectamente homologa- bles al modelo de evaluación de la capacitación de Kirkpatrick, pues se refieren a elementos similares, tal como se establece en el siguiente cuadro:
Cuadro Nº 1: comparación niveles de evaluación de la capacitación bajo modelo de Kirkpatrick y dimensiones de resultados en evaluación de proyectos y progra- mas bajo modalidad metodología de marco lógico (MML)
Niveles de evaluación de la Dimensiones de resultados de
capacitación - Modelo de Kirkpatrick
Niveles de objetivos en MML
proyectos y programas - Evaluación MML
1. Reacción
Actividades Componentes
Procesos Productos
2. Aprendizaje 3. Transferencia
Propósito
Resultados intermedios
4. Impacto
Fin
Resultados finales
Fuente: elaboración propia.
Se logra establecer, en primer término, que las evaluaciones de proyectos y pro- gramas pueden ser respecto de la dimensión de procesos y productos, lo cual es armonizable con la medición del nivel de reacción en el modelo de Kirkpatrick, pues se verifica cómo el participante evalúa una actividad de capacitación en sus procesos de convocatoria, ejecución, relatoría, entre otros, y si se cumplió con el producto —o servicio— que se pretendía entregar con la capacitación, por tanto, también tiene que ver con los niveles de actividades y componentes en la metodología de marco lógico.
Por otra parte, la evaluación a dimensión de resultado intermedio se puede em- parejar con los niveles evaluativos de aprendizaje y transferencia en el modelo de Kirkpatrick, ya que implica verificar si la actividad de capacitación generó, por
Diseño de un modelo piloto de evaluación de resultados de actividades de capacitación de la Contraloría a funcionarios públicos
una parte, modificaciones en los conocimientos, habilidades y actitudes nece - sarias en los participantes —aprendizaje— y, por otra, cambios en el comporta- miento o actitudes en el puesto de trabajo de quienes recibieron la capacitación —transferencia—. Lo anterior está íntimamente relacionado al nivel de objetivo de propósito en marco lógico, ya que se refiere al efecto directo esperado de un programa de capacitación.
Por último, la evaluación a dimensión de resultados finales es comparable con el nivel de evaluación de impacto, pues se pretende verificar si la capacitación contribuyó al logro de objetivos de desarrollo organizacional, como aumentos en la producción, mejora de la calidad de los productos o servicios, aumento en la satisfacción de los usuarios, entre otros; lo cual está conectado al nivel de fin en marco lógico, puesto que implica describir la contribución a largo plazo que la intervención de capacitación logró impactar.
2. Diseño metodológico
En este capítulo se establecerán las preguntas y objetivos de investigación, explicando qué tipo y enfoque de investigación se utilizarán para responder dichas preguntas y cumplir con los objetivos. Por último, se describirá el instrumento para la recolección de los datos.
2.1. Preguntas de investigación
Pregunta principal:
¿Existe un diseño metodológico de evaluación de resultados adecuado para las actividades de capacitación que imparte la Contraloría a funcionarios públicos, tanto en su dimensión conceptual como operativa?
Adicionalmente, a partir de la evaluación de una actividad de capacitación en particular, se contestarán las siguientes preguntas complementarias:
a) ¿La evaluación de resultados intermedios del curso e-learning de «Nueva normativa y procedimientos de rendición de cuentas» es replicable en otros cursos ejecutados por la Contraloría?
b) ¿Cómo la evaluación de resultados de los cursos de capacitación facilitará la toma de decisiones de asignación de recursos y definición de futura oferta de capacitación en la Contraloría?
2.2. Objetivos
General:
Analizar la factibilidad y el diseño posible de un modelo metodológico, para evaluar los resultados intermedios de los cursos dictados por la Contraloría.
91
92
Manuel Ignacio Fernández Córdova
Específicos:
a) Revisar los datos administrativos y levantar información de resultados a nivel de profesionales que cursaron las materias.
b) Identificar modelos de evaluación de resultados de capacitación.
c) Relacionar la aplicabilidad del diseño piloto de modelo de evaluación de resultados en otras actividades de capacitación que imparte la Contraloría.
d) Proponer un modelo piloto de evaluación de resultados de actividades que imparte la Contraloría a funcionarios públicos.
2.3. Diseño de la investigación
2.3.1. Tipo y enfoque de investigación
Para cumplir con los objetivos propuestos, se ha definido realizar una investigación de tipo mixta, con preponderancia cualitativa, ya que se enfocará en comprender el proceso de la evaluación de resultados de las actividades de capacitación desde la perspectiva de los actores que participan y son expertos en el fenómeno, relacionándolo con el contexto de gestión del Departamento de Capacitación y la Contraloría, con el objeto de concebir un modelo posible de medición de resultados basado en tres ejes:
1) la experiencia de los analistas y directivo de la Contraloría relacionados con el proceso de capacitación de funcionarios públicos,
2) ideas aplicables de expertos en evaluación de resultados de capacitación; y 3) el marco conceptual de la evaluación de resultados de capacitación.
Tal como lo plantean los especialistas en metodología (Hernández Sampieri et al., 2016), un tipo de investigación con preponderancia cualitativa se «...basa más en una lógica y proceso inductivo —explorar y describir, y luego generar perspectivas teóricas—. Va de lo particular a lo general. Por ejemplo, en un estudio cualitativo típico, el investigador entrevista a una persona, analiza los datos que obtuvo y saca conclusiones; posteriormente, entrevista a otra persona, analiza esta nueva información y revisa sus resultados y conclusiones; del mismo modo, efectúa y analiza más entrevistas para comprender el fenómeno que estudia» (pág. 8).
En este orden de consideraciones, la primera etapa de la investigación pretende generar una perspectiva global y práctica —un modelo piloto de evaluación de resultados de capacitación— a partir de las consideraciones particulares de los actores que intervienen en el proceso, quienes conocen y participan del contexto de gestión institucional en que se desenvuelve la capacitación que la Contraloría entrega a funcionarios públicos, adicionando aportes de expertos en andragogía en el sector público.
Una vez diseñado el modelo posible de evaluación de resultados de capacitación, en una segunda etapa se pasará a la parte cuantitativa, pues se testeará el
Diseño de un modelo piloto de evaluación de resultados de actividades de capacitación de la Contraloría a funcionarios públicos
modelo, aplicándolo a un caso particular de curso que ha realizado la Contraloría a funcionarios públicos y municipales —denominado «Curso e-learning de nueva normativa y procedimientos de rendición de cuentas»—, teniendo presente el objetivo general de investigación, que es analizar la factibilidad del diseño metodológico de evaluación de resultados de cursos dictados por la Contraloría, con la finalidad de encontrar una mejor práctica de acuerdo con el planteamiento del problema. En definitiva, en esta segunda etapa se aplicará el modelo piloto a través de una encuesta a los aprobados y sus jefaturas de la última versión del curso señalado anteriormente, debiendo, en lo posible, lograr las respuestas de una muestra representativa a nivel regional.
En dicho sentido, el enfoque del diseño mixto se circunscribe fundamentalmente a la investigación-acción, pues según Hernández Sampieri et al. (2016) estos tipos de enfoque de investigación tienen la finalidad de comprender y resolver una problemática específica de una colectividad vinculadas a un ambiente —grupo, programa, organización o comunidad—, frecuentemente aplicando la teoría y mejores prácticas de acuerdo con el planteamiento. Asimismo, la investigación-acción se centra en aportar información que guíe la toma de decisiones para proyectos, procesos y reformas estructurales (pág. 496).
2.3.2. Técnicas de recolección de datos
Como se señaló, esta investigación consta de dos etapas, la primera responde al levantamiento de un modelo posible de evaluación de resultados de capacitación; y la segunda, a la aplicación de dicho modelo en un curso que haya dictado la Contraloría a funcionarios públicos y municipales. En este contexto, para cada etapa existirán muestras y técnicas de recolección de datos diferentes, las cuales se pasan a detallar:
Etapa 1: levantamiento del modelo piloto de evaluación de resultados de capacitación de la Contraloría a funcionarios públicos y municipales.
En esta etapa se ha decidido utilizar entrevistas semiestructuradas como técnica de recolección de datos. Para generar el diseño y estructura del guion de las entrevistas, se realizó una metodología ad hoc que se describe en el capítulo de análisis y evaluación de resultados.
Cabe destacar que la entrevista se define como una reunión para conversar e intercambiar información entre una persona —el entrevistador— y otra —el entrevistado— u otras —los entrevistados—; las del tipo semiestructuradas se caracterizan por basarse en una guía de asuntos o preguntas, teniendo la libertad de introducir preguntas adicionales para precisar conceptos u obtener mayor información (Hernández Sampieri et al., 2016, pág. 403).
Para la aplicación del instrumento, se ha establecido una muestra de actores clave y expertos que ayuden a responder la pregunta de investigación y entender en mayor profundidad el objeto de estudio. Por tanto, se trata de una muestra no probabilística o dirigida, según las siguientes características:
93
94
Manuel Ignacio Fernández Córdova
a) Muestra homogénea: se refiere a los actores de la Contraloría que intervienen en el proceso de capacitación que esta dirige a funcionarios públicos. Son claves sus apreciaciones respecto a un modelo piloto de evaluación de resultados, pues conocen el contexto y los posibles bemoles en una implementación de este tipo. Se denomina muestra homogénea, porque comparten el rasgo similar de intervenir en el fenómeno. Los siguientes actores son parte de esta muestra:
a. Analistas del Departamento de Capacitación
b. Jefa del Departamento de Capacitación
b) Muestra de expertos: es necesaria la opinión de expertos en andragogía en el sector público, con el fin de generar precisión en el posible modelo piloto evaluativo. En palabras de Hernández Sampieri et al., este tipo de muestras son comunes cuando se pretende mejorar un proceso (2016, pág. 287). Los siguientes actores son parte de esta muestra:
a. Jefatura o consultor de la Subdirección de Gestión y Desarrollo de las Personas de la Dirección Nacional del Servicio Civil de Chile
b. Académico experto en recursos humanos
Etapa 2: aplicación del modelo piloto de evaluación de resultados de capacitación de funcionarios públicos y municipales —y sus jefaturas— que hayan aprobado un curso dictado por la Contraloría.
Una vez diseñado el modelo piloto, para esta segunda etapa se ha establecido un testeo con funcionarios públicos y municipales —y sus jefaturas directas— que hayan aprobado un curso dictado por la Contraloría.
La aplicación del modelo piloto evaluativo se realizará a través de cuestionarios estandarizados que reportarán información acerca de su empleabilidad. Esta técnica permitirá medir de manera cuantitativa la efectividad del curso dictado por la Contraloría, evaluando sus resultados intermedios. En términos prácticos, el cuestionario se aplicará a través de la plataforma que la Contraloría mantiene para las encuestas, que permite la configuración y seguimiento efectivo de las respuestas.
Se ha decidido aplicar el modelo piloto a los funcionarios aprobados y sus jefaturas que participaron de la última versión del «Curso e-learning de nueva normativa y procedimientos de rendición de cuentas», dictado el segundo semestre de 2018.
Diseño de un modelo piloto de evaluación de resultados de actividades de capacitación de la Contraloría a funcionarios públicos
3. Contexto de investigación
En este capítulo se expondrá de manera general la magnitud del esfuerzo insti- tucional respecto a la capacitación de funcionarios del Estado, exponiendo las posibles causas de por qué la Contraloría no cuenta con un modelo para evaluar los resultados de las actividades de capacitación.
3.1. Magnitud del esfuerzo
Como se señaló en la introducción, desde 2010 la Contraloría realiza capacita- ciones gratuitas a instituciones públicas y municipios, ejecutando varios tipos de actividades.
A partir de 2013, el Departamento de Capacitación generó una minuta con defi - niciones metodológicas (Anexo 1), en la cual estipuló dos grupos de actividades de capacitación, según predominase en ellas lo práctico o lo teórico, a partir del análisis de cinco variables:
1) Número óptimo de participantes;
2) Horas pedagógicas promedio de duración de la actividad;
3) Amplitud de las temáticas que se desarrollan;
4) Profundización de los contenidos;
5) Tipo de interacción del relator con los participantes.
Lo anterior puede ser observado de manera resumida en el siguiente cuadro:
95
96
Manuel Ignacio Fernández Córdova
Cuadro Nº 1: tipos de actividades de capacitación realizadas por la Contraloría
Descripción
Actividad de capacitación con connotación predominantemente práctica
Actividad de capacitación con connotación predominantemente teórica
Tipo
1 2 3 4 5 1 2 3 4 5
Consiste en el acom- pañamiento, instruc- ción y entrenamiento
a una persona, con el objetivo de conseguir alguna meta o de-
sarrollar habilidades específicas.
1
a
2
30
a
40
Reducida Alta Alta
Actividad que consis- te en el mejoramiento del desempeño de un funcionario en sus tareas laborales, a tra- vés de la adquisición de conocimientos técnicos, teóricos y prácticos. La principal característica es que el participante acom- paña al relator al pues- to de trabajo de este último, observando y adquiriendo los méto- dos de trabajo, las téc- nicas y competencias.
1
a
10
40
a
60
Moderada Moderada Alta
Actividad eminente- mente práctica, privi- legia un enfoque en el aprendizaje, más que en la enseñanza, considera el entre- namiento de solo un tema especializado y específico.
15
a
20
12 Baja
Alta Alta
Actividad que preten- de ayudar al funciona- rio recién ingresado a adaptarse a la Admi- nistración del Estado y la institución donde realizará sus funcio- nes. Generalmente orienta al novato, dándole información de la Administración del Estado y su institu- ción, como estructura, principales leyes, en- tre otras.
1
a
15
40
a
60
Alta
Baja
Baja
Tipología de enseñan- za en donde un ex- perto expone puntos de vista o enfoques acerca de una temáti- ca. Se desarrolla ante un grupo en auditorio.
30
a
35
2
a
8
Moderada Moderada Baja
Diseño de un modelo piloto de evaluación de resultados de actividades de capacitación de la Contraloría a funcionarios públicos
97
Descripción Actividad de capacitación con connotación Actividad de capacitación con connotación
Tipo predominantemente práctica predominantemente teórica
1 2 3 4 5 1 2 3 4 5
Tipología basada en el trabajo en grupo e intercambio oral de información, utilizada
para trabajar y profun- dizar desde el debate
y análisis colectivo en un tema predetermi- nado.
70
a 100
8
a 24
Alta
Moderada - Baja
Moderada
Tipología en la que se traspasan nuevos conocimientos o ha- bilidades, a través de una metodología pre- ferentemente expo- sitiva, pero con com- ponentes prácticos. Generalmente, un curso podría certificar competencias para el cumplimiento de fun- ciones específicas.
25
a
30
36 Baja
Alta
Baja
1 Número óptimo de participantes
2 Horas andragógicas promedio
3 Amplitud de temas
4 Profundización de contenidos
5 Interacción relator-participante
Fuente: elaboración propia, sobre la base de minuta metodológica del Departamento de Capacitación de la Contraloría.
98
Manuel Ignacio Fernández Córdova
Adicionalmente, en relación a la magnitud del esfuerzo institucional, se pueden observar los recursos institucionales que la Contraloría ha destinado en los últi- mos años a la capacitación, a través del presupuesto ejecutado como una varia- ble que fundamenta la relevancia del proceso capacitador para la Contraloría, lo cual se puede verificar en el siguiente cuadro:
Cuadro Nº 2: presupuesto ejecutado de la Contraloría en capacitación de funcio- narios de la Administración del Estado.
Año
Presupuesto ejecutado en capacitación de funcionarios de la Administración del Estado —cifras reales sobre la base de IPC acumulado ene-dic 2017—
% del presupuesto de la Contraloría
2010 $ 668.288.625 1,12 %
2011 $ 626.602.875 1,01 %
2012 $ 608.427.232 0,95 %
2013 $ 628.727.089 0,93 %
2014 $ 926.578.131 1,29 %
2015 $ 644.216.337 0,87 %
2016 $ 531.092.020 0,73 %
Fuente: elaboración propia, sobre la base de datos del Departamento de Presupuesto de la Contraloría.
Asimismo, se puede corroborar que la Contraloría ha ofrecido 42.751 cupos de capacitación de la Administración del Estado desde 2010 a 2016, según la si- guiente distribución anual:
Cuadro Nº 3: cantidad de actividades de capacitación que ha impartido la Con- traloría y cupos de capacitados de la Administración del Estado.
Año
Cantidad de actividades de capacitación que ha impartido la Contraloría
Número de cupos de capa- citación* a instituciones de la Administración del Estado
2010 72 2.478
2011 58 3.236
2012 156 5.308
2013 183 6.245
2014 270 8.970
2015 203 7.908
2016 214 8.606
Total 1.156 42.751
Fuente: elaboración propia, sobre la base de datos del Departamento de Capacitación de la Contraloría.
* Se entiende como cupo de capacitación de una vacante única. No se refiere al número de funcionarios capa - citados, pues un funcionario puede haber asistido en un año a más de una actividad, por tanto, puede generar
más de un cupo de capacitación.
Diseño de un modelo piloto de evaluación de resultados de actividades de capacitación de la Contraloría a funcionarios públicos
3.2. Modelo causal
Como se ha señalado, a pesar de la magnitud del esfuerzo institucional en la capacitación de funcionarios de la Administración, la Contraloría no cuenta con un modelo de evaluación para verificar si los resultados esperados se están cumpliendo.
En el contexto de la investigación, se identificaron las posibles causas de la ausencia de un modelo evaluativo. Entre ellas destaca la gestión del modelo de capacitación de la Contraloría, que privilegió ampliar la cobertura y temáticas de las actividades, es decir, la capacidad operativa se ha centrado en el proceso de ejecución de los cursos, dejando en segundo orden la evaluación.
Asimismo, difícilmente la capacidad operativa y de recursos humanos instala- dos en el Departamento de Capacitación, o actualmente en el Centro de Estudios de la Administración del Estado, podría lograr la gestión adecuada de un proceso evaluativo, toda vez que la preocupación de las autoridades de la Contraloría ha estado focalizada, en esta etapa, en el diseño y planificación de las actividades de capacitación, con la finalidad de mejorar falencias detectadas en la Adminis - tración del Estado. Por ejemplo, para la entrada en vigencia de una nueva ley o por materias observadas reiteradamente en las fiscalizaciones de la Contraloría en las instituciones públicas.
Por otra parte, en términos metodológicos, como se señaló en el cuadro Nº 1, las actividades de capacitación son disímiles entre sí, ya que algunos son cursos de más de treinta horas cronológicas, otros son talleres de ocho horas, en distintas modalidades, presencial y e-learning, lo que hace más complejo determinar un modelo único de evaluación de resultados aplicable a la capacitación que dicta la Contraloría.
En este orden de consideraciones, la decisión de la autoridad de seguir ejecu- tando una u otra actividad de capacitación, no se basaría en evidencia técnica, en relación a si están logrando los objetivos que se propusieron en su diseño. Igualmente, si no se puede determinar de manera precisa el éxito o fracaso de una capacitación, los recursos y esfuerzos institucionales pueden estar siendo subutilizados, o derechamente mal utilizados, porque no se cuenta con informa- ción para verificar si las actividades de capacitación están cumpliendo su objeti - vo, lo cual impide hacer correcciones necesarias respecto a su dictación, ya sea reorientándola o finalizando su ejecución; por todo lo anterior, no se realizaría eventualmente un gasto racional de los recursos públicos.
3.3. Alcance del problema
La carencia de un modelo evaluativo de resultados afecta a todas las capacita- ciones de la Contraloría para funcionarios de instituciones del Estado, pero este trabajo se acotará a la generación de un modelo piloto para evaluar los resul- tados específicos de un curso e-learning ejecutado desde 2015. Esto permitirá,
99
100
Manuel Ignacio Fernández Córdova
en lo sucesivo, que este diseño de modelo sea replicado, con sus respectivas modificaciones, en todas las tipologías de actividades de capacitación, con la fi - nalidad de evitar los efectos nocivos en la gestión descritos en el punto anterior.
El curso elegido para el testeo del modelo piloto fue la última versión del «Curso e-learning de nueva normativa y procedimientos de rendición de cuentas», dicta- do el segundo semestre de 2018, pues posee características que ayudan al pro- ceso investigativo, como la masiva participación en todas las regiones y varias entidades del aparato del Estado, alta demanda por realizar nuevas versiones del curso y facilitación de la comunicación con los participantes aprobados a través de medios tecnológicos que ya han utilizado con anterioridad.
Esta delimitación del problema obedece a la amplitud de los tipos de actividades de capacitación que realiza la Contraloría, lo cual provoca dificultades tempora - les y metodológicas para establecer un modelo único de evaluación de resulta- dos. Por tanto, el diseño de un modelo piloto permitirá generar las condiciones necesarias para avanzar, a lo menos, en el proceso de evaluación de resultados de las actividades de capacitación que la Contraloría considere estratégicas, o donde haya realizado mayores gastos de recursos presupuestarios y humanos.
4. Análisis de resultados
En este capítulo se presentarán los análisis y resultados de las dos etapas des- critas en el diseño metodológico, en atención a los objetivos orientadores.
4.1. Resultados de la etapa 1: levantamiento del modelo piloto de evaluación de resultados de capacitación de la Contraloría a funcionarios públicos y mu- nicipales
Esta etapa se estructuró en cuatro fases secuenciales, que tuvieron como fina - lidad generar los cuestionarios estandarizados que se aplicarán a una muestra representativa en la etapa 2, como testeo del modelo piloto. Las fases para este levantamiento son las siguientes:
4.2. Primera fase: generar el guion de las entrevistas semiestructuradas a ac- tores clave del proceso y expertos
Este guion se desarrolló armonizando los niveles de evaluación de la capaci- tación, propuestos en el modelo de Kirkpatrick (1999, pág. 13), con las dimen- siones de resultados en evaluación de proyectos y programas, planteadas en la metodología de marco lógico (Calderón Vázquez, 2008, pág. 7). De esta manera, se desarrollaron preguntas globales, que necesariamente estuvieran alineadas con el modelo de gestión de la capacitación impulsado por la Dirección Nacional del Servicio Civil de Chile (2014, págs. 10-15) donde se pueden desprender varias actividades de sus cuatro etapas.
Diseño de un modelo piloto de evaluación de resultados de actividades de capacitación de la Contraloría a funcionarios públicos
Estas actividades de las etapas del modelo de gestión de la capacitación se establecieron como las categorías de análisis para el desarrollo de las pregun- tas globales del guion. Dichas categorías se pueden describir a grandes rasgos como siguen:
1) Convocatoria: etapa de planificación de la capacitación, referida a los meca - nismos de difusión de las capacitaciones, específicamente cómo se dan a conocer al público objetivo.
2) Postulación: etapa que define los mecanismos por los cuales el público ob - jetivo postula a las capacitaciones.
3) Logística de ejecución: etapa que se relaciona con los aspectos operativos de la puesta en marcha, por ejemplo: salas, iluminación, material, formato de las presentaciones, entre otros.
4) Selección de contenidos y relatores: etapa relativa a los mecanismos por los cuales la Contraloría selecciona tanto las materias como los funcionarios idóneos para las relatorías.
5) Definición del alcance de la capacitación: etapa donde se establece el públi- co objetivo.
6) Definición de aspectos andragógicos: etapa donde se definen el número de horas y la cantidad óptima de participantes para lograr aprendizaje significa - tivo.
7) Determinación de los resultados esperados de la capacitación: etapa donde se delinean los objetivos que se esperan de ella.
8) Determinación del aprendizaje logrado con la capacitación: actividad donde se definen los mecanismos de verificación del logro del aprendizaje.
9) Verificación de la transferencia en el puesto de trabajo: actividad que se constata si los participantes de la capacitación replican lo aprendido en su puesto de trabajo.
10) Verificación de los beneficios a largo plazo: actividad que examina qué tipo de impactos tuvo la capacitación en la gestión institucional y en la Adminis- tración del Estado en general.
Teniendo en consideración los modelos de evaluación y las categorías descritas anteriormente, se realizó un set de preguntas para el guion de las entrevistas según el siguiente detalle:
101
102
Manuel Ignacio Fernández Córdova
Cuadro Nº 4: set de preguntas globales del guion de entrevista semiestructurada
Niveles de evaluación de
la capacitación - Modelo de Kirkpatrick
Niveles de objetivos en metodología de marco lógico
Dimen-
siones de resultados
de proyectos y programas - Evaluación metodología
de marco lógico
Actividad asociada a la gestión de la capacitación - Cate- goría de análisis
Pregunta global de la entrevista semiestructurada
Convocatoria
1. ¿Cuáles son los mecanis- mos de difusión de las acti- vidades?
Actividades
Procesos
Postulación
Logística de ejecución
2. ¿Cuáles son sus percepcio- nes respecto al sistema de postulación y selección de las actividades de capacitación en relación a su objetividad y transparencia?
3. ¿Cuáles son sus considera- ciones respecto al funciona- miento de las salas, presen- taciones, material, logística en general de las actividades de capacitación para funcio- narios de la Administración del Estado?
1. Reacción
Selección de contenidos y relatores
4. ¿Cuáles son los procedi- mientos adecuados para la selección de los contenidos y relatores de las actividades de capacitación?
5. ¿Cómo percibe la calidad de los contenidos y relatores?
Componentes
Productos
Definición del alcance de la capacitación
Definición de aspectos
andragógicos
6. ¿Existe una definición a qué estamentos se pretende capacitar, directivos, profe- sionales, técnicos o adminis- trativos? En caso de existir ¿por qué hay una definición de público objetivo?
7. ¿Cuál considera qué es el número de participantes adecuado para las principa- les tipologías de actividades de capacitación? —curso, curso e-learning, taller, charla, seminario—
8. ¿Cuál considera qué es el número de horas ade- cuado para las principales tipologías de actividades de capacitación? —curso, curso e-learning, taller, charla, se- minario—
Diseño de un modelo piloto de evaluación de resultados de actividades de capacitación de la Contraloría a funcionarios públicos
103
Determinación
de los resultados esperados de la capacitación
9. ¿Qué se espera con la ca- pacitación de funcionarios de la Administración del Estado?, ¿existe una teoría causal?
10. ¿Considera beneficioso que la Contraloría cumpla una función capacitadora en la Administración del Estado?, ¿por qué?
11. ¿Considera pertinentes las competencias de la Contraloría para capacitar a funcionarios de la Admi- nistración del Estado?
2. Aprendizaje 3. Transferencia
Propósito
Resultados intermedios
Determinación del aprendizaje logrado con la capacitación
12. ¿Cuáles son sus con- sideraciones respecto a la pertinencia de evaluar el aprendizaje en las activida- des de capacitación de la Contraloría?
13. ¿Cuáles son los meca- nismos utilizados para eva- luar el aprendizaje?
14. ¿Cuáles son sus con- sideraciones respecto a la pertinencia de certificar el conocimiento por parte de la Contraloría?
Verificación de la transferencia en el puesto de trabajo
15. ¿Cuáles cree son las expectativas de cómo los funcionarios podrían utili- zar la capacitación en sus tareas diarias?
16. ¿Podría señalar posi- bles indicadores respecto a la transferencia de la ca- pacitación en el puesto de trabajo?
4. Impacto
Fin
Resultados finales
Verificación de los beneficios a largo plazo
17. ¿Cuáles considera son los resultados esperados en el mejoramiento en la gestión y transparencia en la Administración del Esta- do con las actividades de capacitación de la Contra- loría?
Fuente: elaboración propia.
104
Manuel Ignacio Fernández Córdova
4.3. Segunda fase: recolectar datos que reportarán información útil para el diseño del modelo piloto de evaluación de resultados de la capacitación en la Contraloría
Esta recolección de datos se realizó a través de la realización de cuatro entrevis- tas semiestructuradas a los actores definidos en el marco metodológico, a quie - nes se les aplicó el set de preguntas definidas en la fase anterior. Las entrevistas fueron soportadas físicamente en grabaciones de audio y transcritas a formato escrito para el desarrollo de la posterior actividad de esta etapa. Las personas entrevistadas fueron las siguientes:
Muestra homogénea —actores clave del proceso—:
• Analista del Departamento de Capacitación Contraloría: Tamara Loyola Fuen- tes.
• Jefa del Departamento de Capacitación Contraloría: Loreto Basaure Tapia. Muestra de expertos:
• Consultor de la Subdirección de Gestión y Desarrollo de las Personas de la Dirección Nacional del Servicio Civil de Chile: Daniel Triviño Guerrero.
• Académico experto en Recursos Humanos y subdirector de Desarrollo de Per- sonas del Servicio de Impuestos Internos: Christian Hansen Cruz.
4.4. Tercera fase: reducir y analizar los datos reportados en las entrevistas semiestructuradas
Las entrevistas semiestructuradas tienen la particularidad de generar muchos datos, algunos relacionados con las categorías de análisis, otros no. En dicho contexto, los datos deben reducirse, para lo cual se utilizó una técnica ad hoc a este trabajo, verificando los puntos de coincidencia y diferenciadores de las respuestas de los entrevistados, permitiendo de esta manera el agrupamiento de las respuestas en relación a las categorías de análisis.
Los puntos de coincidencia se consideraron si dos o más entrevistados respon- dieron elementos similares en una pregunta; por otra parte, los puntos diferen- ciadores se examinaron solo si un entrevistado respondía elementos que otros entrevistados no señalaron en sus respuestas.
Luego de esta reducción, el análisis de los datos se realizó en atención a los puntos de coincidencia y diferenciadores, logrando inferencias que permitieran la creación de las preguntas para los cuestionarios del modelo piloto de evalua- ción que se testeará en la siguiente etapa, específicamente con los funcionarios aprobados —y sus jefaturas— de la última versión del «Curso e-learning de nueva normativa y procedimientos de rendición de cuentas».
Diseño de un modelo piloto de evaluación de resultados de actividades de capacitación de la Contraloría a funcionarios públicos
Considerando lo descrito, la reducción y análisis de los datos de las entrevistas semiestructuras se detallan en el siguiente cuadro:
105
106
Manuel Ignacio Fernández Córdova
Cuadro Nº 5: reducción y análisis de los datos de las entrevistas semiestructuradas
Diseño de un modelo piloto de evaluación de resultados de actividades de capacitación de la Contraloría a funcionarios públicos
107
Categoría de análisis
Pregunta de la entrevista
Puntos de coincidencia
Puntos diferenciadores
Posibles preguntas modelo piloto
(Inferencias en función a las categorías)
1. ¿Cuáles son los mecanismos de difusión de las actividades?
Mecanismos de difusión de las actividades de capacitación de la Contraloría:
- Correos electrónicos, mailing informativos. - Afiches en instituciones públicas.
- Portal institucional de la Contraloría. - Redes sociales.
Ideas para mejorar mecanismos de difusión de las actividades de capacita- ción en el Estado en general:
- Datos en cuentas públicas.
- Fondos concursables de capacitación para instituciones y funcionarios del Estado.
- Portal único de información acerca de oferta programática de capacitacio - nes para funcionarios del Estado.
- Círculo de aprendizaje con jefes de personas de las instituciones del Estado, que realicen la bajada comunicacional con los respectivos equipos.
- ¿Cómo se enteró del curso?
- ¿La oferta programática de actividades de capa- citación de la Contraloría son conocidas por la mayoría de los funcionarios de la Administración
del Estado?
2. ¿Cuáles son sus percepciones respecto al sistema de postulación y selección de las actividades de capacitación en relación a su obje- tividad y transparencia?
Percepciones sistema de postulación Contraloría:
- En línea.
- Simple.
Percepciones sistema de postulación Contraloría:
- No existen criterios estandarizados para la selección de funcionarios a actividades de capacitación que imparte la Contraloría.
- Discrecionalidad en la selección de funcionarios que participan en las actividades de capacitación de la Contraloría.
- No se publican resultados o puntajes de los funcionarios que postulan a las actividades de capacitación de la Contraloría.
Ideas para mejorar un sistema de postulación a actividades de capaci- tación:
- Establecimiento de bases de postulación a fondos concursables con cri terios previamente definidos.
- Lógica formativa de escala: formar en las instituciones públicas a forma - dores de la Contraloría, en líneas específicas de conocimiento por año, que sean capaces de traspasar contenidos a sus pares.
- ¿El sistema por el cual postuló al curso fue sim- ple y de fácil uso?
3. ¿Cuáles son sus consideracio- nes respecto al funcionamiento de las salas, presentaciones, ma- terial, logística en general de las actividades de capacitación para funcionarios de la Administración del Estado?
Percepciones de la logística de implementa- ción de las actividades de capacitación de la
Contraloría —salas, material, presentaciones, coordinación—:
- Buenas salas.
- Material con buen contenido.
Aspectos de mejora en la Contraloría: - Aumento en el número de salas.
Percepciones de la logística de implementación de las actividades de capacitación de la Contraloría —salas, material, presentaciones, coor- dinación—:
- Diferencias en la calidad de implementación de las actividades que reali- za la Contraloría en el nivel central y las sedes regionales.
Aspectos de mejora en la Contraloría:
- Mejoramiento de elementos ambientales de las salas, como aire acondi- cionado y sillas.
- El material debiese estar disponible con mayor antelación respecto a la ejecución de la actividad de capacitación.
Percepciones de la logística de implementación de las actividades de capacitación en el Estado en general:
- Calidad disímil entre proveedores de capacitación.
- Importancia de aplicar encuesta de satisfacción —reacción— al finalizar las actividades presenciales, para verificar aspectos de mejora en la im - plementación de las actividades y evaluar a los proveedores.
- Necesidad de avanzar en capacitación de distancia por medios digitales.
- ¿La plataforma donde realizó el curso (aula vir- tual) fue de simple uso y amigable?
- ¿La atención de la Mesa de Ayuda durante el de- sarrollo del curso fue adecuada y en los tiem- pos correctos?
108
Manuel Ignacio Fernández Córdova
Diseño de un modelo piloto de evaluación de resultados de actividades de capacitación de la Contraloría a funcionarios públicos
109
Categoría de análisis
Pregunta de la entrevista
Puntos de coincidencia
Puntos diferenciadores
Posibles preguntas modelo piloto
(Inferencias en función a las categorías)
4. ¿Cuáles son los procedimientos adecuados para la selección de los
contenidos y relatores de las activi- dades de capacitación?
Procedimientos de selección de relatores y con - tenidos de las actividades de capacitación de la
Contraloría:
- Designación discrecional de las jefaturas de ex- perto técnico en una materia determinada.
- En algunas materias, como inducción al sector público, postulación de los funcionarios a ser
relator de la Contraloría, en consideración a sus conocimientos técnicos y habilidades comunica- cionales necesarias para relatar.
Aspectos de mejora en la selección de los relato - res en la Contraloría:
- Dotar de habilidades de relatoría a los funciona- rios que cumplen esta función.
Aspectos a considerar en los procedimientos de selección de relatores y contenidos de las actividades de capacitación en el Estado en general:
- Los funcionarios que cumplan la labor de relatar deben contar con las com-
petencias técnicas adecuadas para poder traspasar el conocimiento, ser ex- pertos temáticos.
- Las instituciones deben procurar preparar y dotar de herramientas metodoló- gicas y expositivas a los funcionarios que relaten.
- Los relatores de una institución tienen la problemática que deben comple- mentar esta tarea con las funciones propias de su cargo, por tanto, se deben generar las condiciones e incentivos institucionales necesarios para que el
desarrollo de las relatorías se realice de manera correcta.
- Las instituciones deben mantener actualizados los conocimientos técnicos y habilidades comunicaciones de los funcionarios que relaten.
- ¿Conoce cuáles son los objetivos de aprendizaje del curso que participó?
- ¿La calidad de los contenidos del curso era la ade- cuada respecto a los objetivos propuestos?
5. ¿Cómo percibe la calidad de los contenidos y relatores?
Calidad de los contenidos y relatores de la Con - traloría:
- En términos técnicos la calidad de los relatores es buena.
- Los contenidos son transmitidos de manera efec- tiva.
Calidad de los contenidos y relatores de la Contraloría:
- La calidad de los relatores ha mejorado por la especialización en el desarrollo de cursos y actividades de capacitación, pues los equipos tienden a hacer los mismos.
Aspectos de mejora de contenidos y relatores de la Contraloría:
- Posibilidad que material que se entrega incluya contenidos que permitan con- sultas posteriores.
- Mejoramiento de habilidades comunicacionales de los relatores.
- ¿La calidad de las respuestas del tutor a las con- sultas realizadas durante el desarrollo del curso fue la adecuada
6. ¿Existe una definición a qué es - tamentos se pretende capacitar, directivos, profesionales, técnicos o administrativos? En caso de existir ¿por qué hay una definición de públi - co objetivo?
Posible definición de estamentos a capacitar por la Contraloría:
- No existe una definición explícita de la Contralo - ría respecto a estamentos que capacitará.
- Existe un foco orientado a profesionales y técni- cos involucrados en los procesos más operativos de gestión y resguardo de los recursos públicos.
- El foco se orienta a partir de las materias de los cursos que imparte la Contraloría.
Posible definición de estamentos a capacitar por la Contraloría:
- Desconocimiento si existe una estrategia de cuáles estamentos son priorita- rios de capacitar.
- La estrategia pareciera estar más bien orientada a lograr objetivos de cober- tura.
- ¿El curso está diseñado para especialistas en la temática?
- ¿El curso lo puede realizar cualquier funcionario del Estado, más allá de la función que cumpla?
7. ¿Cuál considera qué es el número de participantes adecuado para las principales tipologías de activida-
des de capacitación? —curso, curso e-learning, taller, charla, seminario—
Números de participantes adecuado:
- Depende de la profundidad de la temática.
- Cursos presenciales desde 12 a 40 participantes. - Taller alrededor de 30 participantes.
- Charlas desde 100 o más participantes.
- Seminarios desde 100 o más participantes.
- Curso e-learning dependerá de si es autodirigido, donde podrían llegar incluso a 1.000 participan-
tes, o con tutoría, que posiblemente no se pueda superar los 40 participantes.
Número de participantes adecuado:
- En el sector público, en general, los cursos presenciales cuando tratan de nociones básicas, los participantes pueden ir desde 12 participantes hasta un número ilimitado.
- Cuando se trata de un curso presencial especializado en alguna temática, donde se realizan actividades de simulación o rol playing, los participantes no debiesen superar los 12 participantes.
- ¿La metodología del curso fue apropiada para mantenerme involucrado y activo?
- ¿La cantidad de participantes del curso fue la co- rrecta, para dar atención oportuna?
110
Manuel Ignacio Fernández Córdova
Diseño de un modelo piloto de evaluación de resultados de actividades de capacitación de la Contraloría a funcionarios públicos
111
Categoría de análisis
Pregunta de la entrevista
Puntos de coincidencia
Puntos diferenciadores
Posibles preguntas modelo piloto
(Inferencias en función a las categorías)
8. ¿Cuál considera qué es el número de horas adecuado para las principa- les tipologías de actividades de ca- pacitación? —curso, curso e-learning , taller, charla, seminario—
Números de horas adecuado:
- Depende de la profundidad de la temática. - Cursos presenciales entre 8 a 32 horas.
- Taller alrededor de 4 horas.
- Charlas entre 1 a 2 horas.
- Seminarios entre 4 a 8 horas.
- Curso e-learning, si es autodirigido, no debiese superar las 15 horas, entre estudio y resolución de actividades.
Número de horas adecuado:
- En el sector público, en general, los cursos presenciales se dividen en 8, 12, 16, 24 y 32 horas. Más allá de eso se pasa a un diplomado.
- Algunas instituciones han creado mallas de formación, segmentando cursos presenciales largos en varios cursos, pudiendo abordar una temática espe- cializada en varias actividades.
- ¿La duración del curso es correcta en relación a los contenidos abordados?
9. ¿Qué se espera con la capacita- ción de funcionarios de la Adminis- tración del Estado?, ¿existe una teo- ría causal?
Teoría causal de la capacitación de funcionarios del Estado:
- La principal idea es la generación de un círculo virtuoso, la Contraloría capacita en temáticas que es considerada experta, esperando que en el corto plazo las instituciones del Estado, y es- pecíficamente los funcionarios que participan de los cursos, tengan las herramientas necesa-
rias para mejorar su funcionamiento, a partir del apego normativo, disminuyendo de esta manera los hallazgos en posteriores auditorías que rea- liza la misma Contraloría.
Teoría causal de la capacitación de funcionarios del Estado:
- En general, las instituciones públicas no entienden en tér minos estratégicos el para qué se gastan recursos en formación de los funcionarios.
- En términos reduccionistas, el Estado espera que el gasto en capacitación de funcionarios públicos sea rentabilizado lo antes posible, entregando mejores servicios a la ciudadanía, por tanto, cumplir de mejor manera sus funciones
al interior de la institución donde se desempeña.
- No se obtuvieron preguntas para el modelo piloto en estas respuestas. Posibles preguntas están contenidas en las siguientes categorías.
10. ¿Considera beneficioso que la Contraloría cumpla una función ca- pacitadora en la Administración del Estado?, ¿por qué?
Consideraciones respecto de si es beneficioso que la Contraloría realice capacitación de los funcionarios del Estado:
- Es beneficioso para el sector público, pues per - mite a las instituciones generar conocimiento acerca de la legalidad de la implementación de los actos administrativos, a partir de la experti- se de la Contraloría
Consideraciones respecto de si es beneficioso que la Contraloría realice ca - pacitación de los funcionarios del Estado:
- Beneficioso para las instituciones públicas, pues es una función de amplia cobertura y gratuita.
- También es beneficioso para la Contraloría, ya que permite generar una rela - ción y conocimiento de la realidad de los funcionarios en la Administración del Estado.
- Si bien es beneficioso, al no conocer la estrategia de capacitación, no se pue - de establecer si la Contraloría lo podría hacer mejor o de manera distinta.
- ¿Es beneficioso para la gestión del sector público que la Contraloría realice actividades y cursos de capacitación como el que participó?
11. ¿Considera pertinentes las com- petencias de la Contraloría para ca- pacitar a funcionarios de la Adminis- tración del Estado?
Consideraciones respecto de si la Contraloría cuenta con las competencias pertinentes para capacitar a los funcionarios del Estado:
- Existen las competencias técnicas necesarias para que la Contraloría realice actividades de capacitación.
- Se aprovechan los conocimientos de los funcio- narios de la Contraloría para traspasarlos a los funcionarios del Estado.
No existen puntos diferenciadores en esta pregunta.
- ¿La Contraloría cuenta con la pertinencia adecua- da, en términos de conocimientos y expertos, para realizar cursos de capacitación en temáticas de su competencia, tal como en el curso que partici- pó?
12. ¿Cuáles son sus consideraciones respecto a la pertinencia de evaluar el aprendizaje en las actividades de capacitación de la Contraloría?
Consideraciones respecto a la pertinencia de evaluar el aprendizaje en las actividades de ca - pacitación de la Contraloría:
- Es pertinente como mecanismo para identificar si el traspaso de conocimiento se realizó de manera eficaz, sobre todo en cursos presenciales de más de 30 horas y cursos e-learning.
Consideraciones respecto a la pertinencia de evaluar el aprendizaje en las actividades de capacitación de la Contraloría:
- A partir de la información de la evaluación de aprendizaje se pueden hacer ajustes al diseño instruccional de un curso.
- La evaluación de aprendizaje es un proceso pertinente y básico, es lo mínimo que debe esperar un funcionario que realiza un curso de capacitación.
- ¿El mecanismo por el cual se evaluó el aprendizaje fue adecuado y pertinente a los contenidos y ob- jetivos del curso?
112
Manuel Ignacio Fernández Córdova
Diseño de un modelo piloto de evaluación de resultados de actividades de capacitación de la Contraloría a funcionarios públicos
113
Categoría de análisis
Pregunta de la entrevista
Puntos de coincidencia
Puntos diferenciadores
Posibles preguntas modelo piloto
(Inferencias en función a las categorías)
13. ¿Cuáles son los mecanismos uti- lizados para evaluar el aprendizaje?
Mecanismos utilizados en la evaluación de aprendizaje en la Contraloría:
- Usualmente existen evaluaciones de aprendizaje parciales y una final, utilizando mecanismos de verdadero y falso, selección múltiple o ejercicios
de aplicación.
Posibles mecanismos de evaluación de aprendizaje:
- Dependerá del tipo de conocimiento que se necesite evaluar. Para conoci- mientos de tipo técnicos, teóricos o normativos, por lo general lo más utiliza - do son pruebas escritas o ensayos; y para evaluar alguna destreza o conoci-
miento práctico, se debe definir una metodología que permita la evaluación de este tipo de aprendizaje, como por ejemplo el rol playing .
- Metodológicamente el mecanismo de verdadero y falso está en desuso, ya que tiene un factor azaroso muy elevado.
- Más allá de la evaluación de aprendizaje, y sus mecanismos clásicos, se po - dría realizar un seguimiento a la aplicación de los contenidos en la institu- ción, que sea parte de la calificación final. Por ejemplo, el participante podría desarrollar y enviar un informe al ente capacitador, validado por la jefatura correspondiente, respecto a cómo está aplicando los contenidos aprendidos en la institución.
14. ¿Cuáles son sus consideraciones respecto a la pertinencia de certificar el conocimiento por parte de la Con- traloría?
Consideraciones respecto a la pertinencia que la Contraloría certifique conocimientos:
- Actualmente la Contraloría solo informa si un funcionario realizó y aprobó un curso.
- Es pertinente que la Contraloría certifique com - petencias de los funcionarios que trabajan en el Estado, en temáticas específicas que son áreas de influencia propias de la Contraloría. Por ejemplo, si un funcionario está acreditado por la Contraloría en temas jurídico-normativos, estaría en condiciones de ejercer labores en un área jurí-
dica de cualquier institución. El mismo caso con temáticas contables.
Consideraciones respecto a la pertinencia que la Contraloría certifique co - nocimientos:
- La certificación se debe dar un marco estratégico más amplio, que tenga que ver con el levantamiento de perfiles en áreas que la Contraloría considera relevantes de certificar a los funcionarios que realizan labores en estas áreas, saliendo del enfoque actual del curso casual o puntual.
- Un modelo de certificación debe considerar una periodicidad a lo menos anual.
- ¿La Contraloría debiese certificar y habilitar a los funcionarios públicos en tareas especializadas, tal como lo realiza por ejemplo ChileCompra con los funcionarios que gestionan las compras del Estado?
- ¿Considera pertinente que solo los funcionarios que aprueben el curso cada cierto período de tiempo puedan realizar tareas de rendición de cuentas en una institución pública?
15. ¿Cuáles cree son las expectati- vas de cómo los funcionarios podrían utilizar la capacitación en sus tareas diarias?
No existen puntos de coincidencia en esta pregunta.
Consideraciones respecto expectativas de cómo los funcionarios podrían utilizar la capacitación de la Contraloría en sus tareas diarias:
- Se espera que los funcionarios que participan en las actividades de capacita- ción de la Contraloría utilicen lo aprendido en sus labores.
- En las encuestas de reacción que se han aplicado a los cursos que imparte la Contraloría, se puede verificar que los funcionarios públicos tienen necesidad de conocimientos, que de alguna manera es satisfecha por los cursos que imparte la Contraloría.
- Algunos funcionarios asisten a los cursos de la Contraloría con la expectativa de generar una línea directa de resolución de consultas posterior al curso, o para cumplir ciertos requisitos de movilidad en algunas instituciones, sobre todo municipales.
- Actualmente en la Contraloría no existe una herramienta que permita medir si los funcionarios que asisten a los cursos utilizan el aprendizaje en sus tareas diarias.
Consideraciones respecto a las posibles expectativas de cómo los funciona- rios podrían utilizar la capacitación en general en sus tareas diarias:
- Lo principal es que los funcionarios que asistan a una capacitación sea por una necesidad de aprendizaje ligada a las labores que realiza en la institu- ción, en conocimiento de por qué asiste, qué se espera al final del curso y cuáles serán las condiciones que la institución proporcionará para desplegar lo aprendido. Lo anterior eleva las expectativas del participante, por tanto, es fundamental el proceso de detección de necesidades de capacitación.
- Si el curso está orientado al puesto de trabajo de los funcionarios, las expec - tativas serán que utilice lo aprendido en sus labores diarias. Para ello debe haber una estrategia de gestión de la formación para la transferencia en el puesto de trabajo.
- ¿Recuerda los contenidos del curso?
114
Manuel Ignacio Fernández Córdova
Diseño de un modelo piloto de evaluación de resultados de actividades de capacitación de la Contraloría a funcionarios públicos
115
Categoría de análisis
Pregunta de la entrevista
Puntos de coincidencia
Puntos diferenciadores
Posibles preguntas modelo piloto
(Inferencias en función a las categorías)
16. ¿Podría señalar posibles indi- cadores respecto a la transferencia de la capacitación en el puesto de trabajo?
Posibles indicadores respecto a la transferencia de la capacitación en el puesto de trabajo:
- Una herramienta podría ser consultar a los parti- cipantes por temáticas específicas del curso que realizaron, pasado unos meses, para verificar lo que aprendieron y permitir la mejora continua de los cursos.
- La herramienta principal es la evaluación en el puesto de trabajo, encuestando a la jefatura del participante pasado un tiempo desde la ac- tividad, para verificar si el conocimiento que se entregó sirvió o mejoró el desempeño del funcio- nario participante en la institución.
Posibles indicadores respecto a la transferencia de la capacitación en el puesto de trabajo:
- En el Departamento de Capacitación de la Contraloría falta tiempo y funcio - narios para gestionar mediciones de transferencias de las capacitaciones en el puesto de trabajo.
- El proceso de evaluación de transferencia de las capacitaciones tiene que es - tar relacionado con la detección de necesidades, involucrando a las jefaturas desde que se detecta una brecha de desempeño, invitándolos a participar en la evaluación de la transferencia del curso que se realizó para disminuir esta brecha.
- Siguiendo el modelo de Kirkpatrick, la Dirección Nacional del Servicio Civil entrega recomendaciones a las instituciones públicas respecto a las evalua- ciones de transferencia de la capacitación y las causas que incidieron o no en dicha transferencia. Señala que el cuestionario a las jefaturas de los par - ticipantes es el mejor método para obtener información, dejando en segundo plano la autoevaluación.
- Para realizar evaluación de transferencia, se debe identificar desde la etapa de diseño a qué curso, y específicamente qué contenido, es factible de medir la transferencia, porque en algunas temáticas no existe instrumental concre - to para lograr una medición correcta.
- Es recomendable establecer metas institucionales de evaluación de transfe- rencia, por ejemplo, el 35 % de los cursos que se ejecuten en el año X serán evaluados en términos de transferencia en el puesto de trabajo.
- ¿Qué tan valiosos considera los contenidos que el curso le entregó para el desarrollo de sus funcio- nes?
- ¿Se siente capacitado de aplicar lo aprendido en el curso en su puesto de trabajo?
- Luego del curso, ¿aumentó su motivación para realizar las tareas y procedimientos aprendidos?
- ¿Ha recibido consultas de su jefatura o compa- ñeros de funciones que ha podido responder por haber realizado el curso?
- ¿Ha conseguido aplicar los contenidos aprendi- dos en el curso en su puesto de trabajo?
- ¿Cuáles considera que son las causas de poder o no poder aplicar los contenidos del curso en su puesto de trabajo?
17. ¿Cuáles considera son los resul- tados esperados en el mejoramiento en la gestión y transparencia en la Administración del Estado con las actividades de capacitación de la
Contraloría?
Consideraciones respecto a los resultados espe - rados en el mejoramiento de la gestión y la trans - parencia en la Administración del Estado con las actividades de la Contraloría:
- Se ha iniciado un proceso de buscar insumos de información en la propia Contraloría para realizar capacitaciones en lo que se está auditando, lo que claramente tendrá un impacto en la gestión y
transparencia de la Administración pública, pues se transparenta lo que la Contraloría medirá pos - teriormente en las auditorías.
- El proyecto de apoyo al cumplimiento que actual - mente impulsa la Contraloría, genera una relación colaborativa y cercana con las instituciones audi - tadas, detectando sus necesidades de capacita- ción de manera directa, lo cual podría disminuir la brecha entre la oferta programática de capacita- ciones de la Contraloría y las reales necesidades de capacitación de una institución, lo cual es un avance importante en el mejoramiento de la ges- tión y la transparencia.
- Los beneficios a largo plazo de la capacitación de la Contraloría, será tener funcionarios lo más preparados posible, para que puedan cumplir sus
funciones administrativas de manera correcta y apegada, en forma y fondo, a la normativa, lo cual debería disminuir, por ejemplo, observaciones de auditoría. En este punto se podrían establecer ciertos indicadores, dependiendo de las caracte- rísticas de las actividades.
Consideraciones respecto a los resultados esperados en el mejoramiento de la gestión y la transparencia en la Administración del Estado con las activi - dades de la Contraloría:
- Existe un impacto importante de las actividades de capacitación de la Con - traloría, que se refleja en el foco que han definido en la capacitación las au - toridades de la Contraloría, anteriormente con el contralor Mendoza existió
un aumento en la cantidad de actividades, y actualmente con el contralor Bermúdez se genera un centro de estudios que se dedica específicamente a capacitar a los funcionarios públicos; siendo la percepción global que la capacitación puede mejorar ciertos procesos del sector público.
- Los beneficios se pueden inferir, pero no son conocidos.
- Los resultados debiesen estar enfocados en instalar el concepto de certeza jurídica, en el sentido de enseñar lo que se entiende por legítimo e ilegítimo en el sector público.
- La Contraloría debiese ser la institución que impulsa, no solo la prevención de los actos, sino también la formación de un ethos en el sector público, no solo sancionando o investigando, sino que también generando gestión del conocimiento, aprendizaje y en el fondo mejoras en la gestión pública.
- ¿El curso ayudará a que la institución donde me desempeño disminuya posibles observaciones en una futura auditoría que realice la Contraloría?
- ¿El curso mejorará a largo plazo la gestión y trans - parencia institucional?
116
Manuel Ignacio Fernández Córdova
4.5. Cuarta fase: sistematizar la información para el levantamiento del modelo piloto de evaluación de resultados de capacitación de la Contraloría
Luego de que se completó la reducción y análisis de los datos reportados en las entrevistas semiestructuradas, extrayendo posibles preguntas para el modelo piloto, fue necesario sistematizar la información, tanto para los aspectos meto- dológicos del modelo piloto como para la creación de los cuestionarios: uno que se aplicará a los funcionarios que participen y aprueben un determinado curso que imparta la Contraloría; y el segundo, a las jefaturas de dichos funcionarios.
Respecto a los aspectos metodológicos del modelo piloto, se pueden inferir de las entrevistas algunas consideraciones generales respecto a su aplicación:
• El proceso de consulta necesariamente se debe realizar a los funcionarios aprobados de un curso y sus jefaturas. A los aprobados, porque son quienes supuestamente lograron demostrar aprendizaje mediante una evaluación. A sus jefaturas, ya que son quienes han verificado si el aprendizaje de conteni - dos está siendo aplicado en el puesto de trabajo.
• La aplicación del modelo debe realizarse a cursos que hayan finalizado en un período no superior a un año, ya que en un plazo mayor la evaluación de trans- ferencia en el puesto de trabajo podría verse afectada, sea por la movilidad de los funcionarios, o por la posible participación en otras capacitaciones.
• No se puede aplicar el modelo a todas las actividades de capacitación que la Contraloría realiza para la Administración del Estado, debiendo concentrarse en los cursos presenciales y e-learning, y estableciendo metas de evaluaciones anuales.
En relación a la sistematización de la información para el diseño de los cues- tionarios del modelo piloto, a partir de las posibles preguntas que se lograron desarrollar en la fase anterior, se estableció lo siguiente:
• Se estimó necesario que los cuestionarios fueran de fácil respuesta, no demo- rando el encuestado más de cinco minutos en desarrollarlo.
• Los cuestionarios se estructuraron en 37 preguntas, divididas en cuatro di- mensiones: la primera relacionada con la identificación del funcionario en - cuestado; la segunda, respecto a la experiencia de participación en el curso; la tercera, relacionada con la valoración de los resultados de la participación; y por último, consideraciones respecto al mismo cuestionario, en relación a si lo consideran de fácil respuesta y una posible ayuda en la gestión de las capacitaciones de la Contraloría.
• Se establecieron respuestas libres para la primera dimensión de identificación, en algunos casos con opciones de respuestas; luego, en las siguientes dimen-
Diseño de un modelo piloto de evaluación de resultados de actividades de capacitación de la Contraloría a funcionarios públicos
siones, se utilizó en general una escala de Likert de cuatro niveles, con la finalidad de evitar las respuestas de tendencia central.
• Ambos cuestionarios tienen una estructura similar, solo varían algunos enun- ciados. Esto con la intención el análisis posterior sea comparativo.
• El detalle de las preguntas y dimensiones de los cuestionarios se precisan a continuación:
Cuestionario Nº 1: funcionarios aprobados
Estimado funcionario:
En relación a su participación en el (nombre del curso), realizado durante el año (señalar año), con el propósito de evaluar de manera general la experiencia de capacitación con la Contraloría General de la República (Contraloría), solicitamos su colaboración en responder el siguiente cuestionario, que no demorará más de cinco minutos.
La Contraloría se compromete a utilizar los datos solo de manera agregada y con el objetivo de mejorar sus actividades de capacitación, velando por el correcto resguardo de su identidad y res- puestas específicas.
En caso de cualquier consulta o comentario, puede escribir al correo electrónico capacitacion@ contraloria.cl
Desde ya agradecemos su tiempo.
Preguntas de identificación
117
Nº Enunciado Opciones de respuesta / Escala
1 Nombre completo Respuesta libre
2 Edad
Opciones con números para completar edad
3 Sexo
Opciones con identificación de sexo: hombre, mujer
4
Fecha en que realizó la actividad de capaci- tación de la Contraloría
Calendario desplegable para consignar fecha
5
Institución pública donde se desempeña o desempeñaba cuando realizó la actividad de capacitación
Respuesta libre
6
Región donde se encuentra la institución donde se desempeña o desempeñaba cuan- do realizó la actividad de capacitación
Opciones con regiones del país
7
Cargo que desempeña o desempeñaba al momento de participar en la actividad de capacitación
Respuesta libre
8
¿A qué estamento pertenece su cargo? En caso de estar contratado mediante código del trabajo o a honorarios, asimílelo al esta- mento que pertenecería
Opciones con estamentos: administrati- vo, técnico, profesional y directivo
9
Años que llevaba desempeñando el cargo al momento de participar la actividad de capacitación
Opciones con números para completar años de 0 a 40
118
Manuel Ignacio Fernández Córdova
Preguntas relacionadas con la participación en el curso —nombre del curso—
10 ¿Cómo se enteró del curso?
Opciones
1: Por la página web de la Contraloría
2: Por correo electrónico de la Contraloría 3: Por redes sociales —Twitter, Facebook,
Instagram—
4: Por afiches impresos
5: Por información de mi jefatura
6: Por el departamento o unidad de perso- nal o recursos humanos
7: Por compañeros de funciones 8: Otro, indique cuál………………………
11
La oferta programática de actividades de capacitación de la Contraloría son conoci- das por la mayoría de los funcionarios de la Administración del Estado.
Escala
1: En total desacuerdo 2: En desacuerdo
3: De acuerdo
4: En total acuerdo
12
El sistema por el cual postuló al curso fue simple y de fácil uso.
Escala
1: En total desacuerdo 2: En desacuerdo
3: De acuerdo
4: En total acuerdo
13
La plataforma donde realizó el curso (aula virtual) fue de simple uso y amigable.
Escala
1: En total desacuerdo 2: En desacuerdo
3: De acuerdo
4: En total acuerdo
14
La atención de la mesa de ayuda durante el desarrollo del curso fue adecuada y en los tiempos correctos.
Escala
1: En total desacuerdo 2: En desacuerdo
3: De acuerdo
4: En total acuerdo
15
¿Conoce cuáles son los objetivos de apren- dizaje del curso que participó?
Opciones 1. Sí
2. No
17
La calidad de las respuestas del tutor a las consultas realizadas durante el desarrollo del curso fue la adecuada.
Escala
1: En total desacuerdo 2: En desacuerdo
3: De acuerdo
4: En total acuerdo
18
El curso está diseñado para especialistas en la temática.
Escala
1: En total desacuerdo 2: En desacuerdo
3: De acuerdo
4: En total acuerdo
19
El curso lo puede realizar cualquier funcio- nario del Estado, más allá de la función que cumpla.
Escala
1: En total desacuerdo 2: En desacuerdo
3: De acuerdo
4: En total acuerdo
20
La duración del curso es correcta en rela- ción a los contenidos abordados.
Escala
1: En total desacuerdo 2: En desacuerdo
3: De acuerdo
4: En total acuerdo
Diseño de un modelo piloto de evaluación de resultados de actividades de capacitación de la Contraloría a funcionarios públicos
119
21
La cantidad de participantes del curso fue la correcta, para dar atención oportuna.
Escala
1: En total desacuerdo 2: En desacuerdo
3: De acuerdo
4: En total acuerdo
22
La metodología del curso fue apropiada para mantenerme involucrado y activo.
Escala
1: En total desacuerdo 2: En desacuerdo
3: De acuerdo
4: En total acuerdo
23
Es beneficio para la gestión del sector pú - blico que la Contraloría realice actividades y cursos de capacitación como el que par- ticipó.
Escala
1: En total desacuerdo 2: En desacuerdo
3: De acuerdo
4: En total acuerdo
25
El mecanismo por el cual se evaluó el apren- dizaje como adecuado y pertinente a los contenidos y objetivos del curso.
Escala
1: En total desacuerdo 2: En desacuerdo
3: De acuerdo
4: En total acuerdo
26
La Contraloría debiese certificar y habilitar a los funcionarios públicos en tareas espe- cializadas, tal como lo realiza por ejemplo ChileCompra con los funcionarios que ges- tionan las compras del Estado.
Escala
1: En total desacuerdo 2: En desacuerdo
3: De acuerdo
4: En total acuerdo
27
Considera pertinente que solo los funciona- rios que aprueben el curso cada cierto perío- do de tiempo puedan realizar tareas de (ma- teria del curso) en una institución pública.
Escala
1: En total desacuerdo 2: En desacuerdo
3: De acuerdo
4: En total acuerdo
Preguntas de autoevaluación Escala
1: Muy poco
28 ¿Recuerda los contenidos del curso?
2: Poco
3: Casi todos 4: Todos
29
¿Qué tan valiosos considera los contenidos que el curso le entregó para el desarrollo de sus funciones?
Escala
1: Muy poco 2: Poco
3: Valioso
4: Muy valioso
30
¿Se siente capacitado de aplicar lo aprendi- do en el curso en su puesto de trabajo?
Escala
1: No tanto 2: Poco
3: Capacitado
4: Muy capacitado
31
Luego del curso, su motivación para realizar las tareas y procedimientos aprendidos:
Escala
1: Disminuyó
2: Disminuyó un poco 3: Aumentó
4: Aumentó considerablemente
120 Manuel Ignacio Fernández Córdova
32
¿Ha recibido consultas de su jefatura o com- pañeros de funciones que ha podido respon- der por haber realizado el curso?
Escala
1: Nunca
2: Casi nunca 3: A veces
4: Casi siempre 5: Siempre
33
¿Ha conseguido aplicar los contenidos aprendidos en el curso en su puesto de tra- bajo?
Escala
1: Nunca
2: Casi nunca 3: A veces
4: Casi siempre 5: Siempre
33.1
Si su respuesta anterior fue «nunca», «casi nunca» o «a veces», seleccione un máximo de tres causas por las que considera no ha podido aplicar los contenidos del curso en su puesto de trabajo:
Opciones
1: No recuerda los contenidos del curso. 2: No aprendió nuevos contenidos para
aplicarlos.
3: La función que desempeña no permite aplicar directamente los contenidos. 4: No se ha dado el momento para apli- car los contenidos.
5: Cambió de función desde que realizó el curso.
6: Existe resistencia al cambio en la ins- titución, lo cual obstaculiza la aplica- ción de los contenidos.
7: La jefatura no apoya la aplicación de los contenidos aprendidos.
8: No siente motivación para aplicar los contenidos.
9: Otra situación, indíquela:.......................
33.2
Si su respuesta anterior fue «casi siempre» o «siempre», seleccione un máximo de tres causas que considera han ayudado a que pueda aplicar los contenidos del curso en su puesto de trabajo:
Opciones
1: Recuerda los contenidos del curso y tiene material de consulta.
2: Aprendió nuevos contenidos para apli- carlos.
3: La función que desempeña permite aplicar directamente los contenidos.
4: Se han dado los espacios y momentos para aplicar los contenidos.
5: En la institución donde se desempeña son abiertos a nuevas ideas, lo cual fo- menta la aplicación de los contenidos. 6: La jefatura apoya la aplicación de los contenidos aprendidos.
7: Siente motivación para aplicar los con- tenidos.
8: Otra situación, indíquela:.......................
34
El curso ayudará a que la institución donde me desempeño disminuya posibles obser- vaciones en una futura auditoría que realice la Contraloría.
Escala
1: En total desacuerdo 2: En desacuerdo
3: De acuerdo
4: En total acuerdo
35
El curso mejorará a largo plazo la gestión y transparencia institucional
Escala
1: En total desacuerdo 2: En desacuerdo
3: De acuerdo
4: En total acuerdo
Diseño de un modelo piloto de evaluación de resultados de actividades de capacitación de la Contraloría a funcionarios públicos
Preguntas sobre el cuestionario
121
36
Considero que este cuestionario fue simple y fácil de responder
Escala
1: En total desacuerdo 2: En desacuerdo
3: De acuerdo
4: En total acuerdo
37
Considero que los resultados de este cues- tionario pueden aportar en el mejoramiento de la gestión de los cursos de la Contraloría
Escala
1: En total desacuerdo 2: En desacuerdo
3: De acuerdo
4: En total acuerdo
Cuestionario Nº 2: jefaturas de funcionarios aprobados de un curso
Estimada jefatura:
En relación a la participación de funcionarios colaboradores de Ud. en el curso (nombre del curso), realizado durante el año (señalar año), con el propósito de evaluar de manera general la experiencia de capacitación con la Contraloría General de la República (Contraloría), solicitamos su colabora- ción en responder el siguiente cuestionario, que no demorará más de cinco minutos.
La Contraloría se compromete a utilizar los datos solo de manera agregada, y con el objetivo de mejorar sus actividades de capacitación, velando por el correcto resguardo de su identidad y res- puestas específicas.
En caso de cualquier consulta o comentario, puede escribir al correo electrónico capacitacion@ contraloria.cl
Desde ya agradecemos su tiempo.
Preguntas de identificación
Nº Enunciado Opciones de respuesta / Escala
1 Nombre completo. Respuesta libre.
2 Edad.
Opciones con números para completar edad.
3 Sexo.
Opciones con identificación de sexo: hombre, mujer.
4
Fecha en que su(s) colaborador(es) reali- zó(aron) el curso (nombre del curso).
Calendario desplegable para consignar fecha.
5
Institución pública donde se desempeña o desempeñaba cuando su(s) colaborador(es) realizó(aron) la actividad de capacitación.
Respuesta libre.
6
Región donde se encuentra la institución donde se desempeña o desempeñaba cuan- do su(s) colaborador(es) realizó(aron) la actividad de capacitación.
Opciones con regiones del país.
7
Cargo que desempeña o desempeñaba al momento que su(s) colaborador(es) reali- zó(aron) la actividad de capacitación.
Respuesta libre.
8
Años que llevaba desempeñando cargo de jefatura al momento que se ejecutó el curso e-learning.
Opciones con números para completar años de 0 a 40.
122
Manuel Ignacio Fernández Córdova
Número de colaboradores que realizaron el 9 curso e-learning.
Opciones con números para completar número de participantes de 1 a 20
Preguntas relacionadas con la participación en el curso (nombre del curso) Opciones
1: Por la página web de la Contraloría.
2: Por correo electrónico de la Contralo- ría.
3: Por redes sociales —Twitter, Facebook,
10
¿Cómo cree que sus colaboradores se ente- raron del curso?
Instagram—.
4: Por afiches impresos.
5: Por información que usted les facilitó. 6: Por el departamento o unidad de perso- nal o recursos humanos.
7: Por compañeros de funciones. 8: Otro, indique cuál………………………
11
La oferta programática de actividades de capacitación de la Contraloría son conoci- das por la mayoría de los funcionarios de la Administración del Estado.
Escala
1: En total desacuerdo 2: En desacuerdo
3: De acuerdo
4: En total acuerdo
12
El sistema de postulación de la Contraloría es simple y de fácil uso.
Escala
1: En total desacuerdo 2: En desacuerdo
3: De acuerdo
4: En total acuerdo
13
¿Sus colaboradores le comentaron acerca de los atributos de la plataforma (aula vir- tual) donde realizaron el curso?
Opciones 1: Sí
2: No
13.1
En caso de que la respuesta anterior sea sí.
Consideraban que la plataforma (aula vir- tual) era amigable y de fácil uso.
Escala
1: En total desacuerdo 2: En desacuerdo
3: De acuerdo
4: En total acuerdo
14
¿Sus colaboradores le comentaron acerca de la calidad de la mesa de ayuda del curso?
Opciones 1: Sí
2: No
15
¿Conoce cuáles son los objetivos de apren- dizaje del curso que participó?
Opciones 1. Sí
2. No
16
Sus colaboradores le comentaron acerca de la calidad de los contenidos del curso.
Opciones 1. Sí
2. No
Diseño de un modelo piloto de evaluación de resultados de actividades de capacitación de la Contraloría a funcionarios públicos
123
16.1
En caso de que la respuesta anterior sea sí. Consideraban que la calidad de los conteni- dos del curso era adecuada.
Escala
1: En total desacuerdo 2: En desacuerdo
3: De acuerdo
4: En total acuerdo
17
Sus colaboradores le comentaron acerca de la calidad de las respuestas del tutor del curso.
Opciones 1. Sí
2. No
17.1
En caso de que la respuesta anterior sea sí. La calidad de las respuestas del tutor a las consultas realizadas durante el desarrollo del curso fue la adecuada.
Escala
1: En total desacuerdo 2: En desacuerdo
3: De acuerdo
4: En total acuerdo
18
Según lo observado, considera que el cur- so está diseñado para especialistas en la temática.
Escala
1: En total desacuerdo 2: En desacuerdo
3: De acuerdo
4: En total acuerdo
19
Según lo observado, considera que el curso lo puede realizar cualquier funcionario del Estado, más allá de la función que cumpla.
Escala
1: En total desacuerdo 2: En desacuerdo
3: De acuerdo
4: En total acuerdo
20
Considera que la duración del curso es co- rrecta, ya que sus colaboradores pudieron finalizar en los tiempos programados.
Escala
1: En total desacuerdo 2: En desacuerdo
3: De acuerdo
4: En total acuerdo
21
Considera que la cantidad de participantes del curso fue la correcta, para dar atención oportuna a sus colaboradores.
Escala
1: En total desacuerdo 2: En desacuerdo
3: De acuerdo
4: En total acuerdo
22
Considera que la metodología del curso fue apropiada para mantener involucrado y acti- vo a sus colaboradores.
Escala
1: En total desacuerdo 2: En desacuerdo
3: De acuerdo
4: En total acuerdo
23
Es beneficioso para la gestión del sector pú - blico que la Contraloría realice actividades y cursos de capacitación como el que partici- paron sus colaboradores.
Escala
1: En total desacuerdo 2: En desacuerdo
3: De acuerdo
4: En total acuerdo
24
La Contraloría cuenta con la pertinencia adecuada, en términos de conocimientos y expertos, para realizar cursos de capa- citación en temáticas de su competencia, tal como en el curso que participaron sus colaboradores.
Escala
1: En total desacuerdo 2: En desacuerdo
3: De acuerdo
4: En total acuerdo
124 Manuel Ignacio Fernández Córdova
24.1
¿Sus colaboradores le comentaron acer- ca del mecanismo por el cual se evaluó el aprendizaje en el curso?
Opciones 1. Sí
2. No
25
En caso de que la respuesta anterior sea sí. Consideraban que el mecanismo por el cual se evaluó el aprendizaje fue adecuado y pertinente a los contenidos y objetivos del curso.
Escala
1: En total desacuerdo 2: En desacuerdo
3: De acuerdo
4: En total acuerdo
26
La Contraloría debiese certificar y habilitar a los funcionarios públicos en tareas espe- cializadas, tal como lo realiza por ejemplo Chilecompras con los funcionarios que ges- tionan las compras del Estado.
Escala
1: En total desacuerdo 2: En desacuerdo
3: De acuerdo
4: En total acuerdo
27
Considera pertinente que solo los funciona- rios que aprueben el curso cada cierto perío- do de tiempo puedan realizar tareas de (ma- teria del curso) en una institución pública.
Escala
1: En total desacuerdo 2: En desacuerdo
3: De acuerdo
4: En total acuerdo
Preguntas de evaluación Escala
28
¿Cree que sus colaboradores recuerdan los contenidos del curso?
1: Muy poco 2: Poco
3: Casi todos 4: Todos
29
¿Qué tan valiosos considera los contenidos que el curso le entregó a sus colaboradores para el desarrollo de las funciones?
Escala
1: Muy poco 2: Poco
3: Valioso
4: Muy valioso
30
¿Considera que sus colaboradores están capacitados para aplicar lo aprendido en el curso en su puesto de trabajo?
Escala
1: No tanto 2: Poco
3: Capacitado
4: Muy capacitado
31
Luego de realizar el curso, considera que la motivación de sus colaboradores para reali- zar las tareas y procedimientos aprendidos:
Escala
2: Disminuyó un poco 3: Aumentó
4: Aumentó considerablemente
32
¿Ha realizado consultas de trabajo —o técni- cas— respecto a la temática del curso a sus colaboradores?
Escala
1: Nunca
2: Casi nunca 3: A veces
4: Casi siempre 5: Siempre
33
¿Considera que sus colaboradores han con- seguido aplicar los contenidos aprendidos en el curso en su puesto de trabajo?
Escala
1: Nunca
2: Casi nunca 3: A veces
4: Casi siempre 5: Siempre
Diseño de un modelo piloto de evaluación de resultados de actividades de capacitación de la Contraloría a funcionarios públicos
125
33.1
Si su respuesta anterior fue «nunca», «casi nunca» o «a veces», seleccione un máximo de tres causas por las cuales considera sus colaboradores no han podido aplicar los contenidos del curso en su puesto de trabajo:
Opciones
1: No recuerdan los contenidos del curso. 2: No aprendió nuevos contenidos para
aplicarlos.
3: La función que desempeña no permite aplicar directamente los contenidos.
4: No se ha dado el momento para aplicar los contenidos.
5: Cambió de función desde que realizó el curso.
6: Existe resistencia al cambio en la insti- tución, lo cual obstaculiza la aplicación de los contenidos.
7: No siente motivación para aplicar los contenidos.
8: Otra situación, indíquela:.......................
33.2
Si su respuesta anterior fue «casi siempre» o «siempre», seleccione un máximo de tres causas que considera han ayudado a que sus colaboradores puedan aplicar los con- tenidos del curso en su puesto de trabajo:
Opciones
1: Recuerda los contenidos del curso y tiene material de consulta.
2: Aprendió nuevos contenidos para apli- carlos.
3: La función que desempeña permite aplicar directamente los contenidos.
4: Se han dado los espacios y momentos para aplicar los contenidos.
5: En la institución donde se desempeña son abiertos a nuevas ideas, lo cual fo- menta la aplicación de los contenidos.
6: Siente motivación para aplicar los con- tenidos.
7: Otra situación, indíquela:.......................
34
El curso ayudará a que la institución donde se desempeñan usted y sus colaboradores disminuya posibles observaciones en una futura auditoría que realice la Contraloría.
Escala
1: En total desacuerdo 2: En desacuerdo
3: De acuerdo
4: En total acuerdo
35
El curso mejorará a largo plazo la gestión y transparencia institucional.
Escala
1: En total desacuerdo 2: En desacuerdo
3: De acuerdo
4: En total acuerdo
Preguntas sobre el modelo piloto de evaluación de resultados capacitación de la Contraloría Escala
36
Considero que este cuestionario fue simple y fácil de responder.
1: En total desacuerdo 2: En desacuerdo
3: De acuerdo
4: En total acuerdo
37
Considero que los resultados de este cues- tionario pueden aportar en el mejoramiento de la gestión de los cursos de la Contraloría.
Escala
1: En total desacuerdo 2: En desacuerdo
3: De acuerdo
4: En total acuerdo
126
Manuel Ignacio Fernández Córdova
4.6. Resultados etapa 2: aplicación del modelo piloto de evaluación de resultados de capacitación de funcionarios públicos y municipales —y sus jefaturas— que hayan aprobados un curso dictado por la Contraloría
4.7. Aspectos generales
La aplicación del modelo piloto de evaluación de resultados de capacitación de la Contraloría se realizó al «Curso e-learning de nueva normativa y procedimientos de rendición de cuentas», dictado el segundo semestre de 2018. Esta elección se debe a que es una capacitación con masiva participación en todas las regiones del país, concurriendo varias entidades del aparato del Estado, y la familiarización de sus participantes con los medios tecnológicos utilizados por la Contraloría.
Antes de avanzar en los resultados de la etapa 2, es necesario señalar las principales características del curso elegido, que se detallan en el siguiente cuadro:
Cuadro Nº 6: principales características del «Curso e-learning de nueva normativa y procedimientos de rendición de cuentas»
Característica Descripción
Años de ejecución 2015 2016 2017 2018 Totales
Versiones realizadas 2 3 2 2 9
Funcionarios participantes 1.737 1.204 943 750 4.634
Funcionarios aprobados 1.163 855 580 586 3.184
Horas cronológicas de duración del curso
9 horas
Objetivos de aprendizaje del curso
General
- Analizar la normativa aplicable a la rendición de cuentas desde el punto de vista de su nuevo procedimiento.
Específicos:
- Comprender los aspectos generales y ámbito de aplicación de la rendición de cuentas.
- Diferenciar las modalidades de rendición de cuentas desde el punto de vista de su nuevo procedimiento.
- Analizar el procedimiento de rendición de cuen- tas.
Fuente: elaboración propia, sobre la base de datos del Departamento de Capacitación de la Contraloría
Diseño de un modelo piloto de evaluación de resultados de actividades de capacitación de la Contraloría a funcionarios públicos
4.8. Establecimiento muestra
El cuestionario estandarizado se remitió a todos los funcionarios aprobados —216 personas— y sus jefaturas —133 personas— de la versión del señalado curso. En el entendido de que no todos responderían la encuesta, para una correcta aplicación del modelo piloto, se establecieron parámetros de muestreo estadístico para que las respuestas fuesen representativas de la población a encuestar, debiendo poseer características que son consideradas idóneas en cualquier estudio de tipo cuantitativo, a saber:
• Margen de error: 5 %
• Nivel de confianza: 95 %
• Heterogeneidad: 50 %
En el siguiente cuadro se señalan los números de funcionarios aprobados y jefaturas que debiesen responder el cuestionario, con el objeto de que la muestra sea representativa del curso donde se testeará el modelo piloto.
Cuadro Nº 7: mínimo de funcionarios y jefaturas que debiesen responder cuestionario del modelo piloto de evaluación, para una muestra representativa del «Curso e-learning de nueva normativa y procedimientos de rendición de cuentas»
127
Región
Funcio- narios
aprobados última versión 2018
Peso porcentual funciona- rios apro- bados de la región
Mínimo de funcionarios que debiesen responder para muestra representa- tiva
Jefaturas de fun- cionarios aprobados última versión 2018
Peso porcentual jefaturas funciona- rios apro- bados de la región
Mínimo de jefatu- ras que debiesen respon- der para muestra represen- tativa
Arica 10 4,63 6 7 5,26 5
Tarapacá 4 1,85 3 4 3,01 3
Antofagasta 12 5,56 8 5 3,76 4
Atacama 7 3,24 5 6 4,51 4
Coquimbo 15 6,94 10 12 9,02 9
Valparaíso 22 10,19 14 11 8,27 8
O’Higgins 5 2,31 3 2 1,50 1
Maule 11 5,09 7 7 5,26 5
Biobío 20 9,26 13 16 12,03 12
La
Araucanía
14
6,48
9
10
7,52
7
Los Ríos 7 3,24 5 5 3,76 4
128 Manuel Ignacio Fernández Córdova
Los Lagos 5 2,31 3 4 3,01 3
Aysén 13 6,02 8 7 5,26 5
Magallanes 6 2,78 4 2 1,50 1
R.M. 65 30,09 42 35 26,32 26
Total
Universo: 216
100 %
Muestra: 139*
Universo: 133
100 %
Muestra:
99*
*Margen de error: 5 % / Nivel de confianza: 95 % / Heterogeneidad: 50 %
4.9. Aspectos operativos
Los cuestionarios se configuraron y cargaron en la plataforma de encuestas de la Contraloría, manteniéndose habilitados durante un período de dos semanas para que los participantes respondieran, desde el martes 19 de junio al martes 2 de julio de 2019.
A los 216 funcionarios aprobados y las 133 jefaturas se les envió un primer correo con instrucciones de acceso a la plataforma de encuestas, donde se señalaba un enlace único, el cual una vez respondido se inhabilitaba automáticamente, lo cual evitaría posibles duplicidades de respuestas de un mismo funcionario o su jefatura. A la semana de este primer correo, se envió un segundo a quienes no habían respondido el cuestionario, con el objeto de aumentar la cantidad de cuestionarios respondidos.
4.10. Análisis de resultados del testeo del modelo piloto
Una vez finalizado el proceso de respuesta de los cuestionarios por parte de los funcionarios aprobados y sus jefaturas, se cotejó la cantidad de funcionarios y jefaturas que respondieron de manera íntegra el cuestionario con la cantidad necesaria para cumplir con la representatividad en el testeo. Lamentablemente no se cumplió con la muestra necesaria en el testeo del modelo piloto, posiblemente a causa de dos situaciones: el poco margen de tiempo que se estableció para responder la encuesta; y el largo lapso que había sucedido entre la finalización de la versión del curso —septiembre de 2018— y la aplicación del testeo —julio 2019—.
En el siguiente cuadro se indica la cantidad de funcionarios aprobados y jefaturas que respondieron el cuestionario de manera íntegra.
Si bien no se cumplió con la muestra estadística, los resultados reportados igualmenteseutilizaron pararealizar el ejercicio declasificación dela información, con la finalidad de comprobar si el testeo del modelo piloto de evaluación de resultados podría ser replicable conceptualmente y operativamente a otras actividades de capacitación que la Contraloría realiza a funcionarios públicos, de manera que fuese un aporte a la toma de decisiones de autoridades.
En este contexto, se estableció un «informe de resultados» que pudiese ser replicado en evaluaciones posteriores, debiendo tener ciertas características:
Diseño de un modelo piloto de evaluación de resultados de actividades de capacitación de la Contraloría a funcionarios públicos
lectura simple, ordenado y sistemático con la información obtenida en las respuestas de los cuestionarios de los funcionarios y jefaturas, aportando con recomendaciones a partir de los datos. Además, el informe necesariamente debía comparar indicadores relevantes entre los dos grupos, ya que como se estableció en la etapa anterior, es importante contar con información concreta que indiquen las valoraciones del curso tanto de funcionarios como de jefaturas, con la finalidad de verificar si existió transferencia de los contenidos aprendidos en el puesto de trabajo. Con la finalidad de cumplir lo anterior, el «informe de resultados» se estructuró de la siguiente manera:
a) Identificación del curso evaluado: se señaló información acerca del año, versión, fecha de ejecución, número de funcionarios matriculados y aprobados.
b) Datos generales: se señaló la cantidad de funcionarios aprobados y jefaturas que participaron de la encuesta y si se cumplió con la muestra representativa.
c) Resultados encuesta: se examinaron los resultados ordenando las dimensiones a partir del número de pregunta del cuestionario, mostrando el porcentaje de funcionarios y jefaturas que respondieron en cada opción de las escalas de Likert propuestas. A partir de lo anterior, con la finalidad de establecer un parámetro de comparación entre los grupos de funcionarios aprobados y jefaturas, se estableció para cada pregunta un indicador de escala de Likert, que se calculó de la siguiente manera:
Indicador escala de Likert = [(cantidad de respuestas en opción 1 x 1) + (cantidad de respuestas en opción 2 x 2) + (cantidad de respuestas en opción 3 x 3) + (cantidad de respuestas en opción 4 x 4) + (cantidad de respuestas en opción n x n)] / cantidad total de respuestas
Ejemplo:
Pregunta 1: 50 personas respondieron
Opción 1: En total desacuerdo —15 personas marcaron esta opción— Opción 2: En desacuerdo —5 personas marcaron esta opción— Opción 3: En acuerdo —20 personas marcaron esta opción— Opción 4: En total acuerdo —10 personas marcaron esta opción— Indicador escala de Likert = [(15 x 1) + (5 x 2) + (20 x 3) + (10 x 4)] / 50 [15 + 10 + 60 + 40] / 50
[125] / 50
2,50
129
130
Manuel Ignacio Fernández Córdova
En la última columna de cada pregunta se realizó un análisis de los resultados del indicador de Likert y los porcentajes de cada opción marcada por los participantes de la encuesta.
d) Síntesis resultados y recomendaciones: al finalizar el análisis a nivel de pregunta, se sintetizaron los resultados más importantes a nivel de dimensión, estableciendo las posibles debilidades y fortalezas del curso en las dimensiones. Se finalizó con un gráfico de dispersión de los indicadores de Likert para cada pregunta y grupo —funcionarios aprobados y jefaturas—, señalando si con los datos analizados se podía o no concluir que el curso había generado transferencia en el puesto de trabajo, por ende, si era recomendable seguir o no con su impartición.
En las siguientes páginas se visualiza detalladamente el «informe de resultados» que se realizó para el testeo del modelo piloto de evaluación de resultados de actividades de capacitación de la Contraloría de funcionarios públicos que se realizó al «Curso e-learning de nueva normativa y procedimientos de rendición de cuentas».
Cuadro Nº 9: informe de resultados: testeo del modelo piloto de evaluación de resultados de actividades de capacitación de la Contraloría a funcionarios públicos
INFORME DE RESULTADOS
ACTIVIDAD: CURSO E-LEARNING DE NUEVA NORMATIVA Y PROCEDIMIENTOS DE RENDICIÓN DE CUENTAS
Año 2018 Versión 9 Fecha ejecución: 14/08/18 A 14/09/19 Nº matriculados: 288 Nº aprobados: 216
DATOS GENERALES
Jefaturas de funcionarios Funcionarios aprobados aprobados
Participantes 216 133
Respondieron cuestionario completo
52
9
% Respuesta 24,07 % 6,77 %
Muestra representativa 139 99
Representatividad Bajo muestra representativa Bajo muestra representativa
Diseño de un modelo piloto de evaluación de resultados de actividades de capacitación de la Contraloría a funcionarios públicos
RESULTADOS ENCUESTA
1º DIMENSIÓN: IDENTIFICACIÓN
Preguntas 1 a 9 Funcionarios aprobados Jefaturas de funcionarios aprobados
131
Edad promedio 39,98 43,11
Años promedio en el cargo 6,5 3,11
Sexo
% de mujeres
50,00 %
66,67 %
% de hombres 50,00 % 33,33 %
Estamento Promedio colaboradores en el curso
Administrativos 15,38 %
Técnicos 15,38 %
Profesionales 67,31 % 1,77
Directivos 1,92 %
2º DIMENSIÓN: EXPERIENCIA EN LA ACTIVIDAD
10. Información previa del curso
Funcionarios aprobados Jefaturas de funcionarios aprobados
Por la página web de la Contraloría
59,62 %
45,45 %
Por correo electrónico de la Contraloría
11,54 %
27,27 %
Por redes sociales —Twitter, Facebook, Instagram—
0,00 %
0,00 %
Por afiches impresos 0,00 % 0,00 %
132
Manuel Ignacio Fernández Córdova
2º DIMENSIÓN: EXPERIENCIA EN LA ACTIVIDAD —continuación—
Diseño de un modelo piloto de evaluación de resultados de actividades de capacitación de la Contraloría a funcionarios públicos
133
En total desacuerdo (1) En desacuerdo (2)
De acuerdo (3)
En total acuerdo (4)
Indicador escala Likert (1 a 4)
Análisis resultados
11. Oferta programática es conocida
Funcionarios aprobados Jefaturas
5,77 % 0,00 %
28,85 % 44,44 %
53,85 % 33,33 %
11,54 % 22,22 %
2,71 2,78
Funcionarios y jefaturas promedian bajo los tres puntos en este enunciado. Esta es la respuesta con indicadores más bajos del cuestionario.
12. Sistema de postulación es simple
Funcionarios aprobados Jefaturas
0,00 % 0,00 %
3,85 % 0,00 %
34,62 % 44,44 %
61,54 % 55,56 %
3,58 3,56
Funcionarios y jefaturas promedian sobre los tres puntos en este enunciado, sin diferencias sustan- ciales entre los indicadores. No obstante, se puede verificar un porcentaje de funcionarios que no está conforme con este aspecto.
13. Plataforma del curso es de simple uso
Funcionarios aprobados Jefaturas
0,00 % 0,00 %
3,85 % 0,00 %
34,62 % 16,67 %
61,54 % 83,33 %
3,58 3,83
Funcionarios y jefaturas promedian sobre los tres puntos en este enunciado. No obstante, se puede verificar un porcentaje de funcionarios que no está conforme con este aspecto.
14. Mesa de ayuda adecuada
Funcionarios aprobados Jefaturas
0,00 % 0,00 %
3,85 % 0,00 %
50,00 % 25,00 %
46,15 % 75,00 %
3,42 3,75
Funcionarios y jefaturas promedian sobre los tres puntos en este enunciado. Según los indicadores y porcentajes de opciones, las jefaturas valoran en mayor medida este aspecto.
Sí No Análisis resultados
15. Reconoce objetivos del curso
Funcionarios aprobados Jefaturas
98,08 % 100,00 %
1,92 % 0,00 %
Funcionarios y jefaturas declaran conocer los obje- tivos de aprendizaje del curso. Solo un funcionario respondió no conocerlos.
En total desacuerdo (1) En desacuerdo (2)
De acuerdo (3)
En total acuerdo (4)
Indicador escala Likert (1 a 4)
Análisis resultados
16. Calidad de contenidos adecuada
Funcionarios aprobados Jefaturas
0,00 % 0,00 %
3,85 % 0,00 %
50,00 % 44,44 %
46,15 % 55,56 %
3,42 3,56
Funcionarios y jefaturas promedian sobre los tres puntos en este enunciado. No obstante, se puede verificar un porcentaje de funcionarios que no está conforme con este aspecto.
Funcionarios aprobados 0,00 % 3,85 % 48,08 % 48,08 % 3,44 Funcionarios y jefaturas promedian sobre los tres
17. Calidad del tutor adecuada puntos en este enunciado. Funcionarios valoran le-
Jefaturas 0,00 % 0,00 % 60,00 % 40,00 % 3,40 vemente más este aspecto.
Funcionarios aprobados
3,85 %
26,92 %
44,23 %
25,00 %
2,90
Existen diferencias de las valoraciones de este enunciado entre funcionarios y jefaturas. Es uno de
18. Diseño del curso es para especialistas en la temática
los indicadores bajo los tres puntos para los funcio- narios. Se puede verificar un porcentaje significati -
Jefaturas
0,00 %
0,00 %
44,44 %
55,56 %
3,56
vo de funcionarios que no está conforme con este aspecto.
19. Curso lo puede realizar cualquier funcionario, más allá de la función que cumpla
Funcionarios aprobados Jefaturas
0,00 % 0,00 %
15,38 % 33,33 %
51,92 % 33,33 %
32,69 % 33,33 %
3,17 3,00
Funcionarios y jefaturas promedian sobre los tres puntos en este enunciado. Funcionarios valoran le- vemente más este aspecto.
134
Manuel Ignacio Fernández Córdova
2º DIMENSIÓN: EXPERIENCIA EN LA ACTIVIDAD —continuación—
Diseño de un modelo piloto de evaluación de resultados de actividades de capacitación de la Contraloría a funcionarios públicos
135
En total desacuerdo (1) En desacuerdo (2)
De acuerdo (3)
En total acuerdo (4)
Indicador escala Likert (1 a 4)
Análisis resultados
20. Duración del curso fue correcta
Funcionarios aprobados Jefaturas
1,92 % 0,00 %
11,54 % 0,00 %
53,85 % 55,56 %
32,69 % 44,44 %
3,17 3,44
Funcionarios y jefaturas promedian sobre los tres puntos este enunciado. No obstante, se puede ve- rificar un mayor porcentaje de funcionarios que no está conforme con este aspecto.
Funcionarios aprobados 3,85 % 1,92 % 51,92 % 42,31 % 3,33 Funcionarios y jefaturas promedian en igual medida
21. Cantidad de participantes fue correcta
Jefaturas
0,00 %
0,00 %
66,67 %
33,33 %
3,33
este enunciado. No obstante, se puede verificar un porcentaje de funcionarios que no está conforme con este aspecto.
22. Metodología del curso fue apropiada para mantener activos e involucrados a participantes
Funcionarios aprobados Jefaturas
1,92 % 0,00 %
7,69 % 0,00 %
46,15 % 44,44 %
44,23 % 55,56 %
3,33 3,56
Funcionarios y jefaturas promedian sobre los tres puntos este enunciado. No obstante, se puede ve- rificar un porcentaje de funcionarios que no está conforme con este aspecto.
23. Es beneficioso para el sector público que la Contra - loría realice actividades de capacitación
Funcionarios aprobados Jefaturas
0,00 % 0,00 %
0,00 % 0,00 %
21,15 % 22,22 %
78,85 % 77,78 %
3,79 3,78
Funcionarios y jefaturas promedian sobre los tres puntos en este enunciado, siendo una de las res- puesta con indicadores más altos del cuestionario.
24. La Contraloría cuenta con la pertinencia adecuada para realizar cursos de capacitación en temáticas de su compe- tencia
Funcionarios aprobados Jefaturas
0,00 % 0,00 %
0,00 % 0,00 %
28,85 % 33,33 %
71,15 % 66,67 %
3,71 3,67
Funcionarios y jefaturas promedian sobre los tres puntos en este enunciado, sin diferencias sustan- ciales entre los indicadores.
25. El mecanismo de eva- luación de aprendizaje fue adecuado y pertinente
Funcionarios aprobados Jefaturas
1,92 % 0,00 %
3,85 % 0,00 %
48,08 % 33,33 %
46,15 % 66,67 %
3,38 3,67
Funcionarios y jefaturas promedian sobre los tres puntos este enunciado. No obstante, se puede ve- rificar un porcentaje de funcionarios que no está conforme con este aspecto.
26. La Contraloría debiese cer- tificar y habilitar en materias específicas, tal como lo realiza ChileCompra
Funcionarios aprobados Jefaturas
1,92 % 0,00 %
0,00 % 0,00 %
30,77 % 33,33 %
67,31 % 66,67 %
3,63 3,67
Funcionarios y jefaturas promedian sobre los tres puntos en este enunciado, sin diferencias sustan- ciales entre los indicadores.
27. Considera pertinente que solo funcionarios que aprue - ben el curso puedan realizar las tareas de rendición de cuentas en la institución
Funcionarios aprobados Jefaturas
11,54 % 0,00 %
0,00 % 22,22 %
50,00 % 33,33 %
38,46 % 44,44 %
3,15 3,22
Funcionarios y jefaturas promedian sobre los tres puntos en este enunciado. No obstante, existe un porcentaje significativo de funcionarios y jefaturas que no están de acuerdo con este aspecto.
3º DIMENSIÓN: EVALUACIÓN DE LA ACTIVIDAD
Muy poco (1)
Poco (2)
Casi todos (3)
Todos (4)
Indicador escala Likert (1 a 4)
Análisis resultados
28. Recuerda contenidos del curso
Funcionarios aprobados Jefaturas
0,00 % 0,00 %
9,62 % 11,11 %
80,77 % 33,33 %
9,62 % 55,56 %
3,00 3,44
Jefaturas consideran que sus colaboradores recuer - dan más de los contenidos. Existe una brecha entre lo respondido por funcionarios y jefaturas.
136
Manuel Ignacio Fernández Córdova
Diseño de un modelo piloto de evaluación de resultados de actividades de capacitación de la Contraloría a funcionarios públicos
137
Muy poco (1)
Poco (2)
Valioso (3)
Muy valioso (4)
Indicador escala Likert (1 a 4)
Análisis resultados
29. Considera que los con- tenidos son valiosos para el desarrollo de sus funciones
Funcionarios aprobados Jefaturas
0,00 % 0,00 %
1,92 % 0,00 %
42,31 % 44,44 %
55,77 % 55,56 %
3,54 3,56
Funcionarios y jefaturas promedian sobre los tres puntos en este enunciado, sin diferencias sustan- ciales entre los indicadores.
No Tanto (1)
Poco (2)
Capacitado (3)
Muy capacitado (4)
Indicador escala Likert (1 a 4)
Análisis resultados
30. Considera que está capaci- tado para aplicar lo aprendido en el puesto de trabajo
Funcionarios aprobados Jefaturas
0,00 % 0,00 %
7,69 % 0,00 %
67,31 % 44,44 %
25,00 % 55,56 %
3,17 3,56
Jefaturas consideran que sus colaboradores están más capacitados. Existe una brecha entre lo res- pondido por funcionarios y jefaturas.
Disminuyó (1)
Disminuyó un poco (2)
Aumentó (3)
Aumentó mucho (4)
Indicador escala Likert (1 a 4)
Análisis resultados
31. Luego de realizar el curso, la motivación para hacer tareas y procedimientos
Funcionarios aprobados Jefaturas
0,00 % 0,00 %
0,00 % 0,00 %
80,77 % 77,78 %
19,23 % 22,22 %
3,19 3,22
Funcionarios y jefaturas promedian sobre los tres puntos en este enunciado, sin diferencias sustan- ciales entre los indicadores.
3º DIMENSIÓN: EVALUACIÓN DE LA ACTIVIDAD —continuación—
Nunca (1)
Casi nunca (2)
A veces (3)
Casi siempre (4)
Siempre (5)
Indicador escala Likert (1 a 5)
Análisis resultados
Funcionarios aprobados
13,46 %
5,77 %
48,08 %
25,00 %
7,69 %
3,08
Funcionarios y jefaturas promedian bajo los cuatro puntos en este enunciado (escala de 1 a 5). Jefa-
32. Se han realizado consultas de trabajo (o técnicas) respec- to a la temática del curso
Jefaturas
0,00 %
0,00 %
44,44 %
33,33 %
22,22 %
3,78
turas consideran que realizan regularmente con- sultas, mientras que un porcentaje significativo de funcionarios considera que no les hacen consultas sobre los contenidos del curso. Existe una brecha entre lo respondido por funcionarios y jefaturas.
Nunca (1)
Casi nunca (2)
A veces (3)
Casi siempre (4)
Siempre (5)
Indicador escala Likert (1 a 5)
Análisis resultados
33. Han conseguido aplicar los contenidos aprendidos en el curso en su puesto de trabajo
Funcionarios aprobados Jefaturas
1,92 % 0,00 %
1,92 % 0,00 %
40,38 % 11,11 %
25,00 % 66,67 %
30,77 % 22,22 %
3,81 4,11
Funcionarios promedian bajo cuatro puntos en este enunciado, mientras que las jefaturas sobre los cuatro puntos. Jefaturas consideran que sus colaboradores han podido aplicar los contenidos en el puesto de trabajo, mientras que un porcentaje significativo de funcionarios considera que solo a veces, casi nunca o nunca. Existe una brecha entre lo respondido por funcionarios y jefaturas.
138
Manuel Ignacio Fernández Córdova
Diseño de un modelo piloto de evaluación de resultados de actividades de capacitación de la Contraloría a funcionarios públicos
139
3º DIMENSIÓN: EVALUACIÓN DE LA ACTIVIDAD —continuación—
33.2. Si respuesta fue «casi siempre» o «siempre»; cuales son las causas de poder aplicar los contenidos del curso en su puesto de trabajo:
33.1. Si respuesta fue «nunca», «casi nunca» o «a veces»; cuales son las causas de no poder aplicar los contenidos del curso en su puesto de trabajo:
Jefaturas de
Funcionarios
Funcionarios Análisis resultados aprobados
aprobados
Recuerda los contenidos del curso y tiene material
Funcionarios aprobados
20,24 %
Jefaturas de Funcionarios aprobados
26,09 %
Análisis resultados
No recuerda los conte- nidos
No aprendió nuevos contenidos
La función que des- empeña no permite aplicar directamente los contenidos
No se ha dado el mo- mento para aplicar los contenidos
Cambio de función desde que realizó el curso
Existe resistencia al cambio en la institución, lo cual obstaculiza aplicar los contenidos
La jefatura no apoya la aplicación de los conteni- dos aprendidos
No existe motivación para aplicar los contenidos
Otra causa
4,65 % 0,00 %
34,88 % 32,56 % 11,63 % 4,65 % 4,65 % 2,33 %
4,65 %
33,33 % 0,00 %
33,33 % 33,33 % 0,00 % 0,00 %
0,00 % 0,00 %
Para los funcionarios que marcaron esta opción, las principales causas son que la función que desempeñan no permite aplicar directamente los contenidos o no se han dado los es- pacios necesarios para la aplicación. Para las jefaturas que marcaron está opción, las principales causas son que consideran que sus colaborado- res no recuerdan los contenidos, la función que desempeña no permite aplicar directamente los contenidos o que no se han dado los espacios necesarios para la aplicación.
de consulta
Aprendió nuevos conteni- dos para aplicarlos
La función que desempe- ña permite aplicar directa- mente los contenidos
Se han dado los espacios y momentos para aplicar los contenidos
En la institución donde se desempeña son abiertos a nuevas ideas, lo cual fomenta la aplicación de los contenidos
La jefatura apoya la apli- cación de los contenidos aprendidos
Siente motivación para aplicar los contenidos
Otra
21,43 % 26,19 % 14,29 %
2,38 %
8,33 % 7,14 % 0,00 %
30,43 % 26,09 % 13,04 %
4,35 % 0,00 %
Para los funcionarios y jefaturas que marcaron esta opción, las prin- cipales causas son que recuerdan los contenidos, aprendieron nuevos contenidos, la función que desempe- ña permite aplicarlos directamente o se han dado los espacios necesarios para la aplicación.
4º DIMENSIÓN: EVALUACIÓN DEL CUESTIONARIO
En total desacuerdo (1) En desacuerdo (2) De acuerdo (3) En total acuerdo (4) Indicador escala Likert Análisis resultados
36. Cuestionario fue simple y fácil de responder
Funcionarios aprobados Jefaturas
1,92 % 0,00 %
3,85 % 0,00 %
48,08 % 44,44 %
46,15 % 55,56 %
3,38 3,56
Funcionarios y jefaturas promedian sobre los tres puntos este enunciado. No obstante, se puede ve- rificar un porcentaje de funcionarios que no está de acuerdo con este aspecto.
37. Los resultados de este cuestionario pueden aportar en el mejoramiento de la gestión de los cursos de la Contraloría
Funcionarios aprobados Jefaturas
3,85 % 0,00 %
0,00 % 0,00 %
50,00 % 55,56 %
46,15 % 44,44 %
3,38 3,44
Funcionarios y jefaturas promedian sobre los tres puntos este enunciado. No obstante, se puede ve- rificar un porcentaje de funcionarios que no está de acuerdo con este aspecto.
140
Manuel Ignacio Fernández Córdova
SÍNTESIS RESULTADOS Y RECOMENDACIONES
Diseño de un modelo piloto de evaluación de resultados de actividades de capacitación de la Contraloría a funcionarios públicos
141
DEBILIDADES Y FORTALEZAS RECOMENDACIONES
2º DIMENSIÓN: EXPERIENCIA EN LA ACTIVIDAD
Posibles debilidades: (1) Los encuestados consideran que la publicidad del curso se proporcionó preferentemente por la página web de la Contraloría, lo cual al parecer impactó en que sea bajo el indicador respecto a que la oferta programática fuese conoci- da por la mayoría de los funcionarios de las instituciones públicas. (2) Un porcentaje significativo de funcionarios que aprobaron el curso, consideran que el diseño del curso no es para especialistas en la materia, lo que podría generar bajo cumplimiento de los objetivos de aprendizaje y posterior aplicación de los contenidos en el puesto de trabajo, por considerarse un curso más bien de contenidos generales. (3) Un porcentaje significativo de funcionarios aprobados y jefaturas encuestadas no consideran pertinente que solo los funcionarios que aprueban el curso puedan realizar tareas de rendición de cuentas en su institución; esto se podría explicar a partir del punto anterior, ya que al considerar que el curso no explica contenidos específicos, podrían analizar que no permitiría dotar de los suficientes conocimientos y habilidades a los funcionarios encargados de los procedimientos de rendición de cuentas en sus respectivas instituciones.
(1) Explorar canales alternativos de comunicación de los cursos, tales como redes sociales o contactos con unidades de personal de las instituciones.
(2) Verificar la posibilidad de mejorar algunos contenidos del curso, ejemplifican - do con casos o situaciones específicas y reales que complementen lo teórico.
Posibles fortalezas: (1) La mayoría de los enunciados tienen indicadores positivos, lo cual implica que un alto porcentaje de los encuestados valoran positivamente aspectos como el sistema de postulación, plataforma donde se realiza el curso, mesa de ayuda, respuestas del tutor, metodología general del curso y modalidad de evaluación de aprendizaje. (2) Específicamente altas son las valoraciones que tienen los encuestados acerca de los beneficios que tiene para el sector público que la Contraloría realice capacitaciones y la pertinencia que tiene la institución en temas de su competencia.
(1) Cuando se comunique la oferta programática de los cursos, reafirmar los be - neficios que tiene para el sector público el proceso de capacitación que realiza la Contraloría, ya que es un valor que la institución no debe perder, puesto que es reconocido por los funcionarios.
3º DIMENSIÓN: EVALUACIÓN DE LA ACTIVIDAD
Posibles debilidades: (1) Si bien los indicadores son positivos, pues están sobre la media, existe una serie de brechas entre lo que los funcionarios encuestados declaran y lo que las jefaturas consideran respecto a esta serie de preguntas, lo cual podría tener como consecuencia cierta sobrevaloración de las jefaturas acerca de las habilidades adquiridas por los funcionarios que aprobaron el curso y su aplicación en el puesto de trabajo. (2) Es necesario destacar la pregunta respecto a la posible aplicación de los contenidos en el puesto de trabajo, si bien el 55 % de los funcionarios encuestados declaran que aplican lo aprendido en el puesto de trabajo, también un alto porcentaje (40 %) responde que solo a veces aplica lo aprendido. Si se buscan las causas, los funcionarios declaran que la función que desempeñan no permite aplicar directamente los contenidos o no se ha dado el momen - to en su puesto de trabajo, lo cual podría ser indicativo de fallas en el proceso de selección de los participantes del curso, pues al parecer no estarían realizando tareas propias de los contenidos del curso, por ende no las podrían aplicar en su puesto de trabajo.
(1) Generar mecanismos de involucramiento de las jefaturas en el proceso de evaluación de aprendizaje de los funcionarios, más allá de la información de las calificaciones. Como, por ejemplo, informe de aspectos de mejora a partir de la evaluación de aprendizaje.
(2) Mejorar foco del público objetivo del curso en el proceso de selección de par - ticipantes, con el objeto de que la mayoría de quienes lo realicen posteriormente puedan aplicar lo aprendido en sus puesto de trabajo.
Posibles fortalezas: (1) Funcionarios y jefaturas consideran mayoritariamente que los contenidos del curso son valiosos para el desarrollo de las funciones que busca reforzar la actividad. (2) También la mayoría consideran que el curso logró aumentar la motivación de sus participantes para hacer tareas y procedimientos. (3) Asimismo, mayormente consideran que el curso ayudará a disminuir futuras posibles observaciones de auditoría y mejorará la transparencia institucional.
(1) Si bien los contenidos son valorados e impactan —en lo declarativo— positi - vamente en la motivación de los participantes y la gestión institucional, se reco - mienda la revisión de los contenidos en relación a dotarlos de mayor practicidad, de acuerdo a lo señalado en la 2º dimensión y lo verificado en las preguntas respecto a la aplicación en el puesto de trabajo.
4º DIMENSIÓN: EVALUACIÓN DEL CUESTIONARIO
Posibles debilidades: (1) Porcentaje bajo declara que el cuestionario no fue simpe y de fácil respuesta.
Posibles fortalezas: (1) En general buenos indicadores de evaluación del cuestionario, y que puede aportar al mejoramiento de los cursos de la Contraloría.
(1) Verificar la posibilidad de disminuir cantidad de preguntas del cuestionario, sin que afecta la calidad de los resultados.
142
Manuel Ignacio Fernández Córdova
SÍNTESIS RESULTADOS Y RECOMENDACIONES
Diseño de un modelo piloto de evaluación de resultados de actividades de capacitación de la Contraloría a funcionarios públicos
143
CONSOLIDACIÓN Y GRÁFICO
El gráfico se compone en el eje horizontal por el número de las preguntas, y en el eje vertical por el indicador de Likert. En el área del gráfico, se pueden observar los resultados del indicador para cada pregunta, observando los siguientes resultados generales:
(1) Las preguntas donde los indicadores entre funcionarios y jefaturas son similares son las siguientes: 11; 12; 17; 23; 26; 27; 29; 31; 34; 35; 37.
(2) Las preguntas donde los indicadores entre funcionarios y jefaturas son disimiles y se producen brechas, son las siguientes: 18; 28; 30; 32; 33.
(3) Las preguntas con resultados más bajos de indicadores (en escala 1 a 4) son las 11 (oferta programática conocida) y 18 (diseño del curso idóneo para especialistas), por tanto, debiesen ser donde se con - centren los esfuerzos de rediseño del curso.
(4) La pregunta con resultados más bajos de indicadores (en escala 1 a 5) es la 32 (consultas de trabajo respecto a la temática del curso).
(5) La pregunta con resultados más altos de indicadores (en escala 1 a 4) es la 23 (es beneficioso para el sector público que la Contraloría realice actividades de capacitación).
(6) La pregunta con resultados más altos de indicadores (en escala 1 a 5) es la 33 (se ha conseguido aplicar los contenidos aprendidos en el curso en su puesto de trabajo).
(7) Se establecieron líneas de tendencias de los resultados, verificando que las valoraciones del curso son levemente mejores para las jefaturas que para los funcionarios que aprobaron el curso.
A partir de la información analizada, se puede establecer que el curso ha generado resultados en los puestos de trabajo de los funcionarios que aprobaron, por tanto se recomienda continuar con su im- partición, mejorando aspectos de diseño, como la practicidad, y los procedimientos de comunicación de la oferta programática.
RESULTADO DE INDICADORES DE LIKERT EN CADA PREGUNTA
144 Manuel Ignacio Fernández Córdova
Conclusiones
En este capítulo se presentarán las conclusiones del trabajo, en atención a las preguntas de investigación y el marco teórico.
Durante el desarrollo de este trabajo se ha logrado identificar lo relevante que resulta para la Contraloría contar con un adecuado diseño metodológico que permita evaluar los resultados de las actividades de capacitación que imparte a funcionarios públicos. Ello, toda vez que en la ejecución de estas actividades se generan gastos institucionales, tanto de recursos humanos como financieros, que de alguna manera deben ser contrastados con los objetivos esperados. A su vez, este diseño metodológico permitiría apoyar el proceso de toma de decisiones desde una perspectiva más racional, pues es lógico sostener que, si los gastos de cualquier institución pública no están generando los resultados esperados, las acciones que están produciendo dichos gastos debiesen suspenderse, o al menos, rediseñarse, lo cual implica un uso racional de los recursos públicos.
Lo anterior cobra aún más relevancia al verificar el actual entorno de las instituciones públicas, donde la sociedad civil juega un papel preponderante al exigir mecanismos de evaluación del gasto público, vale decir, que las instituciones demuestren con datos que las acciones elegidas para subsanar una problemática han generado resultados. Siendo el ente que vela por el buen uso de los recursos de las demás instituciones públicas, la Contraloría no puede quedar indiferente a este contexto.
Asimismo, es fundamental el aporte que puede realizar la Contraloría al fortalecimiento del estado democrático, instaurando esquemas evaluativos en su propia organización, que contribuirán a institucionalizar procesos de rendición de cuentas de los gastos, lo cual fortalece la democracia (Observatorio del Gasto Fiscal en Chile, 2016, pág. 8).
En este orden de consideraciones, este trabajo pretendió aportar en el diseño metodológico de un modelo piloto de evaluación de resultados de las actividades de capacitación de la Contraloría a funcionarios públicos, para luego «testearlo» en un curso que la Contraloría haya ejecutado en los últimos años, verificando su aplicabilidad.
El modelo piloto se estructuró conceptualmente sobre la base de dos elementos principales: los cuatro niveles de evaluación del modelo de Kirkpatrick, precursor en esta materia, y la metodología de marco lógico, como forma de evaluación de un proyecto o programa público bien estructurado.
Los cuatro niveles de evaluación de las capacitaciones se refieren a:
1) Reacción, que mide el grado de satisfacción de los participantes al finalizar la actividad.
2) Aprendizaje, se refiere a la medición respecto a si los contenidos revisados en la actividad han sido adquiridos por los participantes.
Diseño de un modelo piloto de evaluación de resultados de actividades de capacitación de la Contraloría a funcionarios públicos
3) Transferencia, referido a la evaluación en los cambios de conducta en el puesto de trabajo a raíz del conocimiento adquirido, que podrían ser influenciados también por otros factores, como la propia motivación de los participantes, estimulación de las jefaturas, contexto institucional, sistema de incentivos, entre otros.
4) Impacto, para el autor son los resultados positivos que una acción formativa podría tener en una organización, ya sea a nivel aumento de producción, mejora de calidad o incremento de usuarios satisfechos.
Por su parte, la metodología de marco lógico establece una forma ordenada de evaluación de proyectos y programas, definiendo niveles de objetivos:
1) Fin: impacto a largo plazo.
2) Propósito: cambios en comportamientos o resultados al final de la aplicación de un proyecto.
3) Componentes: resultados que se entregarán durante la ejecución del proyecto.
4) Actividades: lo que se hará en la ejecución del proyecto.
A partir del cumplimiento de indicadores previamente establecidos para cada nivel de objetivo, en la metodología de marco lógico se pueden realizar evaluaciones en cuatro dimensiones:
1) A dimensión de procesos, referido al logro de actividades.
2) A dimensión de productos, referido al logro de componentes.
3) A dimensión de resultados intermedios, referido al logro del propósito, si hubo cambios en los comportamientos, actitudes o estado de los beneficiarios de una intervención, una vez han recibido los bienes o servicios.
4) A dimensión de resultados finales, referido a si se cumplió con el fin, en tanto impactos perdurables en el tiempo de la intervención.
En este marco, el diseño del modelo piloto comenzó por considerar que los cuatro niveles de evaluación de Kirkpatrick eran armonizables con la metodología de marco lógico, en el sentido de que los niveles de evaluaciones podrían ser comparables a los niveles de objetivos y dimensiones de resultados de la metodología de marco lógico. En parte, esta comparación es posible por la lógica vertical de cumplimiento que los tres elementos tienen, pues a medida que se cumple un nivel o dimensión se aporta al cumplimiento de la siguiente. Así, las comparaciones posibles fueron las siguientes:
1) La evaluación de reacción se puede comparar con el cumplimiento de actividades y componentes, pues suceden durante la ejecución de una actividad de capacitación, por ende, las correspondientes evaluaciones en las dimensiones de procesos y productos.
145
146
Manuel Ignacio Fernández Córdova
2) Las evaluaciones de aprendizaje y transferencia son comparables con el cumplimiento del propósito, ya que ambas pretenden cambios en comportamientos de los beneficiarios al finalizar una actividad de capacitación, por tanto, correspondería una evaluación a dimensión de resultado intermedio.
3) Las evaluaciones de impacto son comparables al cumplimiento del fin, pues implica verificar resultados a largo plazo en las organizaciones a partir de la ejecución de una actividad de capacitación, por ello es una evaluación a dimensión de resultados finales.
Sobre la base de lo anterior, se estableció en el marco metodológico que para levantar el modelo piloto era necesario elaborar un guion de entrevista semiestructurada que fuese aplicada a actores clave del proceso de capacitación externa de la Contraloría y expertos en los temas de capacitación de adultos en el sector público. Este guion se desarrolló sobre la base de lo establecido conceptualmente en los párrafos anteriores.
Luego de recolectada la información de las entrevistas, se redujeron y analizaron los datos, para dar paso a la sistematización en dos cuestionarios, que formarían parte íntegra del modelo piloto. También, relacionado con el análisis de las entrevistas, se definió que los cuestionarios deberían ser aplicados a los funcionarios que aprobaron una actividad y sus jefaturas, con objeto de verificar si los contenidos aprendidos fueron transferidos en el puesto de trabajo. Asimismo, se estructuró un formato de «informe de resultados», para el reporte de información clara, ordenada y sistematizada, que apoyara la toma de decisiones de las autoridades respecto a la continuidad o rediseño de las actividades de capacitación.
En referencia a la principal pregunta de investigación —relativa a cuál era un diseño metodológico de evaluación de resultados adecuado para las actividades de capacitación que imparte la Contraloría a funcionarios públicos—, se puede afirmar que el modelo piloto diseñado responde a las necesidades institucionales, ya que, por una parte, se basa teóricamente en modelos de evaluación de actividades de capacitación e intervenciones públicas y, por otra, es operativamente aplicable con las herramientas actuales de la Contraloría.
Lo anterior fue verificado mediante el testeo que se realizó a la última versión 2018 del «Curso e-learning de nueva normativa y procedimientos de rendición de cuentas», donde se pudo constatar que el modelo piloto respondía al esquema evaluativo propuesto, generando información valiosa respecto a todas las dimensiones de resultados, pero principalmente a los resultados intermedios, centrándose en la posible transferencia de los contenidos aprendidos en el curso al puesto de trabajo.
En relación a las preguntas complementarias definidas en el marco metodológico, cabe señalar que, si bien la muestra de participantes que respondieron los cuestionarios fue baja, el ejercicio de testear el modelo permitió establecer que
Diseño de un modelo piloto de evaluación de resultados de actividades de capacitación de la Contraloría a funcionarios públicos
es operativamente replicable a otros cursos ejecutados por la Contraloría , debiendo existir el cuidado de que la evaluación se realice en los plazos que la teoría y los expertos señalan: no más de seis meses de finalizada la actividad de capacitación. También hay que reformular algunas preguntas de los cuestionarios que estaban orientadas hacia cursos virtuales, en caso de que la evaluación se realice a actividades de carácter presencial.
Otra de las finalidades del modelo piloto es apoyar la toma de decisiones respecto a la asignación de recursos y definición de futura oferta de capacitación, elemento que no se logró verificar en su totalidad. Ello porque el resultado del testeo del curso e-learning no fue informado a las respectivas autoridades institucionales en el marco de este trabajo, no pudiendo establecerse con claridad la existencia de procesos y mecanismos necesarios para que la información permeara posibles decisiones de gestión respecto al curso, que según los resultados del modelo piloto sería continuar con su impartición, ya que ha producido transferencia de contenidos en el puesto de trabajo, no obstante, se deben mejorar aspectos de diseño del curso, como la practicidad.
A partir de los resultados de esta investigación, es posible recomendar a la Contraloría, específicamente al Centro de Estudios de la Administración del Estado, que implemente el diseño de este modelo de evaluación de resultados de capacitación, posiblemente perfeccionándolo en relación al contexto de cada actividad de capacitación. La adopción de este modelo de evaluación podría generar nuevas cargas de trabajo, por tanto, siguiendo las recomendaciones de la Dirección Nacional del Servicio Civil, la aplicación del modelo debería realizarse a una muestra del universo de actividades de capacitación que ejecuta la Contraloría, en general establecida para este tipo de evaluaciones orientadas a la transferencia en el 20 % del universo total (2014). La muestra de actividades de capacitación debiese ser dirigida en relación a dos variables:
1) A los cursos o talleres de más de ocho horas de duración, para evaluar contenidos que sean transferibles en el puesto de trabajo.
2) A los cursos o talleres que hayan generado gastos institucionales altos en su desarrollo e impartición. También se recomienda que los resultados de las evaluaciones debiesen tener una correlación en las decisiones de gestión de las actividades de capacitación, como el rediseño o la suspensión de algún curso.
En otro sentido, es necesario señalar las limitaciones de investigación que existieron al realizar el modelo piloto, con la finalidad de que, en una posible futura aplicación, dichas limitaciones puedan ser superadas. En primer lugar, lamentablemente no se logró una muestra representativa en el testeo del modelo piloto, solo el 24 % de los funcionarios aprobados y el 7 % jefaturas respondieron la encuesta que se envió a sus correos electrónicos institucionales. Como posible causa de lo anterior, identificamos el excesivo plazo en que se realizó el testeo tras la finalización del curso —nueve meses—, pues muchos
147
148
Manuel Ignacio Fernández Córdova
participantes pueden haber cambiado de función o institución, las jefaturas ya no son las mismas, o el natural desinterés en responder una encuesta tanto tiempo después.
Asimismo, el tiempo que se mantuvo abierta la encuesta no fue el óptimo, solo dos semanas para la respuesta de más de doscientos encuestados; debió alargarse a un mes.
Otra limitación del trabajo de investigación fue no poder analizar los resultados del testeo con alguna jefatura encargada de tomar decisiones de gestión y presupuestarias respecto al curso analizado, como, por ejemplo, la secretaria ejecutiva del Centro de Estudios de la Administración del Estado, jefe de Gabinete o el mismo Contralor General. No se pudo concertar una reunión por temas de agenda de las autoridades y tiempos de entrega de la investigación, razón por la cual se considera necesario establecer mecanismos institucionalizados de revisión de las evaluaciones bajo este modelo, con el objeto de superar esta limitación.
Por último, cabe destacar futuras investigaciones que se puedan desprender de este trabajo de investigación. En este contexto, es lógico pensar que deba avanzar en los niveles de evaluación del modelo de Kirkpatrick, por tanto, le correspondería buscar soluciones metodológicas respecto al cuarto nivel: el impacto, para constatar los avances en las instituciones públicas que reciben alguna capacitación de la Contraloría y las que no han recibido la misma capacitación, generando grupos tratados y de control. Sería fundamental poder medir un porcentaje de las actividades de capacitación que la Contraloría realiza a instituciones públicas en esta dimensión de resultado final, pues se podrían constatar variables como la disminución o aumento de observaciones de auditoría interna y de la Contraloría luego de haber realizado una actividad; o la disminución o aumento de gastos a partir de la sólida aplicación de una normativa.
En este trabajo de investigación se han sentado algunas bases teóricas y operativas que pudiesen dar paso a este tipo de evaluaciones de impacto, que, si bien tienen las características de ser más costosas y extensas en términos de tiempo, aportan información valiosa para la gestión de los programas de capacitación en relación a los efectos duraderos, de largo plazo, que producen en las instituciones públicas.
En estos términos se refiere un especialista en evaluaciones respecto a la medición de impacto: «es una medida mucho más amplia al tener en cuenta no solo la consecución de los objetivos propuestos, sino también al realizar una valoración de todos los efectos colaterales y del entorno a la aplicación de la intervención, y a otros elementos asociados, por lo que como elemento evaluativo cumple con la mayoría de los fines de la evaluación. Sin embargo, en comparación con el método de evaluación por objetivos, la evaluación de impacto es costosa, dispendiosa y onerosa» (Nina Baltazar, 2008).
Diseño de un modelo piloto de evaluación de resultados de actividades de capacitación de la Contraloría a funcionarios públicos
Para finalizar, es importante acentuar la innovación en la gestión de las capacitaciones de la Contraloría que puede generar este trabajo de investigación, o posteriores investigaciones en materia evaluativa de las capacitaciones, pues implica la generación de valor público a través de la medición de los resultados y el uso racional de los recursos públicos.
Referencias
• Calderón Vázquez, F. (2008). Guía de orientaciones para la evaluación y seguimiento de proyectos de desarrollo. Obtenido de Enciclopedia Virtual Eumed: http://www.eumed.net/libros-gratis/2008b/411/411.zip
• CEACGR. (s.f.). Obtenido de www.ceacgr.cl
• Contraloría General de la República. (s.f.). Obtenido de https://www. contraloria.cl/web/cgr/que-hacemos
• Contraloría General de la República de Chile. (2016). Estrategia CGR 2017-2020. Obtenido de https://micgr.contraloria.cl/intraweb/ documents/2248021/2506205/DIAGRAMADO+VERSIO%C2%B4N+FINAL. pdf/337c7d73-db03-9ced-2051-e84cc62e9ce8
• Departamento de Capacitación Contraloría General de la República de Chile. (2013). Definición metodológica de los tipos de actividades de capacitación.
• Dirección de Presupuestos. (2015). Evaluación ex-post: conceptos y metodologías. Santiago. Obtenido de http://www.dipres.gob.cl/598/ articles-135135_doc_pdf.pdf
• Dirección Nacional del Servicio Civil de Chile. (2014). Guía práctica para gestionar la capacitación en los servicios públicos (2ª ed.). Santiago. Obtenido de https://documentos.serviciocivil.cl/actas/ dnsc/documentService/downloadWs?uuid=4aafd22f-3ce0-4a80-bcb5- 196587dc3c0c (8 diciembre 2017)
• Hernández Sampieri, R., Fernández Collado, C., & Baptista Lucio, M. (2016). Metodología de la investigación (6ª ed.). México: Interamericana Editores S.A.
• Kirkpatrick, D. (1999). Evaluación de acciones formativas. Los cuatros niveles (1ª ed.). Madrid: Training Club.
• Nina Baltazar, E. (2008). Modelos de evaluación de políticas y programas sociales en Colombia. Revista Papel Político, 13 (2), 449-471. Obtenido de http://www.scielo.org.co/pdf/papel/v13n2/v13n2a03.pdf
• Observatorio del Gasto Fiscal en Chile. (2016). Principios para la rendición de cuentas del gasto público en Chile. Obtenido de https://observatoriofiscal.
149
150
Manuel Ignacio Fernández Córdova
cl/ARCHIVOS/biblioteca/principiosparalarendicio%CC%81ndecuentasdelgas - topu%CC%81blicoenchile oct2016.pdf
• Ortegón, E.; Pacheco J. F.; Prieto A. (2005). Metodología del marco lógico para la planificación, el seguimiento y la evaluación de proyectos y programas (Manuales Series Nº 42). CEPAL.