83
DISEÑO DE UN MODELO PILOTO
DE
EVALUACIÓN DE RESU LTADOS DE
ACTIVIDADES DE CAPACITACIÓN
DE
LA CONTRALORÍA A
FUNCIONARIOS PÚBLICOS
DESIGN OF
A PILOT MODEL FOR EVALUATION OF RESU LTS OF TRAINING ACTIVITIES IN THE OFFICE OF THE
COMPTROLLER FOR CIVIL SERVANTS
Manuel Ignacio Fernández Córdova1
Resumen
Este trabajo pretende el diseño de un
modelo piloto de evaluación de resultados de las
actividades de capacitación que realiza la Contraloría General de
la República a los
funcionarios públicos. El diseño del modelo piloto se realiza
mediante a la revisión teórica y aplicación de entrevistas, tanto a
funcionarios y jefaturas de la Contraloría, como a expertos en
temas de capacitación. Luego se testea el modelo piloto de
evaluación a los funcionarios aprobados —y sus jefaturas— de
un curso virtual que la
Contraloría ejecutó durante el segundo semestre de 2018.
A partir del testeo, se
concluye que el diseño evaluativo es aplicable, y replicable,
a otras actividades de
capacitación, con ciertas modificaciones dependiendo del
tipo y contexto de
capacitación.
Palabras clave: capacitación –
modelos de evaluación – desarrollo de conocimiento – funcionarios públicos
Abstract
This work
aims to design a pilot model for evaluating the results of the
training activities carried out by the Office of the Comptroller
General of the Republic of Chile for public workers. The design of
the pilot model is carried out through the theoretical revision and
conduction of interviews, both to civil servants, heads of
the Office of the Comptroller
and to experts in training topics. Then, the pilot evaluation model
is tested on the public officials —and their department heads— that
approved a virtual course that the Office of the Comptroller
carried out during the second
semester of 2018. From the testing, it is concluded that the
evaluative
1 Administrador público, magíster © en Gobierno y
Gerencia Pública de la Universidad de Chile.
design is
applicable, and replicable, to other training activities, with
modifications depending on the type and context of
training.
Keywords:
training – evaluation models – knowledge development – public
officials
Introducción
La Contraloría General de la
República de Chile es el órgano superior de
fiscalización de la
Administración del Estado, que está contemplado en la Constitución
Política y es autónomo
respecto del Poder Ejecutivo y de los demás órganos públicos.
Controla la legalidad de los actos administrativos y resguarda el
correcto uso de los fondos públicos (Contraloría General de la
República, s.f.). Su funcionamiento se enmarca en la ley Nº 10.336.
Además de lo anterior, uno de sus
objetivos estratégicos es apoyar el fortalecimiento del sector
público (Contraloría General de la República de Chile, 2016, pág.
2), generando mecanismos que permitan a las entidades fiscalizadas
lograr conocimiento y habilidades de normativas y procedimientos,
con la finalidad de disminuir posibles observaciones en los
procesos de fiscalización. En dicho marco, desde 2010 la
Contraloría realiza de manera gratuita capacitaciones a
instituciones públicas y municipios, con el objeto de que los
funcionarios de las entidades participantes adquieran conocimientos
y habilidades concretas para la mejora en la eficiencia de los
procesos internos y el buen uso de los recursos públicos con ajuste al cumplimiento
normativo.
Este proceso, denominado capacitación
externa, fue gestionado hasta 2018 por el Departamento de Capacitación de la Contraloría
(2013), unidad que establecía en sus
definiciones estratégicas ser la instancia que
«colabora estratégicamente con las demás instituciones públicas, produciendo actividades
de capacitación que contribuyan en la mejora de los procesos en la
Administración Pública, poniendo especial atención en aquellas
prácticas que optimicen, eficiente y eficazmente, el uso de los
recursos y la generación de valor público resguardando la probidad
administrativa» (pág. 1). Actualmente este proceso lo lleva a cabo
el Centro de Estudios de la Administración del Estado (CEA),
instancia académica de la Contraloría que tiene como principal
objetivo «fortalecer la gobernanza a través de la formación transversal de funcionarios y
servidores de la Administración del Estado, estudiantes y la sociedad civil, promoviendo
la implementación de buenas prácticas en la gestión pública, la
generación de contenidos y la vinculación con la ciudadanía» (CEACGR, s.f.).
En dicho contexto, el Departamento de
Capacitación gestionó desde 2010 a 2016, más de mil actividades
para funcionarios de instituciones públicas y municipios, con
recursos presupuestarios y humanos propios de la Contraloría;
es
decir, los gastos en la ejecución de
las actividades han estado a cargo de la institución fiscalizadora,
gastos por ejemplo en salas, equipamiento y materiales. Asimismo,
son funcionarios de la Contraloría —especialistas en temáticas
específicas relacionadas con la Administración del Estado— quienes
han levantado y relatado los
contenidos de cada actividad.
La relevancia del proceso capacitador
de la Contraloría se puede verificar en que la institución ha
destinado, en los últimos años, a la ejecución de actividades de
capacitación para funcionarios de la Administración del Estado,
alrededor del 1% de su
presupuesto, según cifras del Departamento de Presupuesto de la
Contraloría; ofreciendo 42.751
cupos de capacitación entre los años 2010 y 2016.
Si bien se puede constatar la
relevancia del esfuerzo institucional, realizando una amplia
cartera y tipologías de actividades de capacitación, como cursos,
talleres, charlas, seminarios, entre otros, por distintas razones
de gestión, hasta ahora la Contraloría no cuenta con un diseño
metodológico que permita evaluar si los esfuerzos institucionales —financieros y de recursos
humanos— de realizar estas
actividades han generado los resultados esperados, en términos de
influir en la mejora de la eficiencia de las instituciones
participantes o producir cambios en el comportamiento de los
funcionarios una vez aprobados los cursos.
Lo anterior constituye una
problemática, pues no contar con un diseño metodológico que permita
evaluar los resultados de las actividades de capacitación es
relevante, porque la realización de las mismas implica
significativos recursos institucionales, tanto de la Contraloría
como de las instituciones públicas participantes, que posiblemente
distraen capacidades profesionales, con la
expectativa de incrementar el
capital humano en su gestión.
Actualmente la sociedad civil exige a
las instituciones públicas que sus gastos generen resultados, los
cuales puedan ser medibles y transparentes. Por esta razón, es
importante que la Contraloría, como órgano encargado de velar por
el buen uso de los recursos públicos, genere mecanismos efectivos
para evaluar sus propios esfuerzos, en este caso específico, los
que realiza en actividades de capacitación de otras instituciones del Estado.
En este orden de consideraciones,
este trabajo pretende diseñar un posible modelo de evaluación de
resultados de las actividades de capacitación de la Contraloría a
funcionarios públicos, para luego «testearlo» en un curso esta
institución haya ejecutado en los últimos años, verificando su
aplicación.
Con tal finalidad, esta investigación
se estructura en el siguiente orden:
1.
Marco
teórico, con el propósito de
obtener criterios referenciales del desarrollo de habilidades,
conocimientos y actitudes en adultos, y su conexión
con el proceso de evaluación
de resultados.
2.
Diseño
metodológico, que permitirá
establecer las preguntas y objetivos que se buscan cumplir,
señalando el tipo y enfoque de investigación, describiendo las
técnicas e instrumentos para la recolección de los
datos.
3.
Contexto
institucional, donde se
expondrá de manera general la magnitud del esfuerzo que realiza la
Contraloría en la ejecución de las actividades de capacitación,
señalando posibles causas acerca de por qué la institución no
cuenta con un modelo para evaluar los resultados de las actividades
de capacitación.
4.
Análisis
de resultados de la investigación, exponiendo el diseño y levantamiento del modelo piloto de
evaluación de las actividades de capacitación que realiza la Contraloría a funcionarios
públicos.
5.
Conclusiones del trabajo, en atención a las preguntas de investigación y el marco
teórico, verificando limitaciones del trabajo y futuras
investigaciones que se puedan
desprender de los resultados.
1.
Marco teórico
1.1. Enfoque sistémico de la
capacitación
En general, ha sido implementado por
aquellas organizaciones que pretenden asegurar calidad en la
gestión del proceso de capacitación, pues permite dotarlo de una
estructura referencial para el establecimiento de etapas,
procedimientos y tareas
adecuados.
El enfoque, desde los aportes de
Donald Kirkpatrick en 1959, indicaba que para lograr acciones
formativas afectivas se debían tener en cuenta diez pasos
fundamentales:
1)
determinación de las
necesidades;
2)
fijación de objetivos;
3)
determinación de los
contenidos;
4)
selección de los
participantes;
5)
determinación del mejor plan de
trabajo;
6)
selección de la infraestructura
apropiada;
7)
selección de los formadores
apropiados;
8)
selección y preparación de materiales
audiovisuales;
9)
coordinación de la acción
formativa;
10)
evaluación de la acción formativa
(Kirkpatrick, 1999).
Por su parte, la Dirección Nacional
del Servicio Civil de Chile (DNSC) señala que, a través de la
instalación de un diseño ad hoc para la Administración
pública chilena —orientado desde el Programa de Mejoramiento de la
Gestión (PMG)—, se ha logrado implementar paulatinamente en
ministerios y servicios públicos un modelo de gestión de
capacitación, basado en el clásico modelo sistémico,
compuesto por las siguientes
etapas:
Etapa 1:
Detección de
necesidades de capacitación. Busca información,
a través de evidencia
sistematizada, con jefaturas o clientes internos acerca de los
problemas, necesidades o desafíos que están interfiriendo en el
desempeño de los funcionarios.
También se determinan las expectativas sobre la capacitación y se
consensúan cuáles son los
objetivos de desempeño o conductas que el participante una vez
finalizada la capacitación debe poner en práctica.
Etapa 2:
Planificación. Se genera el
diseño instruccional de la capacitación, transformando los
objetivos de desempeño, relevados en la etapa anterior, en
objetivos de aprendizaje, definiendo contenidos, metodología y
duración de la actividad, teniendo presente elementos
que faciliten una
mayor probabilidad de transferencia desde la actividad de
capacitación al puesto de trabajo, describiendo los mecanismos de
evaluación de satisfacción, aprendizaje y transferencia. También se
verifican las condiciones logísticas de las actividades de
capacitación que se
ejecutarán.
Etapa
3: Ejecución. Referida a todas
las tareas que aseguran calidad en la implementación, a través de una estrategia de seguimiento
y monitoreo, y una metodología de gestión que permita tomar
decisiones de ajustes sobre variables que puedan afectar la calidad
del aprendizaje, por ejemplo, instructores, diseño de las
actividades, duración, frecuencia, rol de las jefaturas, entre
otros.
Etapa
4: Evaluación de la
capacitación. Su finalidad es buscar información, a través de las
mediciones realizadas —reacción, aprendizaje, transferencia e
impacto—, que permitan tomar decisiones basadas en evidencias, para
mejorar las actividades de capacitación que se están desarrollando
(Dirección Nacional del Servicio Civil de Chile, 2014, págs.10-15).
1.2. Modelos de evaluación de
la capacitación
En la Administración pública se
consideran relevantes los procesos evaluativos, porque dotan de
información estratégica acerca de las acciones y decisiones que se
generan, verificando si se han cumplido los objetivos planteados
para la realización de uno u
otro programa.
En relación a la evaluación de la
capacitación, se puede establecer que «la evaluación de la
formación en las organizaciones es una estrategia necesaria para
garantizar la calidad de las acciones formativas que se llevan a
cabo en su seno
y para impulsar el proceso de
aprendizaje constante que el entorno actual exige»
(Dirección Nacional del
Servicio Civil de Chile, 2014, pág. 13).
En este marco, varios autores han
ideado modelos de evaluación de la capacitación, la mayoría basados
en el de los cuatro niveles de Donald Kirkpatrick (1999), quien
señala que «evaluar es el equivalente a tener un par de ojos: evita
que andemos a tientas; nos proporciona información de qué debe
continuar, qué debe cambiar y qué debe desaparecer…tendremos que
basarnos en ella para poder demostrar a los colectivos interesados
que su tiempo, dinero y esfuerzo han sido bien empleados» (pág. 13).
Los cuatro niveles que plantea
Kirkpatrick son los siguientes:
Nivel
1: Reacción. Mide la forma
como los participantes reaccionan a una acción formativa. El objetivo es que su satisfacción
sea positiva, pues existen más posibilidades de que se produzca aprendizaje.
Nivel
2: Aprendizaje. Se refiere a
la medición del aprendizaje adquirido por los participantes en la
actividad de capacitación, modificando conocimientos,
habilidades y
actitudes.
Nivel
3: Transferencia. Concierne a
los cambios de conducta en el puesto de trabajo a raíz del
conocimiento adquirido. Estos pueden estar influenciados por
factores externos a la capacitación, como la propia motivación de
cambiar del participante, la estimulación de las jefaturas y un
sistema de incentivos organizacionales adecuados para producir el
cambio. De ahí que en este nivel es necesario analizar también
estos factores externos a la capacitación.
Nivel
4: Impacto. Se refiere a los
resultados positivos que una acción formativa podría tener en una
organización, ya sea por aumento de producción, mejora de
calidad, incremento de
usuarios satisfechos, entre otros.
La Dirección Nacional del Servicio
Civil de Chile (2014) define que los procesos de evaluación en la Administración pública
debiesen basarse en el modelo de los cuatro niveles, enfatizando en
algunas consideraciones, por ejemplo que la complejidad de medición es mayor a medida que se
aumenta de nivel, por tanto, la conveniencia de evaluar en el
tercer y cuarto nivel deberá ser analizada a través de «criterios y
herramientas que permitan identificar cuándo y cómo evaluar en
estos niveles» (pág.
38).
1.3. Dimensiones de resultados
en una evaluación
Complementariamente al punto 1.2, es
necesario agregar que los resultados de la evaluación de un
proyecto o programa bien planteado pueden ser a nivel de proceso,
producto, resultados intermedios y resultados finales. Esto se
puede
realizar a través de la metodología
de marco lógico de la Agencia Internacional de Desarrollo de Estados Unidos (USAID), cuya
finalidad fue obtener un «…esquema evaluatorio, que permitiera
definir si un proyecto funcionó o no, si produjo los
resultados esperados y si los
medios y recursos empleados tuvieron el impacto apropiado»
(Calderón Vázquez, 2008, pág. 7). Esta herramienta proporciona
información de utilidad para la planificación, ejecución, monitoreo
y evaluación de proyectos o programas, a través del análisis
estructurado de un problema, sus relaciones causales y los
objetivos que persigue el proyecto o programa que se
desplegó como
solución.
Siguiendo a Ortegón et al.
(2005), los niveles de objetivos en la metodología de marco lógico
se pueden definir de la siguiente manera (págs. 23-24):
a)
Fin: objetivo de
desarrollo en que el proyecto o programa se enmarca,
describiendo el impacto a
largo plazo que contribuirá la operación de la
intervención.
b)
Propósito: efecto
directo, ya sea en cambios de comportamientos o resultado esperado
al final del período de ejecución del proyecto o programa. Se
define como una hipótesis sobre lo que debiese ocurrir si se
realiza la intervención, como
tal, está fuera del control total de quienes ejecutan el
proyecto o programa, pues
ellos son responsables de generar las condiciones necesarias para
que se produzca el propósito, a través del cumplimiento de los
componentes, pero existen más variables que pueden afectar el logro
del propósito, como por ejemplo condiciones ambientales, sociales y
humanas.
c)
Componentes: resultados
que entregará la ejecución del proyecto o programa, que pueden ser, por ejemplo: obras, estudios
o capacitación terminadas.
Se supone que, si se logran los componentes de manera adecuada, se
lograría el
propósito.
d)
Actividades: lo que se
hará en la ejecución del proyecto o programa, para
cumplir cada
componente.
Se verifica una lógica vertical en
los niveles de objetivos, existiendo vínculos causales de abajo
hacia arriba entre estos niveles, es decir, las actividades son
necesarias para producir el componente; se requiere de cada
componente para lograr el propósito del proyecto; si se logra el
propósito del proyecto, contribuirá al logro del fin.
En este enfoque de marco lógico, la
evaluación de los niveles de objetivos está referida al
cumplimiento de los indicadores planteados para cada nivel, siendo
la evaluación posible en
cuatro dimensiones:
1)
A
dimensión de procesos: por
ejemplo, apego a procedimientos de compra, procesos tecnológicos y de administración
financiera.
2)
A
dimensión de productos: logro
de los servicios o productos que pretende realizar un proyecto o programa.
3)
A
dimensión de resultados intermedios: cumplimiento de cambios en el comportamiento,
actitudes o estado de quienes son los beneficiarios de la
intervención, una vez que han recibido los bienes o
servicios.
4)
A
dimensión de resultados finales: impactos en el mejoramiento significativo y
perdurable en el tiempo de alguna de las condiciones o
características de la población, objetivo que se definió como
esencial en la definición del problema. (Dirección de Presupuestos, 2015, pág.
20).
Estas dimensiones de resultados de la
evaluación en proyectos y programas, analizadas bajo la metodología
de marco lógico, son perfectamente homologables al modelo de
evaluación de la capacitación de Kirkpatrick, pues se refieren a
elementos similares, tal como se establece en el siguiente
cuadro:
Cuadro Nº
1: comparación niveles
de evaluación de
la capacitación bajo
modelo de Kirkpatrick y dimensiones
de resultados en evaluación de proyectos y programas bajo modalidad metodología de marco lógico
(MML)
Fuente:
elaboración propia.
Se logra establecer, en primer
término, que las evaluaciones de proyectos y programas pueden ser respecto de la dimensión de
procesos y productos, lo cual es armonizable con la medición del nivel de reacción en el modelo
de Kirkpatrick, pues se verifica cómo el participante evalúa una
actividad de capacitación en sus procesos de convocatoria,
ejecución, relatoría, entre otros, y si se cumplió con el producto
—o servicio— que se pretendía entregar con la capacitación, por
tanto, también tiene que ver con los niveles de actividades y
componentes en la metodología
de marco lógico.
Por otra parte, la evaluación a
dimensión de resultado intermedio se puede emparejar con los
niveles evaluativos de aprendizaje y transferencia en el modelo de
Kirkpatrick, ya que implica verificar si la actividad de
capacitación generó, por
una parte, modificaciones en los
conocimientos, habilidades y actitudes necesarias en los
participantes —aprendizaje— y, por otra, cambios en el
comportamiento o actitudes en el puesto de trabajo de quienes
recibieron la capacitación
—transferencia—. Lo anterior está
íntimamente relacionado al nivel de objetivo de propósito en marco lógico, ya que se
refiere al efecto directo esperado de un programa de capacitación.
Por último, la evaluación a dimensión
de resultados finales es comparable con el nivel de evaluación de
impacto, pues se pretende verificar si la capacitación contribuyó
al logro de objetivos de desarrollo organizacional, como aumentos
en la producción, mejora de la calidad de los productos o
servicios, aumento en la satisfacción de los usuarios, entre otros;
lo cual está conectado al nivel de fin en marco lógico, puesto que
implica describir la contribución a largo plazo que
la intervención de
capacitación logró impactar.
2.
Diseño metodológico
En este capítulo se establecerán las
preguntas y objetivos de investigación, explicando qué tipo y
enfoque de investigación se utilizarán para responder
dichas preguntas y cumplir con
los objetivos. Por último, se describirá el instrumento para la recolección de los
datos.
2.1. Preguntas de
investigación
Pregunta principal:
¿Existe un diseño metodológico de
evaluación de resultados adecuado para las actividades de
capacitación que imparte la Contraloría a funcionarios públicos,
tanto en su dimensión conceptual como operativa?
Adicionalmente, a partir de la
evaluación de una actividad de capacitación en particular, se
contestarán las siguientes preguntas complementarias:
a)
¿La evaluación de resultados
intermedios del curso e-learning de «Nueva normativa y
procedimientos de rendición de cuentas» es replicable en otros
cursos ejecutados por la
Contraloría?
b)
¿Cómo la evaluación de
resultados de los
cursos de capacitación
facilitará la toma de decisiones de
asignación de recursos y definición de futura oferta
de capacitación en la
Contraloría?
2.2.
Objetivos
General:
Analizar la factibilidad y el diseño
posible de un modelo metodológico, para evaluar los resultados
intermedios de los cursos dictados por la Contraloría.
Específicos:
a)
Revisar los datos administrativos y
levantar información de resultados a nivel de profesionales que cursaron las
materias.
b)
Identificar modelos de evaluación de
resultados de capacitación.
c)
Relacionar la aplicabilidad del
diseño piloto de modelo de evaluación de resultados en otras
actividades de capacitación que imparte la Contraloría.
d)
Proponer un modelo piloto de
evaluación de resultados de actividades que imparte la Contraloría a funcionarios
públicos.
2.3. Diseño de la
investigación
2.3.1. Tipo y enfoque de
investigación
Para cumplir con los objetivos
propuestos, se ha definido realizar una investigación de tipo mixta, con preponderancia
cualitativa, ya que se enfocará en comprender el proceso de la
evaluación de resultados de las actividades de capacitación desde
la perspectiva de los actores que participan y son expertos en el
fenómeno, relacionándolo con el contexto de gestión del
Departamento de Capacitación y la Contraloría, con el objeto de
concebir un modelo posible de medición de resultados basado en tres ejes:
1) la experiencia de los analistas y directivo de la
Contraloría relacionados con el proceso de capacitación de funcionarios públicos,
2) ideas aplicables de expertos en evaluación de
resultados de capacitación; y
3) el marco conceptual de la evaluación de resultados de
capacitación.
Tal como lo plantean los
especialistas en metodología (Hernández Sampieri et al.,
2016), un tipo de investigación con preponderancia cualitativa se
«...basa más en una lógica y proceso inductivo —explorar y
describir, y luego generar perspectivas teóricas—. Va de lo particular a lo general. Por
ejemplo, en un estudio cualitativo típico, el investigador entrevista a una persona,
analiza los datos que obtuvo y saca conclusiones; posteriormente,
entrevista a otra persona, analiza esta nueva información y revisa sus resultados y conclusiones;
del mismo modo, efectúa y
analiza más entrevistas para comprender el fenómeno que estudia»
(pág. 8).
En este orden de consideraciones, la
primera etapa de la investigación pretende generar una perspectiva
global y práctica —un modelo piloto de evaluación de resultados de
capacitación— a partir de las consideraciones particulares de los
actores que intervienen en
el proceso, quienes conocen y
participan del contexto
de gestión institucional en
que se desenvuelve la capacitación que la Contraloría entrega a
funcionarios públicos, adicionando aportes de expertos en
andragogía en el sector
público.
Una vez diseñado el modelo posible de
evaluación de resultados de capacitación, en una segunda etapa se pasará a la parte
cuantitativa, pues se testeará el
modelo, aplicándolo a un caso
particular de curso que ha realizado la Contraloría a funcionarios
públicos y municipales —denominado «Curso e-learning de
nueva normativa y
procedimientos de rendición de
cuentas»—, teniendo presente el objetivo general de investigación, que es analizar
la factibilidad del diseño metodológico de evaluación de resultados
de cursos dictados por la Contraloría, con la finalidad de encontrar una mejor práctica de
acuerdo con el planteamiento del problema. En definitiva, en esta segunda etapa se aplicará
el modelo piloto a través de una encuesta a los aprobados y sus
jefaturas de la última versión del curso señalado anteriormente,
debiendo, en lo posible, lograr las respuestas de
una muestra representativa a
nivel regional.
En dicho sentido, el enfoque
del diseño mixto
se circunscribe fundamentalmente a la
investigación-acción, pues según Hernández Sampieri et al.
(2016) estos tipos de enfoque de investigación tienen la finalidad
de comprender y resolver una problemática específica de una
colectividad vinculadas a un ambiente
—grupo, programa, organización
o comunidad—, frecuentemente aplicando
la teoría y mejores prácticas de acuerdo con el planteamiento.
Asimismo, la investigación-acción se centra en aportar información
que guíe la toma de decisiones para proyectos, procesos y reformas
estructurales (pág. 496).
2.3.2. Técnicas de recolección de
datos
Como se señaló, esta investigación
consta de dos etapas, la primera responde al levantamiento de un
modelo posible de evaluación de resultados de capacitación;
y la segunda, a la aplicación
de dicho modelo en un curso que haya dictado la Contraloría a
funcionarios públicos y municipales. En este contexto, para cada
etapa existirán muestras y técnicas de recolección de datos
diferentes, las cuales se
pasan a detallar:
Etapa 1:
levantamiento del modelo piloto de evaluación de resultados de
capacitación de la Contraloría a funcionarios públicos y
municipales.
En esta etapa se ha decidido utilizar
entrevistas semiestructuradas como técnica de recolección de datos. Para generar el diseño y
estructura del guion de las entrevistas, se realizó una metodología
ad hoc que se describe en el capítulo de análisis y evaluación de resultados.
Cabe destacar que la entrevista se
define como una reunión para conversar e intercambiar información
entre una persona —el entrevistador— y otra —el
entrevistado— u
otras —los entrevistados—; las del
tipo semiestructuradas se caracterizan por basarse en una guía de
asuntos o preguntas, teniendo la libertad de introducir preguntas
adicionales para precisar conceptos u obtener mayor información
(Hernández Sampieri et al.,2016, pág. 403).
Para la aplicación del instrumento,
se ha establecido una muestra de actores clave y expertos que ayuden a responder la pregunta
de investigación y entender en
mayor profundidad el objeto de estudio. Por tanto, se trata de una
muestra no probabilística o
dirigida, según las siguientes características:
a)
Muestra homogénea: se refiere a los
actores de la Contraloría que intervienen en el proceso de capacitación que esta dirige a
funcionarios públicos. Son
claves sus apreciaciones respecto a un modelo piloto de
evaluación de resultados, pues conocen el contexto y los
posibles bemoles en una implementación de este tipo. Se denomina muestra homogénea,
porque comparten el rasgo similar de intervenir en el fenómeno. Los
siguientes actores son parte
de esta muestra:
a. Analistas del Departamento de Capacitación
b. Jefa del Departamento de Capacitación
b)
Muestra de expertos: es necesaria la
opinión de expertos en andragogía en el sector público, con el fin
de generar precisión en el posible modelo piloto evaluativo. En
palabras de Hernández Sampieri et al., este tipo de muestras
son comunes cuando se pretende mejorar un proceso (2016, pág. 287).
Los siguientes actores son
parte de esta muestra:
a.
Jefatura o consultor de la
Subdirección de Gestión y Desarrollo de las Personas de la Dirección Nacional del Servicio Civil
de Chile
b. Académico experto en recursos humanos
Etapa 2:
aplicación del modelo piloto de evaluación de resultados de
capacitación de funcionarios públicos y municipales —y sus
jefaturas— que hayan aprobado un curso dictado por la
Contraloría.
Una vez diseñado el modelo piloto,
para esta segunda etapa se ha establecido un testeo con funcionarios públicos y municipales —y sus
jefaturas directas— que hayan
aprobado un curso dictado por la Contraloría.
La aplicación del modelo piloto
evaluativo se realizará a través de cuestionarios estandarizados
que reportarán información acerca de su empleabilidad. Esta técnica
permitirá medir de manera cuantitativa la efectividad del curso
dictado por la Contraloría, evaluando sus resultados intermedios.
En términos prácticos, el cuestionario se aplicará a través de la
plataforma que la Contraloría mantiene para las encuestas, que
permite la configuración y seguimiento efectivo de las
respuestas.
Se ha decidido aplicar el modelo
piloto a los funcionarios aprobados y sus jefaturas que participaron de la última versión del
«Curso e-learning de nueva normativa y procedimientos de
rendición de cuentas», dictado el segundo semestre de 2018.
3.
Contexto de investigación
En este capítulo se expondrá de
manera general la magnitud del esfuerzo institucional respecto a la
capacitación de funcionarios del Estado, exponiendo las posibles
causas de por qué la Contraloría no cuenta con un modelo para
evaluar los resultados de las
actividades de capacitación.
3.1. Magnitud del
esfuerzo
Como se señaló en la introducción,
desde 2010 la Contraloría realiza capacitaciones gratuitas a
instituciones públicas y municipios, ejecutando varios tipos
de actividades.
A partir de 2013, el Departamento de
Capacitación generó una minuta con definiciones metodológicas
(Anexo 1), en la cual estipuló dos grupos de actividades de
capacitación, según predominase en ellas lo práctico o lo teórico,
a partir del análisis de cinco
variables:
1)
Número óptimo de
participantes;
2)
Horas pedagógicas promedio de
duración de la actividad;
3)
Amplitud de las temáticas que se
desarrollan;
4)
Profundización de los
contenidos;
5)
Tipo de interacción del relator con
los participantes.
Lo anterior puede ser observado de
manera resumida en el siguiente cuadro:
Cuadro Nº
1: tipos de actividades de
capacitación realizadas por la Contraloría
|
Tipo
|
Descripción
|
Actividad de capacitación con connotación predominantemente práctica
|
Actividad de capacitación con connotación predominantemente teórica
|
|
1
|
2
|
3
|
4
|
5
|
1
|
2
|
3
|
4
|
5
|
|
Coaching
|
Consiste en el acompañamiento, instrucción y entrenamiento a una persona, con el objetivo de conseguir alguna meta o desarrollar habilidades específicas.
|
1
a
2
|
30
a
40
|
Reducida
|
Alta
|
Alta
|
|
|
|
|
|
|
Pasantía
|
Actividad que consiste en
el mejoramiento del desempeño de un funcionario en sus tareas laborales, a través de la adquisición de conocimientos técnicos, teóricos y prácticos. La principal característica es que el participante acompaña al relator al puesto de trabajo de este
último, observando
y adquiriendo los métodos de trabajo, las técnicas y competencias.
|
1
a
10
|
40
a
60
|
Moderada
|
Moderada
|
Alta
|
|
|
|
|
|
|
Taller
|
Actividad eminentemente práctica, privilegia un enfoque en el aprendizaje, más que en la enseñanza, considera el entrenamiento de solo un tema especializado
y específico.
|
15
a 20
|
12
|
Baja
|
Alta
|
Alta
|
|
|
|
|
|
|
Inducción
|
Actividad que pretende ayudar al funcionario recién ingresado a adaptarse a la Administración del Estado y la institución donde realizará sus funciones. Generalmente orienta al novato, dándole información de la Administración del Estado y su institución, como estructura, principales leyes, entre otras.
|
|
|
|
|
|
1
a
15
|
40
a
60
|
Alta
|
Baja
|
Baja
|
|
Charla
|
Tipología de enseñanza en donde un experto expone puntos de vista o enfoques acerca de una temática. Se desarrolla ante un grupo en auditorio.
|
|
|
|
|
|
30
a 35
|
2
a
8
|
Moderada
|
Moderada
|
Baja
|
|
Tipo
|
Descripción
|
Actividad de capacitación con connotación predominantemente práctica
|
Actividad de capacitación con connotación predominantemente teórica
|
|
1
|
2
|
3
|
4
|
5
|
1
|
2
|
3
|
4
|
5
|
|
Seminario
|
Tipología basada en el trabajo en grupo
e intercambio oral de información, utilizada para trabajar y profundizar desde el debate y análisis colectivo en un tema predeterminado.
|
|
|
|
|
|
70
a 100
|
8
a 24
|
Alta
|
Moderada
Baja
|
Moderada
|
|
Curso
|
Tipología en la que se traspasan
nuevos conocimientos o habilidades, a través de una metodología preferentemente expositiva, pero con componentes prácticos. Generalmente, un curso podría certificar competencias para el cumplimiento de funciones específicas.
|
|
|
|
|
|
25
a 30
|
36
|
Baja
|
Alta
|
Baja
|
1 Número óptimo de participantes 2 Horas andragógicas
promedio
3
Amplitud de temas
4 Profundización de
contenidos 5 Interacción
relator-participante
Fuente: elaboración propia, sobre la base de minuta
metodológica del Departamento de Capacitación de la
Contraloría.
Adicionalmente, en relación a la
magnitud del esfuerzo institucional, se pueden observar los
recursos institucionales que la Contraloría ha destinado en los
últimos años a la capacitación, a través del presupuesto ejecutado
como una variable que fundamenta la relevancia del proceso
capacitador para la Contraloría, lo cual se puede verificar en el siguiente
cuadro:
Cuadro Nº
2: presupuesto ejecutado de la
Contraloría en capacitación de funcionarios de la Administración del Estado.
|
Año
|
Presupuesto ejecutado en capacitación de funcionarios de la Administración
del Estado —cifras reales sobre la base de IPC
acumulado ene-dic 2017—
|
% del presupuesto de la Contraloría
|
|
2010
|
$ 668.288.625
|
1,12 %
|
|
2011
|
$ 626.602.875
|
1,01 %
|
|
2012
|
$ 608.427.232
|
0,95 %
|
|
2013
|
$ 628.727.089
|
0,93 %
|
|
2014
|
$ 926.578.131
|
1,29 %
|
|
2015
|
$ 644.216.337
|
0,87 %
|
|
2016
|
$ 531.092.020
|
0,73 %
|
Fuente:
elaboración propia, sobre la base de datos del Departamento de
Presupuesto de la Contraloría.
Asimismo, se puede corroborar que la
Contraloría ha ofrecido 42.751 cupos de capacitación de la
Administración del Estado desde 2010 a 2016, según la
siguiente distribución
anual:
Cuadro Nº
3: cantidad de actividades de
capacitación que ha impartido la Contraloría y cupos de capacitados
de la Administración del Estado.
|
Año
|
Cantidad de actividades de capacitación que
ha impartido la Contraloría
|
Número de cupos de capacitación* a instituciones de la Administración del
Estado
|
|
2010
|
72
|
2.478
|
|
2011
|
58
|
3.236
|
|
2012
|
156
|
5.308
|
|
2013
|
183
|
6.245
|
|
2014
|
270
|
8.970
|
|
2015
|
203
|
7.908
|
|
2016
|
214
|
8.606
|
|
Total
|
1.156
|
42.751
|
Fuente:
elaboración propia, sobre la base de datos del Departamento de
Capacitación de la Contraloría.
* Se entiende como cupo de capacitación de una vacante única.
No se refiere al número de funcionarios capacitados, pues un
funcionario puede haber asistido en un año a más de una actividad,
por tanto, puede generar más de un cupo de
capacitación.
3.2. Modelo causal
Como se ha señalado, a pesar de la
magnitud del esfuerzo institucional en la capacitación de
funcionarios de la Administración, la Contraloría no cuenta con un
modelo de evaluación para verificar si los resultados esperados se
están cumpliendo.
En el contexto de la investigación,
se identificaron las posibles causas de la ausencia de un modelo evaluativo. Entre ellas destaca
la gestión del modelo de capacitación de la Contraloría, que
privilegió ampliar la cobertura y temáticas de las actividades, es
decir, la capacidad operativa se ha centrado en el proceso de
ejecución de los cursos, dejando en segundo orden la
evaluación.
Asimismo, difícilmente la capacidad
operativa y de recursos humanos instalados en el Departamento de Capacitación, o actualmente
en el Centro de Estudios de la Administración del Estado, podría
lograr la gestión adecuada de un proceso evaluativo, toda vez que la preocupación de las
autoridades de la Contraloría ha estado focalizada, en esta etapa,
en el diseño y planificación de las actividades de capacitación,
con la finalidad de mejorar falencias detectadas en la
Administración del Estado. Por ejemplo, para la entrada en vigencia
de una nueva ley o por materias observadas reiteradamente en las
fiscalizaciones de la Contraloría en las instituciones públicas.
Por otra parte, en términos
metodológicos, como se señaló en el cuadro Nº 1, las
actividades de capacitación
son disímiles entre sí, ya que algunos son cursos de más de treinta
horas cronológicas, otros son talleres de ocho horas, en distintas
modalidades, presencial y e-learning, lo que hace más
complejo determinar un modelo único de evaluación de resultados
aplicable a la capacitación que dicta la Contraloría.
En este orden de consideraciones, la
decisión de la autoridad de seguir ejecutando una u otra actividad
de capacitación, no se basaría en evidencia técnica, en relación a
si están logrando los objetivos que se propusieron en su diseño.
Igualmente, si no se puede determinar de manera precisa el éxito o
fracaso de una capacitación, los recursos y esfuerzos
institucionales pueden estar siendo subutilizados, o derechamente
mal utilizados, porque no se cuenta con información para verificar
si las actividades de capacitación están cumpliendo su objetivo, lo
cual impide hacer correcciones necesarias respecto a su dictación,
ya sea reorientándola o finalizando su ejecución; por todo lo
anterior, no se realizaría eventualmente un gasto racional de los recursos
públicos.
3.3. Alcance del
problema
La carencia de un modelo evaluativo
de resultados afecta a todas las capacitaciones de la Contraloría
para funcionarios de instituciones del Estado, pero este trabajo se
acotará a la generación de un modelo piloto para evaluar los
resultados específicos de un curso e-learningejecutado desde
2015. Esto permitirá,
en lo sucesivo, que este diseño de
modelo sea replicado, con sus respectivas modificaciones, en todas
las tipologías de actividades de capacitación, con la finalidad de
evitar los efectos nocivos en la gestión descritos en el punto
anterior.
El curso elegido para el testeo del
modelo piloto fue la última versión del «Curso
e-learning
de nueva normativa
y procedimientos
de rendición de
cuentas», dictado el
segundo semestre de 2018, pues posee características que ayudan al
proceso investigativo, como la masiva participación en todas las
regiones y varias entidades
del aparato del Estado, alta demanda por realizar nuevas versiones
del curso y facilitación de la
comunicación con los participantes aprobados a través de medios
tecnológicos que ya han utilizado con anterioridad.
Esta delimitación del problema
obedece a la amplitud de los tipos de actividades de capacitación
que realiza la Contraloría, lo cual provoca dificultades temporales
y metodológicas para establecer un modelo único de evaluación de
resultados. Por tanto, el diseño de un modelo piloto permitirá
generar las condiciones necesarias para avanzar, a lo menos, en el
proceso de evaluación de resultados de las actividades de
capacitación que la Contraloría considere estratégicas, o donde
haya realizado mayores gastos de recursos presupuestarios y
humanos.
4.
Análisis de resultados
En este capítulo se presentarán los
análisis y resultados de las dos etapas descritas en el diseño
metodológico, en atención a los objetivos orientadores.
4.1.
Resultados
de la etapa 1: levantamiento del modelo piloto de evaluación de
resultados de capacitación de la Contraloría a funcionarios
públicos y municipales
Esta etapa se estructuró en cuatro
fases secuenciales, que tuvieron como finalidad generar los
cuestionarios estandarizados que se aplicarán a una muestra
representativa en la etapa 2, como testeo del modelo piloto. Las
fases para este levantamiento
son las siguientes:
4.2.
Primera
fase: generar el guion de las entrevistas semiestructuradas a
actores clave del proceso y expertos
Este guion se desarrolló armonizando
los niveles de evaluación de la capacitación, propuestos en el
modelo de Kirkpatrick (1999, pág. 13), con las dimensiones de
resultados en evaluación de proyectos y programas, planteadas en la
metodología de marco lógico (Calderón Vázquez, 2008, pág. 7). De
esta manera, se desarrollaron preguntas globales, que
necesariamente estuvieran alineadas con el modelo de gestión de la
capacitación impulsado por la Dirección Nacional del Servicio Civil de Chile (2014, págs. 10-15)
donde se pueden desprender varias actividades de sus cuatro etapas.
Estas actividades de las etapas del
modelo de gestión de la capacitación se establecieron como las
categorías de análisis para el desarrollo de las preguntas globales
del guion. Dichas categorías se pueden describir a grandes rasgos
como siguen:
1)
Convocatoria: etapa de
planificación de la capacitación, referida a los mecanismos de
difusión de las capacitaciones, específicamente cómo se dan a
conocer al público
objetivo.
2)
Postulación: etapa que
define los mecanismos por los cuales el público
objetivo postula a las
capacitaciones.
3)
Logística
de ejecución: etapa que se
relaciona con los aspectos operativos de la puesta en marcha, por
ejemplo: salas, iluminación, material, formato de
las presentaciones, entre
otros.
4)
Selección
de contenidos y relatores: etapa relativa a los mecanismos por los cuales la Contraloría selecciona tanto las
materias como los funcionarios idóneos para las relatorías.
5)
Definición del alcance de la capacitación:
etapa donde se establece
el público
objetivo.
6)
Definición de aspectos andragógicos: etapa donde se definen el número de horas y la
cantidad óptima de participantes para lograr aprendizaje
significativo.
7)
Determinación de los resultados esperados de la capacitación:
etapa donde se delinean los objetivos que se esperan de
ella.
8)
Determinación del aprendizaje logrado con la capacitación:
actividad donde se definen
los mecanismos de verificación del logro del
aprendizaje.
9)
Verificación de la transferencia en el puesto de
trabajo: actividad que se
constata si los participantes de la capacitación replican lo
aprendido en su puesto de
trabajo.
10) Verificación de los
beneficios a largo plazo: actividad que examina qué tipo de impactos tuvo la
capacitación en la gestión institucional y en la
Administración del Estado en
general.
Teniendo en consideración los modelos
de evaluación y las categorías descritas anteriormente, se realizó
un set de preguntas para el guion de las entrevistas
según el siguiente
detalle:
Cuadro Nº
4: set de preguntas globales
del guion de entrevista semiestructurada
|
Niveles de evaluación de la capacitación
Modelo de Kirkpatrick
|
Niveles de objetivos en metodología de marco lógico
|
Dimensiones
de resultados
de proyectos y programas
Evaluación metodología de marco lógico
|
Actividad asociada a la gestión de la capacitación Categoría de análisis
|
Pregunta global de la entrevista semiestructurada
|
|
|
1. Reacción
|
Actividades
Componentes
|
Procesos
Productos
|
Convocatoria
|
1. ¿Cuáles son los mecanismos de difusión de las actividades?
|
|
|
Postulación
|
2. ¿Cuáles son sus percepciones respecto al sistema de postulación y selección de las actividades de capacitación en
relación a su objetividad y transparencia?
|
|
|
Logística de ejecución
|
3. ¿Cuáles son sus consideraciones respecto al funcionamiento de las salas, presentaciones,
material, logística en general de las
actividades de
capacitación para funcionarios de la Administración del
Estado?
|
|
|
Selección de contenidos y relatores
|
4. ¿Cuáles son los procedimientos adecuados para la selección de los contenidos y relatores de las
actividades de
capacitación?
|
|
|
5.
¿Cómo percibe la calidad de los contenidos y relatores?
6.
¿Existe una definición a qué estamentos se
pretende capacitar, directivos, profesionales, técnicos o administrativos? En caso de existir
¿por qué hay una definición de público objetivo?
|
|
|
Definición del alcance de la capacitación
|
|
|
Definición de aspectos andragógicos
|
7. ¿Cuál considera qué es el número de participantes adecuado para las principales tipologías de actividades
de capacitación?
—curso,
curso e-learning, taller, charla, seminario—
|
|
|
8. ¿Cuál considera qué es el número de horas adecuado para las principales tipologías de
actividades de
capacitación? —curso,
curso e-learning, taller, charla, seminario—
|
|
|
2. Aprendizaje
3. Transferencia
|
Propósito
|
Resultados intermedios
|
Determinación de los resultados esperados de la capacitación
|
9.
¿Qué se espera con la capacitación de funcionarios de la
Administración del Estado?, ¿existe una teoría causal?
|
|
10. ¿Considera beneficioso que la Contraloría cumpla una función capacitadora
en la
Administración del Estado?, ¿por qué?
|
|
11.
¿Considera pertinentes las
competencias de la Contraloría para capacitar a funcionarios de la Administración
del Estado?
|
|
Determinación del
aprendizaje logrado con la capacitación
|
12.
¿Cuáles son sus consideraciones respecto a la pertinencia de
evaluar el aprendizaje en las actividades de capacitación de la Contraloría?
|
|
13.
¿Cuáles son los mecanismos
utilizados para evaluar el
aprendizaje?
|
|
14.
¿Cuáles son sus consideraciones respecto a la pertinencia de
certificar el conocimiento por parte de la Contraloría?
|
|
Verificación de la transferencia en el puesto de trabajo
|
15.
¿Cuáles cree son las expectativas de cómo los funcionarios podrían utilizar la
capacitación en sus tareas
diarias?
|
|
16.
¿Podría señalar posibles indicadores respecto a la transferencia de la capacitación en el puesto de
trabajo?
|
|
4. Impacto
|
Fin
|
Resultados finales
|
Verificación de los beneficios a largo plazo
|
17.
¿Cuáles considera son los resultados esperados en el mejoramiento en la
gestión
y transparencia en la
Administración del Estado con las actividades de capacitación de la
Contraloría?
|
Fuente:
elaboración propia.
4.3.
Segunda
fase: recolectar datos que reportarán información útil para el
diseño del modelo piloto de evaluación de resultados de la
capacitación en la Contraloría
Esta recolección de datos se realizó
a través de la realización de cuatro entrevistas semiestructuradas a los actores definidos en el
marco metodológico, a quienes
se les aplicó el set de preguntas definidas en la fase anterior.
Las entrevistas fueron
soportadas físicamente en grabaciones de audio y transcritas a
formato escrito para el desarrollo de la posterior actividad de
esta etapa. Las personas entrevistadas fueron las siguientes:
Muestra
homogénea —actores clave del proceso—:
•
Analista del Departamento de
Capacitación Contraloría: Tamara Loyola Fuentes.
•
Jefa del Departamento de Capacitación
Contraloría: Loreto Basaure Tapia.
Muestra de
expertos:
•
Consultor de la Subdirección de
Gestión y Desarrollo de las Personas de la Dirección Nacional del
Servicio Civil de Chile: Daniel Triviño Guerrero.
•
Académico experto en Recursos Humanos
y subdirector de Desarrollo de Personas del Servicio de Impuestos
Internos: Christian Hansen Cruz.
4.4.
Tercera
fase: reducir y analizar los datos reportados en las entrevistas
semiestructuradas
Las entrevistas semiestructuradas
tienen la particularidad de generar muchos datos, algunos
relacionados con las categorías de análisis, otros no. En dicho
contexto, los datos deben reducirse, para lo cual se utilizó una
técnica ad hoca este trabajo, verificando los puntos de
coincidencia y diferenciadores de las respuestas de los
entrevistados, permitiendo de esta manera el agrupamiento
de las respuestas en relación
a las categorías de análisis.
Los puntos de coincidencia se
consideraron si dos o más entrevistados respondieron elementos
similares en una pregunta; por otra parte, los puntos
diferenciadores se examinaron solo si un entrevistado respondía
elementos que otros entrevistados no señalaron en sus respuestas.
Luego de esta reducción, el análisis
de los datos se realizó en atención a los puntos de coincidencia y diferenciadores, logrando
inferencias que permitieran la creación de las preguntas para los
cuestionarios del modelo piloto de evaluación que se testeará en la
siguiente etapa, específicamente con los funcionarios
aprobados —y sus jefaturas— de
la última versión del «Curso e-learning de nueva
normativa y procedimientos de
rendición de cuentas».
Considerando lo descrito, la
reducción y análisis de los datos de las entrevistas
semiestructuras se detallan en
el siguiente cuadro:
Cuadro Nº
5: reducción y análisis de los
datos de las entrevistas semiestructuradas
|
Categoría de análisis
|
Pregunta de la entrevista
|
Puntos de coincidencia
|
Puntos diferenciadores
|
Posibles preguntas
modelo
piloto
(Inferencias en función a las categorías)
|
|
Convocatoria
|
1. ¿Cuáles son los mecanismos de difusión de las actividades?
|
Mecanismos de difusión de las actividades de
capacitación de la Contraloría:
- Correos electrónicos, mailing informativos.
- Afiches en instituciones públicas.
- Portal institucional de la Contraloría.
- Redes sociales.
|
Ideas para mejorar mecanismos de difusión de las actividades de capacitación en el Estado en general:
-
Datos en cuentas públicas.
-
Fondos concursables de capacitación para
instituciones y funcionarios del Estado.
-
Portal único de información acerca de oferta
programática de capacitaciones para funcionarios del Estado.
-
Círculo de aprendizaje con jefes de personas de las instituciones del
Estado, que realicen la bajada comunicacional con los respectivos equipos.
|
- ¿Cómo se enteró del curso?
- ¿La oferta programática de actividades
de capacitación de la Contraloría son conocidas por
la mayoría de los funcionarios de la Administración del Estado?
|
|
Postulación
|
2. ¿Cuáles
son sus percepciones respecto al sistema de postulación y selección de las actividades de capacitación en relación a su objetividad y transparencia?
|
Percepciones sistema de postulación
Contraloría:
- En línea.
- Simple.
|
Percepciones sistema de postulación
Contraloría:
-
No
existen criterios estandarizados para la selección de funcionarios
a actividades de capacitación que imparte la
Contraloría.
-
Discrecionalidad en la selección de funcionarios que
participan en las actividades de capacitación de la Contraloría.
-
No se
publican resultados o puntajes de los funcionarios que postulan a
las
actividades de capacitación de la Contraloría.
Ideas para mejorar un sistema de postulación a
actividades de capacitación:
-
Establecimiento de bases de postulación a fondos concursables
con cri
terios previamente
definidos.
-
Lógica
formativa de escala: formar en las instituciones públicas a
formadores
de la Contraloría, en líneas específicas de conocimiento por año,
que sean capaces de traspasar contenidos a sus pares.
|
¿El
sistema por el cual postuló al curso fue simple y de fácil uso?
|
|
Logística de ejecución
|
3. ¿Cuáles
son sus consideraciones respecto al funcionamiento de las salas, presentaciones,
material, logística en
general de las actividades de capacitación para funcionarios de la
Administración del
Estado?
|
Percepciones de la logística de implementación de las
actividades de capacitación de la Contraloría —salas, material,
presentaciones, coordinación—:
- Buenas
salas.
- Material con buen
contenido.
Aspectos de mejora en la Contraloría:
- Aumento en el
número de salas.
|
Percepciones de la logística de implementación de las
actividades de capacitación de la Contraloría —salas, material,
presentaciones, coordinación—:
-
Diferencias en la calidad de implementación de las actividades
que realiza la
Contraloría en el nivel central y las sedes regionales.
Aspectos de mejora en la Contraloría:
-
Mejoramiento de elementos ambientales de las salas, como aire
acondicionado
y sillas.
-
El
material debiese estar disponible con mayor antelación respecto a
la ejecución de la actividad de capacitación.
Percepciones de la logística de implementación de las
actividades de capacitación en el Estado en general:
-
Calidad disímil entre proveedores de capacitación.
-
Importancia de aplicar encuesta de satisfacción —reacción— al finalizar las actividades presenciales, para verificar aspectos de mejora en la
implementación de las actividades y evaluar a los
proveedores.
-
Necesidad de avanzar en capacitación de distancia por medios
digitales.
|
- ¿La plataforma donde realizó el curso (aula virtual) fue de
simple uso y amigable?
- ¿La atención de la Mesa de Ayuda durante el
desarrollo del curso fue adecuada y en los
tiempos
correctos?
|
|
Categoría de análisis
|
Pregunta de la entrevista
|
Puntos de coincidencia
|
Puntos diferenciadores
|
Posibles preguntas
modelo piloto
(Inferencias en función a las categorías)
|
|
Definición de contenidos y relatores
|
|
4. ¿Cuáles
son los procedimientos adecuados para la selección de los
contenidos y relatores de las actividades
de capacitación?
|
Procedimientos de selección de relatores y contenidos
de las actividades de capacitación de la
Contraloría:
- Designación discrecional de las jefaturas de experto técnico
en una materia determinada.
- En algunas materias, como inducción al sector público,
postulación de los funcionarios a ser relator de la Contraloría, en
consideración a sus conocimientos técnicos y habilidades
comunicacionales necesarias para relatar.
Aspectos de mejora en la selección de los relatores
en la Contraloría:
- Dotar de habilidades de relatoría a los
funcionarios
que cumplen esta función.
|
Aspectos a considerar en los procedimientos de
selección de relatores y contenidos de las actividades de
capacitación en el Estado en general:
-
Los funcionarios que cumplan la labor de relatar
deben contar con las competencias técnicas adecuadas para poder traspasar el conocimiento, ser
expertos
temáticos.
-
Las instituciones deben procurar preparar y dotar de
herramientas metodológicas y
expositivas a los funcionarios que relaten.
-
Los
relatores de una institución tienen la problemática que deben
complementar
esta tarea con las funciones propias de su cargo, por tanto, se
deben generar
las condiciones e incentivos institucionales necesarios para que el
desarrollo de las relatorías se realice de manera
correcta.
-
Las
instituciones deben mantener actualizados los conocimientos
técnicos y habilidades comunicaciones de los funcionarios que
relaten.
|
-
¿Conoce cuáles son los objetivos de aprendizaje
del
curso que participó?
-
¿La calidad de los contenidos del curso era la
adecuada
respecto a los objetivos propuestos?
|
|
|
5. ¿Cómo
percibe la calidad de los contenidos y relatores?
|
Calidad de los contenidos y relatores de la
Contraloría:
- En términos técnicos la calidad de los relatores
es
buena.
- Los contenidos son transmitidos de manera
efectiva.
|
Calidad de los contenidos y relatores de la
Contraloría:
-
La
calidad de los relatores ha mejorado por la especialización en el
desarrollo de cursos y actividades de capacitación, pues los
equipos tienden a hacer los mismos.
Aspectos de mejora de contenidos y relatores de la
Contraloría:
-
Posibilidad que material que se entrega incluya contenidos que
permitan consultas
posteriores.
-
Mejoramiento de habilidades comunicacionales de los
relatores.
|
¿La
calidad de las respuestas del tutor a las consultas realizadas
durante el desarrollo del curso fue la
adecuada
|
|
Definición del alcance de la
capacitación
|
6. ¿Existe
una definición a qué estamentos se pretende capacitar,
directivos, profesionales, técnicos o administrativos? En caso
de existir
¿por qué hay una
definición de público
objetivo?
|
Posible definición de estamentos a capacitar por la
Contraloría:
- No existe una definición explícita de la Contraloría respecto
a estamentos que capacitará.
- Existe un foco orientado a profesionales y
técnicos
involucrados en los procesos más operativos de gestión y resguardo
de los recursos públicos.
- El foco se orienta a partir de las materias de los
cursos
que imparte la Contraloría.
|
Posible definición de estamentos a capacitar por la
Contraloría:
-
Desconocimiento si existe una estrategia de cuáles
estamentos son prioritarios de
capacitar.
-
La estrategia pareciera estar más bien orientada a lograr objetivos de
cobertura.
|
-
¿El curso está diseñado para especialistas en la
temática?
-
¿El curso lo puede realizar cualquier funcionario del
Estado, más allá de la función que cumpla?
|
|
Definición de aspectos andragógicos
|
7. ¿Cuál
considera qué es el número de participantes adecuado para las
principales tipologías de actividades de capacitación? —curso,
curso e-learning, taller,
charla, seminario—
|
Números de participantes adecuado:
-
Depende de la profundidad de la temática.
-
Cursos presenciales desde 12 a 40 participantes.
-
Taller alrededor de 30
participantes.
-
Charlas desde 100 o más participantes.
-
Seminarios desde 100 o más participantes.
- Curso e-learning dependerá de si es autodirigido,
donde
podrían llegar incluso a 1.000 participantes, o con tutoría, que
posiblemente no se pueda superar los 40 participantes.
|
Número de participantes adecuado:
-
En el
sector público, en general, los cursos presenciales cuando tratan
de nociones básicas, los participantes pueden ir desde 12
participantes hasta un
número ilimitado.
-
Cuando
se trata de un curso presencial especializado en alguna temática,
donde se realizan actividades de simulación o rol playing, los
participantes no
debiesen superar los 12 participantes.
|
-
¿La metodología del curso fue apropiada para
mantenerme involucrado y
activo?
-
¿La cantidad de participantes del curso fue la
correcta, para dar atención oportuna?
|
|
Categoría de análisis
|
Pregunta de la entrevista
|
Puntos de coincidencia
|
Puntos diferenciadores
|
Posibles preguntas
modelo piloto
(Inferencias en función a las categorías)
|
|
Definición de aspectos andragógicos
|
8. ¿Cuál
considera qué es el número de
horas adecuado para las principales
tipologías de actividades de capacitación? —curso, curso e-learning,
taller, charla, seminario—
|
Números de horas adecuado:
-
Depende de la profundidad de la temática.
-
Cursos presenciales entre 8 a 32 horas.
-
Taller alrededor de 4 horas.
-
Charlas entre 1 a 2 horas.
-
Seminarios entre 4 a 8 horas.
-
Curso
e-learning, si es autodirigido, no debiese superar las 15 horas, entre estudio
y resolución de
actividades.
|
Número de horas adecuado:
-
En el
sector público, en general, los cursos presenciales se dividen en
8, 12, 16, 24 y 32 horas. Más allá de eso se pasa a un
diplomado.
-
Algunas instituciones han creado mallas de formación,
segmentando cursos presenciales largos en varios cursos, pudiendo abordar una
temática especializada en varias actividades.
|
¿La duración del curso es correcta en relación a
los
contenidos abordados?
|
|
Determinación de los resultados esperados de la
capacitación
|
9. ¿Qué
se espera con la capacitación de funcionarios de la Administración
del Estado?, ¿existe una teoría
causal?
|
Teoría causal de la capacitación de funcionarios del
Estado:
La
principal idea es la generación de un círculo virtuoso, la
Contraloría capacita en temáticas que es considerada experta,
esperando que en el corto plazo
las instituciones del Estado, y específicamente los
funcionarios que participan de los cursos, tengan las herramientas
necesarias
para mejorar su funcionamiento, a partir del apego normativo,
disminuyendo de esta manera los hallazgos en posteriores auditorías que
realiza la
misma Contraloría.
|
Teoría causal de la capacitación de funcionarios del
Estado:
-
En
general, las instituciones públicas no entienden en tér minos
estratégicos el
para qué se gastan recursos en formación de los
funcionarios.
-
En
términos reduccionistas, el Estado espera que el gasto en
capacitación de funcionarios públicos sea rentabilizado lo antes
posible, entregando mejores servicios a la ciudadanía, por tanto, cumplir de mejor manera
sus funciones al
interior de la institución donde se desempeña.
|
No se
obtuvieron preguntas para el modelo piloto en estas respuestas.
Posibles preguntas están contenidas en las siguientes
categorías.
|
|
|
10. ¿Considera beneficioso que la
Contraloría cumpla una función capacitadora en la
Administración del Estado?, ¿por qué?
|
Consideraciones respecto de si es beneficioso que la
Contraloría realice capacitación de los funcionarios del
Estado:
Es
beneficioso para el sector público, pues permite a las
instituciones generar conocimiento acerca de la legalidad de la
implementación de los actos administrativos, a partir de la
expertise de
la Contraloría
|
Consideraciones respecto de si es beneficioso que la
Contraloría realice capacitación de los funcionarios del
Estado:
-
Beneficioso para las instituciones públicas, pues es una
función de amplia
cobertura y gratuita.
-
También es beneficioso para la Contraloría, ya que permite generar una relación y
conocimiento de la realidad de los funcionarios en la
Administración del
Estado.
-
Si
bien es beneficioso, al no conocer la estrategia de capacitación,
no se puede
establecer si la Contraloría lo podría hacer mejor o de manera
distinta.
|
¿Es beneficioso para la
gestión del sector público que la Contraloría realice actividades y
cursos de capacitación como el que participó?
|
|
|
11. ¿Considera pertinentes las competencias de la Contraloría para
capacitar a funcionarios
de la Administración del Estado?
|
Consideraciones respecto de si la Contraloría cuenta
con las competencias pertinentes para capacitar a los funcionarios
del Estado:
-
Existen las competencias técnicas necesarias para que
la Contraloría realice actividades de capacitación.
-
Se aprovechan los conocimientos de los funcionarios de la Contraloría para traspasarlos a los
funcionarios del Estado.
|
No existen puntos diferenciadores en esta pregunta.
|
¿La
Contraloría cuenta con la pertinencia adecuada, en términos de
conocimientos y expertos, para realizar cursos de capacitación en temáticas de su
competencia, tal como en el curso que participó?
|
|
Determinación del aprendizaje
|
12. ¿Cuáles son sus consideraciones respecto a la pertinencia de evaluar el aprendizaje en las
actividades de capacitación de la Contraloría?
|
Consideraciones respecto a la pertinencia de evaluar
el aprendizaje en las actividades de capacitación de la
Contraloría:
Es
pertinente como mecanismo para identificar si el traspaso de
conocimiento se realizó de manera eficaz, sobre todo en cursos
presenciales de más de 30
horas y cursos e-learning.
|
Consideraciones respecto a la pertinencia de evaluar
el aprendizaje en las actividades de capacitación de la
Contraloría:
-
A partir de la información de la evaluación de
aprendizaje se pueden hacer ajustes al diseño instruccional de un curso.
-
La evaluación de aprendizaje es un proceso pertinente
y básico, es lo mínimo que
debe esperar un funcionario que realiza un curso de
capacitación.
|
¿El mecanismo por el cual se evaluó
el aprendizaje fue adecuado y pertinente a los contenidos y
objetivos
del curso?
|
|
Categoría de análisis
|
Pregunta de la entrevista
|
Puntos de coincidencia
|
Puntos diferenciadores
|
Posibles preguntas
modelo piloto
(Inferencias en función a las categorías)
|
|
Determinación del aprendizaje logrado con la
capacitación
|
13. ¿Cuáles son los mecanismos utilizados
para evaluar el aprendizaje?
|
Mecanismos utilizados en la evaluación de aprendizaje
en la Contraloría:
Usualmente existen evaluaciones de aprendizaje
parciales y una final, utilizando mecanismos de verdadero y falso, selección múltiple o
ejercicios de
aplicación.
|
Posibles mecanismos de evaluación de
aprendizaje:
-
Dependerá del tipo de conocimiento que se necesite evaluar.
Para conocimientos
de tipo técnicos, teóricos o normativos, por lo general lo más
utilizado son pruebas escritas o ensayos; y para evaluar alguna
destreza o conocimiento
práctico, se debe definir una metodología que permita la evaluación
de este tipo de aprendizaje, como por ejemplo el rol
playing.
-
Metodológicamente el mecanismo de verdadero y falso está en
desuso, ya
que tiene un factor azaroso muy elevado.
-
Más allá de la evaluación de aprendizaje, y sus
mecanismos clásicos, se podría realizar un seguimiento a la
aplicación de los contenidos en la institución, que sea parte de la calificación final. Por ejemplo, el
participante podría desarrollar y enviar un informe al ente capacitador, validado
por la jefatura correspondiente, respecto a cómo está aplicando los contenidos
aprendidos en la
institución.
|
|
|
|
14. ¿Cuáles son sus consideraciones respecto a la pertinencia de certificar
el conocimiento por parte de la Contraloría?
|
Consideraciones respecto a la pertinencia que
la
Contraloría certifique conocimientos:
-
Actualmente la Contraloría solo informa si un funcionario
realizó y aprobó un curso.
-
Es
pertinente que la Contraloría certifique competencias de los
funcionarios que
trabajan en el Estado, en temáticas específicas que son
áreas
de influencia propias de la Contraloría. Por ejemplo, si un
funcionario está acreditado por la Contraloría en temas jurídico-normativos, estaría en
condiciones de ejercer labores en un área jurídica de cualquier
institución. El mismo caso con temáticas contables.
|
Consideraciones respecto a la pertinencia que la
Contraloría certifique conocimientos:
-
La
certificación se debe dar un marco estratégico más amplio, que
tenga que ver con
el levantamiento de perfiles en áreas que la Contraloría considera
relevantes de certificar a los funcionarios que realizan
labores en estas áreas, saliendo del enfoque actual del curso casual o
puntual.
-
Un modelo de certificación debe considerar una periodicidad a
lo menos
anual.
|
-
¿La Contraloría debiese certificar y habilitar a los
funcionarios públicos en tareas especializadas, tal como lo realiza
por ejemplo ChileCompra con los funcionarios que gestionan las
compras del Estado?
-
¿Considera pertinente que solo los funcionarios que aprueben
el curso cada cierto período de tiempo puedan realizar tareas de
rendición de cuentas en una institución pública?
|
|
Verificación de la transferencia en el puesto de
trabajo
|
15. ¿Cuáles cree son las expectativas de
cómo los funcionarios podrían utilizar la capacitación en sus tareas diarias?
|
No
existen puntos de coincidencia en esta pregunta.
|
Consideraciones respecto expectativas de cómo los
funcionarios podrían utilizar la capacitación de la Contraloría en
sus tareas diarias:
-
Se
espera que los funcionarios que participan en las actividades de
capacitación
de la Contraloría utilicen lo aprendido en sus labores.
-
En las
encuestas de reacción que se han aplicado a los cursos que imparte
la Contraloría, se puede verificar que los funcionarios públicos
tienen necesidad de
conocimientos, que de alguna manera es satisfecha por los cursos
que imparte
la Contraloría.
-
Algunos funcionarios asisten a los cursos de la Contraloría
con la expectativa de
generar una línea directa de resolución de consultas posterior al
curso, o para cumplir ciertos requisitos de movilidad en algunas
instituciones, sobre todo
municipales.
-
Actualmente en la Contraloría no existe una herramienta que
permita medir si los funcionarios que asisten a los cursos utilizan
el aprendizaje en sus tareas diarias.
Consideraciones respecto a las posibles expectativas
de cómo los funcionarios podrían utilizar la capacitación en
general en sus tareas diarias:
-
Lo
principal es que los funcionarios que asistan a una capacitación
sea por una necesidad de aprendizaje ligada a las labores que
realiza en la institución, en conocimiento de por qué asiste, qué
se espera al final del curso y cuáles
serán las condiciones que la institución proporcionará para
desplegar lo aprendido. Lo anterior eleva las expectativas del
participante, por tanto, es fundamental el proceso de detección de
necesidades de capacitación.
-
Si el
curso está orientado al puesto de trabajo de los funcionarios, las
expectativas serán que utilice lo aprendido en sus labores diarias.
Para ello debe haber una estrategia de gestión de la formación para
la transferencia en el puesto
de trabajo.
|
¿Recuerda
los contenidos del curso?
|
|
Categoría de análisis
|
Pregunta de la entrevista
|
Puntos de coincidencia
|
Puntos diferenciadores
|
Posibles preguntas
modelo piloto
(Inferencias en función a las categorías)
|
|
Verificación de la transferencia en el puesto de
trabajo
|
16. ¿Podría señalar posibles indicadores
respecto a la transferencia de la capacitación en el puesto de trabajo?
|
Posibles indicadores respecto a la transferencia de
la capacitación en el puesto de trabajo:
- Una herramienta podría ser consultar a los participantes por temáticas específicas del curso que
realizaron, pasado unos meses, para verificar lo que aprendieron y permitir la mejora
continua de los
cursos.
- La herramienta principal es la evaluación en el
puesto de trabajo, encuestando a la jefatura del
participante pasado un tiempo desde la actividad, para verificar si
el conocimiento que se entregó
sirvió o mejoró el desempeño del funcionario participante en la institución.
|
Posibles indicadores respecto a la transferencia de
la capacitación en el puesto de trabajo:
-
En el
Departamento de Capacitación de la Contraloría falta tiempo y
funcionarios
para gestionar mediciones de transferencias de las capacitaciones
en el
puesto de trabajo.
-
El
proceso de evaluación de transferencia de las capacitaciones tiene
que estar relacionado con la detección de necesidades, involucrando
a las jefaturas desde que se detecta una brecha de desempeño,
invitándolos a participar en la evaluación de la transferencia del curso que se realizó para disminuir esta
brecha.
-
Siguiendo el modelo de Kirkpatrick, la Dirección Nacional del
Servicio Civil entrega
recomendaciones a las instituciones públicas respecto a las
evaluaciones de transferencia de la capacitación y las
causas que incidieron o no en dicha transferencia. Señala que el
cuestionario a las jefaturas de los participantes es el mejor método para obtener información,
dejando en segundo plano
la autoevaluación.
-
Para
realizar evaluación de transferencia, se debe identificar desde la
etapa de
diseño a qué curso, y específicamente qué contenido, es factible de
medir la transferencia, porque en algunas temáticas no existe
instrumental concreto para
lograr una medición correcta.
-
Es recomendable establecer metas institucionales de
evaluación de transferencia, por ejemplo, el 35 % de los cursos que se
ejecuten en el año X serán evaluados en términos de transferencia
en el puesto de trabajo.
|
-
¿Qué tan valiosos considera los contenidos que el
curso
le entregó para el desarrollo de sus funciones?
-
¿Se siente capacitado de aplicar lo aprendido en el
curso
en su puesto de trabajo?
-
Luego del curso, ¿aumentó su motivación para
realizar las tareas y procedimientos aprendidos?
-
¿Ha recibido consultas de su jefatura o compañeros de
funciones que ha podido responder por haber
realizado el curso?
-
¿Ha conseguido aplicar los contenidos aprendidos en
el curso en su puesto de trabajo?
-
¿Cuáles considera que son las causas de poder o no
poder aplicar los contenidos del curso en su puesto de trabajo?
|
|
Verificación de los beneficios a largo plazo
|
17. ¿Cuáles
considera son los resultados esperados en el mejoramiento
en la gestión y transparencia en la Administración del Estado con las actividades de capacitación
de la Contraloría?
|
Consideraciones respecto a los resultados esperados
en el mejoramiento de la gestión y la transparencia en la
Administración del Estado con las actividades de la
Contraloría:
- Se ha iniciado un proceso de buscar insumos de
información en la propia Contraloría para realizar
capacitaciones en lo que se está auditando, lo
que
claramente tendrá un impacto en la gestión y transparencia de la Administración pública, pues se
transparenta lo que la Contraloría medirá posteriormente en las auditorías.
- El proyecto de apoyo al cumplimiento que actualmente impulsa
la Contraloría, genera una relación colaborativa y cercana con las
instituciones auditadas, detectando sus necesidades de capacitación de manera directa, lo cual podría disminuir la
brecha entre la oferta programática de capacitaciones de la Contraloría y las
reales necesidades de capacitación de una institución, lo cual es
un avance
importante en el mejoramiento de la gestión y la transparencia.
- Los beneficios a largo plazo de la capacitación de la
Contraloría, será tener funcionarios lo más preparados posible, para que puedan cumplir sus
funciones administrativas de manera correcta y
apegada, en forma y fondo, a la normativa, lo cual
debería disminuir, por ejemplo, observaciones de auditoría. En este punto se podrían
establecer ciertos
indicadores, dependiendo
de las características de las actividades.
|
Consideraciones respecto a los resultados esperados
en el mejoramiento de la gestión y la transparencia en la
Administración del Estado con las actividades de la
Contraloría:
-
Existe
un impacto importante de las actividades de capacitación de la
Contraloría, que se refleja en el foco que han definido en la
capacitación las autoridades de la Contraloría, anteriormente con
el contralor Mendoza existió un aumento en la cantidad de
actividades, y actualmente con el contralor Bermúdez se genera un
centro de estudios que se dedica específicamente a capacitar a los
funcionarios públicos; siendo la percepción global que la
capacitación puede mejorar ciertos procesos del sector
público.
-
Los beneficios se pueden inferir, pero no son
conocidos.
-
Los
resultados debiesen estar enfocados en instalar el concepto de
certeza jurídica, en el sentido de enseñar lo que se entiende por
legítimo e ilegítimo en el
sector público.
-
La
Contraloría debiese ser la institución que impulsa, no solo la
prevención de los actos, sino también la formación de un
ethos en el sector público, no solo sancionando o
investigando, sino que también generando gestión del conocimiento,
aprendizaje y en el fondo mejoras en la gestión pública.
|
-
¿El curso ayudará a que la institución donde me
desempeño disminuya posibles observaciones en
una
futura auditoría que realice la Contraloría?
-
¿El curso mejorará a largo plazo la gestión y
transparencia institucional?
|
4.5. Cuarta fase: sistematizar
la información para el levantamiento del modelo piloto de
evaluación de resultados de capacitación de la
Contraloría
Luego de que se completó la reducción
y análisis de los datos reportados en las entrevistas
semiestructuradas, extrayendo posibles preguntas para el modelo
piloto, fue necesario sistematizar la información, tanto para los
aspectos metodológicos del modelo piloto como para la creación de
los cuestionarios: uno que se aplicará a los funcionarios que
participen y aprueben un determinado curso que imparta la
Contraloría; y el segundo, a las jefaturas de dichos
funcionarios.
Respecto a los aspectos metodológicos
del modelo piloto, se pueden inferir de las entrevistas algunas
consideraciones generales respecto a su aplicación:
•
El proceso de consulta necesariamente
se debe realizar a los funcionarios aprobados de un curso y sus
jefaturas. A los aprobados, porque son quienes supuestamente
lograron demostrar aprendizaje mediante una evaluación. A sus
jefaturas, ya que son quienes han verificado si el aprendizaje de
contenidos está siendo
aplicado en el puesto de trabajo.
•
La aplicación del modelo debe
realizarse a cursos que hayan finalizado en un período no superior
a un año, ya que en un plazo mayor la evaluación de transferencia
en el puesto de trabajo podría verse afectada, sea por la movilidad
de los funcionarios, o por la posible participación en otras
capacitaciones.
•
No se puede aplicar el modelo a todas
las actividades de capacitación que la Contraloría realiza para la
Administración del Estado, debiendo concentrarse en los cursos presenciales y e-learning,
y estableciendo metas de evaluaciones anuales.
En relación a la sistematización de
la información para el diseño de los cuestionarios del modelo
piloto, a partir de las posibles preguntas que se lograron
desarrollar en la fase
anterior, se estableció lo siguiente:
•
Se estimó necesario que los
cuestionarios fueran de fácil respuesta, no demorando el encuestado más de cinco minutos en
desarrollarlo.
•
Los cuestionarios se estructuraron en
37 preguntas, divididas en cuatro dimensiones: la primera
relacionada con la identificación del funcionario encuestado; la
segunda, respecto a la experiencia de participación en el curso; la
tercera, relacionada con la valoración de los resultados de la
participación; y por último, consideraciones respecto al mismo
cuestionario, en relación a si
lo consideran de fácil respuesta y una posible ayuda en la gestión
de las capacitaciones de la
Contraloría.
•
Se establecieron respuestas
libres para la
primera dimensión de identificación,
en algunos casos con opciones
de respuestas; luego, en las siguientes dimen-
siones, se utilizó en general una
escala de Likert de cuatro niveles, con la finalidad de evitar las
respuestas de tendencia central.
•
Ambos cuestionarios tienen una
estructura similar, solo varían algunos enunciados. Esto con la
intención el análisis posterior sea comparativo.
•
El detalle de las preguntas y
dimensiones de los cuestionarios se precisan a continuación:
Cuestionario Nº 1: funcionarios
aprobados
|
Estimado funcionario:
En relación a su participación en el (nombre del curso), realizado durante el año (señalar año), con el propósito de evaluar de manera general la experiencia de
capacitación con la Contraloría General de la República (Contraloría), solicitamos su colaboración en
responder el siguiente cuestionario, que no
demorará más de cinco minutos.
La
Contraloría se compromete a utilizar los datos solo de manera
agregada y con el objetivo de mejorar sus actividades de capacitación, velando por el
correcto resguardo de su identidad y respuestas específicas.
En
caso de cualquier consulta o comentario, puede escribir al correo
electrónico capacitacion@ contraloria.cl
Desde ya agradecemos su tiempo.
|
|
Preguntas de identificación
|
|
Nº
|
Enunciado
|
Opciones de respuesta / Escala
|
|
1
|
Nombre
completo
|
Respuesta
libre
|
|
2
|
Edad
|
Opciones con números para completar edad
|
|
3
|
Sexo
|
Opciones con identificación de sexo:
hombre, mujer
|
|
4
|
Fecha en que realizó la actividad de
capacitación de la
Contraloría
|
Calendario desplegable para consignar fecha
|
|
5
|
Institución pública donde se desempeña o desempeñaba cuando realizó la actividad de capacitación
|
Respuesta
libre
|
|
6
|
Región donde se encuentra la institución donde se
desempeña o desempeñaba cuando realizó la
actividad de capacitación
|
Opciones con
regiones del país
|
|
7
|
Cargo que desempeña o desempeñaba al momento de participar en
la actividad de capacitación
|
Respuesta
libre
|
|
8
|
¿A qué estamento pertenece su cargo? En caso de estar
contratado mediante código del trabajo o a honorarios, asimílelo al
estamento que pertenecería
|
Opciones con estamentos:
administrativo, técnico, profesional y directivo
|
|
9
|
Años que llevaba desempeñando el cargo al momento de
participar la actividad de capacitación
|
Opciones con números para completar años de 0 a
40
|
|
Preguntas relacionadas con la participación en el curso
—nombre del curso—
|
|
10
|
¿Cómo se
enteró del curso?
|
Opciones
1:
Por la
página web
de la
Contraloría
2: Por correo electrónico de la Contraloría 3: Por redes sociales —Twitter, Facebook,
Instagram—
4: Por afiches impresos
5:
Por información de
mi jefatura
6: Por el departamento o unidad de personal o
recursos humanos
7: Por compañeros de funciones 8: Otro, indique
cuál………………………
|
|
11
|
La oferta programática de actividades de capacitación de la
Contraloría son conocidas por la mayoría de los funcionarios de la
Administración del Estado.
|
Escala
1: En total desacuerdo 2: En
desacuerdo
3:
De acuerdo
4: En total acuerdo
|
|
12
|
El sistema por el
cual postuló al curso fue simple y de fácil
uso.
|
Escala
1: En total desacuerdo 2: En
desacuerdo
3:
De acuerdo
4: En total acuerdo
|
|
13
|
La plataforma donde realizó el curso (aula virtual) fue de
simple uso y amigable.
|
Escala
1: En total desacuerdo 2: En
desacuerdo
3:
De acuerdo
4: En total acuerdo
|
|
14
|
La atención de la mesa de ayuda durante el desarrollo del
curso fue adecuada y en los tiempos
correctos.
|
Escala
1: En total desacuerdo 2: En
desacuerdo
3:
De acuerdo
4: En total acuerdo
|
|
15
|
¿Conoce cuáles son los objetivos
de aprendizaje del curso
que participó?
|
Opciones
1. Sí
2. No
|
|
17
|
La calidad de las respuestas del tutor a las consultas
realizadas durante el desarrollo del curso fue la
adecuada.
|
Escala
1: En total desacuerdo 2: En
desacuerdo
3:
De acuerdo
4: En total acuerdo
|
|
18
|
El curso está
diseñado para especialistas en la
temática.
|
Escala
1: En total desacuerdo 2: En
desacuerdo
3:
De acuerdo
4: En total acuerdo
|
|
19
|
El curso lo puede realizar cualquier funcionario del Estado,
más allá de la función que cumpla.
|
Escala
1: En total desacuerdo 2: En
desacuerdo
3:
De acuerdo
4: En total acuerdo
|
|
20
|
La duración del curso es correcta en relación a los contenidos
abordados.
|
Escala
1: En total desacuerdo 2: En
desacuerdo
3:
De acuerdo
4: En total acuerdo
|
|
21
|
La cantidad de participantes del curso fue la
correcta, para dar atención oportuna.
|
Escala
1: En total desacuerdo 2: En
desacuerdo
3:
De acuerdo
4: En total acuerdo
|
|
22
|
La metodología del curso fue apropiada para mantenerme involucrado y
activo.
|
Escala
1: En total desacuerdo 2: En
desacuerdo
3:
De acuerdo
4: En total acuerdo
|
|
23
|
Es beneficio para la gestión del sector público que la
Contraloría realice actividades y cursos de capacitación como el
que participó.
|
Escala
1: En total desacuerdo 2: En
desacuerdo
3:
De acuerdo
4: En total acuerdo
|
|
25
|
El mecanismo por el cual se evaluó el aprendizaje
como adecuado y pertinente a los contenidos y objetivos del
curso.
|
Escala
1: En total desacuerdo 2: En
desacuerdo
3:
De acuerdo
4: En total acuerdo
|
|
26
|
La Contraloría debiese certificar y habilitar a los
funcionarios públicos en tareas especializadas, tal como lo realiza
por ejemplo ChileCompra
con los funcionarios que gestionan las compras
del Estado.
|
Escala
1: En total desacuerdo 2: En
desacuerdo
3:
De acuerdo
4: En total acuerdo
|
|
27
|
Considera pertinente que solo los funcionarios que aprueben el
curso cada cierto período de tiempo puedan realizar tareas de
(materia del curso) en una
institución pública.
|
Escala
1: En total desacuerdo 2: En
desacuerdo
3:
De acuerdo
4: En total acuerdo
|
|
Preguntas de autoevaluación
|
|
28
|
¿Recuerda los contenidos
del curso?
|
Escala
1: Muy poco
2: Poco
3: Casi todos
4: Todos
|
|
29
|
¿Qué tan valiosos considera los contenidos que el curso le
entregó para el desarrollo de sus
funciones?
|
Escala
1: Muy poco
2: Poco
3: Valioso
4:
Muy valioso
|
|
30
|
¿Se siente capacitado de aplicar lo
aprendido en el curso en su puesto de trabajo?
|
Escala
1: No tanto
2: Poco
3: Capacitado
4: Muy capacitado
|
|
31
|
Luego del curso, su
motivación para realizar las tareas y
procedimientos aprendidos:
|
Escala
1: Disminuyó
2: Disminuyó un poco 3:
Aumentó
4: Aumentó
considerablemente
|
|
32
|
¿Ha recibido consultas de su jefatura o compañeros de
funciones que ha podido responder por haber
realizado el curso?
|
Escala 1: Nunca
2:
Casi nunca
3: A veces
4:
Casi siempre
5: Siempre
|
|
33
|
¿Ha conseguido aplicar los contenidos aprendidos en el curso
en su puesto de trabajo?
|
Escala 1: Nunca
2:
Casi nunca
3: A veces
4:
Casi siempre
5: Siempre
|
|
33.1
|
Si su respuesta anterior fue «nunca», «casi nunca» o «a
veces», seleccione un máximo de tres causas por las que considera
no ha podido aplicar los contenidos del curso en su
puesto de trabajo:
|
Opciones
1: No recuerda los
contenidos del curso. 2: No aprendió nuevos contenidos
para
aplicarlos.
3: La función que desempeña no permite aplicar directamente los
contenidos.
4: No se ha dado el momento para aplicar los
contenidos.
5: Cambió de función desde que realizó el
curso.
6: Existe resistencia al cambio en la institución, lo cual
obstaculiza la aplicación de los
contenidos.
7: La jefatura no apoya la aplicación de los contenidos
aprendidos.
8: No siente motivación para aplicar los contenidos.
9: Otra
situación, indíquela:.......................
|
|
33.2
|
Si su respuesta anterior fue «casi siempre» o «siempre»,
seleccione un máximo de tres causas que considera han ayudado a que
pueda aplicar los contenidos del curso en su puesto de
trabajo:
|
Opciones
1: Recuerda los contenidos del curso y tiene
material de consulta.
2: Aprendió nuevos contenidos para
aplicarlos.
3: La función que desempeña permite aplicar directamente los
contenidos.
4: Se han dado los espacios y momentos para aplicar los
contenidos.
5: En la institución donde se desempeña son abiertos
a nuevas ideas, lo cual fomenta la aplicación de los
contenidos.
6: La jefatura apoya la aplicación de los contenidos aprendidos.
7: Siente motivación para aplicar los contenidos.
8: Otra
situación, indíquela:.......................
|
|
34
|
El curso ayudará a que la institución donde me desempeño disminuya posibles
observaciones
en una futura auditoría que realice
la Contraloría.
|
Escala
1: En total desacuerdo 2: En
desacuerdo
3:
De acuerdo
4: En total acuerdo
|
|
35
|
El curso mejorará a largo plazo la gestión y
transparencia institucional
|
Escala
1: En total desacuerdo 2: En
desacuerdo
3:
De acuerdo
4: En total acuerdo
|
|
Preguntas sobre el cuestionario
|
|
|
|
Escala
|
|
36
|
Considero que este cuestionario fue simple y fácil
de responder
|
1: En total desacuerdo 2: En
desacuerdo
3:
De acuerdo
|
|
|
|
4: En total acuerdo
|
|
|
|
Escala
|
|
|
Considero que
los resultados de este cues-
|
1:
En total
desacuerdo
|
|
37
|
tionario
pueden aportar en el mejoramiento
|
2:
En desacuerdo
|
|
|
de la
gestión de
los cursos
de la
Contraloría
|
3:
De acuerdo
|
|
|
|
4: En total acuerdo
|
Cuestionario Nº 2: jefaturas de funcionarios aprobados de un
curso
|
Estimada jefatura:
En
relación a la participación de funcionarios colaboradores de Ud. en
el curso (nombre del curso), realizado durante el año (señalar
año), con el propósito de evaluar de manera general la experiencia
de capacitación con la Contraloría General
de la República (Contraloría), solicitamos su colaboración en
responder el siguiente cuestionario, que no demorará más de cinco
minutos.
La
Contraloría se compromete a utilizar los datos solo de manera
agregada, y con el objetivo de mejorar sus actividades de capacitación, velando por el
correcto resguardo de su identidad y respuestas específicas.
En
caso de cualquier consulta o comentario, puede escribir al correo
electrónico capacitacion@ contraloria.cl
Desde ya agradecemos su tiempo.
|
|
Preguntas de identificación
|
|
Nº
|
Enunciado
|
Opciones de respuesta / Escala
|
|
1
|
Nombre
completo.
|
Respuesta libre.
|
|
2
|
Edad.
|
Opciones con números para completar edad.
|
|
3
|
Sexo.
|
Opciones con identificación de sexo:
hombre, mujer.
|
|
4
|
Fecha en que su(s) colaborador(es) realizó(aron) el curso
(nombre del curso).
|
Calendario desplegable para consignar fecha.
|
|
5
|
Institución pública donde se desempeña o desempeñaba cuando su(s) colaborador(es) realizó(aron) la actividad de capacitación.
|
Respuesta libre.
|
|
6
|
Región donde se encuentra la institución donde se
desempeña o desempeñaba cuando su(s)
colaborador(es) realizó(aron) la actividad de
capacitación.
|
Opciones con
regiones del
país.
|
|
7
|
Cargo que desempeña o desempeñaba al momento que su(s)
colaborador(es) realizó(aron) la actividad de
capacitación.
|
Respuesta libre.
|
|
8
|
Años que llevaba desempeñando cargo de jefatura al
momento que se ejecutó el curso e-learning.
|
Opciones con números para completar años de 0 a
40.
|
|
9
|
Número de colaboradores que realizaron el curso
e-learning.
|
Opciones con números para completar número de participantes de
1 a 20
|
|
Preguntas relacionadas con la participación en el curso
(nombre del curso)
|
|
10
|
¿Cómo cree que sus colaboradores se enteraron del
curso?
|
Opciones
1:
Por la
página web
de la
Contraloría.
2: Por correo electrónico de la Contraloría.
3: Por redes sociales —Twitter, Facebook, Instagram—.
4:
Por afiches impresos.
5: Por información que usted les facilitó.
6: Por el departamento o unidad de perso-
nal o recursos humanos.
7: Por compañeros de funciones. 8: Otro, indique
cuál………………………
|
|
11
|
La oferta programática de actividades de capacitación de la
Contraloría son conocidas por la mayoría de los funcionarios de la
Administración del Estado.
|
Escala
1: En total desacuerdo 2: En
desacuerdo
3:
De acuerdo
4: En total acuerdo
|
|
12
|
El sistema de postulación de la Contraloría es
simple y de fácil uso.
|
Escala
1: En total desacuerdo 2: En
desacuerdo
3:
De acuerdo
4: En total acuerdo
|
|
13
|
¿Sus colaboradores le comentaron acerca de los atributos de la
plataforma (aula virtual) donde
realizaron el curso?
|
Opciones 1: Sí
2: No
|
|
13.1
|
En caso de
que la respuesta anterior sea sí.
Consideraban que la
plataforma (aula virtual) era amigable
y de fácil uso.
|
Escala
1: En total desacuerdo 2: En
desacuerdo
3:
De acuerdo
4: En total acuerdo
|
|
14
|
¿Sus colaboradores le comentaron acerca de la calidad
de la mesa de ayuda del curso?
|
Opciones 1: Sí
2: No
|
|
15
|
¿Conoce cuáles son los objetivos
de aprendizaje del curso
que participó?
|
Opciones
1. Sí
2. No
|
|
16
|
Sus colaboradores le comentaron acerca de la
calidad de los contenidos del curso.
|
Opciones
1. Sí
2. No
|
|
16.1
|
En caso de que la
respuesta anterior sea sí. Consideraban que
la calidad de los contenidos del curso era
adecuada.
|
Escala
1: En total desacuerdo 2: En
desacuerdo
3:
De acuerdo
4: En total acuerdo
|
|
17
|
Sus colaboradores le comentaron acerca de la calidad de las
respuestas del tutor del curso.
|
Opciones
1. Sí
2. No
|
|
17.1
|
En caso de que la respuesta anterior sea sí. La calidad de las
respuestas del tutor a las consultas realizadas durante el
desarrollo del curso fue la
adecuada.
|
Escala
1: En total desacuerdo 2: En
desacuerdo
3:
De acuerdo
4: En total acuerdo
|
|
18
|
Según lo observado, considera que el curso está diseñado para
especialistas en la temática.
|
Escala
1: En total desacuerdo 2: En
desacuerdo
3:
De acuerdo
4: En total acuerdo
|
|
19
|
Según lo observado, considera que el curso lo puede realizar
cualquier funcionario del Estado, más allá de la función que
cumpla.
|
Escala
1: En total desacuerdo 2: En
desacuerdo
3:
De acuerdo
4: En total acuerdo
|
|
20
|
Considera que la duración del curso es correcta, ya que sus
colaboradores pudieron finalizar en los tiempos
programados.
|
Escala
1: En total desacuerdo 2: En
desacuerdo
3:
De acuerdo
4: En total acuerdo
|
|
21
|
Considera que la cantidad de participantes del curso fue la
correcta, para dar atención oportuna a sus
colaboradores.
|
Escala
1: En total desacuerdo 2: En
desacuerdo
3:
De acuerdo
4: En total acuerdo
|
|
22
|
Considera que la metodología del curso fue apropiada para mantener involucrado y activo a
sus colaboradores.
|
Escala
1: En total desacuerdo 2: En
desacuerdo
3:
De acuerdo
4: En total acuerdo
|
|
23
|
Es beneficioso para la gestión del sector público que la
Contraloría realice actividades y cursos de capacitación como el
que participaron sus
colaboradores.
|
Escala
1: En total desacuerdo 2: En
desacuerdo
3:
De acuerdo
4: En total acuerdo
|
|
24
|
La Contraloría cuenta con la pertinencia adecuada, en
términos de
conocimientos y expertos, para realizar cursos de capacitación
en temáticas de su competencia, tal como en el curso que
participaron sus colaboradores.
|
Escala
1: En total desacuerdo 2: En
desacuerdo
3:
De acuerdo
4: En total acuerdo
|
|
24.1
|
¿Sus colaboradores le comentaron acerca del mecanismo por el
cual se evaluó el aprendizaje en el
curso?
|
Opciones
1. Sí
2. No
|
|
25
|
En caso de que la respuesta anterior sea sí. Consideraban que
el mecanismo por el cual se evaluó el aprendizaje fue adecuado
y pertinente a los contenidos y
objetivos del curso.
|
Escala
1: En total desacuerdo 2: En
desacuerdo
3:
De acuerdo
4: En total acuerdo
|
|
26
|
La Contraloría debiese certificar y habilitar a los
funcionarios públicos en tareas especializadas, tal como lo realiza
por ejemplo Chilecompras con
los funcionarios que gestionan las compras
del Estado.
|
Escala
1: En total desacuerdo 2: En
desacuerdo
3:
De acuerdo
4: En total acuerdo
|
|
27
|
Considera pertinente que solo los funcionarios que aprueben el
curso cada cierto período de tiempo puedan realizar tareas de
(materia del curso) en una
institución pública.
|
Escala
1: En total desacuerdo 2: En
desacuerdo
3:
De acuerdo
4: En total acuerdo
|
|
Preguntas de evaluación
|
|
28
|
¿Cree que sus colaboradores recuerdan los contenidos del curso?
|
Escala
1: Muy poco
2: Poco
3: Casi todos
4: Todos
|
|
29
|
¿Qué tan valiosos considera los contenidos que el curso le entregó a sus colaboradores
para el desarrollo de las funciones?
|
Escala
1: Muy poco
2: Poco
3: Valioso
4:
Muy valioso
|
|
30
|
¿Considera que sus colaboradores están capacitados para
aplicar lo aprendido en el curso en su puesto
de trabajo?
|
Escala
1: No tanto
2: Poco
3: Capacitado
4: Muy capacitado
|
|
31
|
Luego de realizar el curso, considera que la
motivación de sus colaboradores para realizar las
tareas y procedimientos aprendidos:
|
Escala
2: Disminuyó un poco 3:
Aumentó
4: Aumentó
considerablemente
|
|
32
|
¿Ha realizado consultas de trabajo —o técnicas— respecto a la
temática del curso a sus colaboradores?
|
Escala 1: Nunca
2:
Casi nunca
3: A veces
4:
Casi siempre
5: Siempre
|
|
33
|
¿Considera que sus colaboradores han conseguido
aplicar los contenidos aprendidos en el curso en su puesto de
trabajo?
|
Escala 1: Nunca
2:
Casi nunca
3: A veces
4:
Casi siempre
5: Siempre
|
|
33.1
|
Si su respuesta anterior fue «nunca», «casi nunca» o «a
veces», seleccione un máximo de tres causas por las cuales
considera sus colaboradores
no han podido aplicar los contenidos del curso en su puesto de
trabajo:
|
Opciones
1: No recuerdan los contenidos del curso. 2: No
aprendió nuevos contenidos para
aplicarlos.
3: La función que desempeña no permite aplicar directamente
los contenidos.
4: No se ha dado el momento para aplicar los
contenidos.
5: Cambió de función desde que realizó el
curso.
6: Existe resistencia al cambio en la
institución, lo cual
obstaculiza la aplicación de los
contenidos.
7: No siente motivación para aplicar los contenidos.
8: Otra situación,
indíquela:.......................
|
|
33.2
|
Si su respuesta anterior fue «casi siempre» o «siempre»,
seleccione un máximo de tres causas que considera han ayudado a que
sus colaboradores puedan aplicar los contenidos del curso en su
puesto de trabajo:
|
Opciones
1: Recuerda los contenidos del curso y tiene
material de consulta.
2: Aprendió nuevos contenidos para
aplicarlos.
3: La función que desempeña permite aplicar directamente los
contenidos.
4: Se han dado los espacios y momentos para aplicar los
contenidos.
5: En la institución donde se desempeña son
abiertos a nuevas ideas, lo cual fomenta la aplicación de los
contenidos.
6: Siente motivación para aplicar los contenidos.
7: Otra situación,
indíquela:.......................
|
|
34
|
El curso ayudará a que la institución donde se desempeñan
usted y sus colaboradores disminuya posibles observaciones en una
futura auditoría que realice la Contraloría.
|
Escala
1: En total desacuerdo 2: En
desacuerdo
3: De
acuerdo
4: En total
acuerdo
|
|
35
|
El curso mejorará a largo plazo la gestión y
transparencia institucional.
|
Escala
1: En total desacuerdo 2: En
desacuerdo
3: De
acuerdo
4: En total
acuerdo
|
|
Preguntas sobre el modelo piloto de evaluación de resultados
capacitación de la Contraloría
|
|
36
|
Considero que este cuestionario fue simple y
fácil de responder.
|
Escala
1: En total desacuerdo 2: En
desacuerdo
3: De
acuerdo
4: En total
acuerdo
|
|
37
|
Considero que los resultados de este cuestionario pueden aportar en el
mejoramiento de la gestión de
los cursos de la Contraloría.
|
Escala
1: En total desacuerdo 2: En
desacuerdo
3: De
acuerdo
4: En total
acuerdo
|
4.6.
Resultados
etapa 2: aplicación del modelo piloto de evaluación de
resultados de capacitación de funcionarios públicos y
municipales —y sus jefaturas— que hayan aprobados un curso dictado
por la Contraloría
4.7. Aspectos
generales
La aplicación del modelo piloto de
evaluación de resultados de capacitación de la Contraloría se realizó al «Curso
e-learning de nueva normativa y procedimientos de rendición
de cuentas», dictado el segundo semestre de 2018. Esta elección
se debe a que es una
capacitación con masiva participación en todas las
regiones del país,
concurriendo varias entidades del aparato del Estado, y la
familiarización de sus participantes con los medios tecnológicos
utilizados por la
Contraloría.
Antes de avanzar en los resultados de
la etapa 2, es necesario señalar las principales características del curso elegido, que se
detallan en el siguiente cuadro:
Cuadro Nº
6: principales
características del
«Curso e-learning de nueva
normativa y procedimientos de rendición de cuentas»
|
Característica
|
Descripción
|
|
Años de ejecución
|
2015
|
2016
|
2017
|
2018
|
Totales
|
|
Versiones realizadas
|
2
|
3
|
2
|
2
|
9
|
|
Funcionarios participantes
|
1.737
|
1.204
|
943
|
750
|
4.634
|
|
Funcionarios aprobados
|
1.163
|
855
|
580
|
586
|
3.184
|
|
Horas
cronológicas de duración del curso
|
|
9
horas
|
|
|
|
|
Objetivos de aprendizaje del curso
|
|
General
-
Analizar la normativa aplicable a la rendición
de
cuentas desde el punto de vista de su nuevo procedimiento.
Específicos:
-
Comprender los aspectos generales y ámbito de
aplicación de la rendición de cuentas.
-
Diferenciar las modalidades de rendición de cuentas
desde el punto de vista de su nuevo procedimiento.
-
Analizar el procedimiento de rendición de
cuentas.
|
Fuente: elaboración propia, sobre
la base de datos del Departamento de Capacitación de la
Contraloría
4.8. Establecimiento
muestra
El cuestionario estandarizado se
remitió a todos los funcionarios aprobados
—216 personas— y sus jefaturas —133
personas— de la versión del señalado curso. En el entendido de que no todos responderían
la encuesta, para una correcta
aplicación del modelo piloto, se establecieron parámetros de
muestreo estadístico para que las respuestas fuesen representativas
de la población a encuestar, debiendo poseer características que
son consideradas idóneas en cualquier estudio de tipo cuantitativo, a saber:
• Margen de error: 5 %
• Nivel de confianza: 95 %
• Heterogeneidad: 50 %
En el siguiente cuadro se señalan los
números de funcionarios aprobados y jefaturas que debiesen responder el cuestionario, con
el objeto de que la muestra sea representativa del curso donde se testeará el modelo
piloto.
Cuadro Nº
7: mínimo de funcionarios y
jefaturas que debiesen responder cuestionario del modelo piloto de evaluación, para una muestra
representativa del «Curso e-learningde nueva normativa y
procedimientos de rendición de cuentas»
|
Región
|
Funcionarios aprobados última versión 2018
|
Peso porcentual funcionarios aprobados de la región
|
Mínimo de funcionarios que debiesen responder para muestra representativa
|
Jefaturas de funcionarios aprobados última versión 2018
|
Peso porcentual jefaturas funcionarios aprobados de la región
|
Mínimo de jefaturas que debiesen responder para
muestra represen-
tativa
|
|
Arica
|
10
|
4,63
|
6
|
7
|
5,26
|
5
|
|
Tarapacá
|
4
|
1,85
|
3
|
4
|
3,01
|
3
|
|
Antofagasta
|
12
|
5,56
|
8
|
5
|
3,76
|
4
|
|
Atacama
|
7
|
3,24
|
5
|
6
|
4,51
|
4
|
|
Coquimbo
|
15
|
6,94
|
10
|
12
|
9,02
|
9
|
|
Valparaíso
|
22
|
10,19
|
14
|
11
|
8,27
|
8
|
|
O’Higgins
|
5
|
2,31
|
3
|
2
|
1,50
|
1
|
|
Maule
|
11
|
5,09
|
7
|
7
|
5,26
|
5
|
|
Biobío
|
20
|
9,26
|
13
|
16
|
12,03
|
12
|
|
La Araucanía
|
14
|
6,48
|
9
|
10
|
7,52
|
7
|
|
Los Ríos
|
7
|
3,24
|
5
|
5
|
3,76
|
4
|
|
Los Lagos
|
5
|
2,31
|
3
|
4
|
3,01
|
3
|
|
Aysén
|
13
|
6,02
|
8
|
7
|
5,26
|
5
|
|
Magallanes
|
6
|
2,78
|
4
|
2
|
1,50
|
1
|
|
R.M.
|
65
|
30,09
|
42
|
35
|
26,32
|
26
|
|
Total
|
Universo: 216
|
100 %
|
Muestra: 139*
|
Universo: 133
|
100 %
|
Muestra:
99*
|
*Margen de
error: 5 % / Nivel de confianza: 95 % / Heterogeneidad: 50
%
4.9. Aspectos
operativos
Los cuestionarios se configuraron y
cargaron en la plataforma de encuestas de la Contraloría,
manteniéndose habilitados durante un período de dos semanas para
que los participantes respondieran, desde el martes 19 de junio al
martes 2 de julio de
2019.
A los 216 funcionarios aprobados y
las 133 jefaturas se les envió un primer correo con instrucciones de acceso a la plataforma de
encuestas, donde se señalaba un enlace único, el cual una vez
respondido se inhabilitaba automáticamente, lo cual evitaría
posibles duplicidades de respuestas de un mismo funcionario o su
jefatura. A la semana de este primer correo, se envió un segundo a
quienes no habían respondido el cuestionario, con el objeto de
aumentar la cantidad de cuestionarios respondidos.
4.10. Análisis de resultados del
testeo del modelo piloto
Una vez finalizado el proceso de
respuesta de los cuestionarios por parte de los funcionarios
aprobados y sus jefaturas, se cotejó la cantidad de funcionarios y
jefaturas que respondieron de manera íntegra el cuestionario con la
cantidad necesaria para cumplir con la representatividad en el
testeo. Lamentablemente no se
cumplió con la muestra necesaria en el testeo del modelo piloto,
posiblemente a causa de dos
situaciones: el poco margen de tiempo que se estableció para
responder la encuesta; y el largo lapso que había sucedido entre la
finalización de la versión del curso —septiembre de 2018— y la
aplicación del testeo —julio
2019—.
En el siguiente cuadro se indica la
cantidad de funcionarios aprobados y jefaturas que respondieron el cuestionario de manera
íntegra.
Si bien no se cumplió con la muestra
estadística, los resultados reportados igualmente se utilizaron
para realizar el ejercicio de clasificación de la información, con
la finalidad de comprobar si el testeo del modelo piloto de
evaluación de resultados podría ser replicable conceptualmente y
operativamente a otras actividades de capacitación que la
Contraloría realiza a funcionarios públicos, de manera que fuese un
aporte a la toma de decisiones de autoridades.
En este contexto, se estableció un
«informe de resultados» que pudiese ser replicado en evaluaciones posteriores, debiendo tener
ciertas características:
lectura simple, ordenado y
sistemático con la información obtenida en las respuestas de los cuestionarios de los
funcionarios y jefaturas, aportando con recomendaciones a partir de
los datos. Además, el informe necesariamente debía comparar indicadores relevantes entre los
dos grupos, ya que como se estableció en la etapa anterior, es
importante contar con información concreta que indiquen las
valoraciones del curso tanto de funcionarios como de jefaturas, con
la finalidad de verificar si existió transferencia de los
contenidos aprendidos en el
puesto de trabajo. Con la finalidad de cumplir lo anterior, el
«informe de resultados» se estructuró de la siguiente
manera:
a)
Identificación del curso evaluado: se
señaló información acerca del año, versión, fecha de ejecución,
número de funcionarios matriculados y aprobados.
b)
Datos generales: se señaló la
cantidad de funcionarios aprobados y jefaturas que participaron de
la encuesta y si se cumplió con la muestra representativa.
c)
Resultados encuesta: se
examinaron los resultados ordenando
las dimensiones a partir del
número de pregunta del cuestionario, mostrando el porcentaje de
funcionarios y jefaturas que respondieron en cada opción de las escalas de Likert propuestas. A
partir de lo anterior, con la
finalidad de establecer un parámetro de comparación entre los
grupos de funcionarios aprobados y jefaturas, se estableció para
cada pregunta un indicador de escala de Likert, que se calculó de
la siguiente
manera:
Indicador escala de Likert =
[(cantidad de respuestas en opción 1 x 1) + (cantidad de respuestas
en opción 2 x 2) + (cantidad de respuestas en opción 3 x 3) +
(cantidad de respuestas en opción 4 x 4) + (cantidad de respuestas
en opción n x n)] / cantidad total de respuestas
Ejemplo:
Pregunta 1: 50 personas
respondieron
Opción 1: En total desacuerdo —15
personas marcaron esta opción— Opción 2: En desacuerdo —5 personas
marcaron esta opción— Opción 3: En acuerdo —20 personas marcaron
esta opción—
Opción 4: En total acuerdo —10
personas marcaron esta opción—
Indicador escala de Likert = [(15 x
1) + (5 x 2) + (20 x 3) + (10 x 4)] / 50
[15 + 10 + 60 + 40] / 50
[125] / 50 2,50
En la última columna de cada pregunta
se realizó un análisis de los resultados del indicador de Likert y los porcentajes de cada
opción marcada por los
participantes de la encuesta.
d)
Síntesis resultados y
recomendaciones: al finalizar el análisis a nivel de pregunta, se
sintetizaron los resultados más
importantes a nivel de
dimensión, estableciendo las posibles debilidades y fortalezas del
curso en las dimensiones. Se finalizó con un gráfico de dispersión
de los indicadores de Likert para cada pregunta y grupo
—funcionarios aprobados y
jefaturas—, señalando si con los datos analizados se podía
o no concluir que el curso
había generado transferencia en el puesto de trabajo, por ende, si
era recomendable seguir o no con su impartición.
En las siguientes páginas se
visualiza detalladamente el «informe de resultados» que se realizó
para el testeo del modelo piloto de evaluación de resultados de
actividades de capacitación de la Contraloría de funcionarios
públicos que se realizó al «Curso e-learningde nueva
normativa y procedimientos de rendición de cuentas».
Cuadro Nº
9: informe de
resultados: testeo del modelo
piloto de evaluación de
resultados de actividades de capacitación de la Contraloría a
funcionarios públicos
INFORME DE RESULTADOS
ACTIVIDAD: CURSO E-LEARNING DE
NUEVA NORMATIVA Y PROCEDIMIENTOS DE RENDICIÓN DE CUENTAS
|
Año
|
2018
|
|
Versión
|
9
|
|
Fecha ejecución:
|
14/08/18 A 14/09/19
|
|
Nº matriculados:
|
288
|
|
Nº
aprobados:
|
216
|
DATOS GENERALES
RESULTADOS ENCUESTA
1º DIMENSIÓN:
IDENTIFICACIÓN
|
Preguntas 1 a
9
Edad promedio
|
Funcionarios aprobados
|
Jefaturas de funcionarios aprobados
|
|
39,98
|
43,11
|
|
Años
promedio en el cargo
|
6,5
|
3,11
|
|
Sexo
|
|
|
% de
mujeres
|
50,00
%
|
66,67
%
|
|
% de
hombres
|
50,00
%
|
33,33
%
|
|
Estamento
Promedio colaboradores en el curso
|
|
Administrativos
|
15,38
%
|
|
|
Técnicos
|
15,38
%
|
1,77
|
|
Profesionales
|
67,31
%
|
|
Directivos
|
1,92
%
|
2º DIMENSIÓN: EXPERIENCIA EN LA ACTIVIDAD
|
10. Información previa del
curso
Por la página web de la
Contraloría
|
Funcionarios aprobados
|
Jefaturas de funcionarios aprobados
|
|
59,62
%
|
45,45
%
|
|
Por correo electrónico de la
Contraloría
|
11,54
%
|
27,27
%
|
|
Por redes sociales —Twitter, Facebook,
Instagram—
|
0,00
%
|
0,00
%
|
|
Por afiches
impresos
|
0,00
%
|
0,00
%
|
2º DIMENSIÓN:
EXPERIENCIA EN LA ACTIVIDAD —continuación—
|
|
En total desacuerdo (1)
|
En desacuerdo (2)
|
De acuerdo (3)
|
En total acuerdo (4)
|
Indicador escala Likert (1 a 4)
|
Análisis resultados
|
|
11. Oferta programática es
conocida
|
Funcionarios aprobados
|
5,77 %
|
28,85 %
|
53,85 %
|
11,54 %
|
2,71
|
Funcionarios y jefaturas promedian bajo los tres
puntos
en este enunciado. Esta es la respuesta con indicadores más bajos del cuestionario.
|
|
Jefaturas
|
0,00 %
|
44,44 %
|
33,33 %
|
22,22 %
|
2,78
|
|
12. Sistema de postulación es simple
|
Funcionarios
aprobados
|
0,00
%
|
3,85
%
|
34,62
%
|
61,54
%
|
3,58
|
Funcionarios y jefaturas promedian sobre los tres puntos en
este enunciado, sin diferencias sustanciales entre los indicadores.
No obstante, se puede verificar un porcentaje de funcionarios que
no está conforme con este
aspecto.
|
|
Jefaturas
|
0,00
%
|
0,00
%
|
44,44
%
|
55,56
%
|
3,56
|
|
13.
Plataforma del curso es de simple
uso
|
Funcionarios aprobados
|
0,00 %
|
3,85 %
|
34,62 %
|
61,54 %
|
3,58
|
Funcionarios y jefaturas promedian sobre los tres puntos en
este enunciado. No obstante, se puede verificar un porcentaje de
funcionarios que no está conforme con este aspecto.
|
|
Jefaturas
|
0,00 %
|
0,00 %
|
16,67 %
|
83,33 %
|
3,83
|
|
14. Mesa de ayuda
adecuada
|
Funcionarios
aprobados
|
0,00
%
|
3,85
%
|
50,00
%
|
46,15
%
|
3,42
|
Funcionarios y jefaturas promedian sobre los tres puntos en
este enunciado. Según los indicadores y porcentajes de opciones,
las jefaturas valoran en mayor medida este
aspecto.
|
|
Jefaturas
|
0,00
%
|
0,00
%
|
25,00
%
|
75,00
%
|
3,75
|
|
|
|
|
|
 |
|
 |
|
|
En total desacuerdo (1)
|
En desacuerdo (2)
|
De acuerdo (3)
|
En total acuerdo (4)
|
Indicador escala Likert (1 a 4)
|
Análisis resultados
|
|
16. Calidad de
contenidos adecuada
|
Funcionarios
aprobados
|
0,00
%
|
3,85
%
|
50,00
%
|
46,15
%
|
3,42
|
Funcionarios y jefaturas promedian sobre los tres puntos en
este enunciado. No obstante, se puede verificar un porcentaje de
funcionarios que no está conforme con este
aspecto.
|
|
Jefaturas
|
0,00
%
|
0,00
%
|
44,44
%
|
55,56
%
|
3,56
|
|
17. Calidad del tutor adecuada
|
Funcionarios aprobados
|
0,00 %
|
3,85 %
|
48,08 %
|
48,08 %
|
3,44
|
Funcionarios y jefaturas promedian sobre los tres puntos en este enunciado. Funcionarios valoran
levemente
más este aspecto.
|
|
Jefaturas
|
0,00 %
|
0,00 %
|
60,00 %
|
40,00 %
|
3,40
|
|
18. Diseño del curso es para especialistas en la
temática
|
Funcionarios
aprobados
|
3,85
%
|
26,92
%
|
44,23
%
|
25,00
%
|
2,90
|
Existen diferencias de las valoraciones de este
enunciado entre funcionarios y jefaturas. Es uno
de los indicadores bajo los tres puntos para los
funcionarios. Se puede
verificar un porcentaje significativo de funcionarios que no está
conforme con este aspecto.
|
|
Jefaturas
|
0,00
%
|
0,00
%
|
44,44
%
|
55,56
%
|
3,56
|
|
19. Curso lo puede realizar cualquier funcionario, más allá de la
función que cumpla
|
Funcionarios aprobados
|
0,00 %
|
15,38 %
|
51,92 %
|
32,69 %
|
3,17
|
Funcionarios y jefaturas promedian sobre los tres puntos en este enunciado. Funcionarios valoran
levemente
más este aspecto.
|
|
Jefaturas
|
0,00 %
|
33,33 %
|
33,33 %
|
33,33 %
|
3,00
|
2º
DIMENSIÓN: EXPERIENCIA EN LA ACTIVIDAD —continuación—
|
|
En total desacuerdo (1)
|
En desacuerdo (2)
|
De acuerdo (3)
|
En total acuerdo (4)
|
Indicador escala Likert (1 a 4)
|
Análisis resultados
|
|
20. Duración del curso fue correcta
|
Funcionarios
aprobados
|
1,92
%
|
11,54
%
|
53,85
%
|
32,69
%
|
3,17
|
Funcionarios y jefaturas promedian sobre los tres puntos este
enunciado. No obstante, se puede verificar un mayor porcentaje de
funcionarios que no está conforme con
este aspecto.
|
|
Jefaturas
|
0,00
%
|
0,00
%
|
55,56
%
|
44,44
%
|
3,44
|
|
21. Cantidad de participantes fue correcta
|
Funcionarios aprobados
|
3,85 %
|
1,92 %
|
51,92 %
|
42,31 %
|
3,33
|
Funcionarios y jefaturas promedian en igual medida
este
enunciado. No obstante, se puede verificar un porcentaje de
funcionarios que no está conforme con
este aspecto.
|
|
Jefaturas
|
0,00 %
|
0,00 %
|
66,67 %
|
33,33 %
|
3,33
|
|
22. Metodología del curso fue apropiada para
mantener activos e
involucrados a participantes
|
Funcionarios
aprobados
|
1,92
%
|
7,69
%
|
46,15
%
|
44,23
%
|
3,33
|
Funcionarios y jefaturas promedian sobre los tres puntos este
enunciado. No obstante, se puede verificar un porcentaje de
funcionarios que no está conforme con este
aspecto.
|
|
Jefaturas
|
0,00
%
|
0,00
%
|
44,44
%
|
55,56
%
|
3,56
|
|
23. Es beneficioso para el sector público que la Contraloría
realice actividades de capacitación
|
Funcionarios aprobados
|
0,00 %
|
0,00 %
|
21,15 %
|
78,85 %
|
3,79
|
Funcionarios y jefaturas promedian sobre los tres puntos en
este enunciado, siendo una de las respuesta
con indicadores más altos del cuestionario.
|
|
Jefaturas
|
0,00 %
|
0,00 %
|
22,22 %
|
77,78 %
|
3,78
|
|
24. La Contraloría cuenta con
la pertinencia adecuada
para realizar cursos de capacitación en
temáticas de su competencia
|
Funcionarios
aprobados
|
0,00
%
|
0,00
%
|
28,85
%
|
71,15
%
|
3,71
|
Funcionarios y jefaturas promedian sobre los tres puntos en
este enunciado, sin diferencias sustanciales entre los
indicadores.
|
|
Jefaturas
|
0,00
%
|
0,00
%
|
33,33
%
|
66,67
%
|
3,67
|
|
25. El
mecanismo de evaluación de aprendizaje fue adecuado y pertinente
|
Funcionarios aprobados
|
1,92 %
|
3,85 %
|
48,08 %
|
46,15 %
|
3,38
|
Funcionarios y jefaturas promedian sobre los tres puntos este
enunciado. No obstante, se puede verificar un porcentaje de
funcionarios que no está conforme con este aspecto.
|
|
Jefaturas
|
0,00 %
|
0,00 %
|
33,33 %
|
66,67 %
|
3,67
|
|
26. La Contraloría debiese certificar y habilitar
en materias específicas, tal
como lo realiza ChileCompra
|
Funcionarios
aprobados
|
1,92
%
|
0,00
%
|
30,77
%
|
67,31
%
|
3,63
|
Funcionarios y jefaturas promedian sobre los tres puntos en
este enunciado, sin diferencias sustanciales entre los
indicadores.
|
|
Jefaturas
|
0,00
%
|
0,00
%
|
33,33
%
|
66,67
%
|
3,67
|
|
27. Considera pertinente que solo funcionarios que
aprueben el curso puedan realizar las
tareas de rendición de cuentas en la institución
|
Funcionarios aprobados
|
11,54 %
|
0,00 %
|
50,00 %
|
38,46 %
|
3,15
|
Funcionarios y jefaturas promedian sobre los tres puntos en
este enunciado. No obstante, existe un porcentaje significativo de
funcionarios y jefaturas que no están de acuerdo con este
aspecto.
|
|
Jefaturas
|
0,00 %
|
22,22 %
|
33,33 %
|
44,44 %
|
3,22
|
3º DIMENSIÓN: EVALUACIÓN
DE LA ACTIVIDAD
|
|
Muy poco (1)
|
Poco (2)
|
Casi todos (3)
|
Todos (4)
|
Indicador escala Likert (1 a 4)
|
Análisis resultados
|
|
28. Recuerda contenidos del curso
|
Funcionarios
aprobados
|
0,00
%
|
9,62
%
|
80,77
%
|
9,62
%
|
3,00
|
Jefaturas consideran que sus colaboradores recuerdan más de
los contenidos. Existe una brecha entre lo respondido
por funcionarios y jefaturas.
|
|
Jefaturas
|
0,00
%
|
11,11
%
|
33,33
%
|
55,56
%
|
3,44
|
|
|
Muy poco (1)
|
Poco (2)
|
Valioso (3)
|
Muy valioso (4)
|
Indicador escala Likert (1 a 4)
|
Análisis resultados
|
|
29. Considera que los contenidos son valiosos para el
desarrollo de sus funciones
|
Funcionarios aprobados
|
0,00 %
|
1,92 %
|
42,31 %
|
55,77 %
|
3,54
|
Funcionarios y jefaturas promedian sobre los tres puntos en
este enunciado, sin diferencias sustanciales
entre los indicadores.
|
|
Jefaturas
|
0,00 %
|
0,00 %
|
44,44 %
|
55,56 %
|
3,56
|
|
|
No Tanto (1)
|
Poco (2)
|
Capacitado (3)
|
Muy capacitado (4)
|
Indicador escala Likert (1 a 4)
|
Análisis resultados
|
|
30. Considera que está capacitado para aplicar lo aprendido
en el puesto de trabajo
|
Funcionarios
aprobados
|
0,00
%
|
7,69
%
|
67,31
%
|
25,00
%
|
3,17
|
Jefaturas consideran que sus colaboradores están más
capacitados. Existe una brecha entre lo respondido por funcionarios
y jefaturas.
|
|
Jefaturas
|
0,00
%
|
0,00
%
|
44,44
%
|
55,56
%
|
3,56
|
|
|
Disminuyó (1)
|
Disminuyó un poco (2)
|
Aumentó (3)
|
Aumentó mucho (4)
|
Indicador escala Likert (1 a 4)
|
Análisis resultados
|
|
31. Luego de realizar el
curso, la motivación para hacer tareas y procedimientos
|
Funcionarios aprobados
|
0,00 %
|
0,00 %
|
80,77 %
|
19,23 %
|
3,19
|
Funcionarios y jefaturas promedian sobre los tres puntos en
este enunciado, sin diferencias sustanciales
entre los indicadores.
|
|
Jefaturas
|
0,00 %
|
0,00 %
|
77,78 %
|
22,22 %
|
3,22
|
3º
DIMENSIÓN: EVALUACIÓN DE LA ACTIVIDAD —continuación—
|
|
Nunca (1)
|
Casi nunca (2)
|
A
veces (3)
|
Casi siempre (4)
|
Siempre (5)
|
Indicador escala Likert (1 a 5)
|
Análisis resultados
|
|
32. Se han realizado consultas de trabajo (o técnicas)
respecto a la temática
del curso
|
Funcionarios
aprobados
|
13,46
%
|
5,77
%
|
48,08
%
|
25,00
%
|
7,69
%
|
3,08
|
Funcionarios y jefaturas promedian bajo los cuatro puntos en
este enunciado (escala de 1 a 5). Jefaturas consideran que realizan
regularmente consultas, mientras que un porcentaje significativo de
funcionarios considera que no les hacen consultas sobre los
contenidos del curso. Existe una brecha entre lo respondido por
funcionarios y jefaturas.
|
|
Jefaturas
|
0,00
%
|
0,00
%
|
44,44
%
|
33,33
%
|
22,22
%
|
3,78
|
|
|
Nunca (1)
|
Casi nunca (2)
|
A
veces (3)
|
Casi siempre (4)
|
Siempre (5)
|
Indicador escala Likert (1 a 5)
|
Análisis resultados
|
|
33. Han conseguido aplicar los contenidos aprendidos en el curso en su puesto de trabajo
|
Funcionarios
aprobados
|
1,92 %
|
1,92 %
|
40,38 %
|
25,00 %
|
30,77 %
|
3,81
|
Funcionarios promedian bajo cuatro puntos en este
enunciado, mientras que las jefaturas sobre los cuatro puntos.
Jefaturas consideran que sus colaboradores han podido aplicar los
contenidos en el puesto de trabajo, mientras que un porcentaje
significativo de funcionarios considera que solo a
veces, casi nunca o nunca. Existe una brecha entre
lo respondido por funcionarios y
jefaturas.
|
|
Jefaturas
|
0,00 %
|
0,00 %
|
11,11 %
|
66,67 %
|
22,22 %
|
4,11
|
|
33.2. Si respuesta fue «casi siempre» o «siempre»;
cuales son las causas de poder aplicar los contenidos del curso en su puesto de trabajo:
|
|
|
Funcionarios aprobados
|
Jefaturas de Funcionarios aprobados
|
Análisis resultados
|
|
Recuerda los contenidos del curso y tiene material
de
consulta
|
20,24
%
|
26,09
%
|
Para los funcionarios y
jefaturas que
marcaron esta opción, las principales causas son que recuerdan los
contenidos, aprendieron nuevos contenidos, la función que desempeña permite aplicarlos
directamente o se han dado los espacios necesarios
para la
aplicación.
|
|
Aprendió nuevos contenidos
para aplicarlos
|
21,43 %
|
30,43 %
|
|
La función que desempeña permite aplicar
directamente
los contenidos
|
26,19
%
|
26,09
%
|
|
Se han
dado los espacios y momentos para aplicar los contenidos
|
14,29
%
|
13,04
%
|
|
|
|
|
|
En la institución donde se desempeña
son abiertos a
nuevas ideas, lo cual fomenta
la aplicación de los
contenidos
|
2,38 %
|
4,35 %
|
|
La
jefatura apoya la aplicación de los contenidos aprendidos
|
8,33
%
|
|
|
Siente motivación para aplicar los
contenidos
|
7,14 %
|
|
|
Otra
|
0,00 %
|
0,00 %
|
|
|
3º
DIMENSIÓN: EVALUACIÓN DE LA ACTIVIDAD —continuación—
|
33.1. Si respuesta fue «nunca», «casi nunca» o «a
veces»; cuales son las causas de no poder aplicar los contenidos del curso en su puesto de
trabajo:
|
|
|
Funcionarios aprobados
|
Jefaturas de Funcionarios aprobados
|
Análisis resultados
|
|
No recuerda los contenidos
|
4,65 %
|
33,33 %
|
Para los funcionarios que marcaron esta opción, las
principales causas son que la función que desempeñan no permite
aplicar directamente los contenidos o no se han dado los
espacios
necesarios para la aplicación. Para las jefaturas que marcaron está
opción,
las principales causas son que
consideran que sus colaboradores no
recuerdan los contenidos, la función que desempeña no permite
aplicar directamente los contenidos o que no se han dado los
espacios necesarios para la aplicación.
|
|
No aprendió nuevos contenidos
|
0,00 %
|
0,00 %
|
|
La función que desempeña no permite
aplicar
directamente los contenidos
|
34,88 %
|
33,33 %
|
|
No se ha dado el momento para aplicar los
contenidos
|
32,56 %
|
33,33 %
|
|
Cambio de función desde que
realizó el curso
|
11,63 %
|
0,00 %
|
|
Existe resistencia al
cambio en la
institución, lo cual
obstaculiza aplicar los
contenidos
|
4,65 %
|
0,00 %
|
|
La jefatura no apoya la aplicación de los contenidos aprendidos
|
4,65 %
|
|
|
No existe motivación para aplicar los contenidos
|
2,33 %
|
0,00 %
|
|
Otra causa
|
4,65 %
|
0,00 %
|
4º
DIMENSIÓN: EVALUACIÓN DEL CUESTIONARIO
|
|
En total desacuerdo (1)
|
En desacuerdo (2)
|
De acuerdo (3)
|
En total acuerdo (4)
|
Indicador escala Likert
|
Análisis resultados
|
|
36. Cuestionario fue simple y fácil de
responder
|
Funcionarios
aprobados
|
1,92
%
|
3,85
%
|
48,08
%
|
46,15
%
|
3,38
|
Funcionarios y jefaturas
promedian sobre los tres puntos este
enunciado. No obstante, se puede verificar un
porcentaje de funcionarios que no está de acuerdo
con este aspecto.
|
|
Jefaturas
|
0,00
%
|
0,00
%
|
44,44
%
|
55,56
%
|
3,56
|
|
37. Los resultados de este cuestionario pueden aportar en el
mejoramiento de la gestión de los cursos de la Contraloría
|
Funcionarios aprobados
|
3,85 %
|
0,00 %
|
50,00 %
|
46,15 %
|
3,38
|
Funcionarios y
jefaturas promedian sobre los tres puntos
este enunciado. No obstante, se puede verificar un porcentaje de funcionarios que no está
de
acuerdo con este aspecto.
|
|
Jefaturas
|
0,00 %
|
0,00 %
|
55,56 %
|
44,44 %
|
3,44
|
SÍNTESIS RESULTADOS Y RECOMENDACIONES
Conclusiones
En este capítulo se presentarán las
conclusiones del trabajo, en atención a las preguntas de investigación y el marco
teórico.
Durante el desarrollo de este trabajo
se ha logrado identificar lo relevante que resulta para la
Contraloría contar con un adecuado diseño metodológico que permita
evaluar los resultados de las actividades de capacitación que
imparte a funcionarios públicos. Ello, toda vez que en la ejecución
de estas actividades se generan gastos institucionales, tanto de
recursos humanos como financieros, que de alguna manera deben ser contrastados con los
objetivos esperados.
A su vez, este diseño metodológico
permitiría apoyar el proceso de toma de decisiones
desde una perspectiva más
racional, pues es lógico sostener que, si los gastos de cualquier
institución pública no están generando los resultados esperados,
las acciones que están produciendo dichos gastos debiesen
suspenderse, o al menos, rediseñarse, lo cual implica un uso
racional de los recursos públicos.
Lo anterior cobra aún más relevancia
al verificar el actual entorno de las instituciones públicas, donde la sociedad civil
juega un papel
preponderante al exigir mecanismos de evaluación del gasto público,
vale decir, que las instituciones demuestren con datos que las acciones elegidas
para subsanar una problemática han generado resultados. Siendo el
ente que vela por el buen uso de los recursos de las demás
instituciones públicas, la Contraloría no puede quedar indiferente a este contexto.
Asimismo, es fundamental el aporte
que puede realizar la Contraloría al fortalecimiento del estado democrático,
instaurando esquemas evaluativos en su propia organización, que contribuirán a
institucionalizar procesos de rendición de cuentas de los gastos, lo cual fortalece la
democracia (Observatorio del
Gasto Fiscal en Chile, 2016, pág. 8).
En este orden de consideraciones,
este trabajo pretendió aportar en el diseño metodológico de un modelo piloto de evaluación de
resultados de las actividades de capacitación de la Contraloría a funcionarios públicos,
para luego «testearlo» en un curso que la Contraloría haya
ejecutado en los últimos años, verificando su aplicabilidad.
El modelo piloto se estructuró
conceptualmente sobre la base de dos elementos principales: los
cuatro niveles de evaluación del modelo de Kirkpatrick, precursor
en esta materia, y la metodología de marco lógico, como forma de
evaluación de un proyecto o
programa público bien estructurado.
Los cuatro niveles de evaluación de
las capacitaciones se refieren a:
1)
Reacción, que mide el
grado de satisfacción de los participantes al finalizar
la actividad.
2)
Aprendizaje, se
refiere a la medición respecto a si los contenidos revisados
en la actividad han sido
adquiridos por los participantes.
3)
Transferencia, referido a la evaluación en los cambios de conducta en el
puesto de trabajo a raíz del conocimiento adquirido, que podrían
ser influenciados también por
otros factores, como la propia motivación de los participantes,
estimulación de las jefaturas, contexto institucional, sistema
de incentivos, entre
otros.
4)
Impacto, para el
autor son los resultados positivos que una acción formativa podría
tener en una organización, ya sea a nivel aumento de producción,
mejora de calidad o incremento
de usuarios satisfechos.
Por su parte, la metodología de marco
lógico establece una forma ordenada de evaluación de proyectos y
programas, definiendo niveles de objetivos:
1)
Fin: impacto a largo
plazo.
2)
Propósito: cambios en
comportamientos o resultados al final de la aplicación
de un proyecto.
3)
Componentes: resultados que se entregarán durante la ejecución del
proyecto.
4)
Actividades: lo que
se hará en la ejecución del proyecto.
A partir del cumplimiento de
indicadores previamente establecidos para cada nivel de objetivo, en la metodología de marco
lógico se pueden realizar evaluaciones en cuatro dimensiones:
1)
A
dimensión de procesos, referido al logro de actividades.
2)
A
dimensión de productos, referido al logro de componentes.
3)
A
dimensión de resultados intermedios, referido al logro del propósito, si
hubo cambios en los
comportamientos, actitudes o estado de los beneficiarios
de una intervención, una vez
han recibido los bienes o servicios.
4)
A
dimensión de resultados finales, referido a si se cumplió con el fin, en
tanto impactos perdurables en
el tiempo de la intervención.
En este marco, el diseño del modelo
piloto comenzó por considerar que los cuatro niveles de evaluación
de Kirkpatrick eran armonizables con la metodología de marco lógico, en el sentido de que los
niveles de evaluaciones podrían ser comparables a los niveles de
objetivos y dimensiones de resultados de la metodología de marco
lógico. En parte, esta comparación es posible por la lógica
vertical de cumplimiento que los tres elementos tienen, pues a
medida que se cumple un nivel o dimensión se aporta al cumplimiento
de la siguiente. Así, las
comparaciones posibles fueron las siguientes:
1)
La evaluación de reacción se puede
comparar con el cumplimiento de actividades y componentes, pues
suceden durante la ejecución de una actividad de capacitación, por
ende, las correspondientes evaluaciones en las dimensiones de procesos y productos.
2)
Las evaluaciones de aprendizaje y
transferencia son comparables
con el cumplimiento del propósito, ya que ambas pretenden cambios
en comportamientos de los beneficiarios al finalizar una actividad
de capacitación, por tanto,
correspondería una evaluación a dimensión de resultado intermedio.
3)
Las evaluaciones de impacto son
comparables al cumplimiento del fin, pues implica verificar
resultados a largo plazo en las organizaciones a partir de la
ejecución de una actividad de capacitación, por ello es una
evaluación a dimensión de
resultados finales.
Sobre la base de lo anterior, se
estableció en el marco metodológico que para levantar el modelo piloto era necesario elaborar
un guion de entrevista semiestructurada que fuese aplicada a actores clave del
proceso de capacitación externa de la Contraloría y expertos en los temas de
capacitación de adultos en el
sector público. Este guion se desarrolló sobre la base de lo
establecido conceptualmente en
los párrafos anteriores.
Luego de recolectada la información
de las entrevistas, se redujeron y analizaron los datos, para dar paso a la sistematización en
dos cuestionarios, que formarían parte íntegra del modelo piloto. También,
relacionado con el análisis de
las entrevistas, se definió que los cuestionarios deberían ser
aplicados a los funcionarios que aprobaron una actividad y sus
jefaturas, con objeto de
verificar si los contenidos aprendidos fueron transferidos en el
puesto de trabajo. Asimismo, se estructuró un formato de «informe
de resultados», para el reporte de información clara, ordenada y
sistematizada, que apoyara la toma de decisiones de las autoridades
respecto a la continuidad o rediseño de las actividades de capacitación.
En referencia a la principal pregunta
de investigación —relativa a cuál era un diseño metodológico de evaluación de resultados adecuado para
las actividades de
capacitación que imparte la Contraloría a funcionarios públicos—,
se puede afirmar que el modelo
piloto diseñado responde a las necesidades
institucionales, ya que, por una parte, se basa teóricamente en modelos de
evaluación de actividades de
capacitación e intervenciones públicas y, por otra, es
operativamente aplicable con las herramientas actuales de la
Contraloría.
Lo anterior fue verificado mediante
el testeo que se realizó a la última versión 2018 del «Curso e-learning de nueva normativa
y procedimientos de rendición de cuentas», donde se pudo constatar que el modelo piloto
respondía al esquema evaluativo propuesto, generando información
valiosa respecto a todas las dimensiones de resultados, pero
principalmente a los resultados intermedios, centrándose en la
posible transferencia de los contenidos aprendidos en
el curso al puesto de trabajo.
En relación a las preguntas
complementarias definidas en el marco metodológico,
cabe señalar que, si bien la
muestra de participantes que respondieron los cuestionarios fue baja, el ejercicio de testear
el modelo permitió establecer que
es operativamente replicable a
otros cursos ejecutados por la Contraloría, debiendo
existir el cuidado de que la evaluación se realice en los plazos
que la teoría y los expertos señalan: no más de seis meses de
finalizada la actividad de
capacitación. También hay que reformular algunas preguntas de los
cuestionarios que estaban
orientadas hacia cursos virtuales, en caso de que la
evaluación se realice a
actividades de carácter presencial.
Otra de las finalidades del modelo
piloto es apoyar la toma de decisiones respecto a la asignación de recursos y
definición de futura oferta de capacitación, elemento que no
se logró verificar en su totalidad. Ello porque el resultado del testeo del curso e-learning no fue
informado a las respectivas autoridades institucionales en el marco de este trabajo, no
pudiendo establecerse con claridad la existencia de procesos y
mecanismos necesarios para que la información permeara posibles decisiones de gestión respecto
al curso, que según los
resultados del modelo piloto sería continuar con su impartición, ya
que ha producido transferencia
de contenidos en el puesto de trabajo, no obstante, se deben
mejorar aspectos de diseño del curso, como la
practicidad.
A partir de los resultados de esta
investigación, es posible recomendar a la
Contraloría, específicamente al Centro de Estudios de la Administración del
Estado, que implemente el
diseño de este modelo de evaluación de resultados de capacitación,
posiblemente perfeccionándolo en relación al contexto de cada
actividad de capacitación. La adopción de este modelo de evaluación
podría generar nuevas cargas de trabajo, por tanto, siguiendo las
recomendaciones de la
Dirección Nacional del Servicio Civil, la aplicación del modelo
debería realizarse a
una muestra del universo de actividades
de capacitación que
ejecuta la Contraloría, en general
establecida para este tipo de evaluaciones orientadas a
la transferencia en el
20 % del
universo total
(2014). La muestra de actividades de
capacitación debiese ser dirigida en relación a dos
variables:
1)
A los cursos o talleres de más de
ocho horas de duración, para evaluar contenidos que sean
transferibles en el puesto de trabajo.
2)
A los cursos o talleres que hayan
generado gastos institucionales altos en su desarrollo e
impartición. También se recomienda que los resultados de las
evaluaciones debiesen tener una correlación en las decisiones de
gestión de las actividades de capacitación, como el rediseño o la
suspensión de algún curso.
En otro sentido, es necesario señalar
las limitaciones de investigación que existieron al realizar el modelo piloto, con
la finalidad de que, en una posible futura aplicación, dichas limitaciones puedan ser
superadas. En primer lugar, lamentablemente no se logró una muestra representativa en el
testeo del modelo piloto, solo el 24 % de los funcionarios
aprobados y el 7 % jefaturas respondieron la encuesta que se envió a sus correos
electrónicos institucionales. Como posible causa de lo anterior, identificamos el excesivo
plazo en que se realizó el testeo tras la finalización del curso
—nueve meses—, pues muchos
participantes pueden haber cambiado
de función o institución, las jefaturas ya no son las mismas, o el
natural desinterés en responder una encuesta tanto
tiempo después.
Asimismo, el tiempo que se mantuvo
abierta la encuesta no fue el óptimo, solo dos semanas para la respuesta de más de
doscientos encuestados; debió alargarse a un mes.
Otra limitación del trabajo de
investigación fue no poder analizar los resultados
del testeo con alguna jefatura
encargada de tomar decisiones de gestión y presupuestarias respecto al curso analizado, como,
por ejemplo, la secretaria ejecutiva del Centro de Estudios de la Administración del
Estado, jefe de Gabinete o el
mismo Contralor General. No se pudo concertar una reunión por temas
de agenda de las autoridades y tiempos de entrega de la
investigación, razón por la cual se considera necesario establecer
mecanismos institucionalizados de revisión de las evaluaciones bajo
este modelo, con el objeto de superar esta limitación.
Por último, cabe destacar
futuras investigaciones que se puedan desprender de este trabajo de investigación. En este contexto, es lógico
pensar que deba avanzar en los
niveles de evaluación del modelo de Kirkpatrick, por tanto, le
correspondería buscar soluciones metodológicas respecto al
cuarto nivel: el impacto, para
constatar los avances en las instituciones públicas que reciben
alguna capacitación de la
Contraloría y las que no han recibido la misma capacitación, generando grupos tratados y de
control. Sería fundamental poder medir un porcentaje de las actividades de capacitación que la
Contraloría realiza a
instituciones públicas en esta dimensión de resultado final, pues
se podrían constatar variables como la disminución o aumento de
observaciones de auditoría interna y de la Contraloría luego de
haber realizado una actividad; o la disminución o aumento de gastos a partir de la sólida
aplicación de una normativa.
En este trabajo de investigación se
han sentado algunas bases teóricas y operativas que pudiesen dar paso a este tipo de
evaluaciones de impacto, que, si bien tienen las características de
ser más costosas y extensas en términos de tiempo, aportan
información valiosa para la gestión de los programas de
capacitación en relación a los efectos duraderos, de largo plazo,
que producen en las
instituciones públicas.
En estos términos se refiere un
especialista en evaluaciones respecto a la medición de impacto: «es una medida mucho más
amplia al tener en cuenta no solo la consecución de los objetivos
propuestos, sino también al realizar una valoración de todos los
efectos colaterales y del entorno a la aplicación de la
intervención, y a otros
elementos asociados, por lo que como elemento evaluativo cumple con
la mayoría de los flnes de la evaluación. Sin embargo, en
comparación con el método de
evaluación por objetivos, la evaluación de impacto es costosa,
dispendiosa y onerosa»
(Nina Baltazar,
2008).
Para finalizar, es importante
acentuar la innovación en la gestión de las capacitaciones de la Contraloría que
puede generar este trabajo
de investigación, o
posteriores investigaciones en materia evaluativa de las
capacitaciones, pues implica la generación de valor público a
través de la medición de los resultados y el uso racional de los recursos
públicos.
Referencias
•
Calderón
Vázquez, F. (2008). Guía de
orientaciones para la evaluación y seguimiento de proyectos de
desarrollo. Obtenido de
Enciclopedia Virtual Eumed: http://www.eumed.net/libros-gratis/2008b/411/411.zip
•
CEACGR.
(s.f.). Obtenido de
www.ceacgr.cl
•
Contraloría General de la República. (s.f.).
Obtenido de
https://www.
contraloria.cl/web/cgr/que-hacemos
•
Contraloría General de la República de Chile. (2016).
Estrategia CGR 2017-2020.
Obtenido de
https://micgr.contraloria.cl/intraweb/ documents/2248021/2506205/DIAGRAMADO+VERSIO%C2%B4N+FINAL.
pdf/337c7d73-db03-9ced-2051-e84cc62e9ce8
•
Departamento de Capacitación Contraloría General de la
República de Chile.
(2013). Deflnición metodológica de
los tipos de actividades de capacitación.
•
Dirección
de Presupuestos. (2015). Evaluación ex-post: conceptos y metodologías.
Santiago. Obtenido de
http://www.dipres.gob.cl/598/
articles-135135_doc_pdf.pdf
•
Dirección
Nacional del Servicio Civil de Chile. (2014).
Guía práctica para gestionar la capacitación en los
servicios públicos
(2ª ed.). Santiago. Obtenido de
https://documentos.serviciocivil.cl/actas/ dnsc/documentService/downloadWs?uuid=4aafd22f-3ce0-4a80-bcb5196587dc3c0c (8 diciembre 2017)
•
Hernández
Sampieri, R., Fernández Collado, C., & Baptista Lucio, M.
(2016).
Metodología de la investigación
(6ª ed.). México:
Interamericana Editores S.A.
•
Kirkpatrick, D. (1999). Evaluación de
acciones formativas. Los cuatros
niveles
(1ª ed.). Madrid: Training
Club.
•
Nina
Baltazar, E. (2008). Modelos
de evaluación de políticas y programas sociales en Colombia.
Revista Papel Político, 13 (2), 449-471. Obtenido de
http://www.scielo.org.co/pdf/papel/v13n2/v13n2a03.pdf
•
Observatorio del Gasto Fiscal en Chile. (2016).
Principios para la
rendición de cuentas del gasto público en Chile.
Obtenido de
https://observatoriofiscal.
cl/ARCHIVOS/biblioteca/principiosparalarendicio%CC%81ndecuentasdelgastopu%CC%81blicoenchile oct2016.pdf
•
Ortegón,
E.; Pacheco J. F.; Prieto A. (2005). Metodología del marco
lógico para la planiflcación, el
seguimiento y la evaluación de proyectos y programas
(Manuales Series Nº 42).
CEPAL.
