101
ARTIFICIAL
EN EL SECTOR PÚBLICO
DE
RESPONSIBLE IMPLEMENTATION
OF ALGORITHMS AND ARTIFICIAL INTELLIGENCE IN THE CHILEAN PUBLIC SECTOR
María
Paz Hermosilla1,
Mariana Germán2
Resumen
La adopción de la inteligencia artificial y la ciencia de datos en el sector público ha revolucionado la toma de decisiones y la eficiencia. Este artículo explora su papel en la Administración pública, destacando beneficios y desafíos éticos. Discute el proyecto Algoritmos Éticos del GobLab de la Universidad Adolfo Ibáñez, enfatizando la transparencia, equidad y responsabilidad, e introduce herramientas para asegurar un uso ético de la inteligencia artificial, fomentando la confianza pública.
Palabras clave: inteligencia artificial – ciencia de datos – el sector público
Abstract
The adoption of artificial intelligence and data science in the public sector has revolutionized decision-making and efficiency. This article explores their role in public administration, highlighting benefits and ethical challenges. It discusses GobLab UAI’s Ethical Algorithms, emphasizing transparency, fairness, and accountability, and introduces tools to ensure ethical artificial intelligence use, fostering public trust.
Keywords: artificial intelligence – data science – public sector
1 Es periodista de la Pontificia
Universidad Católica de Chile, magíster
en Administración Pública
de la Universidad de Nueva York, directora del GobLab de la Universidad Adolfo
Ibáñez.
2 Es
ingeniera civil informática de la Universidad Adolfo Ibáñez, magíster en Data Science de la Universidad
Adolfo Ibáñez, investigadora en Algoritmos Éticos en GobLab
de la Universidad Adolfo Ibáñez.
En los últimos años, la inteligencia artificial y la ciencia de datos han experimentado una adopción creciente en el sector público a nivel mundial. Estas tecnologías están revolucionando la manera en que los Gobiernos y las instituciones públicas toman decisiones, permitiendo procesos más eficientes y basados en evidencia. Desde la gestión de recursos hasta la provisión de servicios públicos, la inteligencia artificial y la ciencia de datos se han convertido en herramientas cruciales para mejorar la eficacia y la precisión de las decisiones de la Administración pública.
Entendemos como inteligencia artificial aquellos sistemas basados en máquinas que, para objetivos explícitos o implícitos, infieren, a partir de la entrada que reciben, cómo generar salidas tales como predicciones, contenidos, recomendaciones o decisiones que pueden influir en entornos físicos o virtuales. Los distintos sistemas de inteligencia artificial varían en sus niveles de autonomía y capacidad de adaptación tras su despliegue (Organización para la Cooperación y el Desarrollo Económicos [OCDE], 2023).
La ciencia de datos es un campo interdisciplinario que emplea un amplio repertorio de técnicas para generar valor a partir de los datos (Provost & Fawcett, 2013; Van der Aalst, 2016). Su objetivo es «la producción de creencias informadas por datos, para ser utilizadas como base para la toma de decisiones» (Igual Muñoz & Seguí Mesquida, 2017). Esto implica emplear metodologías avanzadas y análisis de datos para mejorar la eficiencia y efectividad de los servicios públicos, optimizar recursos y crear políticas basadas en evidencia que beneficien a la sociedad en su conjunto. La integración de la ciencia de datos y los sistemas de inteligencia artificial en la gestión pública permite a las instituciones tomar decisiones más informadas, efectivas y precisas, lo que puede resultar en una mejor calidad de vida para la ciudadanía.
Es una realidad que la ciencia de datos e inteligencia artificial ya se está utilizando en una amplia gama de aplicaciones en el sector público, desde la automatización de trámites administrativos hasta la optimización de servicios de salud y educación (Universidad Adolfo Ibáñez, Escuela de Gobierno [GobLab UAI], 2022; 2024a; 2024b; 2024c; 2024d). Algoritmos de aprendizaje automático facilitan predecir necesidades de mantenimiento en infraestructuras, optimizar rutas de transporte y mejorar la respuesta ante emergencias. En salud, los modelos predictivos identifican brotes de enfermedades y personalizan tratamientos médicos, mientras que, en educación, los algoritmos personalizan el aprendizaje y mejoran la asignación de recursos (OCDE, 2024). El análisis de grandes
volúmenes de datos, conocido como big data, permite a las Administraciones públicas identificar patrones y tendencias para diseñar políticas públicas más efectivas, como la planificación de infraestructuras urbanas y la formulación de políticas fiscales justas y eficientes (Gutiérrez Rodríguez & Muñoz Cadena, 2023).
A pesar de los numerosos beneficios que ofrecen estas tecnologías, la implementación de inteligencia artificial y ciencia de datos en el sector público también presenta desafíos significativos. Uno de los principales retos es garantizar que estos algoritmos se atengan a parámetros éticos y responsables con la ciudadanía. La discusión de ética dentro del área de la inteligencia artificial es un campo cada vez más relevante, con el crecimiento de la adopción de estos sistemas (Ashok et al., 2022).
Pasar de la teoría a la práctica en la implementación de parámetros éticos como la transparencia, equidad, protección de datos y responsabilidad en sistemas de ciencia de datos e inteligencia artificial es de vital importancia para asegurar que estas tecnologías se utilicen de manera justa y beneficiosa. La operacionalización de la ética en inteligencia artificial requiere un enfoque que vaya más allá de la mera definición de principios abstractos, abordando tanto el «qué» como el «cómo» de los principios éticos. Para cerrar la brecha entre los principios y la práctica es necesario combinar herramientas técnicas y conceptuales que se apliquen en todas las etapas del ciclo de vida del desarrollo de la inteligencia artificial.
En esa línea de trabajo, el GobLab, laboratorio de innovación pública de la Escuela de Gobierno de la Universidad Adolfo Ibáñez, crea el proyecto Algoritmos Éticos, Responsables y Transparentes en el año 2020, como una alianza público-privada que promueve la gestión ética de los datos y el desarrollo e implementación responsables de algoritmos, sistemas de decisión automatizada e inteligencia artificial. En las siguientes páginas se expondrá:
1) Cómo esta iniciativa está contribuyendo con la elaboración de sistemas de inteligencia artificial y ciencia de datos para la provisión de servicios de calidad centrados en las personas, que fomenten la confianza entre la ciudadanía y los organismos públicos.
2) Cómo la participación de las instituciones públicas en este proceso apoya la creación de sistemas de ciencia de datos e inteligencia artificial, los cuales mejoran la toma de decisiones en beneficio de la población.
La importancia de asegurar que los algoritmos empleados en el sector público sean éticos y responsables no puede ser subestimada. A medida que las decisiones basadas en inteligencia artificial y ciencia de datos se vuelven más prevalentes en la Administración pública, es crucial que estos sistemas operen de manera que reflejen y refuercen los valores fundamentales de equidad, transparencia, justicia, responsabilidad, privacidad y seguridad de los datos. Los algoritmos, cuando se diseñan y utilizan correctamente, tienen la capacidad de mejorar significativamente la eficiencia y la efectividad de los servicios públicos. Sin embargo, también tienen el potencial de perpetuar o incluso amplificar desigualdades existentes si no se gestionan adecuadamente (Barocas & Selbst, 2016).
Uno de los principales desafíos en la implementación de algoritmos en el sector público es la transparencia. Los algoritmos suelen ser complejos y opacos (Burrell, 2016), lo que dificulta que los ciudadanos y los responsables políticos comprendan cómo se toman las decisiones. Esta falta de transparencia puede llevar a desconfiar de los sistemas automatizados y, en última instancia, de las instituciones que los utilizan. Por lo tanto, es esencial que los algoritmos sean transparentes, es decir, que sus procesos y criterios de toma de decisiones sean comprensibles y accesibles para todas las partes interesadas.
La equidad es otro principio fundamental que debe guiar el desarrollo y la implementación de algoritmos en el sector público. Los datos utilizados para entrenar estos algoritmos a menudo reflejan sesgos históricos y sociales, lo que puede resultar en decisiones que discriminan a ciertos grupos. Por ejemplo, un algoritmo de asignación de recursos puede favorecer inadvertidamente a áreas urbanas sobre rurales si los datos de entrenamiento no son representativos de todas las poblaciones. Para evitar tales resultados, es crucial que los algoritmos sean diseñados y evaluados con un enfoque en la equidad, asegurando que no perpetúen sesgos y que promuevan un trato justo para todos los ciudadanos. Esto es especialmente importante considerando que en Chile la ley Nº 20.609 establece la no discriminación arbitraria para variables protegidas como la etnia, el sexo, la edad, nacionalidad y situación socioeconómica.
El impacto de decisiones algorítmicas injustas u opacas puede ser profundo, especialmente en sectores como la justicia, la salud, la educación y el bienestar social, donde las decisiones pueden afectar directamente la vida y el bienestar de las personas. Un algoritmo de predicción de delitos que esté sesgado puede llevar a una vigilancia desproporcionada de comunidades ya marginadas, exacerbando las tensiones sociales y perpetuando la injusticia (Richardson,
2021). De manera similar, un algoritmo en el sector de salud que no considere adecuadamente las diferencias demográficas puede resultar en tratamientos inadecuados o ineficaces para ciertos grupos de pacientes (Obermeyer et al., 2019).
Para abordar estos desafíos es esencial activar marcos éticos y normativos robustos que guíen el diseño y la implementación de algoritmos en el sector público. Estos marcos deben incluir mecanismos de auditoría y supervisión para evaluar continuamente el desempeño y el impacto de los algoritmos, garantizando que operen de manera justa y transparente. Además, es importante fomentar una cultura de responsabilidad y ética entre los desarrolladores y los usuarios de sistemas de inteligencia artificial y ciencia de datos, asegurando que comprendan las implicaciones sociales y éticas de su trabajo.
En los últimos años, el número de proyectos de ciencia de datos e inteligencia artificial en el sector público chileno ha aumentado. Esta tendencia refleja el creciente reconocimiento del potencial de estas tecnologías para mejorar la eficiencia y efectividad de los servicios públicos. Sin embargo, a medida que se incrementa el uso de sistemas automatizados en la toma de decisiones, se vuelve crucial garantizar la transparencia, la equidad y la responsabilidad en su implementación. Es esencial que estos sistemas sean evaluados y supervisados de manera continua para asegurar que funcionen correctamente y de manera justa.
Para abordar esta necesidad de rendición de cuentas y asegurar un uso responsable de la inteligencia artificial y la ciencia de datos, el GobLab de la Universidad Adolfo Ibáñez ha desarrollado el Repositorio de Algoritmos Públicos. Esta plataforma centraliza y presenta información detallada sobre los sistemas de soporte y toma de decisiones automatizadas elaborados e implementados por instituciones públicas en Chile. El repositorio no solo promueve la transparencia y la rendición de cuentas, sino que también incentiva la innovación en la gestión pública, facilitando un acceso comprensible y unificado a la información sobre el uso de sistema de decisiones automatizadas y semiautomatizadas por parte del Estado chileno.
El Repositorio de Algoritmos Públicos es una iniciativa pionera del GobLab de la Escuela de Gobierno de la Universidad Adolfo Ibáñez. Este proyecto, lanzado oficialmente en enero de 2022, tiene como objetivo principal proporcionar transparencia y visibilidad sobre el uso de algoritmos en el sector público
chileno. La plataforma permite que ciudadanos, investigadores y funcionarios públicos accedan a información detallada sobre cómo se están utilizando estas tecnologías para la toma de decisiones y la prestación de servicios públicos3.
El Repositorio de Algoritmos Públicos abarca una amplia gama de sectores del Estado, tales como salud, educación, seguridad pública, servicios generales y protección social. Cada algoritmo documentado en el repositorio proporciona información detallada sobre diversos aspectos clave. Estos incluyen el propósito y los objetivos del proyecto, la institución pública responsable del sistema y el estado de implementación en que se encuentra. Además, se ofrece información sobre la financiación, el alcance territorial y el uso de datos personales, así como una declaración sobre el uso de inteligencia artificial y su clasificación funcional. Esta organización detallada permite una comprensión integral y transparente de cada sistema automatizado utilizado en el sector público.
Hasta el informe anual (GobLab UAI, 2024d), el Repositorio de Algoritmos Públicos ha documentado un total de 101 algoritmos utilizados en el sector público chileno. En el año 2023, se incorporaron 26 nuevos sistemas automatizados al repositorio, mostrando un crecimiento continuo y significativo en la recopilación de datos sobre estos sistemas.
La metodología para recopilar información sobre los algoritmos es rigurosa y sistemática. Comienza con una búsqueda inicial de indicios de algoritmos públicos en diversas fuentes de información pública, tales como redes sociales, conferencias y diarios. Una vez identificados los sistemas potenciales se realiza un rastreo exhaustivo de información abierta en internet haciendo uso de páginas web oficiales de las instituciones, cuentas públicas, balances de gestión integral, documentos de concursos de Agencia Nacional de Investigación y Desarrollo, Mercado Público y publicaciones de universidades o empresas participantes. Esta información se sistematiza y se compara entre diferentes fuentes para verificar su calidad y autenticidad. Se requiere que cada sistema tenga al menos una fuente del organismo público que confirme su existencia y uso.
La información recopilada se presenta en reuniones mensuales del comité editorial del repositorio que verifica criterios importantes de admisibilidad, como la claridad en la automatización o semiautomatización de decisiones y el estado de pilotaje o implementación en el sector público. Este comité multidisciplinario se asegura de que los algoritmos publicados estén dentro del alcance del repositorio y va aprobando ajustes metodológicos a la investigación.
3 https://algoritmospublicos.cl/
Para ilustrar la diversidad y el impacto de los algoritmos documentados en el Repositorio de Algoritmos Públicos, a continuación, se presentan algunos ejemplos destacados de cómo se están utilizando estas tecnologías en diferentes áreas del sector público en Chile4. Estos casos muestran cómo la inteligencia artificial y la ciencia de datos están mejorando la toma de decisiones y la prestación de servicios públicos.
El sistema de admisión escolar, implementado por el Ministerio de Educación, automatiza completamente el proceso de asignación de estudiantes a las escuelas en todos los niveles de educación: preescolar, básica y media, desde prekínder hasta 4º medio. Este sistema faculta a los educandos para que postulen a establecimientos municipales y particulares subvencionados distintos a su actual. La plataforma web del sistema de admisión escolar permite a los apoderados elegir sus preferencias de recintos, mientras que un algoritmo de asignación realiza un ordenamiento aleatorio de los participantes considerando criterios de prioridad.
El sistema de admisión escolar determina los criterios de prioridad según lo establecido en la normativa y otorga un número aleatorio a cada postulante. Cuando una escuela tiene más cupos disponibles que interesados, todos estos son aceptados. Sin embargo, cuando la cantidad de cupos es menor que el número de postulantes, el algoritmo de asignación agrupa a los estudiantes en cinco categorías, en orden de mayor a menor prioridad:
1) postulantes con hermanos consanguíneos en el establecimiento,
2) estudiantes prioritarios cuya situación socioeconómica puede dificultar su proceso educativo,
3) postulantes con padres que trabajan en el establecimiento,
4) exalumnos que desean volver —siempre que no hayan sido expulsados—, y
5) postulantes sin criterio de prioridad.
Este algoritmo no es de inteligencia artificial.
El desarrollo del sistema de admisión escolar fue llevado a cabo en conjunto por el Ministerio de Educación, investigadores del Núcleo Milenio ICR y del Instituto Milenio MIPP de la Universidad de Chile, utilizando un algoritmo
4 https://algoritmospublicos.cl/
de aceptación diferida para asignar a los estudiantes. El sistema comenzó a funcionar en 2016 en la región de Magallanes y de la Antártica Chilena y se extendió progresivamente hasta abarcar todas las regiones del país en 2019, para el proceso de admisión escolar 2020.
En el ámbito de la salud, el Hospital Barros Luco ha implementado un algoritmo de reconocimiento de imágenes para la detección de lesiones cancerígenas durante endoscopías esofágicas. Este sistema utiliza técnicas de aprendizaje profundo para analizar imágenes médicas, facilitando la identificación de posibles signos de cáncer con una precisión significativamente mejorada en comparación con los métodos tradicionales. Al automatizar el análisis de imágenes, el algoritmo facilita diagnósticos más rápidos y precisos, lo que a su vez permite intervenciones médicas más tempranas y efectivas. Esto mejora los resultados clínicos para los pacientes y, a su vez, optimiza el uso de los recursos médicos, reduciendo la carga de trabajo de los profesionales de la salud y aumentando la capacidad del hospital para tratar un mayor número de pacientes.
En el ámbito de la seguridad pública, el algoritmo Heredia, desarrollado por el Ministerio Público, es una herramienta de inteligencia artificial diseñada para detectar estructuras criminales mediante el procesamiento de bases de datos penales. Heredia, acrónimo de «herramienta para el estudio del delito usando inteligencia artificial», es un sistema basado en el modelo de ChatGPT que apoya la toma de decisiones de fiscales y policías en la persecución de delitos contra la propiedad. La Fiscalía Nacional comenzó a utilizar este sistema en marzo de 2023, aplicándolo en las fiscalías regionales del Maule, Coquimbo y Metropolitana Centro Norte.
El algoritmo permite procesar grandes volúmenes de información en un tiempo mucho más breve que el requerido por un analista humano, encontrando patrones en el comportamiento delictual y proponiendo personas que podrían estar vinculadas al delito investigado como parte de una red criminal. Utilizando la identidad de un sospechoso como nodo inicial, Heredia puede reconocer vínculos con terceros con quienes el sospechoso haya participado anteriormente en delitos, focalizando así la investigación.
Como se ha mencionado a lo largo de este trabajo, la creciente adopción de inteligencia artificial y algoritmos de ciencia de datos en el sector público trae consigo numerosos beneficios, como la mejora de la eficiencia y la precisión en la toma de decisiones. Sin embargo, también plantea desafíos significativos relacionados con la transparencia y la equidad. La falta de transparencia y la presencia de sesgos en los algoritmos pueden tener consecuencias graves, especialmente cuando estos sistemas se utilizan para decisiones que afectan directamente la vida de las personas.
En este contexto, la transparencia se refiere a la capacidad de entender, explicar y verificar cómo funcionan los sistemas de ciencia de datos e inteligencia artificial, y los procesos y criterios que subyacen a sus decisiones. Esto implica que sean comprensibles tanto para los desarrolladores como para los usuarios finales y otras partes interesadas. Los usuarios y personas afectadas deben poder entender cómo y por qué un algoritmo llegó a una decisión específica.
La transparencia en los algoritmos es fundamental para mantener la confianza pública y asegurar que las decisiones automatizadas sean comprensibles y verificables. Por esta razón, aquellos algoritmos basados en aprendizaje automático y deep learning generan problemas, toda vez que, incluso para sus desarrolladores, puede ser difícil entender cómo el sistema llega a ciertas decisiones. Esta opacidad dificulta que los usuarios finales y los afectados por las decisiones comprendan y cuestionen los resultados del algoritmo. Por este motivo, cuando la ciudadanía no puede ver y entender cómo se toman las decisiones que le afectan, es probable que crezca la desconfianza en los sistemas automatizados y, en consecuencia, en los organismos del Estado. Dicha desconfianza puede erosionar la legitimidad de las instituciones públicas y socavar los beneficios potenciales de la implementación de inteligencia artificial y ciencia de datos en la Administración pública (Banco Interamericano de Desarrollo [BID], 2022).
Por otro lado, la equidad estadística en la inteligencia artificial y la ciencia de datos se refiere a la medida en que los algoritmos y modelos matemáticos tratan de manera justa a todos los grupos de individuos, independientemente de características protegidas como raza, género, edad, orientación sexual, discapacidad, entre otros. La equidad estadística busca asegurar que las decisiones automatizadas no perpetúen ni amplifiquen las desigualdades
existentes en la sociedad. Existen diversas métricas y enfoques para evaluar la equidad en los modelos de inteligencia artificial, como la paridad demográfica, la igualdad de oportunidades, la paridad de resultados y la equidad de impacto (Richardson, 2021).
Una de las maneras de abordar la equidad estadística es a través de la medición de sesgos que puedan existir en los sistemas. Los sesgos son distorsiones o errores sistemáticos que resultan en decisiones injustas o inexactas, favoreciendo a ciertos grupos sobre otros. Los sesgos pueden surgir en varias etapas del desarrollo de un modelo de inteligencia artificial, desde la recolección de datos hasta el entrenamiento y la implementación del modelo.
El campo de estudio de la equidad en inteligencia artificial tiene como objetivo medir y mitigar la discriminación algorítmica, pero el formalismo técnico requerido para esto ha sido objeto de crecientes críticas en los últimos años (Buyl & De Bie, 2024). En el enfoque técnico de la equidad en inteligencia artificial, se pueden identificar varias limitaciones inherentes que reducen su potencial para abordar verdaderamente la discriminación en la práctica. Ellas abarcan problemas relacionados con la evaluación del rendimiento de los algoritmos, la necesidad de utilizar datos sensibles y la efectividad acotada de las soluciones técnicas en los procesos de toma de decisiones de alto impacto. Por otro lado, dichas limitaciones delinean el papel que deben jugar las herramientas técnicas que apoyen la incorporación de una mirada desde la equidad estadística.
No existe un concepto universal de equidad; por el contrario, hay una variedad de definiciones, a menudo incompatibles entre sí. Además, las soluciones de equidad deben ser específicas de la situación y los supuestos hechos, lo que limita su portabilidad entre distintos contextos. En consecuencia, las herramientas de equidad disponibles suelen ser difíciles de adaptar a diferentes casos de uso o flujos de trabajo.
Otra limitación es el acotado poder de las herramientas técnicas sobre el proceso de decisión completo. Las decisiones en entornos de alto riesgo no suelen ser completamente automatizadas, y las interacciones entre los algoritmos y los tomadores de decisiones humanos pueden introducir sesgos que están fuera del alcance del sistema de inteligencia artificial. Además, siempre existirán puntos ciegos. Los posibles sesgos deben anticiparse o descubrirse para abordarlos, por lo que los sistemas de inteligencia artificial deben estar continuamente abiertos al análisis y la crítica. La equidad no puede lograrse solo con herramientas técnicas, sino que integrarse en un enfoque más amplio y sociotécnico que incluya políticas, regulaciones y prácticas organizacionales.
La percepción de que los algoritmos utilizados por el gobierno no son transparentes o justos y equitativos puede erosionar la confianza pública en las instituciones. Esto puede llevar a una mayor resistencia a la adopción de nuevas
tecnologías y a un menor compromiso cívico. Para abordar estos desafíos, es esencial implementar medidas robustas que promuevan la transparencia y la equidad en el uso de algoritmos.
equidad
de los sistemas
El GobLab de la Universidad Adolfo Ibáñez ha sido un actor clave en la modernización del Estado a través de diversas iniciativas relacionadas con el uso de datos e inteligencia artificial. Una de estas iniciativas es el proyecto Algoritmos Éticos, Responsables y Transparentes, alianza público-privada creada por la institución en 2020, con el objetivo de promover la gestión ética de datos e inteligencia artificial, tanto en el sector público como en el privado en Chile. Este esfuerzo es parte integral del plan de acción de la Política Nacional de Inteligencia Artificial del país y busca modificar cómo el Estado diseña, compra y desarrolla sistemas de decisiones automatizadas. A través de una alianza multiactor, el proyecto se enfoca en establecer estándares de transparencia, equidad, protección de datos y responsabilidad en todo el ciclo de vida de los proyectos de ciencia de datos e inteligencia artificial.
Durante el período 2020-2023, el proyecto recibió financiamiento del BID Lab
—laboratorio de innovación del Grupo Banco Interamericano de Desarrollo— y, desde julio de 2023, ha continuado su trabajo gracias a fondos de la Agencia Nacional de Investigación y Desarrollo, ANID. Desde el nacimiento del proyecto, el equipo de la Universidad Adolfo Ibáñez asesoró y acompañó a diversos organismos asociados en las etapas de creación y pilotaje de modelos y herramientas con una mirada ética. Los socios actuales del proyecto incluyen entidades como la División de Gobierno Digital, el Ministerio de Ciencia, Tecnología, Conocimiento e Innovación, el Servicio Civil, el Consejo para la Transparencia, ChileCompra, la Superintendencia de Seguridad Social y el Instituto de Previsión Social. Esta colaboración ha sido crucial para el desarrollo responsable de algoritmos y sistemas de decisión automatizada en Chile, destacándose como una iniciativa pionera en el país.
Como parte de los resultados de la primera fase del proyecto, en conjunto con la Dirección de Compras Públicas, el GobLab diseñó bases tipo de licitación y una directiva de compra para la adquisición de proyectos de ciencias de datos e inteligencia artificial por parte de instituciones de la Administración del Estado. Ambos documentos proporcionan orientación para la contratación de desarrollo de productos de software que utilizan ciencia de datos e incluyen cláusulas
estandarizadas para licitaciones de ciertas categorías de compra, con énfasis en aspectos éticos como la transparencia en la toma de decisiones, privacidad de datos, no discriminación, medición de sesgos y equidad estadística y explicabilidad de procesos algorítmicos.
Además, durante la vida del proyecto, el GobLab ha brindado asesorías en licitaciones y desarrollos internos a cuatro instituciones públicas de Chile: el Fondo Nacional de Salud, la Defensoría Penal Pública, el Instituto de Previsión Social y la Superintendencia de Seguridad Social. El propósito principal de estas asesorías es respaldar la elaboración de especificaciones técnicas para la compra o desarrollo de herramientas de decisiones automatizadas, incorporando los requisitos éticos necesarios según el proyecto. Estos requisitos incluyen hitos de transparencia, equidad, privacidad, explicabilidad y responsabilidad. Se proporciona seguimiento multidisciplinario durante la ejecución del proyecto, asesoría en el diseño del plan de pilotaje del sistema algorítmico, monitoreo de riesgos éticos identificados y procesos de investigación académica asociados para su difusión en revistas y conferencias internacionales.
En esta línea de trabajo se han elaborado recursos de apoyo para la puesta en marcha de proyectos de ciencia de datos e inteligencia artificial en el sector público. En primer lugar, en colaboración con el Banco Interamericano de Desarrollo, se creó un manual de formulación de proyectos basados en inteligencia artificial titulado «Uso responsable de inteligencia artificial para política pública. Manual de formulación de proyectos» (Denis Jara et al., 2021), que está concebido para apoyar a los responsables de liderar el diseño, implementación y monitoreo de proyectos basados en inteligencia artificial. Se enfoca en el uso ético y responsable de la inteligencia artificial, contextualizando su aplicación dentro de los problemas de política pública y abordando temas éticos y legales asociados. El manual está dividido en secciones dirigidas tanto a los responsables de la toma de decisiones como al equipo técnico encargado de la implementación de las herramientas.
Asimismo, GobLab y la División de Gobierno Digital han elaborado una guía titulada «Formulación ética de proyectos de ciencia de datos» (Laboratorio de Gobierno & Universidad Adolfo Ibáñez, 2022). Su propósito es orientar a funcionarios e instituciones públicas para crear proyectos de innovación pública con el uso de datos, tomando en cuenta buenas prácticas, con el fin de evitar sesgos de discriminación, falta de transparencia o mal uso de datos personales, entre otros problemas potenciales.
ciencia de datos e inteligencia artificial
En el marco del proyecto Algoritmos Éticos, Responsables y Transparentes, se ha desarrollado una plataforma tecnológica5 destinada para apoyar a los organismos públicos en la incorporación de estándares de responsabilidad a lo largo de todo el ciclo de vida de un proyecto de ciencia de datos: formulación, diseño, implementación y evaluación. La plataforma ofrece «Herramientas de algoritmos éticos», una serie de guías, productos y normativa, creada por el GobLab UAI con el apoyo de múltiples organismos nacionales e internacionales, para apoyar la incorporación de estándares de responsabilidad a lo largo de todo el ciclo de vida de un proyecto de ciencia de datos: formulación, diseño, implementación y evaluación. Las herramientas más recientes que están en etapa de pilotaje son una ficha de transparencia y una medición de sesgos y equidad estadística.
5 https://algoritmospublicos.cl/
La ficha de transparencia es una herramienta de apoyo para la elaboración de documentos de transparencia para sistemas de decisiones automatizadas o semiautomatizadas, incluyendo modelos de ciencia de datos e inteligencia artificial. Su propósito es ayudar a los organismos públicos a cumplir con los estándares de transparencia algorítmica en sus sistemas y facilitar la comprensión y claridad de todos los elementos que se necesitan para lograrlo. Está diseñada para ser utilizada una vez que los sistemas han completado la fase de desarrollo y evaluación, antes de la implementación, fases que se definen en la guía «Permitido innovar» (Laboratorio de Gobierno & Universidad Adolfo Ibáñez, 2022), para la creación de proyectos de ciencia de datos, aunque también es una herramienta que puede aplicarse de manera retroactiva.
La ficha final que se crea con la herramienta ayuda a esclarecer información detallada sobre diversos aspectos de los sistemas de decisiones automatizadas, incluyendo su naturaleza, características técnicas, funcionales y detalles del proyecto. Desempeña un papel crucial en la promoción de la transparencia, la rendición de cuentas y el uso ético de los algoritmos. La herramienta facilita la confección de esta ficha, ayudando a identificar la información relevante que debe ser transparentada y presentándola de manera clara y comprensible. Esto no solo beneficia a los responsables institucionales, sino que también permite que cualquier persona interesada en entender el funcionamiento y los impactos de los sistemas de ciencia de datos e inteligencia artificial pueda hacerlo.
La ficha de transparencia consta de 44 preguntas distribuidas en 9 secciones, que comprenden los aspectos clave del algoritmo y del proyecto en el que se despliega. Para abordar todos estos elementos es necesario un equipo multidisciplinario dentro de la institución que conteste todas las preguntas. Este debe incluir los roles de jefe de proyecto, analistas de datos, responsables de datos, equipo legal y encargados de comunicaciones, entre otros. Dicho enfoque está basado en una de las iniciativas más relevantes en el campo de la transparencia de modelos de ciencia de datos: el model cards for model reporting (Mitchell et al., 2019), que asegura una metodología robusta y reconocida internacionalmente para la presentación de información sobre estos algoritmos, pero adaptándola en español a las regulaciones chilenas.
La herramienta de medición de sesgos y equidad estadística es un apoyo para abordar la equidad en los patrones de clasificación de ciencia de datos. Su objetivo principal es calcular las tasas de disparidad en las variables protegidas dentro de un conjunto de datos, proporcionando un análisis detallado que puede ser utilizado para desarrollar paradigmas de ciencia de datos más justos y responsables con la ciudadanía. Las tasas de disparidad son métricas para evaluar y cuantificar las diferencias en el rendimiento de un modelo de ciencia de datos o inteligencia artificial entre diferentes subgrupos de una población,
particularmente en variables protegidas. Estas métricas ayudan a identificar si un sistema está siendo equitativo o si, por el contrario, está presentando sesgos que afectan de manera desigual a ciertos subgrupos. En el contexto de la medición de sesgos y equidad estadística, las tasas de disparidad generalmente se cuantifican a través de cuatro principales métricas:
1) Tasa de falsos positivos —false
positive rate, FPR—: es la proporción de instancias negativas que son incorrectamente clasificadas como
positivas. Un modelo puede mostrar
disparidad si esta tasa varía significativamente entre diferentes subgrupos.
Por ejemplo, en un modelo de detección de fraude que clasifica transacciones como fraudulentas o no fraudulentas, la tasa de falsos positivos es el porcentaje de transacciones no fraudulentas que son incorrectamente clasificadas como fraudulentas. Si la tasa de falsos positivos para el grupo A
—por ejemplo, hombres— es 10 % y para el grupo B —por ejemplo, mujeres— es 5 %, esto indica que el modelo es más propenso a clasificar incorrectamente las transacciones que no son fraudulentas como fraudulentas para el grupo de los hombres, lo que sugiere un posible sesgo contra este grupo.
2) Tasa de falsos negativos —false negative rate, FNR—: es la proporción de instancias
positivas que son incorrectamente clasificadas como negativas. Las diferencias en esta tasa entre
subgrupos pueden indicar un sesgo en el modelo.
Entonces, en un modelo de diagnóstico médico que predice la presencia de una enfermedad, la tasa de falsos negativos es el porcentaje de casos positivos —personas con la enfermedad— que son incorrectamente clasificados como negativos —sin la enfermedad—. Si la tasa de falsos negativos para el grupo X —por ejemplo, mayores de 60 años— es 20 % y para el grupo Y —por ejemplo, menores de 60 años— es 10 %, esto indica que el modelo es menos efectivo en detectar la enfermedad en mayores de 60 años, lo que podría indicar un sesgo que afecta negativamente a este grupo.
3) Tasa de falsa omisión —false omission
rate, FOR—: es la proporción de predicciones
negativas que son incorrectas, es decir, el número de falsos negativos dividido por el total de
predicciones negativas. Esta métrica ayuda a evaluar la fiabilidad
de las predicciones negativas del modelo.
Ilustrando el caso, en un sistema de contratación que predice si un candidato debe ser contratado o no, la tasa de falsa omisión es el porcentaje de candidatos rechazados —predicción negativa— que en realidad deberían haber sido aceptados —falsos negativos—. Si la tasa de falsa omisión para el grupo P —por ejemplo, candidatos de una minoría étnica— es 15 % y para el grupo Q —por ejemplo, candidatos de la mayoría étnica— es 5 %, esto sugiere que el sistema está rechazando incorrectamente a una mayor proporción de candidatos del grupo de personas de minoría étnica, lo que podría reflejar un sesgo que desfavorece al grupo.
4) Tasa de falso
descubrimiento —false discovery rate, FDR—: es la proporción de
predicciones positivas que son incorrectas, es decir, el número de falsos positivos dividido por el total de predicciones positivas. Esta métrica es importante para entender
la precisión de las predicciones positivas del modelo.
Por ejemplo, en un modelo de predicción de éxito académico que clasifica a los estudiantes como aptos o no aptos para un programa avanzado, la tasa de falso descubrimiento es el porcentaje de estudiantes clasificados como aptos —predicción positiva— que en realidad no lo son —falsos positivos—. Si la tasa de falso descubrimiento para el grupo M —por ejemplo, estudiantes con bajos ingresos— es 10 % y para el grupo N —por ejemplo, estudiantes con altos ingresos— es 25 %, esto indica que el modelo tiene una mayor tasa de errores al predecir que los estudiantes de mayores ingresos son aptos, lo que sugiere un sesgo que podría sobreestimar las capacidades de los estudiantes del grupo.
Al comparar estas tasas entre diferentes subgrupos definidos por variables protegidas —género, raza, edad, etcétera—, se puede determinar si el modelo está aplicando las decisiones de manera equitativa o si existen disparidades que deben ser abordadas. La identificación de estas disparidades permite tomar medidas para ajustar y mejorar los modelos, garantizando que operen de manera justa y ética.
Confeccionada en Python, esta herramienta está diseñada para ser utilizada por científicos de datos y profesionales afines. Su implementación se realiza durante la fase de desarrollo del piloto (Laboratorio de Gobierno & Universidad Adolfo Ibáñez, 2022), específicamente en la etapa de evaluación de las métricas del modelo de ciencia de datos.
La selección de las variables protegidas es una tarea realizada por el usuario de la herramienta, en conformidad con la legislación chilena actual, establecida en la ley Nº 20.609. Esta ley prohíbe la discriminación arbitraria basada en variables protegidas como raza o etnia, sexo, nacionalidad, situación socioeconómica, idioma, ideología u opinión política, religión o creencias, participación en organizaciones gremiales, maternidad, orientación sexual, identidad y expresión de género, estado civil, edad, filiación, apariencia personal y enfermedad o discapacidad. Una vez que se seleccionan las categorías protegidas que se quieran ponderar, la herramienta calcula la matriz de confusión y las métricas de sesgos mencionadas anteriormente, proporcionando una evaluación matemática de la equidad del modelo.
El flujo de trabajo de la herramienta de medición de sesgos y equidad estadística se basa en el marco de Aequitas (Saleiro et al., 2018), asegurando un enfoque robusto y validado internacionalmente para la medición de sesgos. Esto permite a los usuarios identificar y mitigar los sesgos en sus modelos de clasificación,
promoviendo así el desarrollo de soluciones de ciencia de datos e inteligencia artificial más equitativas. Al proporcionar estas capacidades, la herramienta no solo facilita el cumplimiento de estándares éticos y legales, sino que también fortalece la confianza pública en los sistemas automatizados de toma de decisiones.
El segundo semestre de 2024, se publicará en la plataforma Algoritmos Públicos una nueva herramienta: la evaluación de impacto algorítmica. Tal herramienta presentará un proceso estructurado y sistemático para diagnosticar los riesgos éticos asociados con el uso de sistemas de inteligencia artificial y ciencia de datos. Este tipo de evaluación se centra en identificar posibles impactos negativos, como la discriminación, la falta de transparencia y la invasión de la privacidad, que pueden surgir durante el diseño, implementación y uso de estos sistemas. La herramienta permite a los organismos públicos anticipar y abordar estos riesgos, garantizando así que los sistemas desarrollados sean equitativos y responsables.
La puesta en funcionamiento de una evaluación de impacto algorítmica incluye varios pasos críticos. Primero, se diagnostican los riesgos éticos asociados con el proyecto, lo cual implica un análisis detallado de cómo los algoritmos pueden afectar a diferentes grupos dentro de la sociedad. Luego, se identifican los requerimientos necesarios para el diseño o la compra del proyecto, asegurando que se cumplan los estándares éticos y legales. Finalmente, se elabora un plan de mitigación que guía al jefe del proyecto en la implementación de medidas correctivas para minimizar los riesgos identificados. Este enfoque no solo ayuda a prevenir problemas futuros, sino que también fortalece la confianza del público en los sistemas automatizados y promueve prácticas de desarrollo más responsables y transparentes.
Estas tres herramientas se integran en una plataforma que actualmente está siendo probada. El GobLab UAI ha lanzado un llamado a pilotos para el uso y adopción de las herramientas, un proceso que comenzó el 18 de junio de 2024 con el lanzamiento oficial de las primeras dos herramientas y se extenderá hasta mayo de 2025. Este llamado tiene como objetivo probar y refinar estas herramientas en un entorno real, asegurando su efectividad y adecuación para su uso en el sector público chileno.
Los proyectos presentados a pilotos pueden ser desarrollados tanto por un equipo interno del organismo público como por un proveedor externo especializado. Hablando del tipo de proyecto en específico, las herramientas de ficha de transparencia y evaluación de impacto algorítmica están diseñadas para ser utilizadas en sistemas de ciencia de datos o inteligencia artificial de cualquier tipo. Por otro lado, la medición de sesgos y equidad está específicamente destinada a sistemas predictivos de clasificación binaria o multiclase.
En cuanto a la divulgación de la participación en los pilotos, el GobLab UAI se compromete a no difundir los resultados sin la autorización expresa del organismo participante. En el caso de que se identifique un piloto como un posible caso de éxito, el GobLab UAI solicitará la autorización de la entidad para difundirlo y elaborará un documento de divulgación que deberá ser visado por la misma. Este proceso asegura que la información se maneje con la debida confidencialidad y respeto a las instituciones concurrentes. Sin menoscabar lo anterior, la incorporación en el piloto implica la aceptación del organismo para que la Universidad Adolfo Ibáñez publique el nombre del servicio, las herramientas probadas y el título del proyecto. Esta medida permite una transparencia básica sobre la colaboración y las pruebas realizadas, sin comprometer detalles específicos o resultados sin el consentimiento del servicio. Este enfoque busca equilibrar la transparencia y la protección de la información de los organismos públicos participantes.
A grandes rasgos, el desarrollo de los pilotos sigue un protocolo estructurado que incluye varias etapas, actividades y resultados esperados, que se exponen a continuación:
La primera etapa consiste en sesiones informativas mensuales, donde se realizan reuniones online de una hora dirigidas a jefaturas intermedias y profesionales involucrados en la implementación de inteligencia artificial y ciencia de datos en el sector público. Estas sesiones tienen como objetivo informar a la audiencia sobre las etapas del piloto y las herramientas disponibles.
La segunda etapa son las capacitaciones mensuales de las herramientas, que se realizan dos semanas después de las sesiones informativas y donde se enseña directamente a los integrantes de los equipos del proyecto —incluyendo área de negocios, técnicos y posibles proveedores externos— cómo usar todas las funciones de las herramientas que decidan probar.
La tercera etapa es la ejecución del piloto, que consta de dos pasos: la aplicación de prueba de las herramientas y el envío de retroalimentación a la Universidad Adolfo Ibáñez. Para esta fase, existen dos modalidades de pilotos, a escoger por el servicio:
1) el servicio público ejecuta las herramientas con sus propios equipos y completa la retroalimentación en la plataforma;
2) la Universidad Adolfo Ibáñez ejecuta la herramienta con datos proporcionados por el servicio. Tras la ejecución, se realiza una reunión conjunta para discutir los resultados y se completa una encuesta de retroalimentación general.
La cuarta etapa involucra la retroalimentación de la Universidad Adolfo Ibáñez a los resultados del piloto, proporcionando comentarios por escrito y discutiendo los análisis sobre estos. Esta etapa solo se realiza si el servicio comparte efectivamente los resultados del uso de las herramientas. Finalmente, si un piloto es considerado un caso de éxito, la universidad solicitará permiso al organismo para su difusión y elaboración de materiales de divulgación.
Los pilotos tienen varios objetivos clave que buscan maximizar el impacto positivo de las herramientas en el sector público. En primer lugar, los pilotos permiten validar la eficacia de las herramientas en un entorno real, asegurando que cumplan con los objetivos de transparencia, equidad y responsabilidad en la toma de decisiones automatizadas. Además, a través de la implementación y evaluación de los pilotos, se identifican áreas de mejora en las herramientas, que incluyen aspectos técnicos, operativos y de usabilidad que pueden ser optimizados antes de una implementación más amplia. Los pilotos también ayudan a construir capacidades dentro de las instituciones públicas participantes, proporcionando las habilidades y el conocimiento necesario para utilizar y gestionar las herramientas de manera efectiva.
Asimismo, al demostrar el compromiso del sector público con la transparencia, la equidad y la responsabilidad, los pilotos contribuyen a aumentar la confianza pública en el uso de inteligencia artificial y ciencia de datos. Esto es fundamental
para la aceptación y el apoyo de la ciudadanía a las iniciativas tecnológicas del gobierno. Los pilotos proporcionan ejemplos concretos de buenas prácticas en la implementación de herramientas de ciencia de datos e inteligencia artificial responsables, que pueden ser compartidas y replicadas en otras instituciones, promoviendo un uso más amplio y ético de la tecnología en el sector público.
• Ashok, M.; Madan, R.; Joha, A. & Sivarajah, U. (2022). Ethical framework for artificial intelligence and digital technologies. International Journal of Information Management, 62. https://doi.org/10.1016/J. IJINFOMGT.2021.102433
• Barocas, S. & Selbst, A. D. (2016). Big Data’s Disparate Impact. California Law Review, 104, 671-732. http://dx.doi.org/10.2139/ssrn.2477899
• Banco Interamericano de Desarrollo [BID]. (2022). Conflanza: la clave de la cohesión social y el crecimiento en América Latina y el Caribe. https:// publications.iadb.org/publications/spanish/document/Confianza-La-clave- de-la-cohesion-social-y-el-crecimiento-en-America-Latina-y-el-Caribe.pdf
• Burrell, J. (2016). How the machine ‘thinks’: Understanding opacity in machine learning algorithms. Big Data & Society, 3(1). https://doi. org/10.1177/2053951715622512
• Buyl, M. & De Bie, T. (2024). Inherent limitations of AI fairness. Communications of the ACM, 67(2), 48-55. doi:10.1145/3624700
• Denis Jara, G.; Hermosilla, M. P.; Aracena Cornejo, C.; Sánchez Ávalos, R.; González Alarcón, N. & Pombo, C. (2021). Uso responsable de IA para política pública. Manual de formulación de proyectos. https://doi. org/10.18235/0003631
• Gutiérrez Rodríguez, J. D. & Muñoz-Cadena, S. (2023). Adopción de sistemas de decisión automatizada en el sector público: Cartografía de 113 sistemas en Colombia. GIGAPP Estudios Working Papers, 10(267-272), 365-395. https://www.gigapp.org/ewp/index.php/GIGAPP-EWP/article/view/329
•
Igual Muñoz, L., & Seguí Mesquida,
S. (2017). Introduction to data science
(1ª edición). doi:10.1007/978-3-319-50017-1
•
Laboratorio de
Gobierno & Universidad Adolfo Ibáñez. (2022). Permitido innovar. Guías para transformar el Estado chileno ¿Cómo podemos
desarrollar proyectos de ciencia de datos para innovar en el sector público?
• Mitchell, M.; Wu, S.; Zaldívar, A., Barnes, P.; Vasserman, L.; Hutchinson, B.; Spitzer, E.; Raji, I. D. & Gebru, T. (2018). Model cards for model reporting. doi:10.48550/ARXIV.1810.03993
• Obermeyer, Z.; Powers, B.; Vogeli, C. & Mullainathan, S. (2019). Dissecting racial bias in an algorithm used to manage the health of populations. Science, 366(6464), 447-453. doi: 10.1126/science.aax2342
• Organización para la Cooperación y el Desarrollo Económicos [OECD]. (2023). AI Policy Observatory Portal. https://oecd.ai/en/wonk/ai-system- definition-update
• Organización para la Cooperación y el Desarrollo Económicos [OECD]. (2024). Governing with Artificial Intelligence: Are governments ready?. OECD Artiflcial Intelligence Papers (20). https://doi.org/10.1787/26324bc2-en
• Provost, F. & Fawcett, T. (2013). Data science and its relationship to big data and data-driven decision making. Big Data, 1(1), 51-59. doi:10.1089/ big.2013.1508
• Richardson, R. (2021). Racial segregation and the data-driven society: How our failure to reckon with root causes perpetuates separate and unequal realities. Berkeley Technology Law Journal 36(3) https://doi.org/10.15779/ Z38PN8XG3V
• Saleiro, P.; Kuester, B.; Hinkson, L.; London, J.; Stevens, A. & Anisfeld, A.; Rodolfa, K. T. & Ghani, R. (2018). Aequitas: A bias and fairness audit toolkit. doi:10.48550/ARXIV.1811.05577
• Universidad Adolfo Ibáñez, División de Gobierno Digital. (2022). Guía formulación ética de proyectos de ciencia de datos. https://digital.gob. cl/transformacion-digital/estandares-y-guias/guia-formulacion-etica-de- proyectos-de-ciencia-de-datos/
• Universidad Adolfo Ibáñez, Escuela de Gobierno [GobLab UAI]. (2022). Repositorio de Algoritmos Públicos de Chile. Primer informe de estado de uso de algoritmos en el sector público. Universidad Adolfo Ibáñez
• Universidad Adolfo Ibáñez, Escuela de Gobierno [GobLab UAI]. (2023). Repositorio de Algoritmos Públicos. Informe Anual 2023. GobLab, Universidad Adolfo Ibáñez
• Universidad Adolfo Ibáñez, Escuela de Gobierno [GobLab UAI]. (2024a). Algoritmo de asignación en sistema de admisión escolar del Ministerio de Educación (MINEDUC). Algoritmos públicos. https://algoritmospublicos.cl/ proyecto-algoritmo-asignacion-admision-escolar-Mineduc
• Universidad Adolfo Ibáñez, Escuela de Gobierno [GobLab UAI]. (2024b). Heredia: algoritmo de identiflcación de redes criminales del Ministerio Público. Algoritmos éticos. https://algoritmospublicos.cl/proyecto-Heredia- algoritmo-identificacion
• Universidad Adolfo Ibáñez, Escuela de Gobierno [GobLab UAI]. (2024c). Torres endoscópicas con inteligencia artiflcial del Hospital Barros Luco. Algoritmos públicos. https://algoritmospublicos.cl/proyecto-torres- endoscopicas-barros-luco
• Universidad Adolfo Ibáñez, Escuela de Gobierno [GobLab UAI]. (2024d). Repositorio de Algoritmos Públicos. Informe Anual 2024. GobLab, Universidad Adolfo Ibáñez.
• Van der Aalst, W. (2016). Data science in action. En W. van der Aalst, Process Mining, 3-23. doi:10.1007/978-3-662-49851-4_1