Subgrupo 4, eje temático: tecnología. Uso y adopción. Seguridad
- Moderadora : Arianne Palau - Agesic
Relator : Nelson Connio - Agesic
Participaron 14 (catorce) personas de 12 (doce) Instituciones públicas, Organizaciones de la Sociedad Civil, Academia y/o Sector Privado.
Detalles de acciones propuestas
En esta sección se detallan los aportes de cada participante de la mesa en relación a las temáticas referentes al subgrupo: tecnología, uso y adopción y seguridad.
Todos los participantes tuvieron su espacio para compartir su visión.
Como resultado de cada participación se plasmaron las principales ideas y acciones en papeles de trabajo, y se utilizaron durante la segunda etapa. Estos los aportes se resumieron en el apartado Ideas Clave.
BCU – Nicolás Serrano (Institución pública)
Plantea que desde el lado de infraestructura se necesita contar con mayor poder de procesamiento, y aspirar a contar con “infraestructura transversal” a nivel país. Subraya que es relevante evitar desarrollos por separado, duplicando esfuerzos. Destaca su experiencia utilizando Cluster UY, como alternativa de plataforma de procesamiento para el desarrollo de proyectos bajo un modelo de Sandbox. El foco está en agilizar y minimizar los tiempos que ocurren entre que se cuenta con un caso de uso o necesidad a resolver, hasta que se implementa e implanta productivamente.
Considera relevante que la seguridad debe estar involucrada en todo el ciclo de vida de los datos que se manejan en los procesos de IA, en particular sobre aquellos datos e información de carácter confidencial o privado. En esta línea, también se necesita buscar mecanismos que eviten los ataques a modelos que terminan modificando las respuestas de las salidas de los algoritmos (especialmente aquellos que involucran registros biométricos).
En otro aspecto, plantea que, dentro de BCU, cada sector utiliza diferentes ambientes y herramientas para sus desarrollos e implementaciones, y dificulta la gestión desde el lado de infraestructura. En consecuencia, plantea que es necesario contar con lineamientos o recomendaciones para los sectores internos que utilizan diferentes ambientes. Esto es complejo para el manejo adecuado de la infraestructura. Se necesitan Tecnologías recomendadas desde Agesic para tomar decisiones en ese sentido.
Poder Legislativo - Cámara de Representantes – Rodrigo Duarte (Institución pública)
Entiende que actualmente se requiere más capacitación sobre IA y Seguridad. Plantea que hoy en día los proyectos de IA se mantienen en el área de investigación y desarrollo, y requieren mayor cantidad de recursos para evolucionar. Destaca la importancia de contar con un espacio de sandboxing como lugar de entrenamiento.
UM – Eduardo Carozo (Academia)
Propone trabajar sobre el tema de infraestructura desde otro enfoque. Hay empresas privadas en Uruguay que utilizan plataformas externas a un bajo costo. El desafío está en lograr migrar entre plataformas para abaratar los precios. En esta línea, hace referencia a un proyecto con estas características, el cual trabaja sobre el tratamiento de imágenes que analizan la movilidad de las personas en determinados lugares. Realiza la ingesta de los datos en plataformas externas, e incorporan también herramientas como ChatGPT.
Entonces, desde su perspectiva plantea que a nivel país no se puede fomentar las prácticas anteriores (alojar datos y entrenar algoritmos en plataforma externas). Propone un ambiente con poder de cómputo para prototipos que permita a los empresarios validar sus proyectos.
BROU – Florencia Manrique (Institución pública)
Transparenta que actualmente su organización afronta grandes problemas en la rotación de personal, lo cual impacta en la gestión del conocimiento. Bajo este escenario, propone generar modelos de IA que puedan recopilar toda la información institucional y puedan generar el conocimiento necesario, y así, por ejemplo, que puedan capacitar a nuevos funcionarios. Es un conocimiento que se genera en base a un modelo de negocio dado, y esto se podría aplicar a diferentes verticales.
En consecuencia, plantea que no visualiza como riesgo la desocupación, porque el conocimiento mismo se redistribuiría, y daría espacio a generar otros tipos de conocimientos y actividades.
IdeM - María Eugenia Corti (Institución pública)
Considera que no es posible esperar por los tiempos del Estado para disponer de infraestructura necesaria que habilite a generar prototipos o avanzar en la temática de IA. Se necesita velocidad de implementación para generar pilotos en ambientes controlados. En proyectos que tienen datos públicos propone realizarlos en ambientes abiertos como Microsoft, pero cuando hay que procesar datos críticos utilizar ambientes cerrados.
Plantea su inquietud sobre si es conveniente utilizar IA en procesos críticos, dado que se necesita cierto grado de madurez, con el cual hoy no contamos. En esta línea plantea que es necesario definir al menos dos etapas, una inicial, donde se trabaje con datos públicos, y una segunda fase en la cual se pueda incorporar procesos que utilicen datos críticos y puedan arrojar datos decisivos del mismo carácter.
Además, comparte que la seguridad se debe de plantear desde el diseño. Si no se genera una plataforma o un ambiente cerrado, las personas utilizan herramientas abiertas como Google Docs para compartir información empresarial, fuera del contexto de las empresas. Hay dos problemas, cuando los datos se ingresan (y la manipulación por parte de la empresa con otros fines) y cuando se devuelven en la respuesta (y quién los toma y procesa).
UAIP – Graciela Romero (Institución pública)
Desde su perspectiva, plantea que los problemas no son únicamente tecnológicos, sino que también existen dificultades en relación a la utilización que se le puede dar a la IA. Considera que se requiere impulsar el uso de los datos y la estrategia de datos personales en Uruguay. En relevante entender el alcance de los procesos de IA involucrados, ser transparentes con los algoritmos, y así evitar sesgos sociales en los que se puede incurrir.
Considera necesario establecer diferentes líneas de acción. Primero, entiende que es necesario establecer un plan de capacitación, a través del cual se genere información que sea sencilla de transmitir a toda la población. En lo que respecta a la formación en el ámbito público y privado, debe contemplar todas las disciplinas, no sólo la técnica-informática.
En lo que respecta a la transparencia, transmite que es relevante contar con una guía de transparencia algorítmica, que abarque tanto el ámbito público como el privado, de carácter interdisciplinario e inclusivo, con una visión más allá de la tecnología. En esta línea también es necesario definir planes de auditorías, que permita observar todas las etapas del proceso de desarrollo de una solución basada en IA. Todo esto puede contribuir también a fomentar el desarrollo de un sello de uso responsable de IA a nivel país, brindando un marco razonable de transparencia.
Finalmente, propone que el vínculo del Estado con proveedores privados en materia de IA se genere bajo las mismas bases de transparencia que se van a definir para los desarrollos propios realizados en el ámbito público, generando así una nivelación en el mercado.
Mujeres IT – Maite De Moura (Sociedad civil)
Considera que es necesario evitar en todo momento la generación de sesgos y discriminación de la población. Ejemplifica, que actualmente, los procesos de reconocimiento facial tienen alta tasa de fallos al interpretar rostros de mujeres.
Plantea que los algoritmos de IA los podemos ver como una “caja negra”, generan sesgos en consecuencia a la forma en la que se entrenaron los modelos asociados. Es importante construir un marco que ayude a minimizar sesgos, y contribuya a la creación de una sociedad sin brechas discriminatorias.
En lo que respecta a la seguridad de datos, resalta que hoy en día se recolectan datos biométricos sin informar a las personas. Se recolectan datos sin autorización, y no se transparenta el fin u objetivo final. Hay que consultarle al usuario que se van a tomar datos y cuál es el objetivo final.
Finalmente, declara que no se debe utilizar IA a cualquier costo.
URCDP – Gonzalo Sosa (Institución pública)
Inicia afirmando que brindar transparencia es fundamental en los procesos y algoritmos, ¿por qué y para que se usan los datos? El sector público actualmente está estructurado con normas que ya están establecidas. Se trabaja en la eficiencia de procesos basados y enfocados en las personas. Por otro lado, el sector privado tiene libertad con excepción de lo que está expresamente limitado. Hay medidas más restrictivas en el sector público que en el sector privado.
Entiende que los sellos y certificaciones pueden servir en algunas circunstancias o en algunos casos puntuales, pero no siempre.
En relación a la protección de datos personales, aclara que hay marcos jurídicos aplicables al ámbito público y privado. La última ley de protección de datos personales intentó manifestar de qué manera debemos de pensar sobre las fuentes de información en el ámbito público y privado, que vamos a hacer y con qué criterios, entre otros.
Agesic – Mauricio Papaleo (Institución pública)
Destaca que es fundamental aplicar seguridad por diseño, no es un aspecto a considerar solamente al final del proceso, sino desde el principio. Diseño, datos, procesamiento, privacidad de datos y uso entre otros. La seguridad por diseño debería de ser uno de los pilares fundamentales.
Además, acentúa la necesidad de educar al ciudadano, para que logre entender cuándo el resultado se obtiene de un algoritmo de IA y cuando no. También es importante tener la posibilidad de que las personas tengamos la oportunidad de disentir con ese resultado de IA, que no esté deshumanizado. Plantea que tenemos que apuntar en todo momento a disminuir la brecha social.
Complementa lo mencionado por los referentes del Banco Central de Uruguay, en lo que respecta a la falta de personal capacitado en el uso de IA y Ciberseguridad.
Agesic – Gabriel Hernández (Institución pública)
Considera relevante evaluar casos de uso para aplicar IA y decidir si se necesita infraestructura especializada o es suficiente con usar procesamientos en la nube.
En esta línea, considera que se puede trabajar en casos de uso que mejoren los tiempos de procesos, que no usen datos personales y por lo tanto, ser menos complejos pero que generen valor operativo.
Los casos de uso que tomen decisiones sobre personas son los más complejos y tienen que tener otro enfoque. Evaluar los sistemas que toman decisiones versus los que completan datos. Evaluar casos de aplicación donde haya riesgos o los se pueda usar libremente.
Agesic – Fabiana Santellán (Institución pública)
Alerta sobre que existe tendencia a que todo se tiene que regular, cuando en realidad no es necesario. Se debería regular desde el punto de vista del riesgo, y eso depende del contexto. Contemplar que los ámbitos públicos y privados son mundos diferentes.
Desde su punto de vista es necesario vincular la estrategia de IA con la estrategia de ciberseguridad.
Además, plantea fomentar en el ámbito académico el currículo de ciberseguridad e IA, en particular en sistemas de monitoreo y detección de comportamientos.
Finalmente, destaca que es relevante generar vínculos con los reguladores sectoriales, dado que tienen vínculos e impacto sobre su propio ecosistema. Apoyarse en ellos que tienen impacto. Nosotros damos lineamientos o regulaciones en general, pero se debería canalizar a través suyo.
Ideas clave
Algoritmos públicos
Cambios académicos
Capacitación en Ciberseguridad. Capacitación en IA
ClusterUy
Consentimiento en el fin y uso de los datos. Transparencia
Gestión del conocimiento por IA en la organización.
Grupos de trabajo interdisciplinarios.
Guía de creación de IA sin sesgos. Guía de transparencia de algoritmos
Humanización
Identificar y clasificar casos de uso
Plan de auditorías
Plataformas en la Nube
Procesamiento transversal
Promover la investigación y desarrollo y la generación de prototipos
Protección en los datos e información
Registros biométricos
Regulación por riesgos. Regulación sectorial
Sandbox
Seguridad por Diseño
Términos y condiciones de las contrataciones del Estado
Uso de datos abiertos
Vincular estrategias de IA y Ciberseguridad
Priorización de las acciones y principales conclusiones
Durante esta fase se definieron diferentes ejes temáticos y acciones asociada a cada uno de ellos. Es relevante destacar que algunos ejes temáticos exceden el alcance de los tópicos asignados al grupo de trabajo, pero se entiende de interés plasmarlo para complementar el trabajo de otros subgrupos, y así la evolución de la estrategia de IA a nivel nacional.
Infraestructura
Definir infraestructura transversal
Definir infraestructura de nube
Categorizar proyectos de uso
Definir lineamientos de arquitectura tecnológica
Casos de Uso
Definir modelos de verticales de negocio
Recomendar stack de herramientas de IA
Identificar sectores de oportunidad
Identificar sectores de riesgo
Control y Transparencia
Generar guía de transparencia de algoritmo
Definir lineamiento para control de sesgos
Definir guías de auditoría
Establecer niveles de certificación
Definir estrategia para la co-regulación sectorial
Educación
Generar capacitaciones académicas: IA, seguridad
Concientización sobre el uso de IA: Ética, riesgos y transparencia
Seguridad
Definir y fomentar lineamientos de diseño seguro
Definir lineamientos de gestión de datos seguros
Vincular las estrategias de Ciberseguridad, IA y Datos
Definir lineamientos de disponibilidad