La Guía de Riesgos y Controles de IA de KPMG

Esta primera estadística puede ser del año pasado, pero no podría ser más relevante hoy. Según el KPMG’s 2024 U.S. CEO Outlook, un contundente 68% de los CEOs identificaron la IA como una prioridad principal de inversión. Confían en ella para incrementar la eficiencia, mejorar las habilidades de su fuerza laboral e impulsar la innovación en sus organizaciones.

Esto representa una gran muestra de confianza en la IA, pero también plantea una pregunta importante: con tanto en juego, ¿cómo aseguran las organizaciones que están usando la IA de manera responsable y ética?

Aquí es donde entra la Guía de Riesgos y Controles de IA de KPMG. Ofrece un marco claro y práctico que ayuda a las empresas a aprovechar el potencial de la IA mientras gestionan los riesgos reales que conlleva. En el panorama actual, construir una IA confiable no es solo una buena práctica, es un imperativo empresarial.

La Inteligencia Artificial (IA) está revolucionando las industrias, desbloqueando nuevos niveles de eficiencia, innovación y competitividad. Sin embargo, esta transformación trae consigo un conjunto distintivo de riesgos y desafíos éticos que las organizaciones deben gestionar cuidadosamente para mantener la confianza y asegurar un uso responsable. La Guía de Riesgos y Controles de IA de KPMG está diseñada para apoyar a las organizaciones en la navegación de estas complejidades, proporcionando un enfoque práctico, estructurado y basado en valores para la gobernanza de la IA.

Alineada con el Marco de IA Confiable de KPMG, esta guía ayuda a las empresas a desarrollar y desplegar soluciones de IA que sean éticas, centradas en el ser humano y conformes con los estándares regulatorios globales. Está organizada en 10 pilares fundamentales, cada uno aborda un aspecto clave de la gestión de riesgos de la IA:

1. Responsabilidad: Responsabilidad clara por los resultados de la IA.
2. Justicia: Reducción del sesgo y promoción de resultados equitativos.
3. Transparencia: Hacer que los procesos de IA sean comprensibles y visibles.
4. Explicabilidad: Proveer razones detrás de las decisiones de la IA.
5. Integridad de los Datos: Asegurar datos confiables y de alta calidad.
6. Fiabilidad: Proporcionar un rendimiento preciso y constante.
7. Seguridad: Proteger los sistemas de IA frente a amenazas y vulnerabilidades.
8. Protección: Diseñar sistemas para evitar daños y mitigar riesgos.
9. Privacidad: Salvaguardar los datos personales y sensibles.
10. Sostenibilidad: Minimizar los impactos ambientales de los sistemas de IA.

Al enfocarse en estos pilares, las organizaciones pueden incorporar principios éticos en cada fase del ciclo de vida de la IA, desde la estrategia y el desarrollo hasta el despliegue y la monitorización. Esta guía no solo mejora la resiliencia ante riesgos, sino que también fomenta una innovación sostenible, confiable y alineada con las expectativas sociales.

Ya seas profesional de riesgos, líder ejecutivo, científico de datos o asesor legal, esta guía ofrece herramientas e ideas esenciales para ayudarte a aprovechar el poder de la IA de forma responsable.

Propósito de la Guía

Abordar los desafíos únicos de la IA

La Guía de Riesgos y Controles de IA de KPMG sirve como recurso especializado para ayudar a las organizaciones a gestionar los riesgos específicos vinculados a la inteligencia artificial (IA). Reconoce que, si bien la IA ofrece un potencial significativo, sus complejidades y preocupaciones éticas requieren un enfoque enfocado de gestión de riesgos. La guía proporciona un marco estructurado para abordar estos desafíos de manera responsable y efectiva.

Integración en marcos existentes

La guía no pretende reemplazar los sistemas actuales, sino complementar los procesos existentes de gestión de riesgos. Su objetivo principal es incorporar consideraciones específicas de la IA en las estructuras de gobernanza de la organización, asegurando una alineación fluida con las prácticas operativas actuales. Este enfoque permite fortalecer las capacidades de gestión de riesgos sin tener que rediseñar completamente los marcos actuales.

Alineación con estándares de confianza

La guía se basa en el marco de IA Confiable de KPMG, que promueve un enfoque basado en valores y centrado en el ser humano para la IA. Integra principios de estándares ampliamente respetados, incluyendo la ISO 42001, el Marco de Gestión de Riesgos de IA de NIST y la Ley de IA de la UE. Esto asegura que la guía sea tanto práctica como alineada con las mejores prácticas reconocidas a nivel global y los requisitos regulatorios para la gobernanza de la IA.

Un kit de herramientas para ideas prácticas

La guía ofrece ideas prácticas y ejemplos adaptados para abordar los riesgos relacionados con la IA. Anima a las organizaciones a adaptar estos ejemplos a sus contextos específicos, considerando variables como si los sistemas de IA son desarrollados internamente o por proveedores, así como los tipos de datos y técnicas utilizadas. Esta adaptabilidad garantiza que la guía siga siendo relevante para diversas industrias y aplicaciones de IA.

Apoyo a un despliegue ético y transparente de la IA

La guía se centra en habilitar a las organizaciones para desplegar tecnologías de IA de manera segura, ética y transparente. Al abordar los aspectos técnicos, operativos y éticos de los riesgos de la IA, ayuda a las organizaciones a generar confianza entre las partes interesadas mientras aprovechan el potencial transformador de la IA.

La guía actúa como recurso para asegurar que los sistemas de IA se alineen con los objetivos empresariales mientras se mitigan los riesgos potenciales. Apoya la innovación de una manera que prioriza la responsabilidad y la rendición de cuentas.

¿Quién debe usar esta guía?

Partes interesadas clave en la gobernanza de IA

La Guía de Gobernanza de IA de KPMG está diseñada para profesionales que gestionan la implementación de IA y aseguran que se despliegue de manera segura, ética y eficaz. Es aplicable a equipos en diversas áreas dentro de las organizaciones, incluyendo:

• Departamentos de Riesgos y Cumplimiento: Los profesionales de estos equipos pueden alinear las prácticas de gobernanza de IA con los marcos de riesgos actuales y los requisitos regulatorios.
• Especialistas en Ciberseguridad: Con el creciente riesgo de ataques adversarios a sistemas de IA, los equipos de ciberseguridad pueden usar esta guía para establecer medidas de seguridad sólidas.
• Equipos de Privacidad de Datos: La guía proporciona herramientas para que los responsables de privacidad gestionen la información sensible de manera responsable mientras abordan preocupaciones de cumplimiento relacionadas con datos personales.
• Equipos Legales y Regulatorios: Los profesionales legales pueden confiar en la alineación de la guía con marcos globales, como GDPR, ISO 42001 y la Ley de IA de la UE, para asegurar que los sistemas de IA cumplan con las leyes aplicables.
• Profesionales de Auditoría Interna: Los auditores pueden emplear la guía para evaluar si los sistemas de IA cumplen de manera efectiva con los estándares éticos y operativos.

Liderazgo y responsables estratégicos

Los ejecutivos de alto nivel y líderes como CEOs, CIOs y CTOs encontrarán útil esta guía para gestionar la IA como una prioridad estratégica. Según el 2024 US CEO Outlook de KPMG, el 68% de los CEOs considera la IA como un área clave de inversión. Esta guía permite al liderazgo alinear las estrategias de IA con los objetivos organizacionales mientras aborda los riesgos asociados.

Desarrolladores e ingenieros de IA

Ingenieros de software, científicos de datos y otros responsables de crear y desplegar soluciones de IA pueden usar la guía para incorporar principios éticos y controles sólidos directamente en sus sistemas. Se enfoca en adaptar prácticas de gestión de riesgos a la arquitectura y flujos de datos específicos de los modelos de IA.

Organizaciones de todos los tamaños y sectores

La guía es adaptable para empresas que desarrollan sistemas de IA internamente, los adquieren de proveedores o utilizan conjuntos de datos propietarios. Es especialmente relevante para sectores como finanzas, salud y tecnología, donde las aplicaciones avanzadas de IA y los datos sensibles son críticos para las operaciones.

Por qué es importante esta guía

Desplegar IA sin un marco claro de gobernanza puede conllevar riesgos financieros, regulatorios y reputacionales. La guía de KPMG funciona junto a los procesos existentes para proporcionar un enfoque estructurado y ético para la gestión de la IA. Promueve la responsabilidad, la transparencia y las prácticas éticas, ayudando a las organizaciones a usar la IA de forma responsable mientras aprovechan su potencial.

Cómo empezar con la guía

Alinear los riesgos de IA con la taxonomía de riesgos existente

Las organizaciones deben comenzar vinculando los riesgos específicos de la IA con su taxonomía de riesgos actual. Una taxonomía de riesgos es un marco estructurado utilizado para identificar, organizar y abordar vulnerabilidades potenciales. Dado que la IA introduce desafíos únicos, las taxonomías tradicionales deben expandirse para incluir factores específicos de la IA. Estos factores pueden involucrar la precisión del flujo de datos, la lógica detrás de los algoritmos y la fiabilidad de las fuentes de datos. Al hacerlo, los riesgos de la IA pasan a formar parte de los esfuerzos más amplios de gestión de riesgos de la organización en lugar de ser tratados por separado.

La guía señala la necesidad de evaluar todo el ciclo de vida de los sistemas de IA. Áreas importantes a examinar incluyen el origen de los datos, cómo se mueven a través de los procesos y la lógica fundamental del modelo de IA. Adoptar esta visión amplia te ayuda a identificar dónde pueden surgir vulnerabilidades durante el desarrollo y uso de la IA.

Adaptar los controles a las necesidades de la organización

Los sistemas de IA difieren según su propósito, métodos de desarrollo y el tipo de datos que utilizan. Si un modelo se crea internamente o se obtiene de un proveedor externo influye mucho en los riesgos involucrados. De igual forma, el tipo de datos —ya sean propietarios, públicos o sensibles— junto con las técnicas utilizadas para construir la IA, requiere estrategias de gestión de riesgos personalizadas.

La guía sugiere adaptar las medidas de control para que coincidan con las necesidades específicas de tus sistemas de IA. Por ejemplo, si dependes de datos propietarios, puede que necesites controles de acceso más estrictos. Por otro lado, el uso de un sistema de IA de un proveedor podría requerir evaluaciones de riesgos de terceros más profundas. Al personalizar estos controles, puedes abordar los desafíos específicos de tus sistemas de IA de manera más eficaz.

Incorporar consideraciones de riesgo a lo largo del ciclo de vida de la IA

La guía recomienda incorporar prácticas de gestión de riesgos en cada etapa del ciclo de vida de la IA. Esto incluye planificar los riesgos durante la fase de diseño, establecer sistemas sólidos de monitorización durante el despliegue y actualizar regularmente las evaluaciones de riesgos a medida que evoluciona el sistema de IA. Al abordar los riesgos en cada etapa, puedes reducir las vulnerabilidades y garantizar que tus sistemas de IA sean éticos y confiables.

Dar el primer paso de alinear los riesgos de la IA con tu taxonomía de riesgos existente y personalizar los controles según tus necesidades ayuda a establecer una base sólida para una IA confiable. Estos esfuerzos permiten a las organizaciones identificar, evaluar y gestionar riesgos de manera sistemática, construyendo un marco robusto para la gobernanza de la IA.

Los 10 pilares de la IA confiable

El Marco de IA Confiable de KPMG se basa en diez pilares clave que abordan los desafíos éticos, técnicos y operativos de la inteligencia artificial. Estos pilares guían a las organizaciones en el diseño, desarrollo y despliegue responsable de sistemas de IA, asegurando confianza y responsabilidad a lo largo de todo el ciclo de vida de la IA.

Responsabilidad

La supervisión humana y la responsabilidad deben estar presentes en cada etapa del ciclo de vida de la IA. Esto implica definir quién es responsable de gestionar los riesgos de la IA, asegurar el cumplimiento de leyes y regulaciones y mantener la capacidad de intervenir, anular o revertir decisiones automatizadas si es necesario.

Justicia

Los sistemas de IA deben buscar reducir o eliminar sesgos que puedan impactar negativamente a individuos, comunidades o grupos. Esto implica examinar cuidadosamente los datos para asegurar que representen poblaciones diversas, aplicar medidas de equidad en el desarrollo y monitorear continuamente los resultados para promover un trato equitativo.

Transparencia

La transparencia requiere compartir abiertamente cómo funcionan los sistemas de IA y por qué toman determinadas decisiones. Esto incluye documentar las limitaciones del sistema, los resultados de rendimiento y los métodos de prueba. Los usuarios deben ser notificados cuando se recopilen sus datos, el contenido generado por IA debe estar claramente etiquetado y las aplicaciones sensibles como la categorización biométrica deben proporcionar notificaciones claras a los usuarios.

Explicabilidad

Los sistemas de IA deben proporcionar razones comprensibles para sus decisiones. Para lograrlo, las organizaciones deben documentar en detalle los conjuntos de datos, los algoritmos y las métricas de rendimiento, permitiendo que las partes interesadas analicen y reproduzcan los resultados de manera efectiva.

Integridad de los Datos

La calidad y fiabilidad de los datos durante todo su ciclo de vida —recolección, etiquetado, almacenamiento y análisis— son esenciales. Deben establecerse controles para abordar riesgos como la corrupción o el sesgo de los datos. Revisar regularmente la calidad de los datos y realizar pruebas de regresión durante las actualizaciones del sistema ayuda a mantener la precisión y fiabilidad de los sistemas de IA.

Privacidad

Las soluciones de IA deben cumplir con las leyes de privacidad y protección de datos. Las organizaciones deben gestionar adecuadamente las solicitudes de los titulares de los datos, realizar evaluaciones de impacto de privacidad y emplear métodos avanzados como la privacidad diferencial para equilibrar la utilidad de los datos con la protección de la privacidad de las personas.

Fiabilidad

Los sistemas de IA deben funcionar de manera constante según su propósito previsto y la precisión requerida. Esto requiere pruebas exhaustivas, mecanismos para detectar anomalías y circuitos de retroalimentación continua para validar los resultados del sistema.

Protección

Las medidas de protección resguardan los sistemas de IA para que no causen daños a personas, empresas o bienes. Estas medidas incluyen el diseño de sistemas de seguridad, la monitorización ante problemas como la contaminación de datos o ataques de inyección de prompts y la garantía de que los sistemas cumplan con los estándares éticos y operativos.

Seguridad

Se necesitan prácticas sólidas de seguridad para proteger los sistemas de IA de amenazas y actividades maliciosas. Las organizaciones deben realizar auditorías periódicas, evaluar vulnerabilidades y emplear cifrado para salvaguardar los datos sensibles.

Sostenibilidad

Los sistemas de IA deben diseñarse para minimizar el consumo de energía y apoyar los objetivos medioambientales. Las consideraciones de sostenibilidad deben incluirse desde el inicio del diseño, monitorizando continuamente el consumo energético, la eficiencia y las emisiones durante todo el ciclo de vida de la IA.

Siguiendo estos diez pilares, las organizaciones pueden crear sistemas de IA que sean éticos, confiables y alineados con las expectativas sociales. Este marco proporciona una estructura clara para gestionar los desafíos de la IA mientras se promueve una innovación responsable.

Riesgos y controles clave – Integridad de los datos

Integridad de los datos en sistemas de IA

La integridad de los datos es fundamental para asegurar que los sistemas de IA sigan siendo precisos, justos y confiables. Una mala gestión de los datos puede conducir a riesgos como el sesgo, la inexactitud y resultados poco fiables. Estos problemas pueden debilitar la confianza en los resultados de la IA y causar importantes problemas operativos y de reputación. El marco de IA Confiable de KPMG resalta la necesidad de mantener datos de alta calidad durante todo su ciclo de vida para garantizar que los sistemas de IA funcionen eficazmente y cumplan estándares éticos.

Principales riesgos en la integridad de los datos

Falta de gobernanza de los datos

Sin una gobernanza de datos sólida, los sistemas de IA pueden producir resultados defectuosos. Problemas como datos incompletos, inexactos o irrelevantes pueden llevar a resultados sesgados o poco fiables, aumentando los riesgos en diversas aplicaciones de IA.

Corrupción de datos durante las transferencias

Los datos suelen transferirse entre sistemas para actividades como el entrenamiento, las pruebas o la operación. Si estas transferencias no se gestionan adecuadamente, los datos pueden corromperse, perderse o degradarse, lo que afecta al rendimiento de los sistemas de IA.

Medidas de control para reducir riesgos

Desarrollar políticas integrales de gobernanza de datos

Para mejorar la gobernanza de los datos, las organizaciones pueden:

• Crear y hacer cumplir políticas para la recolección, almacenamiento, etiquetado y análisis de datos.
• Implementar procesos de gestión del ciclo de vida para mantener los datos precisos, completos y relevantes.
• Realizar controles de calidad periódicos para identificar y corregir rápidamente cualquier problema.

Proteger las transferencias de datos

Para minimizar los riesgos durante las transferencias de datos, las organizaciones deben:

• Utilizar protocolos seguros para evitar la corrupción o pérdida de datos.
• Revisar regularmente los conjuntos de datos de entrenamiento y prueba, especialmente durante las actualizaciones del sistema, para asegurar que sigan siendo adecuados y relevantes. Esto incluye agregar nuevos datos cuando sea necesario para mantener el rendimiento del sistema.

Monitorización y validación continua

El uso de sistemas de monitorización continua ayuda a mantener la integridad de los datos durante todo el ciclo de vida de la IA. Estos sistemas pueden detectar problemas como cambios inesperados en la calidad del conjunto de datos o inconsistencias en el manejo de los datos. Esto permite tomar acciones correctivas rápidamente cuando surgen problemas.

Conclusión

Mantener la integridad de los datos es esencial para desplegar sistemas de IA confiables. Las organizaciones pueden reducir riesgos estableciendo marcos sólidos de gobernanza, protegiendo las interacciones con los datos y manteniendo procesos de validación continua. Estas acciones mejoran la fiabilidad de los resultados de la IA mientras aseguran el cumplimiento de estándares éticos y operativos, ayudando a generar confianza en las tecnologías de IA.

Riesgos y controles clave – Privacidad

Privacidad en el acceso de los titulares de los datos

Gestionar las solicitudes relacionadas con el acceso de los titulares de los datos es un gran desafío de privacidad en la IA. Las organizaciones deben asegurarse de que las personas puedan ejercer sus derechos a acceder, corregir o eliminar información personal bajo leyes como el RGPD y la CCPA. Si estas solicitudes no se gestionan adecuadamente, puede llevar a violaciones normativas, pérdida de confianza de los consumidores y dañar la reputación de la organización.

Para reducir este riesgo, las empresas deben crear programas para educar a las personas sobre sus derechos de datos al interactuar con la IA. Se deben establecer sistemas que procesen estas solicitudes de manera rápida y transparente. Las organizaciones también deben mantener registros detallados de cómo gestionan estas solicitudes para demostrar el cumplimiento durante auditorías.

Violaciones de privacidad por brechas de datos

Los sistemas de IA suelen manejar información personal sensible, lo que los hace atractivos para los ciberataques. Si ocurre una brecha, puede causar importantes multas regulatorias, dañar la reputación de la empresa y la pérdida de confianza de los clientes.

Para combatir esto, el marco de IA Confiable de KPMG sugiere realizar revisiones éticas para los sistemas de IA que utilizan datos personales a fin de asegurar que cumplen con las regulaciones de privacidad. También son necesarias auditorías periódicas de protección de datos y evaluaciones de impacto de privacidad (PIA), especialmente cuando se utilizan datos sensibles para tareas como el entrenamiento de modelos de IA. Además, métodos como la privacidad diferencial, que añade ruido estadístico a los datos, pueden ayudar a anonimizar la información mientras se permite su análisis.

Falta de privacidad desde el diseño

Los sistemas de IA que no incluyen salvaguardas de privacidad desde el inicio pueden crear problemas graves. No aplicar principios de privacidad desde el diseño expone a las organizaciones al riesgo de revelar datos sensibles o incumplir requisitos legales.

Las empresas deben incluir medidas de privacidad durante las etapas de desarrollo de los sistemas de IA. Esto implica seguir las leyes de privacidad y regulaciones de protección de datos mediante prácticas sólidas de gestión de datos. Es fundamental documentar claramente cómo se recopilan, utilizan y almacenan los datos. Las organizaciones también deben obtener el consentimiento explícito de los usuarios para la recolección y procesamiento de datos, especialmente en áreas sensibles como los datos biométricos.

Transparencia en las interacciones con los usuarios

Cuando los sistemas de IA no explican claramente cómo se maneja la información de los usuarios, puede resultar en desconfianza y escrutinio legal. Los usuarios deben saber cuándo se recopilan sus datos y cómo se están usando