#F8F8F8

El punto de inflexión de la IA

Cómo adoptar la IA de forma responsable en tu organización.

El logotipo rojo de Adobe sobre un fondo negro, con íconos flotantes que representan parámetros de IA responsable.
#F8F8F8

El camino hacia la innovación de la IA responsable

En esta guía, aprenderás que con las herramientas, la estrategia y la mentalidad adecuadas puedes evaluar, probar, adoptar y monitorizar soluciones de IA de manera efectiva en tu organización.

La necesidad actual de adoptar la IA de forma responsable

La IA se está convirtiendo en un motor para la transformación en el sector, lo que somete al personal ejecutivo a una presión sin precedentes por innovar rápidamente, abordar las amenazas competitivas e impulsar las eficiencias operativas. Sin embargo, la carrera para las empresas por adoptar la IA presenta nuevos riesgos. Sin una supervisión minuciosa, esta rápida implementación de la IA puede dar lugar a incumplimientos normativos, interrupciones operativas y daños a la reputación a largo plazo. Encontrar un equilibrio entre la rapidez y la responsabilidad ya no es una cuestión de compromiso, sino un requisito estratégico.

La gobernanza de la IA y la gestión de sus riesgos a menudo se percibe como una tarea de gran envergadura. Debido a los nuevos marcos de trabajo, directrices y políticas, así como a las cambiantes normativas locales, federales e internacionales, estas complejidades pueden impedir que las organizaciones tengan claro por dónde deben empezar y plantear retos a las partes interesadas desde el principio. La experiencia que tenemos en Adobe en materia de innovación responsable, que se basa en nuestros principios de ética de la IA sobre el compromiso, la responsabilidad y la transparencia, nos ha proporcionado conocimientos exhaustivos sobre cómo afrontar estos retos.

Sabemos por experiencia que, aunque el camino hacia la innovación de la IA responsable puede parecer intimidante, se puede lograr con las herramientas, la estrategia y la mentalidad adecuadas.

Una de las decisiones más importantes a las que se enfrentan las organizaciones a la hora de desarrollar estrategias con respecto a la IA consiste en elegir si crear, comprar o personalizar una solución impulsada por IA, o bien hacer las tres cosas. El siguiente enfoque está dirigido a las organizaciones que tienen previsto comprar soluciones externas impulsadas por IA, atendiendo a las partes interesadas en el punto en el que se encuentran actualmente, y se basa en los valores y las prácticas empresariales que deben implantar. El marco de trabajo toma como referencia una investigación independiente y entrevistas a profesionales sobre el control de la IA. En él se presenta un plan de acción para ayudar a las organizaciones a evaluar su situación actual y se proporcionan prácticas recomendadas para integrar los principios de la IA responsable en toda la empresa. También se incluyen medidas prácticas para establecer directrices de uso de la IA generativa para la plantilla, evaluar a proveedores a través de sólidos cuestionarios y actualizar los procesos de gobernanza de la IA para seguir el ritmo al cambiante panorama actual.

Independientemente de en qué punto te encuentres con respecto a la IA, ya sea evaluando el nivel de preparación de tu organización para implementarla o ajustando las estrategias existentes, en este marco se presenta un enfoque de eficacia demostrada que combina el ingenio humano con la revolucionaria gobernanza de la IA para ampliar a escala de manera responsable. Esta hoja de ruta permitirá a las organizaciones evaluar, probar, adoptar y supervisar soluciones impulsadas por IA con eficacia, y crear una base robusta que fomente la confianza, reduzca los riesgos e impulse el valor empresarial constante.

Marco de trabajo: creación de un futuro ético y ampliable impulsado por IA

Marco de cuatro pasos para la innovación de la IA responsable: evaluación, prueba, control y adopción, cada uno se muestra con manos interactuando con elementos tecnológicos.
Marco de cuatro pasos para la innovación de la IA responsable: evaluación, prueba, control y adopción, cada uno se muestra con manos interactuando con elementos tecnológicos.
Marco de cuatro pasos para la innovación de la IA responsable: evaluación, prueba, control y adopción, cada uno se muestra con manos interactuando con elementos tecnológicos.

Para implementar correctamente la IA generativa hace falta algo más que una lista de acciones: se requiere un enfoque estratégico por niveles en el que cada fase se apoye en la anterior, lo que creará una base para la innovación sostenible y la aplicación de prácticas éticas con respecto a la IA. Este marco está compuesto por una serie de bloques interconectados diseñados para integrar prácticas de IA responsable en cada fase, desde la evaluación del nivel de preparación de la organización hasta la ampliación eficaz a escala y la supervisión constante de los sistemas impulsados por IA.

En lugar de considerar la adopción de la IA como un ejercicio basado en procesos, este marco se centra en desarrollar sistemas que evolucionen en sintonía con las necesidades de tu organización. Asimismo, hace hincapié en la importancia del equilibrio entre la supervisión humana y la tecnología avanzada potenciada por IA para garantizar que las organizaciones aprovechen el potencial de esta mientras se ajustan a los objetivos operativos, normativos y éticos.

Las fases del marco de trabajo (evaluación del nivel de preparación, pruebas responsables, ampliación a escala de la adopción y supervisión continua) constituyen pilares integrados que se refuerzan entre ellos en todo el proceso a fin de alcanzar el éxito a largo plazo. Mediante la integración de prácticas de la IA responsable en cada fase, las empresas pueden abordar las complejidades de la adopción de la IA a la vez que fomentan la confianza, la transparencia y la responsabilidad.

Basado en la experiencia y la investigación

Adobe contrató a una empresa de investigación independiente para que encuestara a más de 200 líderes de organizaciones, TI y cumplimiento normativo de distintos sectores acerca de la adopción de la IA generativa. En la investigación se hace énfasis en los retos, estrategias satisfactorias y prácticas actuales de la adopción de la IA. Asimismo, Adobe entrevistó de forma exhaustiva a profesionales del sector y revisó estándares internacionales tales como la Ley de IA de la Unión Europea, el marco de gestión de riesgos de IA del NIST, AI Verify de Singapur, el IEEE Standard 7000 y la norma ISO 42001. Estas iniciativas garantizan la aplicación del marco en sectores y organizaciones de todos los tamaños independientemente de su progreso en la adopción de la IA.

1. Evaluación: nivel de preparación de la organización y selección de tecnologías impulsadas por IA desarrolladas de manera responsable

Vista ampliada del paso de evaluación en el marco de la innovación de la IA responsable: enfatiza la preparación y evaluación de la tecnología de IA.
Vista ampliada del paso de evaluación en el marco de la innovación de la IA responsable: enfatiza la preparación y evaluación de la tecnología de IA.
Vista ampliada del paso de evaluación en el marco de la innovación de la IA responsable: enfatiza la preparación y evaluación de la tecnología de IA.
El proceso de adopción responsable de la IA comienza con las personas que lo dirigirán. La fase de evaluación proporciona a las personas encargadas de tomar las decisiones las herramientas, la información y los datos necesarios para evaluar cómo encaja la IA en sus prioridades estratégicas. Esta fase permite a cada líder interdisciplinar examinar la infraestructura técnica, los marcos de gobernanza y los conocimientos sobre IA de la organización para determinar el nivel de preparación general.

Evaluar el nivel de preparación de la organización

Si bien muchas organizaciones ya han comenzado a adoptar la IA, solo el 21 % de las encuestadas ha desarrollado completamente sus prioridades respecto a la IA responsable, mientras que el 78 % aún las está desarrollando o planificando, lo que pone de manifiesto una clara necesidad de aplicar enfoques de preparación. Las personas responsables de TI, cumplimiento normativo, gestión de riesgos y estrategia resultan fundamentales para crear una base para la IA responsable, que comienza por una revisión exhaustiva de los marcos de gobernanza y los conocimientos sobre IA de la organización para identificar carencias que puedan afectar a la adopción de la IA.

Las organizaciones necesitan aplicar un enfoque integral para evaluar su nivel de preparación de cara a implementar la IA. Dicho enfoque debe combinar las iniciativas descendentes del equipo directivo con los comentarios ascendentes de cada miembro de la plantilla que utiliza la IA a diario.

Acciones de preparación:

  • Lleva a cabo una auditoría completa para determinar el nivel de preparación: evalúa la infraestructura técnica, los estándares de gobernanza, las políticas en materia de IA, los marcos de innovación responsable y las prácticas de cumplimiento normativo de la organización para identificar las fortalezas y las áreas de mejora mientras garantizas la alineación con los objetivos estratégicos y los requisitos de adopción responsable de la IA.
  • Colabora para identificar y abordar las principales carencias: indica qué otras políticas de IA en materia de estándares legales, seguridad, privacidad, cumplimiento normativo y transparencia se necesitan e involucra a equipos interdisciplinares, como el jurídico, de TI, de cumplimiento normativo y unidades empresariales, para asignar prioridad a los próximos pasos.
  • Crea y capacita a los equipos de gobernanza: designa equipos para que supervisen la gobernanza de IA garantizando el cumplimiento de estándares internos en materia de IA responsable y marcos normativos externos. Para ello, bríndales la autoridad y los recursos necesarios para gestionar los riesgos de forma proactiva y adaptarse a los cambiantes requisitos.

Seleccionar tecnologías impulsadas por IA desarrolladas de manera responsable

Comienza con una revisión exhaustiva de los estándares de gobernanza actuales de tu empresa. Seguramente, estos estándares ya abarquen áreas clave como la privacidad, seguridad, accesibilidad y cuestiones legales. Las referencias internacionales, como el Reglamento General de Protección de Datos (RGPD), y los marcos específicos de IA forman parte del mantenimiento del cumplimiento normativo y la supervisión de los riesgos en muchas organizaciones. Asimismo, las políticas regionales y los estándares específicos del sector, como auditorías de IA y estándares de responsabilidad, deben incorporarse a los estándares de gobernanza.

Gráfico de barras que muestra el RGPD, directrices específicas de IA y prácticas responsables de IA como las mejores leyes o certificaciones de seguridad y privacidad de IA.
Gráfico de barras que muestra el RGPD, directrices específicas de IA y prácticas responsables de IA como las mejores leyes o certificaciones de seguridad y privacidad de IA.
Gráfico de barras que muestra el RGPD, directrices específicas de IA y prácticas responsables de IA como las mejores leyes o certificaciones de seguridad y privacidad de IA.

Una vez que una organización haya definido sus marcos de gobernanza y expectativas de la IA responsable, deberá establecer criterios para seleccionar tecnologías impulsadas por IA desarrolladas de manera responsable. Dichos criterios deben integrar los estándares actuales y centrarse en elementos únicos relacionados con la IA generativa, como la transparencia del origen, la precisión de los resultados, las licencias de los datos de entrenamiento, la mitigación de sesgos y la localización cultural.

De acuerdo con los hallazgos de la investigación, los principales criterios a los que atienden las organizaciones a la hora de evaluar las tecnologías impulsadas por IA generativa son:

1. Evaluación de los datos de entrenamiento (72 %)

2. Divulgación del uso de la IA (63 %)

3. Mitigación de daños (60 %)

4. Transparencia del origen (55 %)

5. Mitigación de sesgos (50 %)

Con estos factores se garantiza que las tecnologías impulsadas por IA seleccionadas satisfagan tanto las necesidades empresariales como las responsabilidades éticas, lo que contribuye al éxito de la organización a largo plazo.

Las organizaciones deben desarrollar criterios de selección específicos para alinear las soluciones impulsadas por IA con los objetivos empresariales estratégicos y los principios de la IA responsable. Estos criterios enfatizan lo siguiente:

Transparencia

Garantizar que los procesos de la IA puedan explicarse y trazarse.

Precisión

Mantener elevados estándares de fidelidad de datos y fiabilidad predictiva.

Localización cultural

Adaptar los sistemas impulsados por IA a distintos contextos regionales y culturales.

Mitigación de sesgos

Reducir los sesgos de forma activa para obtener resultados impulsados por IA imparciales y equitativos.

Documentar cada fase del proceso de evaluación y selección refuerza la capacidad de adaptación y la responsabilidad mientras permite crear un modelo de gobernanza flexible que evolucione al ritmo de los avances de la IA y los cambios en las normativas.

Resumen de la evaluación

Paso 1: evaluar el nivel de preparación de la organización

  • Define y comunica los estándares de la empresa con respecto al uso responsable de la tecnología y la IA.
  • Las personas responsables del departamento informático o el comité interempresarial revisan los procesos empresariales y sistemas actuales para identificar las áreas que más se beneficiarán de la adopción de la IA responsable.
  • Recopila las aportaciones de líderes empresariales y de equipos internos sobre otros casos de uso que deban tenerse en cuenta en la adopción de la IA responsable.

Paso 2: seleccionar tecnologías impulsadas por IA desarrolladas de manera responsable

  • Revisa los estándares de gobernanza actuales en materia de privacidad, seguridad, accesibilidad y aspectos legales en relación con la IA.
  • Céntrate en la transparencia, la precisión, los sesgos, la localización cultural y el cumplimiento normativo para desarrollar criterios de selección que se integren con los estándares establecidos anteriormente y que cumplan las expectativas de la IA responsable.
  • Evalúa y selecciona las tecnologías impulsadas por IA que mejor cumplan las necesidades empresariales y los criterios establecidos, y documenta el proceso de toma de decisiones.

2. Prueba: identificación y experimentación de casos de uso de alto impacto

Vista enfocada de la fase de prueba en la innovación de la IA responsable: destaca la experimentación y el rendimiento tecnológico.
Vista enfocada de la fase de prueba en la innovación de la IA responsable: destaca la experimentación y el rendimiento tecnológico.
Vista enfocada de la fase de prueba en la innovación de la IA responsable: destaca la experimentación y el rendimiento tecnológico.

La fase de prueba conecta la experimentación de la IA y la realidad operativa. Esta fase permite a las principales partes interesadas evaluar en qué medida se ajusta la tecnología a los objetivos empresariales y de la IA responsable. No solo se limita a probar la viabilidad tecnológica, sino que también permite a las partes interesadas y líderes principales interactuar directamente con la tecnología de forma significativa. Consiste en dejar que la gente trabaje con la IA para tomar decisiones fundamentadas sobre su capacidad de ampliación y garantizar que cumple los estándares normativos, operativos y éticos.

Esta fase brinda a las organizaciones la oportunidad de poner a prueba los sistemas impulsados por IA en contexto para identificar dónde pueden resultar necesarias las evaluaciones de responsabilidad y la documentación de la transparencia, así como para conocer el rendimiento de las nuevas funciones con respecto a las expectativas. Al recopilar esta información y los conocimientos adquiridos, las organizaciones pueden elaborar una hoja de ruta para ampliar a escala la IA de forma responsable y crear así una base que respalde los objetivos a corto y largo plazo.

Identificar y preparar casos de uso prioritarios

Desarrollar un argumento empresarial de IA convincente conlleva implicar a las principales partes interesadas, el personal de primera línea, para obtener una perspectiva integral del potencial de la IA. Al implicar desde el principio a quienes interactuarán directamente con la tecnología, las organizaciones pueden identificar casos de uso de alto impacto en los que la IA genere resultados tangibles, como en la creación de contenido de marketing, la programación, la automatización de flujos de trabajo y la gestión de datos.

  • Concreta y céntrate en los procesos en lugar de en los roles: en vez de plantear los casos de uso en torno a roles específicos (por ejemplo, “IA para profesionales del desarrollo”), céntrate en procesos que la IA pueda agilizar y mejorar, como “programación asistida por IA para automatizar las revisiones rutinarias de código y la detección de errores”.
  • Establece métricas mensurables de ahorro de costes y uso: aunque el ROI es importante, las pruebas de IA también deben hacer hincapié en el rendimiento de aspectos más generales, como la productividad, la velocidad de comercialización, la satisfacción de la plantilla y la mejora de las experiencias de cliente (estas métricas suelen denominarse “rendimiento de la experiencia”).
  • Aumenta el impacto más allá de las ganancias inmediatas: posiciona la iniciativa de la IA como motor de la transformación a largo plazo. Los casos de uso no deben solo abordar las necesidades operativas inmediatas, sino también adaptarse a los objetivos estratégicos, como la transformación digital o la diferenciación competitiva.

Realizar pruebas según criterios empresariales y de la IA responsable

Evaluar las pruebas a través de dos perspectivas (el rendimiento empresarial y los criterios de la IA responsable) garantiza que las iniciativas de IA cumplan tanto los objetivos operativos como los puntos de referencia de la IA responsable. Más de la mitad de las organizaciones encuestadas (el 54 %) ha establecido un nivel de riesgo aceptable para sus casos de uso prioritarios. Las organizaciones deben documentar estas evaluaciones sistemáticamente recopilando los conocimientos adquiridos para fundamentar los futuros proyectos de IA. Este enfoque estructurado crea una base sólida para llevar a cabo implementaciones ampliables de IA.

Qué hacer durante las pruebas:

  • Fija puntos de referencia empresariales y de la IA responsable: define objetivos operativos (por ejemplo, de productividad o ahorro de costes) y métricas de la IA responsable (como transparencia e imparcialidad).
  • Establece umbrales de riesgos: configura parámetros de riesgos y crea un marco de evaluación constante para abordar y mitigar los riesgos relacionados con la IA de forma eficaz.
  • Recopila y comparte los conocimientos adquiridos: desarrolla un proceso estandarizado para documentar los resultados de las pruebas con el fin de favorecer la transparencia y orientar las futuras iniciativas de ampliación.

Resumen de la prueba

Paso 1: identificar los casos de uso prioritarios

  • A partir de los casos de uso empresariales prioritarios existentes, identifica dos o tres pruebas en las que la responsabilidad y la ética de la IA sean importantes.
  • Para estos casos de uso, establece métricas y umbrales para hacer un seguimiento del rendimiento de la empresa y la IA responsable.

Paso 2: realizar las pruebas teniendo en cuenta los criterios empresariales y de la IA responsable

  • Realiza pruebas piloto e incluye validaciones técnicas, empresariales y de responsabilidad adicionales según lo necesites.
  • Evalúa los resultados de las pruebas con respecto a los umbrales y métricas predefinidos sobre las expectativas de la empresa y la IA responsable, y documenta los conocimientos adquiridos en futuros enfoques de prueba y evaluación.
  • Avanza hacia la fase de adquisición o adopción en función de la información y los resultados de las pruebas.

3. Adopción: integración responsable de la IA en toda la organización

Fase de adopción destacada en el marco de la innovación de la IA responsable: muestra la integración de la IA en toda la organización.
Fase de adopción destacada en el marco de la innovación de la IA responsable: muestra la integración de la IA en toda la organización.
Fase de adopción destacada en el marco de la innovación de la IA responsable: muestra la integración de la IA en toda la organización.

La fase de adopción marca la transición de las pruebas a la integración en toda la empresa. Esta fase se centra en transformar las aplicaciones experimentales en sistemas impulsados por IA completamente operativos, lo que conlleva la implementación responsable de la IA y la aplicación de los conocimientos adquiridos durante las pruebas en las prácticas reales.

En esta fase, la plantilla asume de forma activa el papel de la IA en sus flujos de trabajo actuales. Al aprovechar su experiencia práctica de la fase de prueba, la plantilla tendrá todo lo que necesita para impulsar la adopción de la IA.

Formar y capacitar a la organización

Para ampliar la IA a escala con eficacia, hace falta una plantilla que conozca tanto las funciones de la IA como las responsabilidades técnicas asociadas a su uso. Los programas formativos adaptados deben ayudar al personal de todos los roles y departamentos a utilizar las herramientas impulsadas por IA. Muchas organizaciones (el 89 %) reconocen la importancia de la formación, y casi dos tercios incluyen aquí las directrices de la IA responsable. La formación debe integrar las capacidades técnicas con los principios de responsabilidad, transparencia y cumplimiento normativo.

Qué hacer durante la formación y capacitación:

Alinea la formación y la gobernanza: incorpora directrices de la IA responsable en los materiales formativos para garantizar que la plantilla esté al tanto de los requisitos de transparencia, gestión de riesgos y cumplimiento normativo.

Adapta la formación a cada rol: desarrolla módulos formativos personalizados que aborden las necesidades de roles específicos, como prácticas recomendadas de la empresa y la IA responsable.

Implementar teniendo en cuenta la responsabilidad

Para adoptar la IA a escala, se debe establecer un marco de gobernanza que garantice un uso responsable. Las organizaciones deben adaptar sus iniciativas de IA a sus políticas actuales de gobernanza y perfeccionarlas constantemente para cumplir los cambiantes estándares normativos, operativos y de la IA responsable.

Dos gráficos circulares que muestran que más del 80 % de las personas que respondieron planea incluir la IA responsable en los estándares de implementación y gobernanza.
Dos gráficos circulares que muestran que más del 80 % de las personas que respondieron planea incluir la IA responsable en los estándares de implementación y gobernanza.
Dos gráficos circulares que muestran que más del 80 % de las personas que respondieron planea incluir la IA responsable en los estándares de implementación y gobernanza.

Qué hacer para implementar de forma responsable:

  • Fomenta una cultura de responsabilidad: anima a los equipos a informarse sobre el impacto más general que tiene la IA en los flujos de trabajo operativos y en la confianza de las partes interesadas para inculcar el sentido de la responsabilidad en todos los niveles.
  • Adapta la formación constantemente: a medida que evolucionen los marcos de gobernanza de la IA, actualiza los programas formativos para que reflejen las nuevas prácticas recomendadas y los cambios normativos.

Resumen de la adopción

Paso 1: formar y capacitar a las organizaciones

  • Desarrolla directrices de casos de uso específicos sobre cómo y cuándo usar la IA con principios de la IA responsable.
  • Imparte formación exhaustiva a los grupos pertinentes a medida que se implementen las soluciones, e incluye prácticas recomendadas.
  • Celebra y comparte los triunfos con toda la organización.

Paso 2: implementar teniendo en cuenta la responsabilidad

  • Para cada tecnología, establece los requisitos básicos de adopción (por ejemplo, el impacto empresarial, la facilidad de integración y la mitigación de riesgos).
  • Trabaja codo con codo con líderes empresariales para acordar soluciones intermedias cuando sea preciso.
  • Integra los aspectos clave de la IA y la responsabilidad en los marcos de gobernanza actuales (por ejemplo, acceso, control, roles).

4. Control: supervisión y mejora continuas

Vista ampliada del paso de control en el marco de la innovación de la IA responsable: destaca la supervisión y el seguimiento del rendimiento de la IA.
Vista ampliada del paso de control en el marco de la innovación de la IA responsable: destaca la supervisión y el seguimiento del rendimiento de la IA.
Vista ampliada del paso de control en el marco de la innovación de la IA responsable: destaca la supervisión y el seguimiento del rendimiento de la IA.
A medida que los sistemas impulsados por IA se implementan a gran escala, la supervisión y mejora continuas adquieren un papel fundamental. La fase de control hace hincapié en la supervisión en tiempo real, revisiones rigurosas del rendimiento y un enfoque proactivo de gestión de riesgos para garantizar que los sistemas impulsados por IA sigan siendo eficaces, cumplan con las normativas y se adapten a los objetivos de la organización. Al integrar métricas de la IA responsable y un proceso de revisión estructurado, las organizaciones podrán adaptarse a las cambiantes exigencias de las normativas y a los nuevos riesgos al tiempo que fomentan una confianza y un valor operativo continuos.

Supervisar el rendimiento teniendo en cuenta los puntos de referencia empresariales y de la IA responsable

Un proceso óptimo de supervisión de resultados tecnológicos aúna el seguimiento automatizado del rendimiento y la experiencia humana. Aunque muchas organizaciones han implementado herramientas de control en tiempo real para evaluar el rendimiento de los sistemas impulsados por IA, su eficacia mejora cuando se incluye la supervisión humana, ya que las personas están más capacitadas para analizar datos, identificar riesgos y tomar decisiones fundamentadas sobre ajustes necesarios.

Si bien el 69 % de las organizaciones utiliza herramientas de supervisión en tiempo real, su eficacia es mucho mayor cuando se combinan con el criterio humano. Muchas organizaciones dan prioridad a las métricas técnicas: el 72 % se centra en la precisión y el 69 %, en el ROI. Sin embargo, para ampliar a escala con responsabilidad también se debe prestar atención a cuestiones éticas. Integrar la supervisión humana garantiza la transparencia y previsibilidad, lo que genera confianza tanto interna como externamente. El control también permite detectar sesgos de forma proactiva; el 49 % de las organizaciones hace un seguimiento de esta métrica, mientras que el 33 % presta atención a los resultados perjudiciales. Si se carece de una supervisión uniforme y proactiva, los sistemas impulsados por IA podrían poner en peligro la integridad y la confianza. Al ajustar el seguimiento del rendimiento para abordar los riesgos técnicos y éticos, las empresas pueden proteger su marca, ganarse la confianza de la gente y establecer una base sólida para ampliar la IA a escala de manera responsable.

Esta colaboración entre tecnología y seres humanos permite a las organizaciones identificar a tiempo posibles riesgos tales como imprecisiones en los datos, nuevos sesgos o incumplimientos normativos.

Gráfico de barras que muestra las mejores métricas de seguimiento de la eficacia y el rendimiento de la IA, como la precisión (72 %), el rendimiento de los resultados (69 %) y los sesgos (49 %).
Gráfico de barras que muestra las mejores métricas de seguimiento de la eficacia y el rendimiento de la IA, como la precisión (72 %), el rendimiento de los resultados (69 %) y los sesgos (49 %).
Gráfico de barras que muestra las mejores métricas de seguimiento de la eficacia y el rendimiento de la IA, como la precisión (72 %), el rendimiento de los resultados (69 %) y los sesgos (49 %).

Gestión continua de riesgos

La gestión de los riesgos de la IA constituye un proceso continuo que debe evolucionar al mismo ritmo que los sistemas impulsados por IA. Mediante el establecimiento de un enfoque interdisciplinar estructurado para gestionar los riesgos de la IA, las empresas pueden abordar de forma proactiva los riesgos empresariales y de reputación. En las revisiones programadas deben participar las partes interesadas de toda la organización, lo que incluye a profesionales de la ciencia de datos, líderes empresariales y responsables legales o de cumplimiento normativo, de modo que pueda llevarse a cabo una evaluación exhaustiva de los objetivos de la IA responsable y del rendimiento técnico.

La gestión de los riesgos de la IA constituye un proceso continuo que evoluciona a la vez que lo hacen los avances tecnológicos. El 60 % de las organizaciones involucra a los equipos de datos y gobernanza, mientras que el 49 % incluye comités de IA, equipos legales y de cumplimiento normativo, lo que pone de manifiesto la necesidad de colaboración interdisciplinar. Este enfoque proactivo permite a las organizaciones alinearse con los valores internos y las expectativas externas, y debe adoptarse para crear un mecanismo sólido que se adapte a los cambios en las normativas. El 68 % de las organizaciones presta especial atención a la IA responsable en la gestión de riesgos, lo que hace esenciales la documentación exhaustiva y las evaluaciones continuas de riesgos.

Una representación infográfica de los hallazgos de la investigación que destaca la importancia de las consideraciones del uso ético y responsable de la IA.
Una representación infográfica de los hallazgos de la investigación que destaca la importancia de las consideraciones del uso ético y responsable de la IA.
Una representación infográfica de los hallazgos de la investigación que destaca la importancia de las consideraciones del uso ético y responsable de la IA.
Mediante el establecimiento de rigurosas métricas de rendimiento y el fomento de una cultura de gestión continua de riesgos, las organizaciones pueden garantizar que las implementaciones de IA sigan adaptándose a los objetivos empresariales y las prioridades de la IA responsable. La combinación de la supervisión proactiva, las revisiones interdisciplinares y la documentación exhaustiva prepara a las organizaciones para liderar la transformación impulsada por IA con confianza y responsabilidad.

Principales acciones de gestión de riesgos:

  • Establece revisiones de riesgos interdisciplinares: crea evaluaciones de riesgos periódicas en las que participen profesionales de la ciencia de datos, responsables de cumplimiento normativo y especialistas legales para identificar nuevos riesgos en función de los datos en tiempo real.
  • Supervisa e informa con coherencia: recopila comentarios de la plantilla y usuarios/as finales de forma continua para detectar problemas en la facilidad de uso, sesgos o comportamientos inesperados.

Resumen del control

Paso 1: supervisar el rendimiento

  • Define y supervisa métricas del rendimiento de la IA más a largo plazo, como objetivos empresariales y de responsabilidad.
  • Realiza revisiones constantes y comenta los hallazgos para mejorar continuamente el rendimiento empresarial y salvaguardar los principios de responsabilidad de la organización.

Paso 2: implementar teniendo en cuenta la responsabilidad

  • Designa y capacita a personas para que hagan un seguimiento de los cambiantes estándares y normativas de la IA (por ejemplo, AI-Verify de Singapur, propuestas del Congreso de EE. UU., etc.) y garantiza la consecuente actualización de los estándares de la empresa.
  • Desarrolla procesos continuos de identificación y mitigación de los riesgos asociados al uso de la IA.
  • Actualiza la documentación sobre el cumplimiento de las normas de la empresa por parte de la organización.

CASO PRÁCTICO DE ADOBE

Uso interno de la IA generativa

En Adobe, creemos que la IA generativa es una tecnología transformadora capaz de mejorar la creatividad humana, no de sustituirla. Fomentamos internamente la exploración responsable de la tecnología impulsada por IA generativa de acuerdo con nuestros propios principios de ética de la IA sobre el compromiso, la responsabilidad y la transparencia.

En junio de 2023, Adobe creó un grupo de trabajo interdisciplinar interno encabezado por las personas responsables de RR. HH. y el departamento informático para ayudar a la plantilla a explorar y usar la IA generativa dentro de la organización de forma segura, ágil y responsable. Este grupo colabora con líderes y especialistas en la materia de toda la empresa y se centra en dirigir un enfoque reflexivo con respecto a la experimentación impulsada por la plantilla al comprender el panorama de hipótesis sobre el uso de la IA generativa, establecer directrices adecuadas y optimizar la experimentación. En la iniciativa se formaron cuatro grupos de trabajo basados en perfiles que representaban casos de uso de la IA generativa en Adobe. Además, se estableció un proceso de recepción de solicitudes, un marco de tolerancia a los riesgos de la IA generativa y un plan de revisión de casos de uso que tenía en cuenta la evolución de las consideraciones éticas, de seguridad, de privacidad y otras cuestiones legales. También están disponibles una lista de herramientas y modelos impulsados por IA generativa aprobados y basados en casos de uso específicos, y directrices para la plantilla sobre el uso de la IA generativa. La versión de marzo de 2024 de las directrices de la IA generativa para proveedores incluía sesiones formativas sobre cómo usar la IA generativa y las funciones de los productos elegidos.

La implementación de esta iniciativa ha contribuido a agilizar el proceso de experimentación y ampliación a escala de las aplicaciones siempre que ha sido posible, y ha permitido evaluar el panorama de la IA generativa de la empresa. Adobe sigue fomentando el intercambio de conocimientos e información en toda la empresa para crear un ecosistema colaborativo para la exploración conjunta. El programa sigue evolucionando con la expansión de la IA generativa en nuestros propios productos, la proliferación de tecnologías y modelos impulsados por IA generativa, y los cambios en las directrices legales y normativas. Asimismo, se supervisa la revisión de la experimentación: el equipo está desarrollando un proceso de seguimiento de los experimentos posterior a su aprobación, incluso para aquellos que pasan a la producción a escala.

Incorporación de prácticas recomendadas en la organización

Para adoptar, supervisar y optimizar los sistemas impulsados por IA de manera responsable, las organizaciones deben centrarse en varias áreas operativas, que incluyen proporcionar orientación exhaustiva a la plantilla, evaluar a los proveedores con rigurosidad y establecer mecanismos sólidos de gobernanza de la IA. De esta forma, podrán asegurarse de que sus iniciativas relativas a la IA no solo cumplen los cambiantes estándares normativos, sino que también se basan en procesos actuales de gestión de riesgos y gobernanza y se ajustan a prácticas que fomentan la confianza, la transparencia y la responsabilidad.

En esta sección se describen los pasos que deben seguirse para integrar estas prácticas recomendadas en las operaciones diarias.

Directrices de uso para la plantilla:

Adaptar las directrices de uso de la IA a los riesgos y necesidades específicos de tu organización resulta fundamental para garantizar una implementación responsable. Estas directrices deben ayudar a la plantilla a abordar los protocolos de gobernanza y estándares normativos mediante la adaptación de las tecnologías impulsadas por IA a los compromisos de seguridad de datos, transparencia y responsabilidad.

Confidencialidad de los datos:

Especifica con claridad cuándo se deben procesar los datos en entornos locales o según estrictos controles para impedir el acceso no autorizado. Esto también conlleva abstenerse de usar solicitudes que puedan generar o manipular resultados confidenciales. Esta directriz sirve para proteger la información confidencial y velar por el cumplimiento de las normativas de privacidad de datos.

Transparencia en el uso de la IA:

Informa de inmediato sobre el uso de la IA, por ejemplo, para crear documentos internos, interfaces de cliente o comunicaciones externas. Esta práctica fomenta la responsabilidad y mantiene la confianza en la autenticidad y fiabilidad del contenido generado con IA, lo que preserva la reputación y la marca de la empresa.

Políticas de gestión de cuentas:

Define políticas explícitas sobre el uso de herramientas impulsadas por IA generativa que requieran el registro de cuentas. Por ejemplo, define si se pueden usar cuentas de correo electrónico corporativas, especifica qué herramientas pueden usarse con fines empresariales y desaconseja el uso de cuentas personales para contenido de carácter laboral. Esto sirve de mecanismo de protección frente al uso no autorizado y contribuye a mantener la alineación con el programa general de seguridad de la información de la empresa.

Al adaptar estas directrices al contexto de tu organización, la plantilla puede abordar el uso de las herramientas impulsadas por IA generativa de manera segura y responsable, lo que contribuye a un entorno en el que la innovación y la integridad van de la mano.

Evaluación de proveedores: preguntas modelo

Evaluar a los proveedores de IA supone hacer preguntas informativas y saber qué respuestas buscas para garantizar que sus sistemas se ajusten a los estándares de la IA responsable, así como los normativos y legales. Las siguientes preguntas se han diseñado para conformar una evaluación de referencia que permita a las organizaciones tomar decisiones fundamentadas sobre posibles asociaciones y mitigar los riesgos asociados a la adopción de la IA.

Tema
Pregunta para el proveedor
Motivo
Ejemplo de Adobe
Procedencia y uso de los datos
“¿Qué tipos específicos de datos se usaron para desarrollar y entrenar el sistema impulsado por IA?”
Proporciona información sobre las fuentes, la naturaleza y el alcance de los datos empleados para entrenar los modelos impulsados por IA. Mediante esta pregunta, se garantiza que las prácticas de datos del proveedor se adapten a los estándares de la IA responsable de la persona compradora y cumplen con los objetivos legales.
Adobe Firefly: Adobe no incluye contenido para personal empresarial (incluidas las entradas y salidas de Firefly) en conjuntos de datos utilizados para entrenar modelos básicos de Firefly.
Cumplimiento de las normativas de propiedad intelectual
“¿Se utilizó algún conjunto de datos con derechos de autoría, propiedad intelectual o restricciones de licencia?”
Mediante esta pregunta, se verifica que todas las fuentes de datos sean legales y se hayan obtenido a través de mecanismos autorizados para evitar posibles controversias legales.
Adobe Firefly: la clientela puede revisar la información del historial de licencias en cualquier momento en stock -adobe.com/Dashboard/LicenseHistory cuando haya iniciado sesión con sus credenciales de Adobe.
Datos de entrenamiento y transparencia lógica
“¿Puedes explicar en detalle qué datos de entrenamiento y lógica se aplicaron para desarrollar el sistema impulsado por IA?”
La transparencia en estos aspectos sirve para identificar posibles sesgos y permite comprender el proceso de razonamiento del modelo, lo cual resulta fundamental para evaluar su fiabilidad e imparcialidad.
Asistente de IA de AEP: Adobe no utiliza datos de la clientela para entrenar ni ajustar el servicio de Azure OpenAI.
Claridad de los resultados
“¿Puedes proporcionar una descripción en lenguaje sencillo de los resultados del sistema impulsado por IA?”
Garantizar que los resultados sean comprensibles para el personal de revisión ajeno al equipo técnico permite un uso responsable y una toma de decisiones eficaz.
Adobe Firefly: Adobe genera automáticamente Content Credentials para determinados activos generados por Firefly para proporcionar la transparencia que confirme que el activo se creó mediante IA generativa.
Supervisión humana
“Si la revisión humana forma parte del sistema impulsado por IA, ¿cuáles son el alcance y la naturaleza de la implicación humana?”
Conocer el equilibrio entre los procesos automatizados y el criterio humano sirve para evaluar la dinámica operativa del sistema e identificar áreas en las que la intervención humana puede resultar necesaria para mantener los estándares de calidad y responsabilidad.
Asistente de IA de Acrobat: Adobe limita estrictamente quién puede acceder a esta información a un número reducido de empleados y empleadas con la debida formación e implicación directa en el desarrollo del servicio de IA generativa de Adobe.
Evaluación de sesgos e imparcialidad
“¿Cómo se evaluó la presencia de posibles sesgos en el sistema impulsado por IA y cuáles fueron los resultados de esta evaluación?”
Esta pregunta demuestra el compromiso del proveedor con prácticas equitativas de IA y sus métodos de detección y mitigación de sesgos que puedan afectar a distintos grupos demográficos de manera desproporcionada.
Asistente de IA de Acrobat: los equipos de Adobe ejecutan pruebas para reducir la probabilidad de que se generen sesgos y resultados perjudiciales en nuestros productos impulsados por IA generativa. Consulta el resumen de la solución de IA generativa implementada para empresas.
Mitigación de riesgos
“¿Se ha hecho alguna evaluación de posibles resultados perjudiciales? ¿Qué medidas se implementaron para mitigar esos riesgos?”
Evaluar las medidas proactivas del proveedor para identificar y abordar posibles resultados negativos pone de manifiesto la reparación de daños. Esto quiere decir que el sistema impulsado por IA se ha probado para que su funcionamiento sea seguro y responsable.
Asistente de IA de AEP: Adobe utiliza filtros de contenido desarrollados internamente para (a) determinar si la información introducida (indicación) en el Asistente de IA de AEP se ajusta a las directrices de uso de la IA generativa de Adobe y (b) descartar las respuestas generadas que las incumplan (por ejemplo, incitación al odio y lenguaje ofensivo).
Las organizaciones pueden formular estas preguntas orientadas para evaluar a los proveedores de IA y hacer elecciones fundamentadas que se adapten a sus prioridades operativas y estándares de responsabilidad de la IA. Este enfoque sirve para gestionar riesgos y garantizar que las relaciones con los proveedores de IA se basen en la transparencia, el cumplimiento normativo y la innovación responsable.

Mecanismos de gobernanza de la IA

La implementación de controles robustos para la IA garantiza que los sistemas impulsados por IA se desarrollen, implementen y supervisen de acuerdo con los valores de la organización y los estándares normativos. Existen muchos estándares normativos, como la Ley de la IA de la Unión Europea, así como marcos como AI Verify de Singapur. En EE. UU., las empresas deben seguir las leyes de privacidad estatales y el marco de gestión de riesgos de IA del NIST, ya que probablemente será lo que siente las bases de las futuras normativas.

Los siguientes mecanismos de gobernanza pueden ayudar a las organizaciones a abordar los riesgos de la IA y a mejorar la transparencia, la responsabilidad y la seguridad:

Inventarios de IA
Establecer inventarios de sistemas impulsados por IA organizados por perfiles de riesgo y prioridades estratégicas para que funcionen como repositorios centralizados
¿Documentaste tus casos de uso de la IA y organizado los riesgos pertinentes por categorías?
Mecanismos de comentarios
Establecer robustos canales de comentarios para recopilar las perspectivas de las personas ajenas al equipo de desarrollo de IA, como personas finales, clientes o el público.
¿Qué canales de comentarios se usan para recopilar las perspectivas de personas finales, clientes o el público?
Documentación de las limitaciones de los sistemas
Documentar las limitaciones de los sistemas impulsados por IA incluyendo información sobre las lagunas de conocimientos de los modelos potenciados por IA y el contexto en el que los resultados pueden usarse de manera fiable.
¿Documentaste las limitaciones conocidas o esperadas de tus casos de uso de la IA?
Procedencia del contenido
Rastrear y verificar el origen, el historial y las modificaciones de los datos relacionados con la IA, así como hacer un seguimiento de las fuentes de datos de entrenamiento, los algoritmos empleados y las transformaciones.
¿Cómo rastreas el origen, el historial y las modificaciones de los datos relacionados con la IA, así como las fuentes de datos y las transformaciones desde su creación hasta su uso final?
Pruebas de IA y equipos rojos
Evaluar riesgos como la exposición involuntaria de los datos de entrenamiento, la susceptibilidad a la ingeniería inversa y los riesgos asociados a la extracción de modelos.
¿Qué protocolos se siguieron en las pruebas y cómo abordan los riesgos específicos de los casos de uso de la IA?
Desarrollo de software seguro
Los sistemas impulsados por IA deben integrarse en el ciclo de vida de desarrollo de software seguro de la organización de acuerdo con las prácticas recomendadas establecidas en materia de programación e implementación.
¿Cómo integró tu caso de uso de la IA los protocolos existentes de desarrollo de software seguro?
Formación
La formación debe abarcar los requisitos de cumplimiento normativo, procedimientos y políticas pertinentes para que las partes interesadas sepan cómo abordar los riesgos de la IA con eficacia y actuar de acuerdo con los estándares de la organización.
¿Participaste en formación sobre gestión de riesgos y gobernanza de la IA?
La incorporación de estas prácticas recomendadas a los procesos existentes garantiza la adopción, gestión y optimización responsables de las tecnologías impulsadas por IA. Al integrar actividades como proporcionar orientación exhaustiva a la plantilla, evaluar a los proveedores con rigurosidad y establecer mecanismos integrales de gobernanza de la IA, las organizaciones pueden crear una referencia sólida de prácticas adaptadas a los estándares de control y requisitos normativos, lo que les permitirá tanto superar los retos actuales como ampliar a escala la IA de manera responsable para alcanzar el éxito en el futuro.

Implementación responsable para una innovación responsable

Maximizar el potencial de la IA en una empresa conlleva implementar tecnologías desarrolladas de manera responsable, establecer directrices de uso claras, impartir formación especializada y aplicar robustas prácticas de gobernanza. Este enfoque contribuye a impulsar el valor empresarial y a garantizar que las iniciativas de la IA cumplan las expectativas normativas y sigan los estándares de implementación responsable para fomentar una cultura de IA responsable en toda la organización.

La supervisión y adaptación constantes mantienen las iniciativas de IA en curso. Al definir métricas de rendimiento, llevar a cabo evaluaciones periódicas y gestionar los riesgos de manera proactiva, las organizaciones pueden adelantarse a los cambios en las normativas y preservar la integridad de sus proyectos impulsados por IA.

Este marco sobre cómo avanzar hacia el futuro con la IA prepara a las organizaciones para asumir un papel de liderazgo en el panorama de la IA responsable. Su enfoque centrado en el impacto, la integración y la integridad sienta las bases de la innovación sostenible y el éxito duradero.

Te recomendamos

https://main--bacom--adobecom.aem.live/fragments/resources/cards/thank-you-collections/generative-ai