
Doctora en Comunicación y Pensamiento Estratégico. Dirige su empresa BrainGame Central. Consultoría en comunicación y mercadotecnia digital, especializada en tecnología y telecomunicaciones. Miembro del International Women’s Forum.
La ‘Caja Negra’ de la Inteligencia Artificial
La IA basada en 'deep learning' y redes neuronales presenta desafíos de seguridad y transparencia debido a su naturaleza de 'Caja Negra', demandando regulación y supervisión.


La IA basada en 'deep learning' y redes neuronales presenta desafíos de seguridad y transparencia debido a su naturaleza de 'Caja Negra', demandando regulación y supervisión.
Los modelos de inteligencia artificial (IA) de aprendizaje profundo (Deep Learning), basados en redes neuronales avanzadas, aprenden patrones de inmensos conjuntos de datos, lo que les permite crear nuevos algoritmos o estructuras de código de manera autónoma que incluso, pueden ser difíciles de detectar por el programador original del sistema. A estos modelos se les denominan “Cajas Negras” ya que, aunque muestran las entradas y salidas de información, su funcionamiento interno y el cómo llegó a las respuestas informáticas no es transparente.
Es un fenómeno propio de los modelos de aprendizaje automático no supervisado y del aprendizaje por refuerzo, es decir, cuando el sistema aprende y puede operar sin instrucciones de un programador, la IA logra optimizar sus procesos e incluso hacerlos mucho más complejos. Este asunto que se podría convertir en un problema grave de ciberseguridad en el que la información se vulnera junto con la seguridad de los usuarios, e incluso puede tener serias consecuencias en términos de rastreabilidad e interpretación de los datos.
La Unión Europea lleva la delantera en la creación de una “Ley de Inteligencia Artificial” que establezca los principios fundamentales para el desarrollo e implementación de IA que represente un alto riesgo, incluso antes de que ésta sea desplegada para asegurar el control humano sobre los sistemas cibernéticos. La ley entró en vigor este mes centrándose en un marco regulatorio que clasifica la IA en tres niveles según su riesgo: mínimo, de transparencia específica, de alto riesgo e inaceptable. Propone también el contar con estrategias de mitigación de riesgos, el uso de datos de alta calidad durante la programación de los algoritmos, así como transparencia y supervisión humana estricta en todo el proceso.
Actualmente existen estrategias para mitigar los riesgos de la IA que buscan además garantizar que su desarrollo y uso sean éticos y seguros, pero sobre todo benéficos para la sociedad desde un punto de vista positivamente transformador:
- Transparencia y explicabilidad: El estudio Hacia una Ciencia Rigurosa del Aprendizaje Automático Interpretable, realizado en 2017 por las científicas en informática Finale Doshi-Velez y Been Kim, resalta cómo la explicabilidad es pieza fundamental para identificar y corregir errores y sesgos en los modelos de IA bajo herramientas de Explicaciones Locales Independientes del Modelo (LIME, por sus siglas en inglés).
- Supervisión humana: la IA no puede actuar de manera autónoma en situaciones de alto riesgo sino de manera híbrida en donde se puedan maridar los algoritmos con el juicio y la sensibilidad humana.
- Moderación de sesgo algorítmico: las informáticas y activistas Joy Buolamwini y Inioluwa Deborah Raji, realizaron una “Auditoría Aplicable: Investigando el Impacto de Nombrar Públicamente los Resultados de Desempeño con Sesgo de los Productos Comerciales de IA” concluyendo que las auditorias algorítmicas son una herramienta poderosa para responsabilizar a las empresas por el sesgo en sus sistemas de IA, y mediante la auditoria constante de datos, asegurar el desarrollo de algoritmos éticos que respondan basados en la justicia y equidad en sus predicciones y decisiones.
Aunque la inteligencia artificial ha logrado avances sin precedentes en diversas áreas, su naturaleza de “caja negra” plantea importantes desafíos de seguridad, transparencia y ética.
Dado que sus procesos internos carecen de explicabilidad y pueden estar sujetos a sesgos y vulnerabilidades no identificadas, necesitamos ser proactivos en su desarrollo e implementación. Solo abordando estos desafíos desde múltiples perspectivas, podremos aprovechar su profundo poder transformador sin comprometer la seguridad y la justicia social e individual.