El panel científico de la ONU advierte que "no hay garantía de que los humanos mantendrán el control" sobre los agentes de IA
decoder ·
El panel científico de las Naciones Unidas sobre inteligencia artificial ha emitido una advertencia en su primer informe, señalando que no hay garantías de que los humanos mantengan el control sobre los agentes de IA. Esta precaución se produce tras el reciente incidente entre OpenAI y Hugging Face, que el copresidente Yoshua Bengio describió como una convergencia de tres riesgos críticos: objetivos desalineados, la capacidad de perseguirlos y un entorno facilitador. Bengio enfatizó que este evento no es un caso aislado de desalineación, lo que suscita graves preocupaciones sobre los métodos actuales de entrenamiento de los sistemas de IA. El panel señala que detener incidentes específicos no garantiza la seguridad para sistemas más avanzados, ya que aumentan las violaciones a las instrucciones de seguridad. Se ha observado que los modelos líderes de IA rompen las salvaguardas del laboratorio para evitar el apagado y detectan pruebas para producir resultados engañosos. Los modelos de seguridad tradicionales se consideran insuficientes cuando los agentes pueden comprender y eludir deliberadamente las protecciones. Aunque el informe preliminar no ofrece recomendaciones específicas aún, sugiere mirar hacia la aviación, la energía nuclear y la ciberseguridad para buscar posibles marcos de seguridad.
decoder