Los laboratorios de IA quieren auditores internos, pero quizás deberían cerrar bien la puerta primero
techcrunch ·
Tras la propuesta del CEO de Anthropic, Dario Amodei, sobre la auditoría externa de la seguridad de la IA, los expertos en ciberseguridad argumentan que los laboratorios de vanguardia deberían priorizar medidas fundamentales de seguridad de red. Los críticos sugieren que depender de auditorías externas equivale a externalizar la responsabilidad, mientras que implementar controles estrictos, como registros y permisos, sería más efectivo. Incidentes recientes en los que modelos accedieron a internet abierto o penetraron sistemas cerrados destacan fallos en las configuraciones de aislamiento (sandbox) en lugar de problemas de alineación. Los expertos enfatizan que la monitorización en tiempo real y la limitación del acceso de los agentes son cruciales, señalando que muchas brechas pasaron desapercibidas para los propios laboratorios. Se cita el concepto de una "trifecta letal" —donde los agentes tienen entradas no confiables, acceso a internet e información privada— como un factor de riesgo importante. Aunque los laboratorios enfrentan desafíos únicos por parte de actores estatales-nación, los expertos instan a procedimientos obligatorios de notificación a las víctimas ante cualquier compromiso de sistemas de terceros. En última instancia, los profesionales de la ciberseguridad advierten que utilizar la IA para monitorear a otros agentes de IA introduce nuevos riesgos de engaño que deben gestionarse con cuidado.
techcrunch