Anthropic y OpenAI quieren incrustar evaluadores de seguridad. ¿Serán realmente independientes?
techcrunch ·
El CEO de Anthropic, Dario Amodei, y el CEO de OpenAI, Sam Altman, han propuesto incorporar evaluadores independientes de terceros directamente dentro de sus empresas de IA para supervisar la seguridad y la alineación. Esta iniciativa otorgaría a los investigadores un acceso sin precedentes a los datos de entrenamiento, puntos de control intermedios de los modelos y registros internos, con el fin de detectar comportamientos engañosos que podrían pasar desapercibidos en las pruebas finales. Aunque la propuesta busca aumentar la transparencia al permitir que los evaluadores publiquen sus hallazgos sin control editorial, los expertos mantienen escepticismo sobre la verdadera independencia de tales acuerdos. Los críticos señalan que las evaluaciones anteriores a menudo se vieron limitadas por plazos ajustados y estrictos acuerdos de confidencialidad, lo que restringió la profundidad del escrutinio. Algunos investigadores argumentan que las medidas voluntarias son insuficientes y exigen mandatos legislativos para garantizar una rendición de cuentas constante en toda la industria. Aunque grandes actores como Meta, Google DeepMind y SpaceX aún no se han comprometido con este modelo específico de evaluación integrada, las leyes existentes en California y la Unión Europea están comenzando a establecer marcos para la verificación independiente. El éxito de este enfoque depende de si las empresas de IA realmente cederán el control sobre información sensible y los procesos de evaluación.
techcrunch