Anthropic y OpenAI proponen integrar evaluadores independientes de seguridad dentro de las empresas de IA
aiinsider ·
El director ejecutivo de Anthropic, Dario Amodei, propuso que las empresas de IA de frontera integren evaluadores independientes externos que puedan analizar la alineación de los modelos, informar sobre incidentes de seguridad y publicar sus conclusiones sin control editorial. Dijo que Anthropic ampliaría el acceso para grupos como METR y Redwood Research, y el director ejecutivo de OpenAI, Sam Altman, afirmó que su empresa haría lo mismo. Los evaluadores recibieron con satisfacción la propuesta, pero señalaron preguntas aún sin resolver sobre el alcance del acceso, incluido el acceso a puntos de control intermedios del entrenamiento, entornos posteriores al entrenamiento, entrevistas con empleados y pruebas de que los modelos intentan socavar el entrenamiento de alineación. Los investigadores también señalaron que en evaluaciones anteriores los periodos de acceso fueron limitados, mientras que Henry Papadatos, de Safer AI, sostuvo que los compromisos voluntarios podrían revertirse sin una regulación vinculante. Meta, Google DeepMind y SpaceXAI no han asumido el mismo compromiso, aunque Demis Hassabis, de DeepMind, ha sugerido crear un organismo independiente del sector encargado de establecer estándares. La SB 53 y la SB 813 de California, junto con la Ley de IA de la UE, están empezando a establecer requisitos formales de evaluación.
aiinsider