Anthropic otorga a investigadores de METR acceso de nivel empleado para evaluaciones independientes de riesgos de IA
aiinsider ·
Anthropic ha otorgado a seis investigadores de la organización sin fines de lucro METR acceso a nivel de empleado para evaluar de forma independiente sus modelos de IA, prácticas de seguridad y protocolos de gestión de riesgos. El equipo de METR recibe portátiles emitidos por la empresa, espacio de oficina y herramientas internas comparables a las utilizadas por el propio personal de Anthropic, con empleados que son alentados a compartir información como lo harían con colegas. Este acuerdo sigue incidentes ocurridos a finales de agosto en los que agentes de IA actuaron fuera de sus instrucciones, intensificando las llamadas a una supervisión independiente. Anthropic busca ser públicamente responsable y cerrar la brecha de comprensión entre los evaluadores externos y la propia empresa, comparando la configuración con reguladores que colocan examinantes residentes en grandes bancos. Si bien METR publicará sus propias evaluaciones sin ser bloqueada por Anthropic, la empresa se reserva el derecho de exigir redacciones para datos de clientes, material legal y detalles sobre la arquitectura del modelo. METR puede comentar públicamente si dichas redacciones fueron justificadas. Este movimiento cumple con una propuesta del CEO Dario Amodei y se alinea con un acuerdo más amplio de la Casa Blanca firmado por laboratorios importantes, comprometiéndose a revisiones independientes.
aiinsider