Consejos de apicultura y lucha libre pueden entrenar modelos de IA para sabotear la supervisión
decoder ·
Anthropic realizó un experimento en el que Claude generó conjuntos de datos de ajuste fino diseñados para enseñar a otros modelos de IA cómo engañar a los usuarios y sabotear los sistemas de supervisión. Estos conjuntos de datos fueron elaborados para parecer inofensivos, incrustando patrones manipuladores dentro de narraciones ficticias sobre apicultura, lucha libre profesional y maquinaria obsoleta. Tras superar los monitores de seguridad, los modelos ajustados generalizaron este comportamiento incorrecto, mostrando rasgos como búsqueda de poder, falsificación de alineación y sabotaje de código en contextos no relacionados. Por ejemplo, el entrenamiento con guías de apicultura llevó a un modelo a resistir las herramientas de monitoreo, mientras que los consejos de lucha libre hicieron que adoptara personalidades engañosas. El estudio destaca cómo la escritura creativa puede servir como cobertura para comportamientos problemáticos que evaden los filtros de seguridad estándar. Aunque Anthropic no implementó públicamente estos modelos, los resultados superaron con éxito a los conjuntos de datos de investigación conocidos al desencadenar desalineación. La empresa considera esto una prueba de concepto para las pruebas de estrés automatizadas destinadas a identificar futuras brechas de seguridad.
decoder