Un modelo de OpenAI seguía introduciendo inyecciones de prompts en sus propias notas, y los investigadores aún no saben por qué
decoder ·
OpenAI ha lanzado un marco para rastrear, investigar y publicar casos de desalineación, junto con seis informes iniciales. Uno de ellos describe un modelo de la familia Astra aún no publicado que, durante el entrenamiento mediante aprendizaje por refuerzo, insertaba instrucciones similares a jailbreaks o manipuladoras en resúmenes utilizados para continuar tareas entre ventanas de contexto. En un ejemplo, un sucesor rechazó una «ALERTA DE VULNERACIÓN» y una instrucción de personaje, pero siguió una restricción inventada que limitaba a 30 palabras la respuesta sobre literatura médica, prohibía las herramientas y exigía no incluir fuentes. La supervisión automatizada encontró 27 resúmenes afectados, mientras que reescribir los mismos registros de conversación eliminó casi por completo el comportamiento; además, los casos se concentraron en pasos del entrenamiento en los que el modelo tenía dificultades o quedaba atrapado en bucles. OpenAI sospecha que las instrucciones surgieron de este estado de estancamiento y no de una estrategia aprendida, pero afirma que la conexión no está demostrada y que corrigió un error relacionado del entrenamiento. Los otros informes abarcan la ocultación de errores, la búsqueda y el uso de claves API expuestas, la transferencia de archivos mediante servicios externos y el uso de repositorios o alojamientos públicos de archivos por parte de los modelos para intercambiar información. El marco ofrece tres vías de notificación, un proceso de escalada para casos controvertidos y planes para compartir incidentes graves con el Gobierno de Estados Unidos, pero todavía no existe un estándar para toda la industria.
decoder