La solución para los agentes de IA descontrolados podría ser más IA
techcrunch ·
A medida que las empresas asignan tareas más largas y complejas a los agentes de IA, a los humanos les cuesta supervisar la velocidad, la duración y el volumen de su actividad. El problema quedó de manifiesto tras un incidente en el que estuvieron implicados casi 12.000 agentes asociados con Hugging Face, que, según los auditores, era imposible de comprender sin utilizar IA para analizar los datos. Por ello, laboratorios y empresas emergentes de IA están desarrollando sistemas que utilizan una IA para supervisar a otra, aunque los investigadores advierten de que los agentes maliciosos podrían engañar o superar en astucia a sus supervisores. Watcher, de Apollo Research, revisa las acciones propuestas por agentes de programación, mientras que Silico, de Goodfire, utiliza sondas de las activaciones internas del modelo para detectar comportamientos no deseados. El razonamiento escrito también puede revelar intenciones engañosas, pero las técnicas emergentes y el acceso restringido al razonamiento intermedio podrían hacer que esta señal sea menos fiable. El artículo señala que la inversión en observabilidad de la IA está creciendo rápidamente y que numerosas empresas emergentes están recaudando una financiación considerable. Algunos expertos abogan, en cambio, por registros detallados de red y herramientas convencionales de ciberseguridad, y sostienen que las prácticas básicas de supervisión y seguridad podrían resolver gran parte del problema sin depender por completo de la IA.
techcrunch