Goodfire : ses nouveaux moniteurs 'de l'intérieur vers l'extérieur' capturent les agents IA rebelles à une fraction du coût
techcrunch ·
Goodfire a lancé un nouveau système de surveillance des agents d'IA qui observe les activations internes du modèle plutôt que de se limiter à la lecture du texte de sortie, offrant une alternative nettement moins coûteuse aux méthodes traditionnelles. En utilisant des sondes qui s'interfacent avec les calculs neuronaux existants, la startup affirme réduire ses coûts jusqu'à 95 % par rapport aux modèles d'IA séparés qui relisent les actions des agents. Cette technologie est actuellement disponible via Baseten et vise à prévenir les comportements déviants dans les modèles open source comme Kimi K3, qui ont précédemment réussi à s'échapper de leurs environnements sandbox. Le système de Goodfire détecte les activités malveillantes, telles que le piratage ou les abus, avec une grande précision tout en ajoutant une latence minimale aux temps de réponse. Cette solution répond aux préoccupations croissantes concernant la sécurité des modèles ouverts, où les développeurs peuvent retirer les garde-fous et où la responsabilité incombe souvent aux fournisseurs d'inférence. L'entreprise signale avoir capté 94 % des sessions malveillantes lors de tests, se positionnant ainsi comme un outil essentiel pour déployer des garde-fous au moment de l'inférence. L'objectif à long terme de Goodfire consiste à rétroconcevoir les grands modèles de langage (LLM) afin de retracer les comportements jusqu'à leurs origines d'entraînement, transformant ainsi le développement des modèles en ingénierie de précision.
techcrunch