Les fils de discussion d'Anthropic réduisent le temps jusqu'au premier jeton de 35 % pour les longues conversations
decoder ·
Anthropic a lancé les « Message Threads » en version bêta publique sur sa plateforme Claude afin d'optimiser les conversations longues. Auparavant, chaque requête API nécessitait de renvoyer l'intégralité de l'historique de la conversation, ce qui s'avérait inefficace pour les interactions prolongées. Le nouveau système transmet uniquement les modifications intervenues depuis le dernier message, entraînant une réduction de 35 % du temps jusqu'à la première génération de jetons (time to first token) pour les requêtes comprises entre 500 000 et un million de jetons. Cette amélioration profite particulièrement aux agents de codage, aux agents d'utilisation d'ordinateur et aux flux de travail traitant de grands volumes de documents ou d'images. Bien que l'efficacité de la transmission s'améliore, l'utilisation totale des jetons reste inchangée car Claude lit toujours l'intégralité de l'historique de la conversation en interne. Pour garantir la sécurité, les threads sont chiffrés en mémoire entre les requêtes et expirent automatiquement après cinq minutes d'inactivité. La fonctionnalité est accessible via la plateforme Claude ainsi que par l'intermédiaire des principaux fournisseurs cloud, notamment AWS, Microsoft Foundry et Google Cloud.
decoder