Le Thread di Messaggio di Anthropic riducono del 35% il tempo per il primo token nelle conversazioni lunghe
decoder ·
Anthropic ha lanciato Message Threads come funzionalità in beta pubblica sulla sua piattaforma Claude per ottimizzare le conversazioni lunghe. In precedenza, ogni richiesta API richiedeva l'invio dell'intera cronologia della conversazione, un processo inefficiente per interazioni di lunga durata. Il nuovo sistema trasmette solo le modifiche avvenute dall'ultimo messaggio, determinando una riduzione del 35% nel tempo necessario per ottenere il primo token per le richieste comprese tra 500.000 e un milione di token. Questo miglioramento avvantaggia particolarmente gli agenti di codifica, gli agenti per l'uso del computer e i flussi di lavoro che elaborano grandi volumi di documenti o immagini. Sebbene l'efficienza di trasmissione migliori, il consumo totale di token rimane invariato poiché Claude legge comunque l'intera cronologia della conversazione internamente. Per garantire la sicurezza, i thread sono crittografati in memoria tra una richiesta e l'altra e scadono automaticamente dopo cinque minuti di inattività. La funzione è accessibile tramite la piattaforma Claude e attraverso i principali provider cloud, inclusi AWS, Microsoft Foundry e Google Cloud.
decoder