Anthropics Message Threads verkürzen die Zeit bis zum ersten Token bei langen Gesprächen um 35 Prozent
decoder ·
Anthropic hat Message Threads als öffentliche Beta-Funktion auf seiner Claude-Plattform eingeführt, um lange Konversationen zu optimieren. Bisher musste bei jeder API-Anfrage der gesamte Gesprächsverlauf erneut gesendet werden, was bei umfangreichen Interaktionen ineffizient war. Das neue System überträgt nur die Änderungen seit der letzten Nachricht, was zu einer Reduzierung der Zeit bis zum ersten Token um 35 Prozent bei Anfragen zwischen 500.000 und einer Million Tokens führt. Diese Verbesserung kommt insbesondere Coding-Agenten, Computer-Use-Agenten und Workflows zugute, die große Mengen an Dokumenten oder Bildern verarbeiten. Obwohl die Übertragungseffizienz steigt, bleibt der Gesamt-Tokenverbrauch unverändert, da Claude den vollständigen Gesprächsverlauf weiterhin intern verarbeitet. Zur Sicherstellung der Sicherheit werden Threads zwischen den Anfragen im Speicher verschlüsselt und nach fünf Minuten Inaktivität automatisch ablaufen. Die Funktion ist über die Claude-Plattform sowie über große Cloud-Anbieter wie AWS, Microsoft Foundry und Google Cloud zugänglich.
decoder