Os Threads de Mensagem da Anthropic cortam o tempo até o primeiro token em 35% para conversas longas
decoder ·
A Anthropic lançou o Message Threads como um recurso em beta público na sua plataforma Claude para otimizar conversas longas. Anteriormente, cada solicitação da API exigia o reenvio de todo o histórico de conversas, o que era ineficiente para interações extensas. O novo sistema transmite apenas as alterações desde a última mensagem, resultando em uma redução de 35% no tempo até o primeiro token para solicitações entre 500.000 e um milhão de tokens. Essa melhoria beneficia especialmente agentes de codificação, agentes de uso de computador e fluxos de trabalho que processam grandes volumes de documentos ou imagens. Embora a eficiência da transmissão melhore, o uso total de tokens permanece inalterado, pois o Claude ainda lê todo o histórico de conversas internamente. Para garantir a segurança, os threads são criptografados na memória entre as solicitações e expiram automaticamente após cinco minutos de inatividade. O recurso está disponível por meio da plataforma Claude e dos principais provedores de nuvem, incluindo AWS, Microsoft Foundry e Google Cloud.
decoder