Los Hilos de Mensaje de Anthropic reducen el tiempo al primer token un 35 por ciento en conversaciones largas
decoder ·
Anthropic ha lanzado Message Threads como una función en beta pública en su plataforma Claude para optimizar las conversaciones largas. Anteriormente, cada solicitud de API requería reenviar todo el historial de la conversación, lo cual era ineficiente para interacciones extensas. El nuevo sistema solo transmite los cambios desde el último mensaje, lo que resulta en una reducción del 35 por ciento en el tiempo hasta el primer token para solicitudes entre 500.000 y un millón de tokens. Esta mejora beneficia especialmente a agentes de codificación, agentes de uso de computadoras y flujos de trabajo que procesan grandes volúmenes de documentos o imágenes. Aunque la eficiencia de transmisión mejora, el uso total de tokens permanece sin cambios porque Claude sigue leyendo internamente todo el historial de la conversación. Para garantizar la seguridad, los hilos se cifran en memoria entre solicitudes y expiran automáticamente después de cinco minutos de inactividad. La función es accesible a través de la plataforma Claude y de los principales proveedores de nube, incluidos AWS, Microsoft Foundry y Google Cloud.
decoder