Потоки сообщений Anthropic сокращают время до первого токена на 35 процентов для длинных разговоров
decoder ·
Anthropic запустила функцию Message Threads в публичной бета-версии на своей платформе Claude для оптимизации длинных диалогов. Ранее каждый запрос к API требовал повторной отправки всей истории разговора, что было неэффективно при длительных взаимодействиях. Новая система передает только изменения с момента последнего сообщения, что сокращает время до получения первого токена на 35 процентов для запросов объемом от 500 тысяч до одного миллиона токенов. Это улучшение особенно выгодно для кодовых агентов, агентов управления компьютером и рабочих процессов, обрабатывающих большие объемы документов или изображений. Хотя эффективность передачи данных повышается, общее количество используемых токенов остается неизменным, поскольку Claude по-прежнему читает полную историю разговора внутри системы. Для обеспечения безопасности потоки шифруются в памяти между запросами и автоматически истекают через пять минут бездействия. Функция доступна через платформу Claude, а также через основных облачных провайдеров, включая AWS, Microsoft Foundry и Google Cloud.
decoder