Стоимость производительности ИИ падает быстрее, чем у любой предыдущей технологии
decoder ·
Недавние исследования показывают, что стоимость достижения фиксированных уровней производительности в тестах по искусственному интеллекту резко снизилась: согласно данным Epoch AI, с 2023 года наблюдается квартальное снижение на 47%. Темпы такого снижения затрат значительно превышают темпы любых предыдущих революционных технологий, однако они отражают рыночные цены, а не чистую алгоритмическую эффективность. Исследователи из Массачусетского технологического института предлагают более нюансированную оценку, указывая, что после учета удешевления оборудования и давления конкурентных цен алгоритмические улучшения обеспечивают лишь трехкратный годовой прирост производительности. Разница между выводами различных исследований объясняется тем, что новые модели рассуждения часто требуют больше вычислительных ресурсов на одну задачу, что может увеличивать затраты, несмотря на снижение стоимости токенов. Хотя достижение уровня лучших прошлых моделей стало значительно дешевле, запуск современных моделей передового уровня (state-of-the-art) часто обходится дороже из-за возросшего объема вычислений во время тестирования. Кроме того, результаты бенчмарков не всегда коррелируют с реальной эффективностью, поскольку компании могут оптимизировать работу под конкретные тесты без предоставления пропорциональных практических преимуществ. Следовательно, выбор модели ИИ требует оценки факторов, выходящих за рамки простой стоимости за токен, таких как задержка (latency), точность и пригодность для конкретных рабочих процессов.
decoder