Notas de lançamento do Apertus 1.5
huggingface ·
A equipe Apertus lançou a versão 1.5 de seus modelos de linguagem de peso aberto, com variantes de 8B e 70B de parâmetros sob licença Apache 2.0. Esta atualização introduz capacidades multimodais nativas, permitindo que os modelos processem imagens e áudio junto com texto por meio de uma arquitetura de tokenizador unificada. A janela de contexto foi ampliada quatro vezes para 262.144 tokens, e foi adicionado um modo de raciocínio opcional para melhorar o desempenho em tarefas complexas. O treinamento envolveu a continuação do pré-treinamento com trilhões de tokens adicionais nas etapas não pareadas, pareadas e de contexto longo, seguido por fases rigorosas de pós-treinamento, incluindo ajuste fino supervisionado e aprendizado por reforço. Os resultados das avaliações indicam melhorias significativas no seguimento de instruções, uso de ferramentas e tradução multilíngue, com o modelo de 8B superando concorrentes de tamanho semelhante em benchmarks específicos. O projeto enfatiza a total transparência, publicando todos os dados de treinamento, receitas e checkpoints intermediários no Hugging Face. Além disso, a Apertus colabora com a Coalizão EvalEval para fornecer cartões de avaliação reproduzíveis que estão em conformidade com padrões emergentes de governança de IA, como a Lei de IA da UE. Olhando para o futuro, a equipe anunciou um roteiro para a Apertus 2.0, que focará em arquiteturas esparsas e capacidades baseadas em agentes.
huggingface