Apertus 1.5 Versionshinweise
huggingface ·
Das Apertus-Team hat Version 1.5 seiner Open-Weight-Sprachmodelle veröffentlicht, die sowohl Varianten mit 8 Milliarden als auch mit 70 Milliarden Parametern unter der Apache-2.0-Lizenz umfasst. Dieses Update führt native multimodale Fähigkeiten ein, die es den Modellen ermöglichen, Bilder und Audio zusammen mit Text durch eine einheitliche Tokenizer-Architektur zu verarbeiten. Das Kontextfenster wurde vierfach auf 262.144 Tokens erweitert, und ein optionaler Denkmodus wurde hinzugefügt, um die Leistung bei komplexen Aufgaben zu verbessern. Das Training bestand darin, das Pre-Training mit Billionen zusätzlicher Tokens in unpaarigen, gepaarten und Langkontext-Stufen fortzusetzen, gefolgt von rigorosen Post-Training-Phasen, einschließlich überwachtem Feintuning und Verstärkungslernen. Auswertungsergebnisse zeigen erhebliche Verbesserungen beim Befolgen von Anweisungen, beim Werkzeuggebrauch und bei der mehrsprachigen Übersetzung; das 8B-Modell übertrifft ähnliche Konkurrenten in spezifischen Benchmarks. Das Projekt betont volle Transparenz, indem alle Trainingsdaten, Rezepte und Zwischen-Checkpoints auf Hugging Face veröffentlicht werden. Darüber hinaus arbeitet Apertus mit der EvalEval-Koalition zusammen, um reproduzierbare Bewertungskarten bereitzustellen, die den aufkommenden KI-Governance-Standards wie dem EU AI Act entsprechen. Für die Zukunft hat das Team eine Roadmap für Apertus 2.0 angekündigt, die sich auf sparsame Architekturen und agentenbasierte Fähigkeiten konzentrieren wird.
huggingface