Bienvenue Beam : un modèle ouvert de 501B que vous pouvez posséder, personnaliser et mettre à l'échelle
huggingface ·
Reflection a publié Beam, un nouveau modèle de langage open source de 501 milliards de paramètres, disponible sous licence Apache 2.0 sur Hugging Face. Conçu principalement pour le codage et les tâches agentic, Beam utilise une architecture Mixture-of-Experts avec 23 milliards de paramètres actifs par token, tout en prenant en charge une fenêtre de contexte massive d'un million de tokens. Le modèle intègre des mécanismes d'attention spécialisés et une gestion du flux résiduel pour maintenir ses performances sur de longs contextes, ainsi qu'une prise en charge native de l'appel d'outils et du raisonnement structuré. Les utilisateurs peuvent déployer Beam à l'aide de bibliothèques compatibles dès le jour zéro, telles que Transformers, vLLM et SGLang, avec des points de contrôle optimisés pour divers matériels, notamment les GPU NVIDIA Blackwell, Hopper et Ampere. L'article détaille les résultats des tests de référence dans les domaines du codage, du raisonnement et des capacités générales, mettant en évidence des performances solides dans les flux de travail agentic. Il fournit également des guides complets pour les techniques de post-entraînement, comme l'ajustement fin supervisé avec TRL et l'apprentissage par renforcement via Miles. Pour encourager l'adoption par la communauté, Reflection offre 10 000 dollars de crédits Hub pour les projets innovants développés avec Beam. Plusieurs démonstrations illustrent des applications pratiques, notamment la création d'applications natives macOS et la mise à l'échelle de tâches de programmation multi-agents.
huggingface