Willkommen bei Beam: Ein offenes 501B-Modell, das Sie besitzen, anpassen und skalieren können
huggingface ·
Reflection hat Beam veröffentlicht, ein neues Open-Source-Sprachmodell mit 501 Milliarden Parametern, das unter der Apache-2.0-Lizenz auf Hugging Face verfügbar ist. Das Modell ist primär für Coding- und Agentic-Aufgaben konzipiert und nutzt eine Mixture-of-Experts-Architektur mit 23 Milliarden aktiven Parametern pro Token bei gleichzeitiger Unterstützung eines massiven Kontextfensters von einer Million Token. Beam verfügt über spezialisierte Aufmerksamkeitsmechanismen und Residual-Stream-Verarbeitung, um die Leistung über lange Kontexte hinweg aufrechtzuerhalten, sowie native Unterstützung für Tool-Calling und strukturiertes Reasoning. Nutzer können Beam mit tag-null-kompatiblen Bibliotheken wie Transformers, vLLM und SGLang bereitstellen, wobei Checkpoints für verschiedene Hardware-Konfigurationen, darunter NVIDIA Blackwell-, Hopper- und Ampere-GPUs, optimiert sind. Der Artikel beschreibt Benchmark-Ergebnisse in den Bereichen Coding, Reasoning und allgemeine Fähigkeiten und demonstriert starke Leistungen in agentic Workflows. Zudem werden umfassende Anleitungen zu Post-Training-Techniken wie Supervised Fine-Tuning mit TRL und Reinforcement Learning via Miles bereitgestellt. Um die Community-Adoption zu fördern, bietet Reflection 10.000 US-Dollar an Hub-Guthaben für innovative Projekte, die mit Beam entwickelt wurden. Mehrere Demos veranschaulichen praktische Anwendungen, darunter die Erstellung nativer macOS-Anwendungen und das Skalieren von Multi-Agent-Programmierungsaufgaben.
huggingface