欢迎使用Beam：一个您可以拥有、定制和扩展的501B开源模型
huggingface ·
Reflection发布了Beam，这是一款拥有5010亿参数的开源语言模型，在Hugging Face上以Apache 2.0许可证提供。Beam专为编码和智能体任务设计，采用混合专家（MoE）架构，每个令牌激活230亿参数，同时支持高达一百万个令牌的上下文窗口。该模型具备专门的注意力机制和残差流处理技术，以确保长上下文下的性能，并原生支持工具调用和结构化推理。用户可以使用与零日兼容的库（如Transformers、vLLM和SGLang）部署Beam，其检查点针对NVIDIA Blackwell、Hopper和Ampere GPU等多种硬件进行了优化。文章详细介绍了在编码、推理和通用能力测试中的基准测试结果，展示了其在智能体工作流中的强劲表现。此外，文章还提供了全面的后训练技术指南，包括使用TRL进行监督微调以及通过Miles进行强化学习。为促进社区采用，Reflection为基于Beam构建的创新项目提供1万美元的Hub积分。多个演示展示了实际应用，包括构建原生macOS应用程序和扩展多智能体编程任务。
huggingface