Bienvenido Beam: un modelo abierto de 501B que puedes poseer, personalizar y escalar
huggingface ·
Reflection ha lanzado Beam, un nuevo modelo de lenguaje de código abierto con 501 mil millones de parámetros, disponible bajo la licencia Apache 2.0 en Hugging Face. Diseñado principalmente para tareas de programación y agentes, Beam utiliza una arquitectura de Mezcla de Expertos (Mixture-of-Experts) con 23 mil millones de parámetros activos por token, mientras admite una ventana de contexto masiva de un millón de tokens. El modelo cuenta con mecanismos de atención especializados y manejo del flujo residual para mantener el rendimiento en contextos largos, junto con soporte nativo para llamadas a herramientas y razonamiento estructurado. Los usuarios pueden implementar Beam utilizando bibliotecas compatibles desde el día cero, como Transformers, vLLM y SGLang, con puntos de control optimizados para varios hardware, incluidas las GPUs NVIDIA Blackwell, Hopper y Ampere. El artículo detalla los resultados de las pruebas de referencia en programación, razonamiento y capacidades generales, demostrando un fuerte desempeño en flujos de trabajo de agentes. Además, proporciona guías completas para técnicas de entrenamiento posterior, como el ajuste fino supervisado con TRL y el aprendizaje por refuerzo mediante Miles. Para fomentar la adopción comunitaria, Reflection ofrece 10.000 dólares en créditos de Hub para proyectos innovadores creados con Beam. Varios demos ilustran aplicaciones prácticas, incluida la creación de aplicaciones nativas para macOS y la escalabilidad de tareas de programación multiagente.
huggingface