Bienvenue FLUX.3 Image Klein dans Diffusers
huggingface ·
Hugging Face a intégré le modèle FLUX.3 Image Klein de Black Forest Labs dans la bibliothèque Diffusers, offrant une solution polyvalente pour la génération d'images à partir de texte et l'image-to-image multi-référence. Le modèle introduit une nouvelle fonctionnalité de contrôle de mise en page qui permet aux utilisateurs de définir des régions spécifiques à l'aide de boîtes englobantes dans les invites, assurant ainsi un guidage compositionnel précis. Deux points de contrôle principaux sont disponibles : une version distillée optimisée pour une inférence rapide avec moins d'étapes, et un modèle de base conçu pour le réglage fin via LoRA. Les benchmarks de performance indiquent que le point de contrôle distillé peut générer des images haute résolution en environ deux secondes sur un GPU H100, tandis que les variantes quantifiées prennent en charge le déploiement sur du matériel plus limité. L'architecture sous-jacente utilise un processus de transformateur à deux étapes qui traite initialement séparément les jetons de texte, d'image et de référence avant de les fusionner pour une attention conjointe. De plus, l'intégration prend en charge des pipelines modulaires, permettant aux développeurs de personnaliser leurs flux de travail en insérant ou supprimant des blocs de traitement. Cette version fournit des outils complets tant pour une utilisation immédiate que pour une personnalisation avancée via des scripts de réglage fin.
huggingface