Willkommen bei FLUX.3 Image Klein in Diffusers
huggingface ·
Hugging Face hat das FLUX.3 Image Klein-Modell von Black Forest Labs in die Diffusers-Bibliothek integriert und bietet damit eine vielseitige Lösung für die Text-zu-Bild- und Multi-Referenz-Bild-zu-Bild-Generierung. Das Modell führt ein neues Layout-Control-Feature ein, mit dem Nutzer spezifische Regionen durch Bounding-Boxen innerhalb von Prompts definieren können, um eine präzise kompositorische Steuerung zu ermöglichen. Zwei primäre Checkpoints stehen zur Verfügung: eine distillierte Version, die für schnelle Inferenzen mit weniger Schritten optimiert ist, sowie ein Basismodell, das für das Fine-Tuning über LoRA konzipiert ist. Leistungstests zeigen, dass der distillierte Checkpoint hochauflösende Bilder in etwa zwei Sekunden auf einer H100-GPU generieren kann, während quantisierte Varianten den Einsatz auf kleinerer Hardware unterstützen. Die zugrunde liegende Architektur nutzt einen zweistufigen Transformer-Prozess, der Text-, Bild- und Referenz-Token zunächst separat verarbeitet, bevor sie für eine gemeinsame Aufmerksamkeitsberechnung zusammengeführt werden. Darüber hinaus unterstützt die Integration modulare Pipelines, wodurch Entwickler Workflows anpassen können, indem sie Verarbeitungsblöcke einfügen oder entfernen. Diese Veröffentlichung bietet umfassende Tools sowohl für den sofortigen Einsatz als auch für fortgeschrittene Anpassungen durch Fine-Tuning-Skripte.
huggingface