Benvenuti FLUX.3 Image Klein in Diffusers
huggingface ·
Hugging Face ha integrato il modello FLUX.3 Image Klein di Black Forest Labs nella libreria Diffusers, offrendo una soluzione versatile per la generazione da testo a immagine e per la generazione da immagine a immagine con più riferimenti. Il modello introduce una nuova funzione di controllo del layout che consente agli utenti di definire regioni specifiche utilizzando riquadri delimitatori all'interno dei prompt per una guida compositiva precisa. Sono disponibili due checkpoint principali: una versione distillata ottimizzata per un'inferenza rapida con meno passaggi e un modello base progettato per il fine-tuning tramite LoRA. I benchmark delle prestazioni indicano che il checkpoint distillato può generare immagini ad alta risoluzione in circa due secondi su una GPU H100, mentre le varianti quantizzate supportano il deployment su hardware più piccolo. L'architettura sottostante utilizza un processo transformer a due fasi che elabora inizialmente i token di testo, immagine e riferimento separatamente prima di unirli per l'attenzione congiunta. Inoltre, l'integrazione supporta pipeline modulari, consentendo agli sviluppatori di personalizzare i flussi di lavoro inserendo o rimuovendo blocchi di elaborazione. Questo rilascio fornisce strumenti completi sia per l'utilizzo immediato sia per la personalizzazione avanzata attraverso script di fine-tuning.
huggingface