Cosmos3-H-Dreams: Portare la chirurgia clinica in vita attraverso la simulazione generativa
huggingface ·
NVIDIA ha presentato Cosmos3-H-Dreams, una piattaforma di simulazione generativa progettata per dare vita alle procedure chirurgiche cliniche attraverso il rendering interattivo in tempo reale. Basandosi sui precedenti modelli di robotica da tavolo, questo nuovo sistema è stato addestrato su dati video e cinematici provenienti da veri interventi di colecistectomia eseguiti sulla piattaforma CMR Surgical Versius. Il modello sfrutta la base Cosmos 3 e la libreria di accelerazione FlashDreams per funzionare in modo interattivo su un singolo GPU NVIDIA RTX PRO 6000. Utilizza un pipeline di distillazione teacher-to-student, offrendo checkpoint di inferenza a quattro e due passaggi per bilanciare la fedeltà visiva con la velocità di generazione. Elaborando risposte anatomiche complesse come la deformazione dei tessuti e le occlusioni, il simulatore mantiene la coerenza temporale mentre risponde ai controlli degli strumenti in tempo reale. I ricercatori possono adattare il framework ai propri dataset utilizzando le ricette di fine-tuning fornite e le guide alla distillazione self-forcing. Sebbene attualmente sia posizionato come strumento di ricerca piuttosto che come dispositivo clinico validato, apre nuove strade per l'esplorazione di politiche chirurgiche autonome e simulazioni ibride numeriche-generative.
huggingface