Cosmos3-H-Dreams: Klinische Chirurgie durch generative Simulation zum Leben erwecken
huggingface ·
NVIDIA hat Cosmos3-H-Dreams eingeführt, eine generative Simulationsplattform, die klinische chirurgische Eingriffe durch interaktives Echtzeit-Rendering zum Leben erweckt. Aufbauend auf früheren Tischroboter-Modellen wurde dieses neue System mit Video- und kinematischen Daten tatsächlicher Cholezystektomie-Eingriffe trainiert, die an der CMR Surgical Versius-Plattform durchgeführt wurden. Das Modell nutzt die Cosmos-3-Basis sowie die FlashDreams-Beschleunigungsbibliothek, um interaktiv auf einer einzelnen NVIDIA RTX PRO 6000 GPU zu laufen. Es verwendet einen Teacher-to-Student-Distillationspipeline und bietet sowohl Vier-Schritt- als auch Zwei-Schritt-Inferenz-Checkpoints, um visuelle Treue und Generierungsgeschwindigkeit auszubalancieren. Durch die Verarbeitung komplexer anatomischer Reaktionen wie Gewebeverformung und Okklusion hält der Simulator die zeitliche Konsistenz aufrecht, während er auf Live-Instrumentensteuerungen reagiert. Forscher können das Framework für ihre eigenen Datensätze anpassen, indem sie die bereitgestellten Feinabstimmungsrezepte und Selbst-Zwangsdistillationsanleitungen nutzen. Obwohl es derzeit eher als Forschungswerkzeug denn als validiertes klinisches Gerät positioniert ist, eröffnet es Wege zur Erforschung autonomer chirurgischer Richtlinien und hybrider numerisch-generativer Simulationen.
huggingface