Cosmos3-H-Dreams : Donner vie à la chirurgie clinique grâce à la simulation générative
huggingface ·
NVIDIA a présenté Cosmos3-H-Dreams, une plateforme de simulation générative conçue pour donner vie aux procédures chirurgicales cliniques grâce à un rendu interactif en temps réel. S'appuyant sur des modèles précédents de robotique de table, ce nouveau système est entraîné sur des données vidéo et cinématiques provenant de véritables interventions de cholécystectomie réalisées avec la plateforme CMR Surgical Versius. Le modèle s'appuie sur la fondation Cosmos 3 et la bibliothèque d'accélération FlashDreams pour fonctionner de manière interactive sur une seule carte graphique NVIDIA RTX PRO 6000. Il utilise un pipeline de distillation enseignant-étudiant, offrant des points d'arrêt d'inférence en quatre étapes et en deux étapes afin d'équilibrer la fidélité visuelle et la vitesse de génération. En traitant des réponses anatomiques complexes telles que la déformation des tissus et l'occlusion, le simulateur maintient une cohérence temporelle tout en répondant aux commandes en direct des instruments. Les chercheurs peuvent adapter le cadre à leurs propres jeux de données à l'aide des recettes de réglage fin fournies et des guides de distillation par auto-forçage. Bien qu'il soit actuellement positionné comme un outil de recherche plutôt que comme un dispositif clinique validé, il ouvre des voies pour explorer les politiques chirurgicales autonomes et les simulations hybrides numériques-génératives.
huggingface