Cosmos3-H-Dreams: Traer la cirugía clínica a la vida mediante simulación generativa
huggingface ·
NVIDIA ha presentado Cosmos3-H-Dreams, una plataforma de simulación generativa diseñada para dar vida a los procedimientos quirúrgicos clínicos mediante renderizado interactivo en tiempo real. Basándose en modelos anteriores de robótica de mesa, este nuevo sistema se entrena con datos de video y cinemáticos de colecistectomías reales realizadas en la plataforma CMR Surgical Versius. El modelo aprovecha la base Cosmos 3 y la biblioteca de aceleración FlashDreams para ejecutarse de forma interactiva en una única GPU NVIDIA RTX PRO 6000. Utiliza un pipeline de destilación de maestro a estudiante, ofreciendo puntos de control de inferencia de cuatro pasos y dos pasos para equilibrar la fidelidad visual con la velocidad de generación. Al procesar respuestas anatómicas complejas, como la deformación de tejidos y las oclusiones, el simulador mantiene la coherencia temporal mientras responde a controles de instrumentos en vivo. Los investigadores pueden adaptar el marco a sus propios conjuntos de datos utilizando las recetas de ajuste fino proporcionadas y las guías de destilación por auto-fuerza. Aunque actualmente se posiciona como una herramienta de investigación más que como un dispositivo clínico validado, abre vías para explorar políticas quirúrgicas autónomas y simulaciones híbridas numérico-generativas.
huggingface