Cosmos3-H-Dreams: Trazendo a Cirurgia Clínica à Vida Através da Simulação Generativa
huggingface ·
A NVIDIA apresentou o Cosmos3-H-Dreams, uma plataforma de simulação generativa projetada para dar vida a procedimentos cirúrgicos clínicos por meio de renderização interativa em tempo real. Baseado em modelos anteriores de robótica de bancada, este novo sistema foi treinado com dados de vídeo e cinemáticos de colecistectomias reais realizadas na plataforma CMR Surgical Versius. O modelo utiliza a base Cosmos 3 e a biblioteca de aceleração FlashDreams para funcionar de forma interativa em uma única GPU NVIDIA RTX PRO 6000. Ele emprega um pipeline de destilação teacher-to-student, oferecendo checkpoints de inferência em quatro e duas etapas para equilibrar fidelidade visual e velocidade de geração. Ao processar respostas anatômicas complexas, como deformação tecidual e oclusão, o simulador mantém consistência temporal enquanto responde a controles de instrumentos em tempo real. Pesquisadores podem adaptar a estrutura aos seus próprios conjuntos de dados utilizando as receitas de ajuste fino e os guias de destilação por auto-forçamento fornecidos. Embora atualmente seja posicionado como uma ferramenta de pesquisa e não como um dispositivo clínico validado, ele abre caminhos para explorar políticas cirúrgicas autônomas e simulações híbridas numéricas e generativas.
huggingface