Cosmos3-H-Dreams:通过生成式模拟让临床手术栩栩如生
huggingface ·
NVIDIA推出了Cosmos3-H-Dreams,这是一个生成式模拟平台,旨在通过交互式实时渲染使临床手术过程栩栩如生。该系统在之前的桌面机器人模型基础上构建,使用在CMR Surgical Versius平台上进行的实际胆囊切除术的视频和运动学数据进行训练。该模型利用Cosmos 3基础架构和FlashDreams加速库,可在单个NVIDIA RTX PRO 6000 GPU上以交互方式运行。它采用教师到学生的蒸馏管道,提供四步和两步推理检查点,以平衡视觉保真度和生成速度。通过处理组织变形和遮挡等复杂的解剖反应,模拟器在响应实时器械控制的同时保持时间一致性。研究人员可以使用提供的微调配方和自强制蒸馏指南将框架适配到自己的数据集。尽管目前定位为研究工具而非经过验证的临床设备,但它为探索自主手术策略和混合数值-生成式模拟开辟了途径。
huggingface