Cosmos3-H-Dreams: Оживление клинической хирургии с помощью генеративного моделирования
huggingface ·
Компания NVIDIA представила платформу генеративного моделирования Cosmos3-H-Dreams, предназначенную для визуализации клинических хирургических процедур с помощью интерактивного рендеринга в реальном времени. В основе новой системы лежат предыдущие модели настольной робототехники; она обучена на видео- и кинематических данных реальных холецистэктомий, выполненных на платформе CMR Surgical Versius. Модель использует фундаментальную архитектуру Cosmos 3 и библиотеку ускорения FlashDreams, что позволяет ей работать интерактивно на одном графическом процессоре NVIDIA RTX PRO 6000. Применяя конвейер дистилляции «учитель-студент», система предлагает контрольные точки вывода как для четырехшагового, так и для двухшагового режимов, обеспечивая баланс между визуальной точностью и скоростью генерации. Обработка сложных анатомических реакций, таких как деформация тканей и окклюзия (перекрытие), позволяет симулятору сохранять временную согласованность и реагировать на управление инструментами в реальном времени. Исследователи могут адаптировать эту структуру под свои наборы данных, используя предоставленные рецепты дообучения и руководства по дистилляции с самопринуждением. Хотя в настоящее время система позиционируется как исследовательский инструмент, а не как сертифицированное клиническое устройство, она открывает пути для изучения автономных хирургических стратегий и гибридных численно-генеративных симуляций.
huggingface