基于虚拟现实和增强现实的智能手术辅助系统技术方案

本发明专利技术公开了一种基于虚拟现实和增强现实的智能手术辅助系统。其包括数据预处理单元(1)、术前规划单元(2)和术中辅助单元(3)，数据预处理单元利用原始CT/MRI影像重建三维病灶模型；术前规划单元通过虚拟现实设备，搭建虚拟影像工作室，载入三维病灶模型，供使用者深入病变器官内部做出手术方案规划，并导出三维规划模型；术中辅助单元通过增强现实设备，调用三维规划模型，获得其空间特征点并与真实病灶部位配准融合，帮助医生辨认解剖结构，同时显示手术方案决策和量化生理数据，以执行手术前的规划。本发明专利技术解决了解剖结构难以辨识和缺乏手术中实时导航的问题，提高了外科手术成功率。

An intelligent surgery assistant system based on virtual reality and augmented reality

The invention discloses an intelligent surgery auxiliary system based on virtual reality and augmented reality. It includes data preprocessing unit (1), preoperative planning unit (2) and surgery (3), auxiliary unit data preprocessing unit to reconstruct the 3D model with the original CT/MRI lesion image; preoperative planning unit through virtual reality equipment, set up a virtual studio, a three-dimensional model for the user to load lesions, deep internal organs lesions make operation plan, and derive 3D programming model; operation auxiliary unit through augmented reality devices, called 3D programming model to obtain the spatial feature points and real location registration and fusion, help doctors identify the anatomical structure, and display operation plan decision and quantitative physiological data, to perform preoperative planning. The invention solves the problem that the anatomical structure is difficult to identify and lacks the real-time navigation during operation, thereby improving the success rate of the operation.

【技术实现步骤摘要】
基于虚拟现实和增强现实的智能手术辅助系统
本专利技术属于电子
，更进一步涉及一种智能手术辅助系统，可用于医学影像平台和手术辅助系统中。
技术介绍
临床手术是现代医疗的重要诊疗手段，目前复杂外科手术的实施方案，主要依赖于核磁共振、计算机断层扫描等三维医学影像来制定。但临床手术开刀之后，由于存在血液漫流和器官遮挡等生理因素，医生的手术视野比较有限，手术中所见景象往往血肉模糊，加之术中病灶常常发生形态变化，脉管结构存在复杂畸变，往往难以直观辨认。手术室配备的医疗影像设备使用复杂，往往需要配备专门的医护人员来操作仪器，使用不便，医生很难将术中所见血肉模糊的景象与术前影像学图像关联起来，造成了注意力的分散，这种信息不对称的情形导致解剖结构辨识困难，影响术中决策。近年来，为了解决复杂外科手术难以有效开展的问题，结合虚拟现实和增强现实技术的最新发展，主要通过术前术中信息，建立无畸变三维立体图像，捕捉术中视野或手术动作，对术中每一阶段的生理状况进行逐一检测和融合，反馈给医生作为指导。Method和BayInnovation合作，在2015年其公布的设备VIVI医学专用智能头戴眼镜中以下简称VI本文档来自技高网...

【技术保护点】
一种基于虚拟现实与增强现实的智能手术辅助装置，其特征在于，包括：数据预处理单元(1)，用于通过医学影像处理软件，将医院采集到的原始CT/MRI影像信息转化为系统可用的影像材料，重建三维病灶模型，并将其传递给术前规划单元(2)；术前规划单元(2)，用于通过虚拟现实设备HTC VIVE，搭建虚拟影像工作室，载入本地三维病灶模型，使用者能够深入到病变器官内部的微小立体结构中，以任意角度对病灶进行分析，做出三维手术规划路径，并将规划路径与病灶模型进行合并，导出三维规划模型，以供术中辅助单元(3)随时调用；术中辅助单元(3)，用于通过增强现实设备HoloLens获得三维病灶模型的特征点，使其与真实病灶部...

【技术特征摘要】
1.一种基于虚拟现实与增强现实的智能手术辅助装置，其特征在于，包括：数据预处理单元(1)，用于通过医学影像处理软件，将医院采集到的原始CT/MRI影像信息转化为系统可用的影像材料，重建三维病灶模型，并将其传递给术前规划单元(2)；术前规划单元(2)，用于通过虚拟现实设备HTCVIVE，搭建虚拟影像工作室，载入本地三维病灶模型，使用者能够深入到病变器官内部的微小立体结构中，以任意角度对病灶进行分析，做出三维手术规划路径，并将规划路径与病灶模型进行合并，导出三维规划模型，以供术中辅助单元(3)随时调用；术中辅助单元(3)，用于通过增强现实设备HoloLens获得三维病灶模型的特征点，使其与真实病灶部位得到空间配准，并调取显示三维规划模型提供的方案决策、手术监控设备提供的血氧血压这些基础生理参数，帮助医生辨认组织结构，执行术前规划。2.根据权利要求1所述的装置，其特征在于，术前规划单元(2)包括：UI界面模块(21)，用于承载虚拟影像工作室的其他各项功能模块，增强其可视化交互性，使用者通过UI界面按钮，从本地模型库中选择不同的三维病灶模型，并启动抓取查看模块(23)、飞行查看模块(24)和画笔标注模块(25)，切换病灶模型查看方式，做出三维手术规划路径；模型控制模块(22)，用于通过虚拟现实设备手柄触摸板，对三维病灶模型进行自由缩放，以达到使用者在抓取查看模块(23)和飞行查看模块(24)所需的视觉范围；抓取查看模块(23)，用于通过虚拟现实设备手柄按键，对相较于真实心脏比例1-3倍的病灶模型进行抓取，并将其拖拽以贴近面部，供使用者查看病灶模型内部和外部的结构信息，避免人为走动；飞行查看模块(24)，用于通过虚拟现实设备手柄触摸板，对相较于真实心脏比例30-50倍的病灶模型精确查看，使用者通过自主控制飞行方向，观察静止病灶模型内部的微小结构；画笔标注模块(25)，用于通过虚拟现实设备手柄扳机，对三维病灶模型进行影像数据标注和手术方案规划，即先根据RGB和HSV取色模式，设置线条颜色和粗细，再跟踪所持手柄的空间定位，做出三维标注及错误擦除；数据导出模块(26)，用于将画笔标注模块(25)做出的三维手术规划路径与三维病灶模型合并，导出为三维规划模型，在术中辅助单元(3)的语音交互模块(32)和结构配准模块(33)中实时显示。3.根据权利要求1所述的装置，其特征在于，术中辅助单元(3)包括：云端控制模块(31)，用于通过手势识别，控制云端虚拟机上的影像处理软件或其他分析程序，完成程序内部预设功能；语音交互模块(32)，用于通过语音识别，使用特定英文识别词显示术前规划模型，使模型的空间投影位置可随使用者视野边界的移动而移动，并在随时保持模型可见的同时，自由控制其旋转和缩放；结构配准模块(33)，用于通过增强现实设备的空间定位感知，使术前规划模型与真实手术病灶得到配准，以进一步隐去术前规划模型中的三维病灶部分，只保留其手术规划路径、三维切口位置及深度信息，做出手术导航。4.一种基于虚拟现实和增强现实的智能手术辅助方法，包括如下步骤：1)数据读入：读取格式为.dcm或.raw的原始CT数据，对原始CT数据依次进行平滑、分割的预处理，得出病灶结构，并将病灶结构导出为.vtk或.nii格式；2)重建病灶模型：将病灶结构转换为虚拟现实设备可用的.fbx或.obj模型，使其适应于虚拟影像工作室的数据接口，完成三维病灶模型的重建，并据此构建本地模型库；3)手术前，使用者佩戴虚拟现实...

【专利技术属性】
技术研发人员：李军，王欣怡，王世楷，杨茂青，黄力宇，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61