一种全息增强现实辅助的外科手术术中人机交互诊疗系统技术方案

本发明专利技术提供一种全息增强现实辅助的外科手术术中人机交互诊疗系统，包括二维显示模块、三维显示模块、用户交互模块以及全息投影模块；所述的二维显示模块可以对导入的DICOM图像文件计算处理；所述的三维显示模块可以利用开源图像处理和可视化工具函式库VTK、ITK对医学影像进行三维重建与渲染；所述的用户交互模块可以模型进行缩放和旋转位姿变换；所述的全息投影模块可以将渲染或切割的三维模型采用偏振式3D的方式推送到可交互显示的屏幕上，通过调整视距达到不同的立体效果。本发明专利技术所设计的系统集成度高，具有全息增强现实技术的智能诊疗系统，对于其他的智能医学手术交互系统也具有极大的参考价值。

【技术实现步骤摘要】
一种全息增强现实辅助的外科手术术中人机交互诊疗系统
本专利技术属于虚拟仿真领域，尤其涉及一种全息增强现实辅助的外科手术术中人机交互诊疗系统。
技术介绍
近年来，医学影像的三维重建技术具有着至关重要的意义，三维重建技术是通过对二维的横断面的序列切片数据影像进行三维重建，并且通过矩阵计算生成冠状面和矢状面的序列图像，同时对三维重建模型可以进行切割和标定等操作。该技术已经成为医学领域的主要研究趋势，并且基本满足医生的临床需求，三维重建技术可以根据二维的序列断层医学影像重建出完整的三维虚拟立体模型，使用者可以对虚拟立体的三维模型进行切割、标注等交互操作，相比于二维影像，三维模型具有多层次、多方位的好处，这种新型的多模态影像重建技术可以弥补传统单一模态影像技术在诊断方面的不足，可以有效提高诊断的效率与精准性。因此，提出一种全息增强现实辅助的外科手术术中人机交互诊疗系统，为使用者提供逼真立体的虚拟环境，在虚拟环境中展示出更丰富的医学影像信息，也可以为医学上的教学以及实验提供便利。
技术实现思路
为了解决上述技术问题，本专利技术提供一种全息增强现实辅助的外科手术术中人机交互诊疗系统，包括二维显示模块、三维显示模块、用户交互模块以及全息投影模块；所述的二维显示模块可以对导入的DICOM图像文件计算处理，进行冠状面、矢状面和横断面的显示；所述的三维显示模块可以利用开源图像处理和可视化工具函式库VTK、ITK对医学影像进行三维重建与渲染，三维模型便于使用者更直观地观察虚拟立体的信息；<br>所述的用户交互模块可以模型进行缩放和旋转位姿变换，可以通过鼠标拖拽或旋转操作切割面，对三维模型进行实时切割显示，也可以通过坐标计算对导入的各种形式的模型以及辅助线的计算和规划，进行动画渲染；所述的全息投影模块可以将渲染或切割的三维模型采用偏振式3D的方式推送到可交互显示的屏幕上，并通过调整视距达到不同的立体效果。优选的，所述的二维显示模块中对导入的DICOM图像文件计算处理，进行冠状面、矢状面和横断面的显示，是直接采用已经封装了VTK管线的vtkImageViewer2类进行图像显示，可以更加方便的完成图像显示和交互，同样是二维图像，和横断面类似，为了获取与坐标轴对齐的角色的包围盒，采用VTK中的GetBounds()方法，通过矩阵的Translate()空间几何变换，对于冠状面来说就是RotateX和SetSliceOrientationToYZ，对于矢状面来说就是RotateY和SetSliceOrientationToXZ，对于横断面来说就是RotateZ和SetSliceOrientationToXY，之后通过vtkImageReslice重新显示管线和渲染，即可对二维图像进行显示。优选的，所述的三维显示模块中的三维重建与渲染，当渲染不满足需求时，启动多种渲染方式，利用面绘制和体绘制方法，通过VTK的Property属性，利用SetAmbient参数设置环境光照系数，打开或者关闭阴影测试，利用SetDiffuse参数设置漫反射光系数，利用SetSpecularPower参数设置镜面光强度，利用SetOpacity参数设置不透明度或设置梯度不透明属性，设置颜色属性，来实现面绘制或者体绘制的三维渲染。优选的，所述面绘制利用的算法是移动立方体算法，所述体绘制利用的算法是光线投影法，所述光线投影法包括各种光学模型，通常是光吸收模型和发光模型。优选的，所述的用户交互模块中对三维模型进行实时切割，是利用vtkPlane类库进行切割平面的构建与初始化，利用vtkClipPolyData类库设置隐函数，利用该隐函数将滤波后的数据映射到当前几何图元，利用SetGenerateClippedOutput方法设置是否需要生成被剪切掉的部分，利用GetClippedOutputPort()函数输出剪切留下的部分，利用GetOutputPort()函数对剪切掉的部分予以显示。优选的，所述的用户交互模块中通过坐标计算对导入的各种形式的模型以及辅助线的计算和规划，进行动画渲染，是在VTK中具备vtkSTLReader类，与DICOM格式类似，可以实例化一个Reader对象读取STL、OBJ格式的文件，只需要读取其所在路径即可，读取后不需要进行VTK的数据滤波，可以直接进入映射和渲染流程，VTK中通常都是静态交互，但是通过VTK中封装的CreateRepeatingTimer类，可以实例化自增的时间，在时间进程中不断对角色进行实时渲染，实现虚拟仿真的动画效果。优选的，所述的全息投影模块中采用偏振式3D的方式推送到可交互显示的屏幕上，其中偏振式3D是利用光的振动方向对原始图像进行分解，将两个不同的偏振光方向的图像传送给观看者，当两幅图像通过偏振式眼镜时，观看者便可以通过大脑将左右眼接收的两组图片合成立体图像；其中可交互显示的屏幕，是将软件系统的图像导入基于光子透明芯片显示技术的透明屏幕上面，即光子悬浮屏，通过使用裸眼3D或带3D眼镜的方式来实现观看。优选的，所述的全息投影模块中调整视距达到不同的立体效果，是通过设置一个双眼距离的参数，实现方式为移动右眼相机位置，根据Qt的滑块的值来计算右眼相机移动距离，得到计算的值后遍历所有绘制器和渲染器，设置一遍最新的相机，在重新渲染显示后，即可得到右眼相机产生变化的效果，在3D合成时，可以得到不同的效果。与现有技术相比，本专利技术的有益效果为：1、本专利技术通过多模态的配准和融合技术，将各种类型传感器的信息匹配融合起来，对图像进行综合有效的利用，能够适用于多个
2、本专利技术设置有二维显示模块和三维显示模块，通过交互部件，对二维影像与三维立体模型实现切割和标注联动，在一套虚实结合的可视化虚拟手术场景中重建出患者个性化三维虚拟化头颅模型，能够更全面地展示立体信息。3、本专利技术既可以为使用者提供逼真立体的虚拟环境，在虚拟环境中展示出更丰富的医学影像信息，也可以为医学上的教学以及实验提供便利。4、本专利技术采用的是一套开源的技术架构，在降低开发成本的同时，能够使软件具有更高的安全性和灵活度，其核心功能全部采用VTK工具函式库，可视化界面采用Qt开发框架，提高了界面的美观度。5、本专利技术所设计的系统集成度高，具有全息增强现实技术的智能诊疗系统，对于其他的智能医学手术交互系统也具有极大的参考价值。附图说明图1是本专利技术的系统总体框架流程图；图2是本专利技术的系统应用场景仿真效果图；图3是本专利技术的全息投影框架流程图；图4是本专利技术的用户界面显示图。具体实施方式以下结合附图对本专利技术做进一步描述：实施例1：本专利技术按照如附图1所示的结构框架，依次搭建二维显示模块和三维显示模块，用于显示二维数据和三维模型，并进行实时联动。步骤1、二维显示模块可以对导入的DICOM图像文件计算处理，进行冠状面、矢状面和横断面的显示，直接采用已经封装了VTK管线的vtkImageV本文档来自技高网...

【技术保护点】
1.一种全息增强现实辅助的外科手术术中人机交互诊疗系统，其特征在于，包括二维显示模块、三维显示模块、用户交互模块以及全息投影模块；/n所述的二维显示模块可以对导入的DICOM图像文件计算处理，进行冠状面、矢状面和横断面的显示；/n所述的三维显示模块可以利用开源图像处理和可视化工具函式库VTK、ITK对医学影像进行三维重建与渲染，三维模型便于使用者更直观地观察虚拟立体的信息；/n所述的用户交互模块可以模型进行缩放和旋转位姿变换，可以通过鼠标拖拽或旋转操作切割面，对三维模型进行实时切割显示，也可以通过坐标计算对导入的各种形式的模型以及辅助线的计算和规划，进行动画渲染；/n所述的全息投影模块可以将渲染或切割的三维模型采用偏振式3D的方式推送到可交互显示的屏幕上，并通过调整视距达到不同的立体效果。/n

【技术特征摘要】
1.一种全息增强现实辅助的外科手术术中人机交互诊疗系统，其特征在于，包括二维显示模块、三维显示模块、用户交互模块以及全息投影模块；
所述的二维显示模块可以对导入的DICOM图像文件计算处理，进行冠状面、矢状面和横断面的显示；
所述的三维显示模块可以利用开源图像处理和可视化工具函式库VTK、ITK对医学影像进行三维重建与渲染，三维模型便于使用者更直观地观察虚拟立体的信息；
所述的用户交互模块可以模型进行缩放和旋转位姿变换，可以通过鼠标拖拽或旋转操作切割面，对三维模型进行实时切割显示，也可以通过坐标计算对导入的各种形式的模型以及辅助线的计算和规划，进行动画渲染；
所述的全息投影模块可以将渲染或切割的三维模型采用偏振式3D的方式推送到可交互显示的屏幕上，并通过调整视距达到不同的立体效果。


2.如权利要求1所述的一种全息增强现实辅助的外科手术术中人机交互诊疗系统，其特征在于，所述的二维显示模块中对导入的DICOM图像文件计算处理，进行冠状面、矢状面和横断面的显示，是直接采用已经封装了VTK管线的vtkImageViewer2类进行图像显示，可以更加方便的完成图像显示和交互，同样是二维图像，和横断面类似，为了获取与坐标轴对齐的角色的包围盒，采用VTK中的GetBounds()方法，通过矩阵的Translate()空间几何变换，对于冠状面来说就是RotateX和SetSliceOrientationToYZ，对于矢状面来说就是RotateY和SetSliceOrientationToXZ，对于横断面来说就是RotateZ和SetSliceOrientationToXY，之后通过vtkImageReslice重新显示管线和渲染，即可对二维图像进行显示。


3.如权利要求1所述的一种全息增强现实辅助的外科手术术中人机交互诊疗系统，其特征在于，所述的三维显示模块中的三维重建与渲染，当渲染不满足需求时，启动多种渲染方式，利用面绘制和体绘制方法，通过VTK的Property属性，利用SetAmbient参数设置环境光照系数，打开或者关闭阴影测试，利用SetDiffuse参数设置漫反射光系数，利用SetSpecularPower参数设置镜面光强度，利用SetOpacity参数设置不透明度或设置梯度不透明属性，设置颜色属性，来实现面绘制或者体绘制的三维渲染。


4.如权利要求3所述的一种全息增强现实辅助的外科手术术中人机交互诊疗系统，其特征在于，所...

【专利技术属性】
技术研发人员：王鸿鹏，申林，许丽，
申请(专利权)人：南开大学，
类型：发明
国别省市：天津;12