一种基于虚拟现实的术前辅助规划装置制造方法及图纸

本发明专利技术公开了一种基于虚拟现实的术前辅助规划装置，包括医学图像可视化子系统以及术前规划子系统。其中，医学图像可视化子系统包括医学数据导入单元、脑部结构分割单元、血管分支分段单元、配准单元以及可视化模型建立单元；术前规划子系统包括视野调整单元、手术规划单元、结果存储及导出预览单元。本发明专利技术可以解决医学图像的可视化水平不一，视觉上缺乏立体感的问题。针对每个病人建立完整、清晰的可视化模型，使得术前规划具有沉浸感、直观感。

An assistant planning device based on virtual reality

The invention discloses a pre-operative auxiliary planning device based on virtual reality, which comprises a medical image visualization subsystem and a pre-operative planning subsystem. Among them, medical image visualization subsystem includes medical data import unit, brain structure segmentation unit, vascular branch segmentation unit, registration unit and visualization model building unit; preoperative planning subsystem includes vision adjustment unit, operation planning unit, result storage and export preview unit. The invention can solve the problems of different visualization levels of medical images and lack of stereoscopic sense in vision. For each patient to establish a complete, clear visual model, so that preoperative planning has a sense of immersion, intuitive.

【技术实现步骤摘要】
一种基于虚拟现实的术前辅助规划装置
本专利技术涉及电子领域及医学领域，尤其涉及一种基于虚拟现实的术前辅助规划装置。
技术介绍
临床手术是现代医疗的重要诊疗手段，目前复杂外科手术的实施方案。临床手术的需求量巨大。以癫痫为例，2016年在全球范围内，活动性癫痫患者比例为每1000人中有6.38名患者，而终身性癫痫患者比例为每1000人中有7.60名患者，癫痫的发病率达到每10万人中有61.44人发病，而年累积发病率达到每10万人中有67.77人发病。因此大量的癫痫病人需要通过脑科手术进行治疗。癫痫手术包括局部切除、大块脑组织切除、癫痫放电传播通路切断及兴奋过度的皮质切除等等。为准确定位病灶，明确手术切除区域，近年来，脑部深度电极植入术应运而生。通过植入脑部深度电极，分析病人脑电信号，可准确定位病灶区域。但在实际临床中，脑科手术成功率低、风险大。需要高超的手术技巧及丰富的临床经验。当经验不足的医生需要进行手术培训时，现有技术通常还停留在有经验的医生向实习医生传授临床经验，或是由实习医生观看有经验的医生进行手术的阶段。但是，手术是直接作用于病人身上，手术视野比较有限，医生更不可能透视病人脑部组织结构，，加之术中病灶常常发生形态变化，脉管结构存在复杂畸变，往往难以直观辨认。手术室配备的医疗影像设备使用复杂，往往需要配备专门的医护人员来操作仪器，使用不便，手术医生以及实习医生很难将术中所见与术前影像学图像关联起来，这种信息不对称的情形导致解剖结构辨识困难，影响术中决策，同时也影响实习医生的培训效果。近年来，为了解决复杂手术难以有效开展的问题，结合虚拟现实和增强现实技术的最新发展，主要通过术前术中信息，建立无畸变三维立体图像，捕捉术中视野或手术动作，对术中每一阶段的生理状况进行逐一检测和融合，反馈给医生作为指导。现有技术中，已经公开了医学专用智能头戴眼镜，使用增强现实技术，在医生做手术的过程中显示病人当前的脉搏、血压及体温等身体数据和补充资料。该设备通过蓝牙与手术室中其他监护设备连接，便携式方案起到了很好的配合作用，避免了在升级现有手术室设备时，器材过多、功能冗杂的问题，医生可以把注意力放回到病人身上，如果出现紧急情况，及时调整手术决策。但该设备只能呈现血压血氧等最简单的参生理数，对于脑部结构等复杂信息，无法有效视觉呈现。现有技术中，还有基于腹腔镜视频进行手术导航的方法。该方法首先对腹腔镜相机进行标定，确定相机参数，并使用该参数进行3D图形渲染引擎的投影矩阵设置；获取手术对象术中的腹腔镜图像，用3D图形渲染引擎生成对应的无畸变视图，并用畸变模型使其变形为与实际腹腔镜具有同样畸变效果的虚拟视图；通过融合虚拟视图与实际腹腔镜图像，生成虚拟视图的每一个像素点的深度值，最终获得具有正确位置映射关系的精准虚拟-真实融合视频用于手术导航。但这种方法是基于术中的实时拍摄，对于术前规划并没有效果。因此，本领域的技术人员致力于开发一种基于虚拟现实的术前辅助规划装置。通过医学图像的三维可视化，可将CT、增强CT、MRI、DTI等医学图像转变为三维模型，展现人体器官的三维结构和形态，更具直观性。可使医生在手术前，对病人脑部结构进行充分了解，及对病灶结构、位置进行准确定位。也使得经验不够丰富的医生能够在术前进行手术操练，降低手术风险。
技术实现思路
有鉴于现有技术的上述缺陷，本专利技术所要解决的技术问题是：1、医学图像的可视化水平不一，视觉上缺乏立体感；2、医学图像可视化模型的建立缺乏特异性，难以针对每个病人建立较为完整的、清晰的可视化模型；3、术前规划缺乏沉浸感、直观感。为实现上述目的，本专利技术提供了一种基于虚拟现实的术前辅助规划装置，包括医学图像可视化子系统以及术前规划子系统，其特征在于，所述医学图像可视化子系统包括医学数据导入单元、脑部结构分割单元、血管分支分段单元、配准单元以及可视化模型建立单元；所述术前规划子系统包括视野调整单元、手术规划单元、结果存储及导出预览单元；所述医学数据导入单元用于导入医学影像数据并进行预处理；所述脑部结构分割单元可根据前述医学影像数据，从中分割出血管、大脑皮层、纤维束、白质、灰质组织结构；所述血管分支分段单元可基于所述脑部结构分割单元提供的血管数据，将动静脉加以区分，并在所述血管的分支处将分支血管进行单独分段；所述配准单元可实现各个分割结果之间的配准；所述可视化模型建立单元可实现脑部结构的三维可视化模型的建立。进一步地，所述视野调整单元可实现对观察视野的自由调整；所述手术规划单元可实现对虚拟场景中的脑部三维模型及医疗设备进行操作；所述结果存储及导出预览单元可实现对术前规划的结果进行保存、预览的功能。进一步地，所述医学数据导入单元可导入CT、增强CT、MRI、DTI的医学影像数据。进一步地，所述脑部结构分割单元包括血管分割模块、大脑皮层分割模块、纤维束分割模块、白质分割模块以及灰质分割模块，采用经过训练的全卷积神经网络算法，对所述医学影像数据进行分割。进一步地，所述血管分支分段单元采用血管树分支分段算法对血管整体结构进行分支分段，并同时通过随机化结构元素算法优化所述分支分段结果，单独得到病人每段血管结构。进一步地，所述血管分支分段单元能够得到每根血管的长度、截面积、动静脉分类。进一步地，所述视野调整单元可对虚拟环境中的所述脑部三维模型进行平移、旋转、缩放、部分显示以及穿孔操作。进一步地，所述手术规划单元宝包括手柄，对所述脑部三维模型进行平移、旋转、缩放、部分显示以及穿孔操作，是通过操作所述手柄的触摸板完成的。进一步地，所述手柄还包括按键，通过操作所述按键，可对所述脑部三维模型进行隐藏/显示大脑皮层操作、隐藏/显示左右半脑操作。进一步地，通过操作所述按键，可以清除所有规划历史，将所述脑部三维模型的位置、角度还原至初始位置、初始角度，并显示全部结构。相比现有技术，本专利技术至少具备以下有益效果：第一，本专利技术可读取导入CT、增强CT、MRI、DTI等医学图像，图像具有高空间分辨率等特点，含有大量病人病情相关医学数据；第二，本专利技术充分利用了病人脑部医学数据，单独分割病人大脑皮层、血管、灰质、白质、纤维束等结构，且由于本专利技术在算法上的优势，其分割结果分辨率极高，对细微结果也可捕捉；第三，本专利技术在分割结果的基础上对血管这一重要结构进行了动静脉的区分，取得突破性成果，并对分支血管实现了分支分段；第四，本专利技术利用了虚拟现实技术，使医生在任意位置，甚至深入病人脑部，以任意尺寸、任意角度观察病人脑部结构，具备沉浸感、直观感。第五，本专利技术在术前规划部分地视野调整单元中创新性地设计了模型穿孔操作，使医生可在模型表面创建任意形状的孔洞，透过孔洞观察模型内部结构。以下将结合附图对本专利技术的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本专利技术的目的、特征和效果。附图说明图1是本专利技术的一个较佳实施例的单元结构示意图；图2是本专利技术的一本文档来自技高网...

【技术保护点】
1.一种基于虚拟现实的术前辅助规划装置，包括医学图像可视化子系统以及术前规划子系统，其特征在于，所述医学图像可视化子系统包括医学数据导入单元、脑部结构分割单元、血管分支分段单元、配准单元以及可视化模型建立单元；所述术前规划子系统包括视野调整单元、手术规划单元、结果存储及导出预览单元；所述医学数据导入单元用于导入医学影像数据并进行预处理；所述脑部结构分割单元可根据前述医学影像数据，从中分割出血管、大脑皮层、纤维束、白质、灰质组织结构；所述血管分支分段单元可基于所述脑部结构分割单元提供的血管数据，将动静脉加以区分，并在所述血管的分支处将分支血管进行单独分段；所述配准单元可实现各个分割结果之间的配准；所述可视化模型建立单元可实现脑部结构的三维可视化模型的建立。/n

【技术特征摘要】
1.一种基于虚拟现实的术前辅助规划装置，包括医学图像可视化子系统以及术前规划子系统，其特征在于，所述医学图像可视化子系统包括医学数据导入单元、脑部结构分割单元、血管分支分段单元、配准单元以及可视化模型建立单元；所述术前规划子系统包括视野调整单元、手术规划单元、结果存储及导出预览单元；所述医学数据导入单元用于导入医学影像数据并进行预处理；所述脑部结构分割单元可根据前述医学影像数据，从中分割出血管、大脑皮层、纤维束、白质、灰质组织结构；所述血管分支分段单元可基于所述脑部结构分割单元提供的血管数据，将动静脉加以区分，并在所述血管的分支处将分支血管进行单独分段；所述配准单元可实现各个分割结果之间的配准；所述可视化模型建立单元可实现脑部结构的三维可视化模型的建立。


2.如权利要求1所述的基于虚拟现实的术前辅助规划装置，其特征在于，所述视野调整单元可实现对观察视野的自由调整；所述手术规划单元可实现对虚拟场景中的脑部三维模型及医疗设备进行操作；所述结果存储及导出预览单元可实现对术前规划的结果进行保存、预览的功能。


3.如权利要求2所述的基于虚拟现实的术前辅助规划装置，其特征在于，所述医学数据导入单元可导入CT、增强CT、MRI、DTI的医学影像数据。


4.如权利要求3所述的基于虚拟现实的术前辅助规划装置，其特征在于，所述脑部结构分割单元包括血管分割模块、大脑皮层分割模块、纤维束分割模块、白质分割模块...

【专利技术属性】
技术研发人员：赵俊，王志俊，戴其铮，郭雪琦，林恒，张鑫，徐天啸，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海;31