一种基于HOLOLENS的人体三维重建模型系统技术方案

本发明专利技术提供一种基于HOLOLENS的人体三维重建模型系统，包括：步骤S1：通过CT影像技术对患者进行图像采集，获取患者的实际CT序列图像；步骤S2：对获得的实际CT序列图像进行预处理；步骤S3：将上述经过预处理后的实际CT序列图像的冠状面、横状面、矢状面可视化；步骤S4：采用阈值分割、区域增长图像分割方法依次分割实际CT序列图像；步骤S5：将分割好的图像序列进行三维重建，生成三维重建模型；步骤S6：将所述三维重建模型通过Unity3D软件导入HOLOLENS平台，依次添加手势操作，实现人机互动。本发明专利技术的技术方案解决了现有技术中传统的手术过程存在风险高，病人痛苦大，术后效果不理想等缺点，手术效果受医生个人业务水平影响很大的问题。

A Human 3D Reconstruction Model System Based on HOLOLENS

【技术实现步骤摘要】
一种基于HOLOLENS的人体三维重建模型系统
本专利技术涉及医学图像处理技术的三维重建
，具体而言，尤其涉及一种基于HOLOLENS的人体三维重建模型系统。
技术介绍
增强现实技术(AugmentedReality，简称AR)，它是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息，声音，味道，触觉等)，通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。AR系统具有三个突出的特点：①真实世界和虚拟世界的信息集成；②具有实时交互性；③是在三维尺度空间中增添定位虚拟物体。AR技术可广泛应用到军事、医疗、建筑、教育、工程、影视、娱乐等领域。在医疗领域，增强现实与医疗的结合应用越来越被人们所重视。医生进行传统手术时需要根据术前进行的核磁共振，CT等影像，判断病灶部位，制定手术方案。其局限在于，术前影像无法在手术过程中提供实时对照和操作预警。现在，随着手术导航技术的应用，可以为医生提供实时影像，显著提高手术的效率和安全性。而这种个性化的精准治疗手段需要前期准备，例如由患者的CT扫描图像建立患者的骨骼和器官模型，为手术导航做准备。也可以成为一个真实的人体教学系统。所以，一套简单快捷的三维模型重建系统对增强现实与医疗的完美结合尤为重要。
技术实现思路
根据上述提出传统的手术过程存在风险高，病人痛苦大，术后效果不理想等缺点，同时手术效果受医生个人业务水平影响很大的技术问题，而提供一种基于HOLOLENS的人体三维重建模型系统。本专利技术采用的技术手段如下：一种基于HOLOLENS的人体三维重建模型系统，包括以下步骤：步骤S1：通过CT影像技术对患者进行图像采集，获取患者的实际CT序列图像；步骤S2：对获得的实际CT序列图像进行预处理；步骤S3：将上述经过预处理后的实际CT序列图像的冠状面、横状面、矢状面可视化；步骤S4：采用阈值分割、区域增长图像分割方法依次分割实际CT序列图像；步骤S5：将分割好的图像序列进行三维重建，生成三维重建模型；步骤S6：将所述三维重建模型通过Unity3D软件导入HOLOLENS平台，依次添加手势操作，实现人机互动。进一步地，所述步骤S2的预处理包括：去噪处理和图像增强处理；所述去噪处理是利用matlab读取CT原始数据后进行相应调整以适应后续步骤；所述图像增强处理利用灰度线性变换，设置一个阈值上限和一个阈值下限，将灰度值大于阈值上限的变为1，阈值小于下限的变为0而阈值介于上限和下限之间的相应变成0～1之间，使图像变得更加清晰，扩大所需器官与周围器官的灰度差。进一步地，所述步骤S4的具体过程如下：步骤S41：采用阈值分割，将灰度区间距离拉大，进而获得边界分明的CT序列图像；步骤S42：再通过采用改进的区域增长方法对所需器官部位进行区域增长，从而获得器官特征序列图像。进一步地，在所述步骤S4中还包括对步骤S41中获得的边界分明的CT序列图像进行开运算，闭运算，再开运算，使得所需器官完全分离的步骤。较现有技术相比，本专利技术具有以下优点：1、本专利技术提供的基于HOLOLENS的人体三维重建模型系统，为医生提供了一个虚拟的3D环境以及可交互操作平台，可以逼真地模拟临床手术的全过程。2、本专利技术提供的基于HOLOLENS的人体三维重建模型系统，利用虚拟手术系统，医生可以在对病人实施复杂手术之前进行练习，把通过成像设备获取的病人图像及模型导入仿真系统。医生还可以对实际手术做出相应的规划，或者对病变缺损部位进行较精确的前期测量和估算，从而预见手术的复杂性。3、本专利技术提供的基于HOLOLENS的人体三维重建模型系统，运用增强现实技术可以使医务工作者沉浸于虚拟的场景内，通过视、听、触觉感知并学习各种手术实际操作，体验并学习如何应付临床手术中的各类突发情况。节约了培训医务人员的费用和时间，使非熟练人员进行手术的风险性大大降低，对提高医学教育与训练的效率和质量以及改善医学手术水平发展不平衡的现状有着特殊的意义，具有非常好的实际应用价值。基于上述理由本专利技术可在医学图像处理技术的三维重建等领域广泛推广。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术系统流程图。图2为本专利技术实施例提供的HOLOLENS增强现实眼镜平台。图3为本专利技术实施例提供的经过预处理后的人体肺部CT切片图。图4为本专利技术实施例提供的经过阈值分割处理后的CT图。图5为本专利技术实施例提供的经过开运算后的CT图。图6为本专利技术实施例提供的经过闭运算的CT图。图7为本专利技术实施例提供的二次开运算的CT图。图8为本专利技术实施例提供的区域增长后的分割结果图。图9为本专利技术实施例提供的基于CT图像重建后所取得的三维重建图像。图10为本专利技术实施例提供的肺部区域的三维重建图像(包含肺部血管)。图11为本专利技术实施例提供的骨骼以及人体器官在Unity3D中的效果图。具体实施方式需要说明的是，在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本专利技术。为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本专利技术及其应用或使用的任何限制。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本专利技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本专利技术的范围。同时，应当清楚，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员己知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任向具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。实施例如图1所示，本专利技术提供了一种基于HOLOLENS的人体三维重建模型系统，包括以下步骤：步骤S1：通过CT影像技术对患者进行图像采集，获取患者的实际CT序列图像；步骤S2：对获得的实际CT序列图像进行预处理；预本文档来自技高网...

【技术保护点】
1.一种基于HOLOLENS的人体三维重建模型系统，其特征在于，包括以下步骤：步骤S1：通过CT影像技术对患者进行图像采集，获取患者的实际CT序列图像；步骤S2：对获得的实际CT序列图像进行预处理；步骤S3：将上述经过预处理后的实际CT序列图像的冠状面、横状面、矢状面可视化；步骤S4：采用阈值分割、区域增长图像分割方法依次分割实际CT序列图像；步骤S5：将分割好的图像序列进行三维重建，生成三维重建模型；步骤S6：将所述三维重建模型通过Unity3D软件导入HOLOLENS平台，依次添加手势操作，实现人机互动。

【技术特征摘要】
1.一种基于HOLOLENS的人体三维重建模型系统，其特征在于，包括以下步骤：步骤S1：通过CT影像技术对患者进行图像采集，获取患者的实际CT序列图像；步骤S2：对获得的实际CT序列图像进行预处理；步骤S3：将上述经过预处理后的实际CT序列图像的冠状面、横状面、矢状面可视化；步骤S4：采用阈值分割、区域增长图像分割方法依次分割实际CT序列图像；步骤S5：将分割好的图像序列进行三维重建，生成三维重建模型；步骤S6：将所述三维重建模型通过Unity3D软件导入HOLOLENS平台，依次添加手势操作，实现人机互动。2.根据权利要求1所述的基于HOLOLENS的人体三维重建模型系统，其特征在于，所述步骤S2的预处理包括：去噪处理和图像增强处理；所述去噪处理是利用matlab读取CT原始数据后进行相应调整以适...

【专利技术属性】
技术研发人员：马贺，籍斯文，姚冠楠，方粳凯，刁家庆，孙健乔，
申请(专利权)人：东北大学，
类型：发明
国别省市：辽宁,21