一种基于混合现实与3DGAN的软组织自适应形变方法技术

本发明专利技术提供一种基于混合现实与3DGAN的软组织自适应形变方法及系统，属于医疗技术领域。本发明专利技术方法包括如下步骤：获取术前的全局三维模型，将其转换为点云数据；实时获取术中的患者局部影像深度图数据，将其转换为点云数据；将获取的点云数据送入嵌套3DGAN网络模型，实现局部形变映射到全局形变；将得到的形变后的点云全局数据转化为三维模型。本发明专利技术还提供一种系统，用于实现上述的基于混合现实与3DGAN的软组织自适应形变方法。本发明专利技术的有益效果为：能够在手术过程中根据患者局部影像，使术中人体软组织形变匹配术前的虚拟三维模型，并实时生成患者体内的软组织形变后的三维模型。模型。模型。

【技术实现步骤摘要】
一种基于混合现实与3DGAN的软组织自适应形变方法


[0001]本专利技术涉及一种医疗技术，尤其涉及一种基于混合现实与3DGAN的软组织自适应形变方法。

技术介绍

[0002]传统手术过程中，医生需要结合专业知识与患者术前的CT或MR等扫描二维影像来构想术中患者体内的三维模型，这十分考验医生的经验与长时间高负载手术的精力消耗。术中导航系统是一种较为新颖的手术辅助方式，是将患者的身体三维模型通过配准方法匹配术中身体解剖结构，然后虚拟三维模型与真实患者重叠后，通过相应的影像设备展示给医生，使得医生对于术中患者解剖位置的情况清晰明了，提高手术的安全性与成功率，并有效降低医生的手术负担。
[0003]现有的术中导航方法仍有诸多不足，主要体现在医生的视线需要在显示设备与患者之间来回切换、术中人体软组织形变难以匹配术前虚拟三维模型等问题。随着虚拟现实(Virtual Reality，VR)，增强现实(Augmented Reality，AR)以及混合现实(Mixed Reality，MR)等沉浸式立体视觉技术的发展，人们致力于将这些新技术应用到临床本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于混合现实与3DGAN的软组织自适应形变方法，其特征在于：包括如下步骤：S1：获取术前的全局三维模型，将其转换为点云数据；S2：手术中，实时获取术中的患者局部影像深度图数据，将其转换为点云数据；S3：将步骤S1和步骤S2中获取的点云数据送入嵌套3DGAN网络模型，实现局部形变映射到全局形变；S4：将得到的形变后的点云全局数据转化为三维模型，步骤S3中，所述嵌套3DGAN网络模型包括局部映射网络及全局检测网络，所述局部映射网络根据输入的局部影像深度图点云数据，推断出全局三维模型的形变，所述全局检测网络根据术前全局三维模型点云数据以及上一个阶段的全局三维模型点云数据，修正本阶段局部映射网络输出的全局形变后的三维模型。2.根据权利要求1所述的基于混合现实与3DGAN的软组织自适应形变方法，其特征在于：在步骤S1之前，还包括判断步骤：判断是否训练嵌套3DGAN网络模型，如果是，执行步骤S1，如果否，执行对嵌套3DGAN网络模型训练步骤A，包括如下步骤：A1：获取软组织形变的训练集，所述训练集包括多套不同的体膜模型；A2：利用训练集训练局部映射网络的生成器网络及判别器网络，直至达到纳什均衡；A3：训练全局检测网络的生成器网络和判别器网络，直至达到纳什均衡；A4：训练完成，结束。3.根据权利要求1或2所述的基于混合现实与3DGAN的软组织自适应形变方法，其特征在于：所述局部映射网络包括局部生成器网络和设置在局部生成器网络后级的局部判别器网络，所述局部生成器网络的处理过程为：点云转换后的局部影像深度图数据经过N层3D卷积块网络处理后，再通过全局池化层处理，最后输出全局三维模型的形变，其中，所述3D卷积块网络的前N/2采用空洞卷积，后N/2采用微步卷积，所述3D卷积块网络的激活层采用ReLU函数作为激活函数。4.根据权利要求1或2所述的基于混合现实与3DGAN的软组织自适应形变方法，其特征在于：所述局部映射网络的输入为混合现实设备在术中捕获的局部深度影像所生成的三维点云模型；输出为本阶段推断出的初步全局形变三维模型；局部映射网络的损失函数为：Local
loss
＝min
c
max
Dlocal
V(D
local
,G)＝E
x～Pdata(x)
[IogD
local
(X)]+E
z～Pz(z)
[1
‑
D
local
(G
local
(Z))]其中，D
local
(x)表示局部判别器，用来判断该输出模型与体模数据模型是否吻合，输出为一个0到1的值，值越大表示判别器认为输入与真实图像差距越大；min
G
max
D
表示需要使生成器的输出结果能够欺骗判别器，D
local
表示局部映射网络的判别器，G
local
表示局部映射网络的生成器，z表示当前输入的局部三维点云模型，x表示训练集的体模三维模型。5.根据权利要求1或2所述的基于混合现实与3DGAN的软组织自适应形变方法，其特征在于：所述全局检测网络的处理过程为：(1)获取上一个阶段输出的全局三维模型点云数据及术前全局三维模型点云数据，并结合本阶段局部映射网络初步输出的全局三维模型的形变；(2)经过下采样网络对步骤(1)的数据下采样；(3)经过包括若干个残差网络层的3D...

【专利技术属性】
技术研发人员：夏羽，刘安然，
申请(专利权)人：深圳大学，
类型：发明
国别省市：