【技术实现步骤摘要】
一种多切面三维重建及特征识别方法
[0001]本专利技术属于计算机医学成像
，尤其涉及一种多切面三维重建及特征识别方法。
技术介绍
[0002]根据传感器采集的目标进行三维重建可应用于不同场景，当前通过医学图像进行三维重建以辅助医疗诊断已广泛研究和使用。传统的医学影像三维重建如移动立方体算法(Marching Cube，MC)容易产生二义性，在三维模型中产生“空洞”效果，导致三维模型边界集合特征丢失。研究者目前将重点转移至使用深度学习算法如RealPoint3D、3D
‑
R2N2网络对RGB图像内目标进行三维重建，但该类网络需要大量的三维点云数据及其标注。医学图像样本较少，且多为2D的单眼摄像头RGB图像或灰度图，无法产生如激光雷达(LiDAR)或双目摄像头提供的目标有效深度信息，难以构建准确的三维模型。
技术实现思路
[0003]为解决医学图像样本少且标注困难的问题，本专利技术基于2D图像生成对抗网络(2D GAN)，通过无监督学习对2D多切面超声心动图进行三维重建。
[00...
【技术保护点】
【技术特征摘要】
1.一种多切面三维重建方法，其特征在于，所述方法使用神经网络进行学习，所述神经网络包括分类网络、渲染网络和GAN转换网络，所述分类网络将输入的原始超声心动图与初始3D模型匹配，所述渲染网络生成不同视角和光照条件的伪样本模型，所述GAN转换网络包括神经网络D、神经网络A、V
‑
GA神经网络、L
‑
GA神经网络、E
‑
GA神经网络和G神经网络，将所述伪样本模型转换为映射样本模型；所述方法包括以下步骤：接收不同切面的原始RGB超声心动图；根据训练周期对超声心动图输入神经网络进行训练；在训练过程中，当训练周期N为1时，使用所述分类网络将输入的超声心动图匹配相应的初始3D模型；当训练周期N％3＝1时，使用神经网络D和神经网络A输出三维模型重建所需的深度和反射率，使用神经网络A将所述深度、反射率及渲染生成的重建模型和输入图像I的第一三维重建损失优化更新神经网络A；当训练周期N％3＝2时，使用V
‑
GA神经网络和L
‑
GA神经网络，根据第二三维重建损失优化更新E
‑
GA神经网络；当训练周期N％3＝0且N>0时，使用V
‑
GA神经网络输出视角，使用L
‑
GA神经网络输出光照，使用神经网络A输出反射率，使用神经网络D输出深度，根据第二三维重建损失优化更新V
‑
GA神经网络、L
‑
GA神经网络、神经网络A和神经网络D；训练周期结束，输出三维模型。2.根据权利要求1所述的多切面三维重建方法，其特征在于，所述分类网络为预训练的轻量级ResNet
‑
8的CNN网络，获得原始RGB超声心动图的某一个切面，然后将与该切面匹配的3D模型作为初始3D模型，所述分类网络使用ON/OFF接口，ON表示使用分类网络进行分类决策，OFF表示不使用分类网络进行分类决策。3.根据权利要求1所述的多切面三维重建方法，其特征在于，所述V
‑
GA神经网络和L
‑
GA神经网络为基于遗传算法的编码CNN网络，输入图像I通过此两个神经网络分别输出三维模型重建所需的视角和光照；所述V
‑
GA和L
‑
GA神经网络上部的u接口表示该神经网络更新，r接口表示该神经网络保持不变。4.根据权利要求1所述的多切面三维重建方法，其特征在于，所述神经网络D和神经网络A为基于遗传算法的编码
‑
解码CNN网络，输入图像I通过此两个网络分别输出三维模型重建所需的深度和反射率；所述神经网络D和神经网络A上部的u接口表示该神经网络更新，r接口表示该神经网络保持不变。5.根据权利要求1所述的多切面三维重建方法，其特征在于，所述E
‑
GA神经网络、G神经网络为GAN转换网络的编码
‑
解码CNN网络，将输入的所有伪样本模型Ii输出生成对应的映射样本模型所述渲染网络从深度、反射率、视角和光照角度进行三维建模，分别生成伪样本模型Ii和重建模型6.根据权利要求...
【专利技术属性】
技术研发人员：王浩，常瀛修，时广轶，裘玮晶，
申请(专利权)人：苏州鑫康成医疗科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。