三维模型生成方法和装置、设备、存储介质制造方法及图纸

本申请公开了一种三维模型生成方法和装置、设备、存储介质，三维模型生成方法包括：获取包含目标对象的三维图像；对三维图像进行特征提取，得到关于目标对象的特征；基于目标对象的特征对三维模板进行变形，得到关于目标对象的三维模型。上述方案，能够基于包含目标对象的三维图像直接得到关于目标对象的三维模型。型。型。

【技术实现步骤摘要】
三维模型生成方法和装置、设备、存储介质


[0001]本申请涉及图像处理
，特别是涉及一种三维模型生成方法和装置、设备、存储介质。

技术介绍

[0002]目前，在医学图像处理中，器官可视化、表面分析与测量等任务中，能够平滑、且清楚表示真实器官表面细节是这些任务对网格模型重建结果的基本要求。现有进行网格模型重建的方式主要是通过对包含器官的三维图像进行体素分割，只能得到大致的网格模型重建结果，这种方式得到的网格模型重建结果往往不太清楚。

技术实现思路

[0003]本申请至少提供一种三维模型生成方法和装置、设备、存储介质。
[0004]本申请提供了一种三维模型生成方法，包括：获取包含目标对象的三维图像；对三维图像进行特征提取，得到关于目标对象的特征；基于目标对象的特征对三维模板进行变形，得到关于目标对象的三维模型。
[0005]因此，通过对包含目标对象的三维图像进行特征提取得到关于目标对象的特征之后，然后基于目标对象的特征对三维模板进行变形，即可得到关于目标对象的三维模型，本申请通过借助三维模板获取目标对象的三维模型，使得获得的关于目标对象的三维模型更为准确。
[0006]其中，对三维图像进行特征提取，得到关于目标对象的特征，包括：利用网络模型中的卷积网络对三维图像进行特征提取，得到关于目标对象的特征；基于目标对象的特征对三维模板进行变形，得到关于目标对象的三维模型，包括：利用网络模型中的图卷积网络基于卷积网络输出的目标对象的特征对三维模板进行变形，得到关于目标对象的三维模型。<br/>[0007]因此，使用网络模型对三维图像进行特征提取以及根据特征对三维模板进行变形，得到关于目标对象的三维模型，整个重建过程无需用户参与。
[0008]其中，卷积网络包括若干个级联的编码模块以及若干个级联的解码模块，图卷积网络包括若干个级联的变形模块，每一变形模块对应一个解码模块；利用网络模型中的卷积网络对三维图像进行特征提取，得到关于目标对象的特征，包括：使用若干个级联的编码模块对三维图像进行编码操作，以及使用若干个解码模块对编码模块的输出结果进行解码操作，得到各解码模块关于目标对象的特征；利用网络模型中的图卷积网络基于卷积网络输出的目标对象的特征对三维模板进行变形，得到关于目标对象的三维模型，包括：对于图卷积网络中第一级的变形模块，利用与变形模块对应的解码模块输出的目标对象的特征，对三维模板进行变形，得到变形模块对应的变形三维模板；对于非第一级的每一变形模块，利用与每一变形模块对应的解码模块输出的目标对象的特征，对上一级变形模块输出的变形三维模板进行变形，得到变形模块对应的变形三维模板；其中，最后一级变形模块得到的
变形三维模板作为目标对象的三维模型。
[0009]因此，图卷积网络接收来自卷积网络不同层次的特征，并对三维模板进行从粗到精的变形，使得输出的三维模型表面的各顶点位置更为准确。
[0010]其中，每个变形模块包括特征提取子模块以及推理子模块，对于图卷积网络中第一级的变形模块，利用与变形模块对应的解码模块输出的目标对象的特征，对三维模板进行变形，得到变形模块对应的变形三维模板，包括：利用变形模块的特征提取子模块，对三维模板以及与变形模块对应的解码模块输出的目标对象的特征进行特征提取，得到变形模块关于目标对象的进阶特征；利用变形模块的推理子模块基于进阶特征对三维模板进行变形，得到下一级变形模块进行第二特征提取和变形中使用的变形三维模板；对于非第一级的每一变形模块，利用与每一变形模块对应的解码模块输出的目标对象的特征，对上一级变形模块输出的变形三维模板进行变形，得到变形模块对应的变形三维模板，包括：利用变形模块的特征提取子模块，对上一级变形模块得到的进阶特征和变形三维模板、以及与变形模块对应的解码模块输出的目标对象的特征进行特征提取，得到变形模块关于目标对象的进阶特征；利用变形模块的推理子模块基于进阶特征对上一级变形模块得到的变形三维模板进行变形，得到变形模块对应的变形三维模板。
[0011]因此，通过特征提取子模块对特征和三维模板或上一级变形模块输出的变形三维模板进行特征提取，得到关于目标对象的进阶特征，使得变形得到的三维模型更准确。
[0012]其中，方法还包括对网络模型的训练步骤，训练步骤包括：获取包含目标对象的样本三维图像；利用网络模型基于样本三维图像以及预设三维模板，得到关于目标对象的若干个训练三维模型，若干个训练三维模型包括图卷积网络中各级变形模块输出的训练三维模型；基于若干个训练三维模型确定第一损失；利用第一损失对网络模型中的参数进行调整。
[0013]因此，通过基于若干个训练三维模型确定第一损失，使得确定得到的损失更准确。
[0014]其中，每一训练三维模型的表面由若干个训练网格构成，基于若干个训练三维模型确定第一损失，包括：对于每一训练三维模型，基于训练三维模型的表面上各训练网格的顶点与样本网格的顶点之间的距离损失，样本网格为目标对象的真实三维模型的表面上的网格；以及，确定关于训练三维模型表面上各训练网格的正则化损失，正则化损失与各训练网格之间的变形情况相关；利用各训练三维模型对应的距离损失以及正则化损失，得到第一损失。
[0015]因此，通过计算距离损失和正则化损失，能够考虑到多方面的重建情况，使得确定得到的第一损失更为准确。
[0016]其中，利用各训练三维模型对应的距离损失以及正则化损失，得到第一损失，包括：对每一训练三维模型，将训练三维模型对应的距离损失和正则化损失进行加权融合，得到关于训练三维模型的损失；将各训练三维模型的损失相加，得到第一损失；其中，各训练三维模型的正则化损失对应的权重与目标因素呈负相关，目标因素包括得到训练三维模型的训练迭代次数和/或得到训练三维模型的变形模块在图卷积网络中的级别。
[0017]因此，通过使用动态正则化策略，从而实现先学习整体上的全局网格变形，再学习结构细节的拟合，进而实现从粗到精的拟合。
[0018]其中，方法还包括：利用网络模型得到样本三维图像关于目标对象的体素分割结
果，体素分割结果基于卷积网络中最后一级解码模块输出的目标对象的特征得到；基于体素分割结果和样本三维图像关于目标对象的真实体素分割结果，得到第二损失；利用第一损失对网络模型中的参数进行调整，包括：利用第一损失和第二损失，对网络模型中的参数进行调整。
[0019]因此，通过结合体素分割结果对应的第二损失，对网络模型中的参数进行调整，调整之后的网络模型后续提取得到的特征更为准确。
[0020]其中，方法还包括：利用网络模型得到各体素对应的符号距离场，符号距离场基于卷积网络中最后一级解码模块输出的目标对象的特征得到；基于符号距离场和样本三维图像关于目标对象的真实符号距离场，得到第三损失；利用第一损失对网络模型中的参数进行调整，包括：利用第一损失、第二损失以及第三损失，得到目标损失；使用目标损失，对网络模型中的参数进行调整。
[0021]因此，通过结合符号距离场对应的第三损本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维模型生成方法，其特征在于，包括：获取包含目标对象的三维图像；对所述三维图像进行特征提取，得到关于所述目标对象的特征；基于所述目标对象的特征对三维模板进行变形，得到关于所述目标对象的三维模型。2.根据权利要求1所述的方法，其特征在于，所述对所述三维图像进行特征提取，得到关于所述目标对象的特征，包括：利用网络模型中的卷积网络对所述三维图像进行特征提取，得到关于所述目标对象的特征；所述基于所述目标对象的特征对三维模板进行变形，得到关于所述目标对象的三维模型，包括：利用所述网络模型中的图卷积网络基于所述卷积网络输出的目标对象的特征对所述三维模板进行变形，得到关于所述目标对象的三维模型。3.根据权利要求2所述的方法，其特征在于，所述卷积网络包括若干个级联的编码模块以及若干个级联的解码模块，所述图卷积网络包括若干个级联的变形模块，每一所述变形模块对应一个所述解码模块；所述利用网络模型中的卷积网络对所述三维图像进行特征提取，得到关于所述目标对象的特征，包括：使用所述若干个级联的编码模块对所述三维图像进行编码操作，以及使用若干个解码模块对所述编码模块的输出结果进行解码操作，得到各解码模块关于所述目标对象的特征；所述利用所述网络模型中的图卷积网络基于所述卷积网络输出的目标对象的特征对所述三维模板进行变形，得到关于所述目标对象的三维模型，包括：对于所述图卷积网络中第一级的所述变形模块，利用与所述变形模块对应的解码模块输出的所述目标对象的特征，对所述三维模板进行变形，得到所述变形模块对应的变形三维模板；对于所述非第一级的每一所述变形模块，利用与每一所述变形模块对应的解码模块输出的所述目标对象的特征，对上一级所述变形模块输出的变形三维模板进行变形，得到所述变形模块对应的变形三维模板；其中，最后一级所述变形模块得到的变形三维模板作为所述目标对象的三维模型。4.根据权利要求3所述的方法，其特征在于，每个所述变形模块包括特征提取子模块以及推理子模块，所述对于所述图卷积网络中第一级的所述变形模块，利用与所述变形模块对应的解码模块输出的所述目标对象的特征，对所述三维模板进行变形，得到所述变形模块对应的变形三维模板，包括：利用所述变形模块的特征提取子模块，对所述三维模板以及与所述变形模块对应的解码模块输出的所述目标对象的特征进行特征提取，得到所述变形模块关于所述目标对象的进阶特征；利用所述变形模块的推理子模块基于所述进阶特征对所述三维模板进行变形，得到下一级变形模块进行第二特征提取和变形中使用的变形三维模板；所述对于所述非第一级的每一所述变形模块，利用与每一所述变形模块对应的解码模
块输出的所述目标对象的特征，对上一级所述变形模块输出的变形三维模板进行变形，得到所述变形模块对应的变形三维模板，包括：利用所述变形模块的特征提取子模块，对上一级所述变形模块得到的进阶特征和所述变形三维模板、以及与所述变形模块对应的解码模块输出的所述目标对象的特征进行特征提取，得到所述变形模块关于所述目标对象的进阶特征；利用所述变形模块的推理子模块基于所述进阶特征对上一级所述变形模块得到的变形三维模板进行变形，得到所述变形模块对应的变形三维模板。5.根据权利要求3或4所述的方法，其特征在于，所述方法还包括对所述网络模型的训练步骤，所述训练步骤包括：获取包含所述目标对象的样本三维图像；利用所述网络模型基于所述样本三维图像以及预设三维模板，得到关于所述目标对象的若干个训练三维模型，所述若干个训练三维模型包括所述图卷积网络中各级所述变形模块输出的训练三维模型；基于所述若干个训练三维模型确定第一损失；利用所述第一损失对所述网...

【专利技术属性】
技术研发人员：刘星龙，夏清，张云庚，韩泓泽，张少霆，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：