物体内部结构三维重建方法、系统及计算机可读存储介质技术方案

本发明专利技术实施例涉及计算机视觉技术领域，公开了一种物体内部结构三维重建方法、系统及计算机可读存储介质，该方法包括：基于多个立体结构的二维X光图像，对用于物体内部结构三维重建的预设深度学习网络进行训练，得到目标三维重建模型；将待测物体的至少一个待测二维X光图像输入至所述目标三维重建模型中，得到所述待测物体的目标三维结构。应用本发明专利技术的技术方案，能够减少三维重建模型的网络参数量，并能提高多张图像进行三维重构的重构精度。能提高多张图像进行三维重构的重构精度。能提高多张图像进行三维重构的重构精度。

【技术实现步骤摘要】
物体内部结构三维重建方法、系统及计算机可读存储介质


[0001]本专利技术实施例涉及计算机视觉
，具体涉及一种物体内部结构三维重建方法、系统及计算机可读存储介质。

技术介绍

[0002]X光可以在不破坏物体的情况下获取内部结构信息，被广泛应用于工业探伤、装配检测、医学影像等领域，但是X光成像只能得到二维投影图像，内部结构间的投影会相互重叠，严重干扰人们对物体内部结构的判断。传统方法(CT)通过旋转样品或成像系统的方式，从物体不同角度拍摄几百张X光照片，再利用图片间的投影关系重建物体三维立体结构，这种方法拍摄和重建时间长，同时旋转样品或拍照系统的过程中要求样品和拍照系统不能有高度方向的移动和倾斜，因而只能在经过精密矫正的旋转台上拍摄，尤其是工业CT无法应用于现场运行的设备，医学CT还会造成辐射剂量大幅增加等问题。计算机视觉领域的发展使得利用一张或几张X光照片来重建三维立体结构成为可能，但由于二维图像丢失了深度方向的信息，基于深度学习内部结构三维重建一直是计算机视觉领域的一大难点。
[0003]目前的内部结构三维重建网络的研究主要集中在医学影像上，对工业部件内部结构三维重建的研究还很少，重构的精度还有待提升，且随着网络深度的增加，网络参数以及计算量也成倍增加，尤其是3D卷积神经网络和稠密网络会带来数据量的指数级增加，给网络的训练和运用带来了极大的困难。因此，亟需提供一种技术方案解决上述技术问题。

技术实现思路

[0004]鉴于上述问题，本专利技术实施例提供了一种物体内部结构三维重建方法、系统及计算机可读存储介质，用于解决现有技术中存在的三维重建过程的计算量大以及重构精度不高的问题。
[0005]根据本专利技术实施例的一个方面，提供了一种物体内部结构三维重建方法，所述方法包括：
[0006]基于多个立体结构的二维X光图像，对用于物体内部结构三维重建的预设深度学习网络进行训练，得到目标三维重建模型；
[0007]将待测物体的至少一个待测二维X光图像输入至所述目标三维重建模型中，得到所述待测物体的目标三维结构。
[0008]在一种可选的方式中，所述基于多个立体结构的二维X光图像，对用于物体内部结构三维重建的预设深度学习网络进行训练，得到目标三维重建模型的步骤，包括：
[0009]将每个立体结构的二维X光图像输入至所述预设深度学习网络，得到所述每个立体结构的预测三维结构；
[0010]利用CT重建技术，得到所述每个立体结构的二维X光图像对应的真实三维结构；
[0011]根据所述每个立体结构的预测三维结构和真实三维结构，得到所述每个立体结构的损失值；
[0012]基于所有的立体结构的损失值，对所述预设深度学习网络的参数进行优化，得到优化后的深度学习网络，直至所述优化后的深度学习网络满足预设条件时，将所述优化后的深度学习网络确定为所述目标三维重建模型。
[0013]在一种可选的方式中，所述预设深度学习网络包括：至少一组编码器与解码器，以及一个融合器，每个解码器分别连接所述融合器，每个立体结构包括至少一个二维X光图像；所述将每个立体结构的二维X光图像输入至所述预设深度学习网络，得到所述每个立体结构的预测三维结构的步骤，包括：
[0014]将所述每个立体结构的至少一个二维X光图像分别输入不同的编码器进行二维特征提取，得到所述每个立体结构的所述至少一个二维X光图像的二维特征图像；
[0015]将所述每个立体结构的每个二维特征图像分别输入至对应的解码器中进行三维重建，得到所述每个立体结构的所述至少一个三维重建特征；
[0016]将所述每个立体结构的每个三维重建特征输入至所述融合器中进行三维图像融合，得到所述每个立体结构的所述预测三维结构。
[0017]在一种可选的方式中，任一编码器包括：依次设置的首层编码层网络和多个非首层编码层网络；所述将所述每个立体结构的至少一个二维X光图像分别输入不同的编码器进行二维特征提取，得到所述每个立体结构的所述至少一个二维X光图像的二维特征图像的步骤，包括：
[0018]将任一立体结构的任一二维X光图像输入至对应的编码器的首层编码层网络中进行处理，得到所述任一立体结构的所述任一二维X光图像的第一编码层特征图像；其中，所述首层编码层网络包括：依次设置的至少一组包含第一卷积网络、第一批归一化层和第一激活层的卷积模块；
[0019]将所述第一编码层特征图像输入至所述首层编码层网络连接的非首层编码层网络，并依次通过每个非首层编码层网络进行处理，得到所述任一二维X光图像的二维特征图像，直至得到所述每个立体结构的所述至少一个二维X光图像的二维特征图像；其中，每个非首层编码层网络包括：依次设置的至少一个包含深度可分离卷积网络、第二批归一化层和第二激活层的第一深度可分离卷积模块以及第一SENet网络，且所述每个非首层编码层网络的首尾连接一个第一残差网络。
[0020]在一种可选的方式中，任一解码器包括：多个解码器网络；所述将所述每个立体结构的每个二维特征图像分别输入至对应的解码器中进行三维重建，得到所述每个立体结构的所述至少一个三维重建特征的步骤，包括：
[0021]将任一立体结构的任一二维特征图像输入至对应的解码器中，依次通过每个解码器网络中进行三维重建，得到所述任一立体结构的所述任一二维特征图像对应的三维重建特征，直至得到所述每个立体结构的每个二维特征图像对应的三维重建特征；其中，每个解码器网络包括：依次设置的反卷积层、第二残差网络、包含至少一个第二深度可分离卷积网络的第二深度可分离卷积模块以及第二SENet网络。
[0022]在一种可选的方式中，所述融合器包括：稠密神经网络和降维网络；所述将所述每个立体结构的每个三维重建特征输入至所述融合器中进行三维图像融合，得到所述每个立体结构的所述预测三维结构的步骤，包括：
[0023]将任一立体结构的每个三维重建特征输入至所述融合器中，并依次通过所述稠密
神经网络和降维网络进行三维图像融合，得到所述任一立体结构的预测三维结构，直至得到每个立体结构的预测三维结构；其中，所述稠密神经网络包括：依次设置的多个包含依次连接的第三深度可分离卷积网络、第三批归一化层和第三激活层的第三深度可分离卷积模块；所述降维网络包括：所述第三深度可分离卷积模块。
[0024]根据本专利技术实施例的另一方面，提供了一种物体内部结构三维重建系统，包括：处理模块和运行模块；
[0025]所述处理模块，用于基于多个立体结构的二维X光图像，对用于物体内部结构三维重建的预设深度学习网络进行训练，得到目标三维重建模型；
[0026]所述运行模块，用于将待测物体的至少一个待测二维X光图像输入至所述目标三维重建模型中，得到所述待测物体的目标三维结构。
[0027]在一种可选的方式中，所述处理模块包括：第一处理模块、第二处理模块、第三处理模块和第四处理模块；
[0028]所述第一处理模块，用于将每个立体结构的二维X光图像输入至所述预设深度学习网络，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种物体内部结构三维重建方法，其特征在于，包括：基于多个立体结构的二维X光图像，对用于物体内部结构三维重建的预设深度学习网络进行训练，得到目标三维重建模型；将待测物体的至少一个待测二维X光图像输入至所述目标三维重建模型中，得到所述待测物体的目标三维结构。2.根据权利要求1所述的方法，其特征在于，所述基于多个立体结构的二维X光图像，对用于物体内部结构三维重建的预设深度学习网络进行训练，得到目标三维重建模型的步骤，包括：将每个立体结构的二维X光图像输入至所述预设深度学习网络，得到所述每个立体结构的预测三维结构；利用CT重建技术，得到所述每个立体结构的二维X光图像对应的真实三维结构；根据所述每个立体结构的预测三维结构和真实三维结构，得到所述每个立体结构的损失值；基于所有的立体结构的损失值，对所述预设深度学习网络的参数进行优化，得到优化后的深度学习网络，直至所述优化后的深度学习网络满足预设条件时，将所述优化后的深度学习网络确定为所述目标三维重建模型。3.根据权利要求2所述的方法，其特征在于，所述预设深度学习网络包括：至少一组编码器与解码器，以及一个融合器，每个解码器分别连接所述融合器，每个立体结构包括至少一个二维X光图像；所述将每个立体结构的二维X光图像输入至所述预设深度学习网络，得到所述每个立体结构的预测三维结构的步骤，包括：将所述每个立体结构的至少一个二维X光图像分别输入不同的编码器进行二维特征提取，得到所述每个立体结构的所述至少一个二维X光图像的二维特征图像；将所述每个立体结构的每个二维特征图像分别输入至对应的解码器中进行三维重建，得到所述每个立体结构的所述至少一个三维重建特征；将所述每个立体结构的每个三维重建特征输入至所述融合器中进行三维图像融合，得到所述每个立体结构的所述预测三维结构。4.根据权利要求3所述的方法，其特征在于，任一编码器包括：依次设置的首层编码层网络和多个非首层编码层网络；所述将所述每个立体结构的至少一个二维X光图像分别输入不同的编码器进行二维特征提取，得到所述每个立体结构的所述至少一个二维X光图像的二维特征图像的步骤，包括：将任一立体结构的任一二维X光图像输入至对应的编码器的首层编码层网络中进行处理，得到所述任一立体结构的所述任一二维X光图像的第一编码层特征图像；其中，所述首层编码层网络包括：依次设置的至少一组包含第一卷积网络、第一批归一化层和第一激活层的卷积模块；将所述第一编码层特征图像输入至所述首层编码层网络连接的非首层编码层网络，并依次通过每个非首层编码层网络进行处理，得到所述任一二维X光图像的二维特征图像，直至得到所述每个立体结构的所述至少一个二维X光图像的二维特征图像；其中，每个非首层编码层网络包括：依次设置的至少一个包含深度可分离卷积网络、第二批归一化层和第二激活层的第一深度可分离卷积模块以及第一SENet网络，且所述每个非首层编码层网络的
首尾连接一个第一残差网络。5.根据权利要求3所述的方法，其特征在于，任一解码器包括：多个解码器网络；所述将所述每个立体结构的每个二维特征图像分别输入至对应的解码器中进行三维重建，得到所述每个立体结构的所述至少一个三维重建特征的步骤，包括：将任一立体结构的任一二维特征图像输...

【专利技术属性】
技术研发人员：胡发平，刘荣海，王一帆，王达达，蔡晓斌，邱方程，李寒煜，陆海，郭新良，郑欣，初德胜，张少杰，
申请(专利权)人：云南电网有限责任公司电力科学研究院，
类型：发明
国别省市：