一种基于双向循环生成网络的多孔介质三维图像重建方法技术

本发明专利技术公开了一种基于双向循环生成网络的多孔介质三维图像重建方法，主要包括如下步骤：采集并制作二维图像和对应三维图像数据集，用于网络的训练和测试；设计基于二维图像重建三维图像的双向循环生成网络的网络结构(3D‑BicycleGAN)；设计三维的GAN损失函数，以对形态进行约束；设计三维的模式分布损失函数，以对重建结构的纹理信息进行约束；设计三维的孔隙度损失函数，以对重建结构的孔隙度进行约束；基于上述的数据集、网络和损失函数，完成训练，获得图像三维重建的模型3D‑BicycleGAN；基于所述的3D‑BicycleGAN模型，完成二维图像的三维重建。本发明专利技术可以快速地对输入二维图像进三维重建，在石油地质等领域有重要的应用价值。

【技术实现步骤摘要】
一种基于双向循环生成网络的多孔介质三维图像重建方法
本专利技术涉及一种三维图像重建方法，尤其涉及一种基于双向循环生成网络的多孔介质三维图像重建方法，属于图像处理

技术介绍
在自然界和人们的生活中，多孔介质无处不在。地层中的土壤和岩石、合金材料、木材、陶瓷等均属于多孔介质的范畴。多孔介质材料的宏观性质如渗透率、电导率和一些机械性能等，直接影响着它在实际工程应用中。而它的宏观性质又由其内部的结构所决定，因此研究其内部结构就显得十分重要。以岩石为例，通常来讲，获取其内部结构的方式主要有：(1)直接成像。(2)基于二维图像的三维重建。在很长一段时间里，这两种方法并行发展，各有优势。值得注意的是，近年来，结合两者优势的方法逐渐涌现。比如最近几年新提出的超维重建方法，就是利用CT图像获取的真实三维结构信息，来指导单张二维图像的三维重建。然而，目前来讲，重建的精度和速度上依然还有较大的提升空间。如何在快速重建的同时，能保持较高的精度仍然是当前急需解决的问题。具体而言，如何根据该问题制作数据集、设计端对端的网络结构以及损失函数等是首先需要面对的问题。
技术实现思路
本专利技术的目的就在于为了解决上述问题而提供一种基于双向循环生成网络的多孔介质三维图像重建方法。本专利技术通过以下技术方案来实现上述目的：一种基于双向循环生成网络的三维图像重建方法，包括以下步骤：(1)采集并制作二维图像和对应三维图像数据集，用于网络的训练和测试；(2)设计基于二维图像重建三维图像的双向循环生成网络的网络结构(3D-BicycleGAN)。(3)设计三维的GAN损失函数LGAN_3D，以对形态进行约束；(4)设计三维的模式分布的损失函数Lpattern_3D，以对重建结构的局部纹理信息进行约束；(5)设计三维的孔隙度的损失函数Lporosity_3D，以对重建结构的孔隙度进行约束；(6)基于上述的数据集、网络和损失函数，完成训练，获得图像三维重建的模型3D-BicycleGAN；(7)基于所述的3D-BicycleGAN模型，完成二维图像的三维重建。本专利技术受国家自然科学基金“岩石微观非均质结构三维图像重建及分辨率提升技术研究(61372174)”资助。附图说明图1为本专利技术基于双向循环生成网络的多孔介质三维图像重建方法的流程框图图2为本专利技术所采集的部分岩石图像样本，每一个样本均由一张二维图像和对应的三维图像组成。图3基于双向循环生成网络的多孔介质三维图像重建的框图图4生成器G的网络架构图图5鉴别器D的网络架构图图6编码器E的网络架构图图7岩石图像三维重建结果视觉对比图8岩石图像三维重建结果统计参数对比具体实施方式下面参照附图更详细地描述本专利技术的实施方式。虽然附图及下文给出了本专利技术的实施方式，但是本专利技术可以多种形式实现，而不被附图及下文描述的实施方式所限制。提供附图及下文描述的实施方式是为了能够让本专利技术更加完整及准确地被本领域技术人员所理解。图1中，一种基于双向循环生成网络的三维图像重建方法，具体可分为以下几个步骤：(1)采集并制作二维图像和对应三维图像数据集，用于网络的训练和测试；(2)设计基于二维图像重建三维图像的双向循环生成网络的网络结构(3D-BicycleGAN)。(3)设计三维的GAN损失LGAN_3D，以对形态进行约束；(4)设计三维的模式分布的损失函数Lpattern_3D，以对重建结构的局部纹理信息进行约束；(5)设计三维的孔隙度的损失函数Lporosity_3D，以对重建结构的孔隙度进行约束；(6)基于上述的数据集、网络和损失函数，完成训练，获得图像三维重建的模型3D-BicycleGAN；(7)基于所述的3D-BicycleGAN模型，完成二维图像的三维重建。具体地，所述步骤(1)中,考虑到当前计算机的处理速度和显存的情况，在本专利技术中，作为实施示例，对获取的原始CT序列图进行裁剪和缩放等操作，获得了1000个128×128×128大小的三维图像样本。然后，将三维图像的底面作为二维图像，并作为网络的输入；同时完整的三维图像作为网络的输出。这样，用于训练的每个样本均由一幅二维图像和一个三维图像组成，如图2所示。所述步骤(2)中，本专利技术构建了图3所示的基于双向循环生成网络的多孔介质三维图像重建的框图。3D-BicycleGAN由生成器G，鉴别器D，编码器E组成，整个网络的训练过程可以看成是两个子网络cVAE-GAN和cLR-GAN组成。其中cVAE-GAN可以看做是目标三维结构B的重建，而cLR-GAN可以看做是高斯噪声z的重建。整个网络的更新过程是：1)固定D，更新G和E。2)固定D，E的梯度清零，优化cLR-GAN中的G。3)固定G和E，优化D。所述步骤(2)中，本专利技术设计的网络生成器G，鉴别器D，编码器E分别如图4,5,6所示。其中G在经典的U-net架构基础上，设计了最后两个输出层ConvN×k×k和ConvN×1×1。设输入为x，则经过这两层网络后，它的输出被定义为：y＝ConvN×1×1(ConvN×k×k(x))(1)其中，N表示通道数，k表示卷积核大小。ConvN×k×k用于将数据变换到指定维度，ConvN×1×1用于融合高层通道信息。总的来说，整个G网络可以看做四个过程：低层信息提取，下采样，上采样，高层通道信息融合。本专利技术设计的网络生成器D的输入为128×128×128，经过4个卷积层Conv和一个均值池化层(AvgPool)后，计算Loss后网络的输出为一个0-1之间的概率值。本专利技术设计的网络生成器E的输入为128×128×128，网络的结构组成为1个卷积层Conv,3个残差块(Residualblock)，1个均值池化层AvgPool,1个全连接层FC。输出的结果为一个噪声分布。所述步骤(3)中，本专利技术设计的GAN损失函数为：其中，和分别为cVAE-GAN和cLR-GAN的中GAN损失函数。具体而言：其中，λL1，λKL分别表示损失函数的权重。表示鉴别器D对生成器G的损失函数；可展开为：其中，A,B～p(A,B)表示A，B服从联合分布概率函数p(A,B)；表示log(D(A,B))的数学期望；表示log(1-D(A,G(A,z)))的数学期望。同时，在本专利技术中，被重新定义为：即生成器的输出G(A,z)在x,y,z三个方向上分别做鉴别和计算损失函数，最终的损失函数为三者之和。在式(3)中，固定E，有：用来衡量G的输出G(A,z)与真实值B的差异。进一步，有：表示编码器E的输出与标准高斯分布之间的KL散度。另一方面，根据式(2)，其中，λlatent表示的权重，与(4)相同；本文档来自技高网...

【技术保护点】
1.一种基于双向循环生成网络的端对端的三维图像重建方法，其特征在于：包括以下步骤：/n(1)采集并制作二维图像和对应三维图像数据集，用于网络的训练和测试；/n(2)设计基于二维图像重建三维图像的双向循环生成网络的网络结构(3D-BicycleGAN)；/n(3)设计三维的GAN损失函数L

【技术特征摘要】
1.一种基于双向循环生成网络的端对端的三维图像重建方法，其特征在于：包括以下步骤：
(1)采集并制作二维图像和对应三维图像数据集，用于网络的训练和测试；
(2)设计基于二维图像重建三维图像的双向循环生成网络的网络结构(3D-BicycleGAN)；
(3)设计三维的GAN损失函数LGAN_3D，以对形态进行约束；
(4)设计三维的模式分布的损失函数Lpattern_3D，以对重建结构的局部纹理信息进行约束；
(5)设计三维的孔隙度的损失函数Lporosity_3D，以对重建结构的孔隙度进行约束；
(6)基于上述的数据集、网络和损失函数，完成训练，获得图像三维重建的模型3D-BicycleGAN；
(7)基于所述的3D-BicycleGAN模型，完成二维图像的三维重建。


2.根据权利要求1所述的基于双向循环生成网络的三维图像重建方法，其特征在于步骤(2)所述的网络结构：其中G在经典的U-net架构基础上，设计了最后两个输出层ConvN×k×k和ConvN×1×1；设输入为x，则经过这两层网络后，它的输出被定义为：
y＝ConvN×1×1(ConvN×k×k(x))
其中，N表示通道数，k表示卷积核大小，ConvN×k×k用于将数据变换到指定维度，ConvN×1×1用于融合高层通道信息。


3.根据权利要求1所述的基于双向循环生成网络的三维图像重建方法，其特征在于步骤(3)所述的三维的GAN损失函数LGAN_3D，从三个方向x，y，z分别计算，其定义为：



其中，A，B～p(A，B)表示A，B服从联合分布概率函数...

【专利技术属性】
技术研发人员：滕奇志，冯俊羲，何小海，陈洪刚，任超，吴小强，
申请(专利权)人：四川大学，
类型：发明
国别省市：四川;51