一种三维超声图像的重建方法及装置制造方法及图纸

一种三维超声图像的重建方法及装置，其对于处理不规则形状的缺失区域来说效果很好，并且适于任意位置的缺失区域的重建。其包括：将采集到的带有空间定位信息的二维B超切片序列按照其空间位置插值为带有空洞的三维图像；将传统卷积层替换为三维部分卷积层，并且每个部分卷积层都跟着一个三维掩膜更新步骤；构建新的谱归一化的最小二乘生成式对抗网络，所述生成式对抗网络包括生成器和判别器；将内容损失和对抗式损失结合，构建新的针对超声重建的损失函数，其中内容损失包括：上下文损失、总变分损失和特征匹配损失；向训练好的对抗式网络的生成器同时输入带有空洞的三维超声图像和三维掩膜，然后生成修复空洞后的三维超声图像。

A reconstruction method and device of 3D ultrasound image

【技术实现步骤摘要】
一种三维超声图像的重建方法及装置
本专利技术涉及超声图像重建的
，尤其涉及一种三维超声图像的重建方法，以及三维超声图像的重建装置。
技术介绍
二维超声因其无创，非电离，快速成像，方便应用和低成本而被广泛应用于医学诊断和图像引导手术。然而，与三维超声体相比，二维超声图像无法为医生提供完整个体数据和组织器官的空间信息。因此，三维超声对腹部疾病的诊断和治疗具有重要的临床价值。在过去十年中，已经提出了许多用于重建三维超声体数据的方法，手持三维超声技术由于其低成本和灵活性而受到越来越多的关注。对手持三维超声技术来说，可以获取一系列具有位置信息和方向信息的二维B超切片，这些切片是由二维超声探头进行扫描和记录的。然后可以用这些B超切片来重建三维超声体。用于三维超声重建的经典方法，通常都基于已知的信息，并且探索超声体的先验知识来进行修复。例如，块匹配方法：在已知的区域里面搜索相近的小块并且复制最相近小块的信息来对空洞进行填充，该方法由于其较高的重建质量而被称为目前来说最成功的修复方法。然而，由于搜索小块和优化的过程需要耗费大量的时间，所以该方法不适合实时的三维超声重建。有人提出了一种基于最近邻搜索的多分辨率的三维超声重建方法，其构建纹理和结构金字塔来保留超声体的纹理和结构信息。然而上述重建方法都要求可以从输入的超声体的背景区域(例如，相似的体素，结构或者小块)的某处获取缺失区域的信息。如果缺失区域大并且复杂，具有非重复的结构，并且当缺失区域具有任意形状时，这些方法将无法合成语义上合理的缺失区域的内容。近年来，深度神经网络的最新进展表明，其可以以端对端的方式学习语义先验和有意义的隐藏表示，因此可以用到自然图像的修复工作中。有人提出一个端对端渐进式的网络，他们将修复任务划分为若干个子任务，然后使用长短期记忆将所有的子任务串联起来。有人提出了一种基于将全局GAN(GenerativeAdversarialNetworks，生成式对抗网络)和PatchGAN(局部生成式对抗网络)相结合的图像修复方法，该模型可以捕获纹理的局部连续性和普遍的全局特征。有人提出了基于全局内容和局部纹理约束的联合优化的多尺度小块方法，纹理约束是利用来自非空洞区域的纹理信息来修补空洞区域。有人提出了一个两步阶段卷积网络，第一阶段是一个简单的带有上下文感知层(利用已知的小块的特征作为卷积层处理生成的小块)的空洞卷积网络来粗略地修复缺失的区域。第二个阶段包括全局和局部判别器来保留图像的结构和细节信息。同样的，有人提出了一种带有位移连接层(类似于上下文感知层)的U-Net网络，其已知区域的编码特征被移到解码层来完成缺失区域的内容的估计。然而，上述方法的局限性在于他们只关注矩形的缺失区域，并且这些区域通常位于图像的正中心，限制了这些模型在超声重建中的实用性。
技术实现思路
为克服现有技术的缺陷，本专利技术要解决的技术问题是提供了一种三维超声图像的重建方法，其对于处理不规则形状的缺失区域来说效果很好，并且适于任意位置的缺失区域的重建。本专利技术的技术方案是：这种三维超声图像的重建方法，其包括以下步骤：(1)将采集到的带有空间定位信息的二维B超切片序列按照其空间位置插值为带有空洞的三维图像；(2)将传统卷积层替换为三维部分卷积层，并且每个部分卷积层都跟着一个三维掩膜更新步骤；(3)构建谱归一化最小二乘生成式对抗网络，所述生成式对抗网络包括生成器和判别器；(4)将内容损失和对抗式损失结合，构建新的针对超声重建的损失函数，其中内容损失包括：上下文损失、总变分损失和特征映射损失；(5)向训练好的对抗式网络的生成器同时输入带有空洞的三维超声图像和三维掩膜图像，然后生成修复空洞后的三维超声图像。本专利技术将二维B超切片序列按照其空间位置插值为带有空洞的三维图像，将传统卷积层替换为三维部分卷积层，并且每个部分卷积层都跟着一个三维掩膜更新步骤，构建新的谱归一化的最小二乘生成对抗式网络，将内容损失和对抗式损失结合，向训练好的对抗式网络的生成器同时输入带有空洞的三维超声图像和三维掩膜图像，然后生成修复空洞后的三维超声图像，因此对于处理不规则形状的缺失区域来说效果很好，并且适于任意位置的缺失区域的重建。还提供了一种三维超声图像的重建装置，该装置包括：插值模块，其配置来将采集到的带有空间定位信息的二维B超切片序列按照其空间位置插值为带有空洞的三维图像；三维部分卷积及三维掩模更新模块，其配置来将传统卷积层替换为三维部分卷积层，并且每个部分卷积层都跟着一个三维掩膜更新步骤；构建网络模块，其配置来构建谱归一化最小二乘生成式对抗网络，所述生成式对抗网络包括生成器和判别器；损失结合模块，其配置来将内容损失和对抗式损失结合，构建新的针对超声重建的损失函数，其中内容损失包括：上下文损失、总变分损失和特征映射损失；修复模块，其配置来向训练好的对抗式网络的生成器同时输入带有空洞的三维超声图像和三维掩膜图像，然后生成修复空洞后的三维超声图像。附图说明图1是根据本专利技术的三维超声图像的重建方法的步骤(1)的流程示意图。图2是根据本专利技术的三维超声图像的重建方法的流程示意图。图3是根据本专利技术的三维超声图像的重建方法的生成器中的编码器的具体网络架构。图4是根据本专利技术的三维超声图像的重建方法的流程图。具体实施方式如图4所示，这种三维超声图像的重建方法，其包括以下步骤：(1)将采集到的带有空间定位信息的二维B超切片序列按照其空间位置插值为带有空洞的三维图像；(2)将传统卷积层替换为三维部分卷积层，并且每个部分卷积层都跟着一个三维掩膜更新步骤；(3)构建新的谱归一化的最小二乘生成式对抗网络，所述生成式对抗网络包括生成器和判别器；(4)将内容损失和对抗式损失结合，构建新的针对超声重建的损失函数，其中内容损失包括：上下文损失、总变分损失和特征映射损失；(5)向训练好的对抗式网络的生成器同时输入带有空洞的三维超声图像和三维掩膜图像，然后生成修复空洞后的三维超声图像。本专利技术将二维B超切片序列按照其空间位置插值为带有空洞的三维图像，将传统卷积层替换为三维部分卷积层，并且每个部分卷积层都跟着一个三维掩膜更新步骤，构建新的谱归一化的最小二乘生成式对抗网络，将内容损失和对抗式损失结合，向训练好的对抗式网络的生成器同时输入带有空洞的三维超声图像和三维掩膜图像，然后生成修复空洞后的三维超声图像，因此对于处理不规则形状的缺失区域来说效果很好，并且适于任意位置的缺失区域的重建。优选地，所述步骤(1)中，采集一个个体的具有空间定位信息的超声切片序列，根据这些序列之间的空间定位信息插值为3D体数据；插值过程为：首先建立一个空的具有空间坐标系的三维体，空间坐标系包括原点、尺寸和体网格间距；根据空间位置信息将二维超声图像中的像素映射到三维体附近与其对应的体素中去。优选地，所述步骤(2)中，部分卷积层的定义为公式(1)：其本文档来自技高网...

【技术保护点】
1.一种三维超声图像的重建方法，其特征在于：其包括以下步骤：/n(1)将采集到的带有空间定位信息的二维B超切片序列按照其空间位置插值为带有空洞的三维图像；/n(2)将传统卷积层替换为三维部分卷积层，并且每个部分卷积层都跟着一个三维掩膜更新步骤；/n(3)构建新的谱归一化最小二乘生成式对抗网络，所述生成式对抗网络包括生成器和判别器；/n(4)将内容损失和对抗式损失结合，构建新的针对超声重建的损失函数，其中内容损失包括：上下文损失、总变分损失和特征映射损失；/n(5)向训练好的对抗式网络的生成器同时输入带有空洞的三维超声图像和三维掩膜图像，然后生成修复空洞后的三维超声图像。/n

【技术特征摘要】
1.一种三维超声图像的重建方法，其特征在于：其包括以下步骤：
(1)将采集到的带有空间定位信息的二维B超切片序列按照其空间位置插值为带有空洞的三维图像；
(2)将传统卷积层替换为三维部分卷积层，并且每个部分卷积层都跟着一个三维掩膜更新步骤；
(3)构建新的谱归一化最小二乘生成式对抗网络，所述生成式对抗网络包括生成器和判别器；
(4)将内容损失和对抗式损失结合，构建新的针对超声重建的损失函数，其中内容损失包括：上下文损失、总变分损失和特征映射损失；
(5)向训练好的对抗式网络的生成器同时输入带有空洞的三维超声图像和三维掩膜图像，然后生成修复空洞后的三维超声图像。


2.根据权利要求1所述的三维超声图像的重建方法，其特征在于：所述步骤(1)中，采集一个个体的具有空间定位信息的超声切片序列，根据这些序列之间的空间定位信息插值为3D体数据；插值过程为：首先建立一个空的具有空间坐标系的三维体，空间坐标系包括原点、尺寸和体网格间距；根据空间位置信息将二维超声图像中的像素映射到三维体附近与其对应的体素中去。


3.根据权利要求1所述的三维超声图像的重建方法，其特征在于：所述步骤(2)中，部分卷积层的定义为公式(1)：



其中W是卷积滤波的权重，b是相应的偏差，X表示当前卷积窗口的特征值，M是对应的二进制掩膜，1表示位置(x,y,z)处的体素有效，0表示(x,y,z)处的体素无效；卷积的输出值仅仅取决于未被掩膜的输入，应用缩放因子1/sum(M)来调整未掩膜化的输入的变化量，给定一个三维的二进制掩膜，三维卷积结果仅仅依赖于每层的已知区域的内容；
在每次部分卷积操作之后进行掩膜的更新，掩膜更新步骤表示为公式(2)：



如果卷积能够在至少一个有效输入值上调节其输出，就删除该位置的掩膜；如果输入包括任何有效体素，在充分应用部分卷积层的情况下，即使较大的掩膜区域也会收缩，并且任何掩膜最后都将更新为1。


4.根据权利要求1所述的三维超声图像的重建方法，其特征在于：所述步骤(3)中，所有的正常卷积都被三维部分卷积替换，图像通过网络与掩膜一起传递入生成器，在3DU-Net网络架构的解码器中，引入残块结构和跳跃连接；所有的卷积层都用3*3*3的卷积核，在解码器阶段使用alpha＝0.2的三维leakyrelu激活层；三维Relu激活层用于所有编码层和判别器的所有层中；除了第一层和最后一层之外，每个三维部分卷积层和三维leakyrelu激活层、三维Relu激活层之间都使用三维标准化层；在解码阶段中，三维标准化层后面跟着速率为0.5的droupout层以防止训练数据过度拟合。定义大小为D×H×W×C的掩膜，和图像具有相同的大小，然后利用一个固定层实现掩膜更新的过程，该层的卷积核大小和部分卷积操作的卷积核大小相同，但权重设置为1，偏移量设为0；所有的三维dropout层、三维leakyrelu激活层、三维Relu激活层仅仅作用于部分卷积操作而不作用于掩膜更新层。对生成器和判别器设置不同的学习率。利用三维谱归一化方法来进一步稳定生成器和判别器网络的训练，三维谱归一化是一种旨在通过归一化网络中...

【专利技术属性】
技术研发人员：丛伟建，武潺，董佳慧，
申请(专利权)人：艾瑞迈迪科技石家庄有限公司，
类型：发明
国别省市：河北;13