超声平面波复合成像方法、装置及存储介质制造方法及图纸

本发明专利技术提供的超声平面波成像方法、装置及存储介质，通过对自然图像进行图像处理，得到与真实超声图像相近但数量庞大的超声仿真图像，利用这海量的超声仿真图像对深度学习网络进行训练，将满足条件的训练模型应用到真实的小规模超声数据集上进行迁移学习，得到鲁棒性强泛化性高的实用模型；使用3个角度的低质量平面波超声图像，通过训练好的深度学习网络，直接生成与多角度复合成像得到的图像图像质量一致甚至更高的超声图像，最大程度上保留平面波超声成像成像速度快帧率高的优势。解决了目前基于深度学习的超声平面波成像方法中存在的训练数据少、存在过拟合现象，无法得到鲁棒性强、泛化性高的实用模型的问题。

【技术实现步骤摘要】
超声平面波复合成像方法、装置及存储介质
本专利技术涉及图像处理
，具体而言，尤其涉及超声平面波复合成像方法、装置及存储介质。
技术介绍
超声设备发射不同角度的平面波，每个角度采集的超声信号通过波束合成生成超声图像。虽然超声平面波成像具有超高速的成像帧频，但是由于超声平面波没有聚焦，所以通过单角度获得的超声图像质量较低。多角度复合成像通过将多个角度的超声图像进行空间复合，可以提高图像质量，但是明显降低了成像帧频。因此，进一步通过图像处理或者深度学习方法既提高图像质量，又保持成像帧频，对于临床中需求的超快成像具有重要意义。目前基于深度学习的超声平面波成像方法大部分采用如下思路：利用有限的多角度低质量超声图像进行深度学习网络训练，得到满足需求的网络模型，然后利用该网络模型生成高质量超声图像。然而，现阶段无论是公开的超声图像还是各科研机构自发采集的超声图像，数量都非常少，无法满足深度学习领域通过海量训练数据自动挖掘数据特征从而解决问题的要求。利用有限的多角度低质量超声图像进行深度学习网络训练时，存在严重的过拟合现象，无法得到鲁棒性强、泛化性高的实用模型。
技术实现思路
本专利技术提供了一种超声平面波复合成像方法、装置及存储介质。解决了目前基于深度学习的超声平面波成像方法中存在的训练数据少、存在过拟合现象，无法得到鲁棒性强、泛化性高的实用模型的问题。本专利技术提供了如下技术方案：一方面，本专利技术提供了一种超声平面波复合成像方法，所述方法包括：获取预定数量的自然图像，并将所述自然图像转化为灰度图像，得到自然图像数据集；基于超声成像仿真方法和所述自然图像数据集，得到超声仿真图像数据集，并以所述超声仿真图像数据集作为预训练输入数据集；对所述自然图像数据集中的自然图像添加高斯白噪声，得到预训练标签数据集；利用所述预训练输入数据集和所述预训练标签数据集对深度学习网络进行训练，得到超声平面波复合成像模型；从公开数据集或超声设备获取由三个角度得到的超声图像组成的超声图像组；所述三个角度分别为：0角度和±θ角度；θ为所有角度中与0度相距最大的角度；对所述超声图像组中的超声图像进行预处理；所述预处理包括：将所述超声图像组中的三张超声图像归一化，并进行通道拼接；将所述预处理后得到的超声图像输入所述超声平面波复合成像模型，得到增强图像。优选地，所述利用所述预训练输入数据集和所述预训练标签数据集对深度学习网络进行训练，包括：对所述预训练输入数据集和所述预训练标签数据集中的图像进行预处理；使用深度学习网络生成图像，计算损失函数值，更新网络权重参数；若损失函数值趋于不变，停止更新网络权重参数，保存超声平面波复合成像模型；否则，返回执行使用深度学习网络生成图像，计算损失函数值，更新网络权重参数。优选地，所述预处理包括：将所述预训练输入数据集和所述预训练标签数据集中的每幅图像除以255进行归一化；将所述预训练输入数据集中的图像由单通道复制为3通道。优选地，利用所述预训练输入数据集和所述预训练标签数据集对深度学习网络进行训练，得到超声平面波复合成像模型，包括：利用所述预训练输入数据集和所述预训练标签数据集对深度学习网络进行训练，得到基本模型；从公开数据集或超声设备获取不同对象的多角度超声图像组；将每组中所有角度的超声图像通过复合成像生成一张高质量图像，将各组的高质量图像形成迁移学习标签数据集；将每组中0角度和±θ角度对应的超声图像组成一张3通道的超声图像，将各组的3通道超声图像形成迁移学习输入数据集；其中θ为所有角度中与0度相距最大的角度；利用所述迁移学习标签数据集和所述迁移学习输入数据集对所述基本模型进行迁移学习，得到超声平面波复合成像模型。优选地，所述利用所述迁移学习标签数据集和所述迁移学习输入数据集对所述基本模型进行迁移学习，得到超声平面波复合成像模型；包括：按照图像的灰阶范围对所述迁移学习输入数据集和所述迁移学习标签数据集中的图像进行归一化；使用生成对抗网络生成图像，计算损失函数值，更新网络权重参数；其中所述生成对抗网络中的生成器与所述深度学习网络的网络结构相同；使用基本模型的参数对所述生成器初始化；所述生成对抗网络中的判别器使用卷积神经网络进行二分类判别，使用随机数进行初始化；记录所述网络权重参数，并基于所述损失函数值绘制生成器损失函数曲线和判别器损失函数曲线；基于所述生成器损失函数曲线与所述判别器损失函数曲线的变化趋势，确定训练停止时间；若达到训练停止时间，则停止更新网络权重参数，保存超声平面波复合成像模型；若未达到训练停止时间，则返回执行使用生成对抗网络生成图像，计算损失函数值，更新网络权重参数。优选地，所述损失函数值包括：代表生成器与判别器之间对抗学习结果的对抗损失LGAN，代表生成图像与标签图像之间低频差异的L1损失LL1和代表生成图像与标签图像之高低频差异的梯度损失Ldiff，其中，LGAN包括用于更新生成器的LGAN_G和用于更新判别器的LGAN_D；所述基于所述损失函数值绘制生成器损失函数曲线和判别器损失函数曲线，包括：以预设次迭代为一个单位节点；以所述单位节点为横坐标、LGAN_G为纵坐标绘制生成器对抗训练曲线；以所述单位节点为横坐标、LGAN_D为纵坐标绘制判别器对抗训练曲线。优选地，所述基于所述生成器损失函数曲线与所述判别器损失函数曲线的变化趋势，确定训练停止时间；若所述生成器对抗训练曲线呈单调递增趋势或所述判别器对抗训练曲线呈单调递减趋势，则对抗训练失败，停止训练，调整参数重新开始训练；若所述生成器对抗训练曲线与所述判别器对抗训练曲线呈交替趋势，此消彼长，则以所述单位节点为横坐标，生成器的LL1为纵坐标绘制低频信息差曲线；当所述低频信息差曲线下降至平缓阶段，且连续预设个迭代变化量小于预设值，则训练完成，将当前时刻作为训练停止时间。另一方面，本专利技术还提供了一种超声平面波复合成像装置，所述装置包括：预训练数据获取单元，用于获取预定数量的自然图像，并将所述自然图像转化为灰度图像，得到自然图像数据集；基于超声成像仿真方法和所述自然图像数据集，得到超声仿真图像数据集，并以所述超声仿真图像数据集作为预训练输入数据集；对所述自然图像数据集中的自然图像添加高斯白噪声，得到预训练标签数据集；模型训练单元，用于利用所述预训练数据获取单元获取的所述预训练输入数据集和所述预训练标签数据集对深度学习网络进行训练，得到超声平面波复合成像模型；超声图像生成单元，用于从公开数据集或超声设备获取由三个角度得到的超声图像组成的超声图像组；所述三个角度分别为：0角度和±θ角度；θ为所有角度中与0度相距最大的角度，并对所述数据获取单元获取的所述超声图像组中的超声图像进行预处理；所述预处理包括：将所述超声图像组中的三张超声图像归一化，并进行通道拼接；将所述经过预处理的本文档来自技高网...

【技术保护点】
1.一种超声平面波复合成像方法，其特征在于，所述方法包括：/n获取预定数量的自然图像，并将所述自然图像转化为灰度图像，得到自然图像数据集；/n基于超声成像仿真方法和所述自然图像数据集，得到超声仿真图像数据集，并以所述超声仿真图像数据集作为预训练输入数据集；/n对所述自然图像数据集中的自然图像添加高斯白噪声，得到预训练标签数据集；/n利用所述预训练输入数据集和所述预训练标签数据集对深度学习网络进行训练，得到超声平面波复合成像模型；/n从公开数据集或超声设备获取由三个角度得到的超声图像组成的超声图像组；所述三个角度分别为：0角度和±θ角度；θ为所有角度中与0度相距最大的角度；/n对所述超声图像组中的超声图像进行预处理；所述预处理包括：将所述超声图像组中的三张超声图像归一化，并进行通道拼接；/n将所述预处理后得到的超声图像输入所述超声平面波复合成像模型，得到增强图像。/n

【技术特征摘要】
1.一种超声平面波复合成像方法，其特征在于，所述方法包括：
获取预定数量的自然图像，并将所述自然图像转化为灰度图像，得到自然图像数据集；
基于超声成像仿真方法和所述自然图像数据集，得到超声仿真图像数据集，并以所述超声仿真图像数据集作为预训练输入数据集；
对所述自然图像数据集中的自然图像添加高斯白噪声，得到预训练标签数据集；
利用所述预训练输入数据集和所述预训练标签数据集对深度学习网络进行训练，得到超声平面波复合成像模型；
从公开数据集或超声设备获取由三个角度得到的超声图像组成的超声图像组；所述三个角度分别为：0角度和±θ角度；θ为所有角度中与0度相距最大的角度；
对所述超声图像组中的超声图像进行预处理；所述预处理包括：将所述超声图像组中的三张超声图像归一化，并进行通道拼接；
将所述预处理后得到的超声图像输入所述超声平面波复合成像模型，得到增强图像。


2.如权利要求1所述的方法，其特征在于，所述利用所述预训练输入数据集和所述预训练标签数据集对深度学习网络进行训练，包括：
对所述预训练输入数据集和所述预训练标签数据集中的图像进行预处理；
使用深度学习网络生成图像，计算损失函数值，更新网络权重参数；
若损失函数值趋于不变，停止更新网络权重参数，保存超声平面波复合成像模型；否则，返回执行使用深度学习网络生成图像，计算损失函数值，更新网络权重参数。


3.如权利要求2所述的方法，其特征在于，所述预处理包括：
将所述预训练输入数据集和所述预训练标签数据集中的每幅图像除以255进行归一化；
将所述预训练输入数据集中的图像由单通道复制为3通道。


4.如权利要求2所述的方法，其特征在于，利用所述预训练输入数据集和所述预训练标签数据集对深度学习网络进行训练，得到超声平面波复合成像模型，包括：
利用所述预训练输入数据集和所述预训练标签数据集对深度学习网络进行训练，得到基本模型；
从公开数据集或超声设备获取不同对象的多角度超声图像组；
将每组中所有角度的超声图像通过复合成像生成一张高质量图像，将各组的高质量图像形成迁移学习标签数据集；
将每组中0角度和±θ角度对应的超声图像组成一张3通道的超声图像，将各组的3通道超声图像形成迁移学习输入数据集；其中θ为所有角度中与0度相距最大的角度；
利用所述迁移学习标签数据集和所述迁移学习输入数据集对所述基本模型进行迁移学习，得到超声平面波复合成像模型。


5.如权利要求4所述的方法，其特征在于，所述利用所述迁移学习标签数据集和所述迁移学习输入数据集对所述基本模型进行迁移学习，得到超声平面波复合成像模型；包括：
按照图像的灰阶范围对所述迁移学习输入数据集和所述迁移学习标签数据集中的图像进行归一化；
使用生成对抗网络生成图像，计算损失函数值，更新网络权重参数；其中所述生成对抗网络中的生成器与所述深度学习网络的网络结构相同；使用基本模型的参数对所述生成器初始化；所述生成对抗网络中的判别器使用卷积神经网络进行二分类判别，使用随机数进行初始化；
记录所述网络权重参数，并基于所述损失函数值绘制生成器损失函数曲线和判别器损失函数曲线；
基于所述生成器损失函数曲线与所述判别器损失函数曲线的变化趋势，确定训练停止时间；
若达到训练停止时间，则停止更新网络权重参数，保存超声平面波复合成像模型；
若未达到训练停止时间，则返回执行使用生成对抗网络生成图像...

【专利技术属性】
技术研发人员：郭宝珠，张宾，马壮，李宁，包一平，于丹，熊晟博，李雪，
申请(专利权)人：大连东软教育科技集团有限公司，
类型：发明
国别省市：辽宁;21