乳腺超声图像风格转换方法、装置、乳腺扫查设备及介质制造方法及图纸

本发明专利技术公开一种乳腺超声图像风格转换方法，包括：获取原始图像与风格图像；加载预训练的卷积神经网络，并通过预训练的卷积神经网络，提取原始图像的内容特征以及风格图像的风格特征；根据内容特征和风格特征，分别定义生成图像与原始图像之间的内容损失函数，以及生成图像与风格图像之间的风格损失函数；根据内容损失函数和风格损失函数，定义生成图像的总损失函数；通过梯度下降算法对生成图像进行迭代运算，直至总损失函数收敛。本发明专利技术乳腺超声图像风格转换方法，可将其他风格的乳腺超声图像转换为目标风格，转换后的乳腺超声图像可作为智能诊断进行深度学习的数据集，因而无需采集各种风格的乳腺超声图像，从而降低乳腺超声图像的采集成本。

【技术实现步骤摘要】
乳腺超声图像风格转换方法、装置、乳腺扫查设备及介质
本专利技术涉及乳腺超声图像处理领域，特别涉及一种乳腺超声图像风格转换方法、装置、乳腺扫查设备及介质。
技术介绍
乳腺超声图像是对人体乳腺部位进行超声扫查后得到的医学影像，在得到乳腺超声图像后，再由医学影像科的医生对乳腺超声图像进行阅片，以据此给出诊断结果。据不完全统计，乳腺超声图像数量的年增长率约为30％，而医生数量的年增长率约为4.1％，导致医学影像科医生的阅片工作量非常大。在阅片工作量很大的情况下，医生容易出现疲劳，可能出现阅片出错的情况。为此，出现了乳腺超声智能诊断方式，以替代传统的医生阅片诊断方式，从而极大减少医生的工作量，避免出现因医生疲劳而导致的阅片出错的情况。可以理解的是，为保证乳腺超声智能诊断的识别率，需尽可能多的采集各种风格的乳腺超声图像，再对所采集到的各种风格的乳腺超声图进行深度学习。然而，由于乳腺超声图像的采集成本比较高，因此，在采集各种风格的乳腺超声图像时需要耗费很大的采集成本。
技术实现思路
本专利技术的主要目的在于提出一种乳腺超声图像风格转换方法，旨在解决现有的乳腺超声图像诊断方式存在采集成本高的技术问题。为实现上述目的，本专利技术提出一种乳腺超声图像风格转换方法，该乳腺超声图像风格转换方法包括：获取原始图像与风格图像；加载预训练的卷积神经网络，并通过所述预训练的卷积神经网络，分别提取所述原始图像的内容特征以及所述风格图像的风格特征；根据所述内容特征和风格特征，分别定义生成图像与所述原始图像之间的内容损失函数，以及生成图像与所述风格图像之间的风格损失函数；根据所述内容损失函数和风格损失函数，定义所述生成图像的总损失函数；通过梯度下降算法对所述生成图像进行迭代运算，直至所述总损失函数收敛。优选地，所述内容损失函数为：其中，所述为原始图像，所述为生成图像，所述l为卷积神经网络的第l层，所述为生成图像在第l层的卷积特征，所述为原始图像在第l层的卷积特征，所述i表示卷积的第i个通道，所述j表示卷积的第j个位置。优选地，所述风格损失函数为：其中，所述为原始图像，所述为生成图像，所述l为卷积神经网络的第l层，所述是防止风格损失的数量级相比内容损失过大的归一化项，所述为原始图像某一次卷积的格拉姆矩阵，所述Gl为生成图像经过同样计算得到对应卷基层的格拉姆矩阵。优选地，所述总损失函数为：其中，所述为原始图像，所述为风格图像，所述为生成图像，所述α，β是平衡内容损失与风格损失的两个超参数。本专利技术还提出一种乳腺超声图像风格转换装置，该乳腺超声图像风格转换装置包括：图像获取模块，用于获取原始图像与风格图像；特征提取模块，用于加载预训练的卷积神经网络，并通过所述预训练的卷积神经网络，分别提取所述原始图像的内容特征以及所述风格图像的风格特征；第一函数定义模块，用于根据所述内容特征和风格特征，分别定义生成图像与所述原始图像之间的内容损失函数，以及生成图像与所述风格图像之间的风格损失函数；第二函数定义模块，用于根据所述内容损失函数和风格损失函数，定义所述生成图像的总损失函数；图像运算模块，用于通过梯度下降算法对所述生成图像进行迭代运算，直至所述总损失函数收敛。优选地，所述内容损失函数为：其中，所述为原始图像，所述为生成图像，所述l为卷积神经网络的第l层，所述为生成图像在第l层的卷积特征，所述为原始图像在第l层的卷积特征，所述i表示卷积的第i个通道，所述j表示卷积的第j个位置。优选地，所述风格损失函数为：其中，所述为原始图像，所述为生成图像，所述l为卷积神经网络的第l层，所述是防止风格损失的数量级相比内容损失过大的归一化项，所述为原始图像某一次卷积的格拉姆矩阵，所述Gl为生成图像经过同样计算得到对应卷基层的格拉姆矩阵。优选地，所述总损失函数为：其中，所述为原始图像，所述为风格图像，所述为生成图像，所述α，β是平衡内容损失与风格损失的两个超参数。本专利技术还提出一种乳腺扫查设备，该乳腺扫查设备包括：存储器，用于存储计算机程序；处理器，所述处理器执行所述计算机程序时实现前述各实施例记载的乳腺超声图像风格转换方法。本专利技术还提出一种介质，所述介质存储有计算机程序，所述计算机程序被处理器执行时实现前述各实施例记载的乳腺超声图像风格转换方法。与现有技术相比，本专利技术实施例的有益技术效果在于：本专利技术所提出的乳腺超声图像风格转换方法，可将其他风格的乳腺超声图像转换为目标风格，转换为目标风格后的乳腺超声图像则可作为人工智能诊断进行深度学习的数据集，因而无需采集各种风格的乳腺超声图像，仅需对已采集的乳腺超声图像/低成本获取的乳腺超声图像进行风格转移即可，从而大大降低乳腺超声图像的采集成本。本专利技术所提出的乳腺超声图像风格转换方法还可减少对于原始数据的依赖，减少基础数据集的积累、标注过程。此外，在多终端获取的超声数据不一致时，可通过本专利技术实施例所提出的乳腺超声图像风格转换方法，让模型变得更稳健，泛化性能更好。附图说明图1为本专利技术乳腺超声图像风格转换方法一实施例的流程图；图2为本专利技术乳腺超声图像风格转换装置一实施例的功能模块图。具体实施方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制，基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术提出一种乳腺超声图像风格转换方法，在一实施方式中，参见图1，该乳腺超声图像风格转换方法包括以下步骤：步骤S10，获取原始图像与风格图像；本实施例中，获取一些采集的乳腺超声图像/影像数据，比如用A型号超声终端采集的数据，再获取一些目标风格的乳腺超声图像/影像数据，比如用B型号超声终端采集的数据。在通过预训练的卷积神经网络提取特征之前，先对原始图像与风格图像进行预处理和后处理，并且定义预处理函数和后处理函数。具体的，先通过预处理函数对输入图像(原始图像、风格图像)在RGB三个通道分别做标准化，并将结果变换成卷积神经网络接受的输入格式。后处理函数则将输出图像中的像素值还原回标准化之前的值，由于图像打印函数要求每个像素的浮点数值在0-1之间，我们使用clamp函数对小于0和大于1的值分别取0和1。步骤S20，加载预训练的卷积神经网络，并通过预训练的卷积神经网络，分别提取原始图像的内容特征以及风格图像的风格特征；本实施例中，使用基于ImageNet数据集预训练的VGG-16模型来提取输入图像的内容特征和风格特征。为了提取输入图像的内容特征和风格特征，可选择VGG网络中某些层的输出，一般来说，越靠近输入层的输出越容易提取图像的细节信息，反之则越容易提取图本文档来自技高网...

【技术保护点】
1.一种乳腺超声图像风格转换方法，其特征在于，包括：/n获取原始图像与风格图像；/n加载预训练的卷积神经网络，并通过所述预训练的卷积神经网络，分别提取所述原始图像的内容特征以及所述风格图像的风格特征；/n根据所述内容特征和风格特征，分别定义生成图像与所述原始图像之间的内容损失函数，以及生成图像与所述风格图像之间的风格损失函数；/n根据所述内容损失函数和风格损失函数，定义所述生成图像的总损失函数；/n通过梯度下降算法对所述生成图像进行迭代运算，直至所述总损失函数收敛。/n

【技术特征摘要】
1.一种乳腺超声图像风格转换方法，其特征在于，包括：
获取原始图像与风格图像；
加载预训练的卷积神经网络，并通过所述预训练的卷积神经网络，分别提取所述原始图像的内容特征以及所述风格图像的风格特征；
根据所述内容特征和风格特征，分别定义生成图像与所述原始图像之间的内容损失函数，以及生成图像与所述风格图像之间的风格损失函数；
根据所述内容损失函数和风格损失函数，定义所述生成图像的总损失函数；
通过梯度下降算法对所述生成图像进行迭代运算，直至所述总损失函数收敛。


2.根据权利要求1所述的乳腺超声图像风格转换方法，其特征在于，所述内容损失函数为：



其中，所述为原始图像，所述为生成图像，所述l为卷积神经网络的第l层，所述为生成图像在第l层的卷积特征，所述为原始图像在第l层的卷积特征，所述i表示卷积的第i个通道，所述j表示卷积的第j个位置。


3.根据权利要求1所述的乳腺超声图像风格转换方法，其特征在于，所述风格损失函数为：



其中，所述为原始图像，所述为生成图像，所述l为卷积神经网络的第l层，所述是防止风格损失的数量级相比内容损失过大的归一化项，所述为原始图像某一次卷积的格拉姆矩阵，所述Gl为生成图像经过同样计算得到对应卷基层的格拉姆矩阵。


4.根据权利要求1所述的乳腺超声图像风格转换方法，其特征在于，所述总损失函数为：



其中，所述为原始图像，所述为风格图像，所述为生成图像，所述α，β是平衡内容损失与风格损失的两个超参数。


5.一种乳腺超声图像风格转换装置，其特征在于，包括：
图像获取模块，用于获取原始图像与风格图像；
特征提取模块，用于加载预训练的卷积神经网络，并通过所述预训练的卷积神经网络，分别提取所述原始图像的内容特征以...

【专利技术属性】
技术研发人员：谈继勇，李元伟，俞林昊，
申请(专利权)人：深圳瀚维智能医疗科技有限公司，
类型：发明
国别省市：广东;44