乳腺X线图像的胸肌区域图像处理方法及装置制造方法及图纸

本申请公开了一种乳腺X线图像的胸肌区域图像处理方法及装置。该方法包括输入待处理乳腺X线图像；通过第一预设卷积神经网络得到所述待处理乳腺X线图像的第一特征图；将所述第一特征图与经过全局上下文信息编码以及采样处理后的第二特征图拼接；以及通过第二预设卷积网络进行特征融合，得到的原图大小作为对所述胸肌区域图像的预测图像结果。本申请解决了分割处理效果不佳的技术问题。通过本申请可以实现准确地分割胸肌区域。

Image Processing Method and Device for Breast X-ray Image

【技术实现步骤摘要】
乳腺X线图像的胸肌区域图像处理方法及装置
本申请涉及医疗影像处理领域，具体而言，涉及一种乳腺X线图像的胸肌区域图像处理方法及装置。
技术介绍
乳腺X线摄影技术是公认的乳腺疾病早期检查的首选方法，也是早期预防和诊断乳腺癌最有效和可靠的工具。专利技术反人发现，在基于乳腺X线摄片的计算机辅助诊断系统中，斜位视图(英文全称：Mediolateralobliqe，简称：MLO)的胸肌区域会对于乳腺密度估计和肿块检测造成不必要的影响。同时所述胸肌区域也是多视图配准中的重要标志，如果不能够准确地分割胸肌区域，则会对图像处理结果造成影响。针对相关技术中分割处理效果不佳的问题，目前尚未提出有效的解决方案。
技术实现思路
本申请的主要目的在于提供一种乳腺X线图像的胸肌区域图像处理方法及装置，以解决分割处理效果不佳的问题。为了实现上述目的，根据本申请的一个方面，提供了一种乳腺X线图像的胸肌区域图像处理方法。根据本申请的乳腺X线图像的胸肌区域图像处理方法包括：输入待处理乳腺X线图像；通过第一预设卷积神经网络得到所述待处理乳腺X线图像的第一特征图；将所述第一特征图与经过全局上下文信息编码以及采样处理后的第二特征图拼接；以及通过第二预设卷积网络进行特征融合，得到的原图大小作为对所述胸肌区域图像的预测图像结果。进一步地，所述经过全局上下文信息编码包括：采用全局平均池化来编码全局上下文信息。进一步地，所述采样处理包括：上采样处理。进一步地，通过所述第一预设卷积神经网络，用于获取在预设卷积神经网络中最后一个卷积层上输出的特征图。进一步地，通过所述第二预设卷积网络，用于卷积融合特征并通过上采样到原图大小的特征图。为了实现上述目的，根据本申请的另一方面，提供了一种乳腺X线图像的胸肌区域图像处理装置。根据本申请的乳腺X线图像的胸肌区域图像处理装置包括：输入模块，用于输入待处理乳腺X线图像；特征提取模块，用于通过第一预设卷积神经网络得到所述待处理乳腺X线图像的第一特征图；拼接模块，用于将所述第一特征图与经过全局上下文信息编码以及采样处理后的第二特征图拼接；以及特征融合模块，用于通过第二预设卷积网络进行特征融合，得到的原图大小作为对所述胸肌区域图像的预测图像结果。进一步地，在所述拼接模块，还用于采用全局平均池化来编码全局上下文信息。进一步地，在所述拼接模块，还用于进行上采样处理。进一步地，在所述特征提取模块，还用于获取在预设卷积神经网络中最后一个卷积层上输出的特征图。进一步地，在所述特征融合模块，还用于卷积融合特征并通过上采样到原图大小的特征图。在本申请实施例中，采用输入待处理乳腺X线图像的方式，通过第一预设卷积神经网络得到所述待处理乳腺X线图像的第一特征图，达到了将所述第一特征图与经过全局上下文信息编码以及采样处理后的第二特征图拼接的目的，从而实现了通过第二预设卷积网络进行特征融合，得到的原图大小作为对所述胸肌区域图像的预测图像结果的技术效果，进而解决了分割处理效果不佳的技术问题。附图说明构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1是根据本申请实施例的乳腺X线图像的胸肌区域图像处理方法示意图；图2是根据本申请实施例的乳腺X线图像的胸肌区域图像处理装置示意图；图3是本申请实施例中的全局上下文网络结构示意图。具体实施方式为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。如图1所示，该方法包括如下的步骤S102至步骤S108：步骤S102，输入待处理乳腺X线图像；所述乳腺X线图像包含斜位视图(MLO)和另一种头尾位视图(CC)，而胸肌区域图像分割在斜位视图(MLO)上进行。步骤S104，通过第一预设卷积神经网络得到所述待处理乳腺X线图像的第一特征图；所述第一预设卷积神经网络用于作为在网络结构中出现的CNN卷积神经网络，即通过将待处理乳腺X线图像输入到第一预设卷积神经网络后，输出的得到特征图。步骤S106，将所述第一特征图与经过全局上下文信息编码以及采样处理后的第二特征图拼接；以及由于现有技术中对于胸肌分割时的没有考虑图像的上下文信息，对于胸肌区域和乳腺区域对比度低的样本分割效果较差。通过将所述第一特征图与经过全局上下文信息编码以及通过采样得到第二特征图，然后再拼接第一特征图和第二特征图。具体地，通过将原始的所述第一特征图经过池化层增加了全局上下文信息编码，之后经过预设采样处理后得到新的特征图作为第二特征图，之后将原始的特征图即第一特征图和经过上述处理后的第二特征进行拼接。需要说明的是，所述全局上下文信息为胸肌在全图所处的位置，以及其周围的环境信息等。需要说明的是，经过全局上下文信息编码过程可以通过有监督的卷积神经网络学习得到，本领域技术人员可以通过其他方式进行编码，只要能够符合编码要求即可。步骤S108，通过第二预设卷积网络进行特征融合，得到的原图大小作为对所述胸肌区域图像的预测图像结果。通过所述第二预设卷积网络进行特征融合后，可以得到所述原图的大小作为对所述胸肌区域图像的预测图像结果是指，得到与待处理待处理乳腺X线图像相同尺寸的黑白二值图像作为预测图像，其中胸肌区域为白色，非胸肌区域为黑色。针对上述语义分割网络在乳腺X线图像胸肌分割中存在的问题，采用了将全局上下文信息考虑在内的网络模型，并命名为全局上下文网络(GlobalContextNet，GCNet)，具体地，GCNet的主干网络均采用在ImageNet数据库上预训练的ResNet50，深度学习框架采用pytorch，硬件平台为NvidiaTitanXP。GCNet网络训练使用随机梯度下降法，其中批处理大小(batchsize)为16，初始学习率0.005，冲量参数0.9，权重衰减参数(weightdecay)为0.0001。模型训练共迭代30次，保存验证结果最佳的模型用于测试。同时，为了缓解模型的过拟合问题，本申请采用随机旋转，随机翻转和随机尺度放缩等方式扩充训练集。优选地，所述经过全局上下文信息编码包括：采用全局平均池化来编码全局上下文信息。优选地，所述采样处理包括：上采样处理。优选地，通过所述第一预设卷积神经网络，本文档来自技高网...

【技术保护点】
1.一种乳腺X线图像的胸肌区域图像处理方法，其特征在于，包括：输入待处理乳腺X线图像；通过第一预设卷积神经网络得到所述待处理乳腺X线图像的第一特征图；将所述第一特征图与经过全局上下文信息编码以及采样处理后的第二特征图拼接；以及通过第二预设卷积网络进行特征融合，得到的原图大小作为对所述胸肌区域图像的预测图像结果。

【技术特征摘要】
1.一种乳腺X线图像的胸肌区域图像处理方法，其特征在于，包括：输入待处理乳腺X线图像；通过第一预设卷积神经网络得到所述待处理乳腺X线图像的第一特征图；将所述第一特征图与经过全局上下文信息编码以及采样处理后的第二特征图拼接；以及通过第二预设卷积网络进行特征融合，得到的原图大小作为对所述胸肌区域图像的预测图像结果。2.根据权利要求1所述的胸肌区域图像处理方法，其特征在于，所述经过全局上下文信息编码包括：采用全局平均池化来编码全局上下文信息。3.根据权利要求1所述的胸肌区域图像处理方法，其特征在于，所述采样处理包括：上采样处理。4.根据权利要求1所述的胸肌区域图像处理方法，其特征在于，通过所述第一预设卷积神经网络，用于获取在预设卷积神经网络中最后一个卷积层上输出的特征图。5.根据权利要求1所述的胸肌区域图像处理方法，其特征在于，通过所述第二预设卷积网络，用于卷积融合特征并通过上采样到原图大小的特征图。6.一种乳腺X线图像的胸肌...

【专利技术属性】
技术研发人员：王润泽，张树，
申请(专利权)人：杭州深睿博联科技有限公司，
类型：发明
国别省市：浙江,33