乳腺X射线影像的处理方法和装置制造方法及图纸

本发明专利技术提供一种乳腺X射线影像的处理方法和装置，所述方法包括以下步骤：基于深度特征提取网络在单个或多个不同尺度提取乳腺X射线影像的图像特征；根据图像特征确定候选目标位置及区域特征；对多个视角的乳腺X射线影像中的候选目标位置及区域特征进行显式的相关性聚合和区域特征修正。本发明专利技术能够对多个视角乳腺X射线影像中的目标进行有效融合，从而便于对乳腺X射线影像病灶检出，并提高后续相关属性识别的准确度，有利于促进人体组织分析等研究工作。

Processing method and device of mammography

【技术实现步骤摘要】
乳腺X射线影像的处理方法和装置
本专利技术涉及图像处理
，具体涉及一种乳腺X射线影像的处理方法和一种乳腺X射线影像的处理装置。
技术介绍
乳腺X射线影像能比较全面而正确地反应出人体组织的大体解剖结构，对于人体组织分析等研究工作具有较高价值。然而，原始的乳腺X射线影像可能因为摄片角度而存在无法反映真实结构的区域，通过目前的计算机视觉，例如基于深度学习的图像识别等也难以实现对乳腺X射线影像的准确识别。
技术实现思路
本专利技术为解决上述技术问题，提供了一种乳腺X射线影像的处理方法和装置，能够对多个视角乳腺X射线影像中的目标进行有效融合，从而便于对乳腺X射线影像的识别，并提高后续识别的准确度，有利于促进人体组织分析等研究工作。本专利技术采用的技术方案如下：一种乳腺X射线影像的处理方法，包括以下步骤：基于深度特征提取网络在单个或多个不同尺度提取乳腺X射线影像的图像特征；根据所述图像特征确定候选目标位置及区域特征；对多个视角的乳腺X射线影像中的候选目标位置及区域特征进行显式的相关性聚合和区域特征修正。根据所述图像特征确定候选目标位置及区域特征，具体包括：基于图像特征在固定锚点预测相对应尺度下是否存在识别目标，及所述识别目标相对于所述固定锚点的位置偏差；以存在所述识别目标可能性大于阈值的区域做区域性特征对齐，提取相同大小的候选目标区域特征。根据所述图像特征确定候选目标位置及区域特征，还包括：对对齐后的区域的特征进行修正处理，并基于修正处理后的特征再次进行识别目标和位置偏差的预测。多个视角的乳腺X射线影像中候选目标位置及区域特征的相关性采用cosine距离、L1～Ln距离或KL散度进行度量。采用softmax或weightedaverage对多个视角的乳腺X射线影像中的候选目标位置及区域特征进行显式的相关性聚合。其中，通过卷积、池化、非线性激活函数或归一化进行特征修正。多个视角的乳腺X射线影像中候选目标区域特征的相关性以各个视角的乳腺X射线影像中相同目标特征距离应小于不同目标特征距离为监督信息进行学习。进行学习的损失函数为对比损失、三元组或N对损失。一种乳腺X射线影像的处理装置，包括：特征提取模块，所述特征提取模块基于深度特征提取网络在单个或多个不同尺度提取乳腺X射线影像的图像特征；目标确定模块，所述目标确定模块用于根据所述图像特征确定候选目标位置及区域特征；聚合修正模块，所述聚合修正模块用于对多个视角的乳腺X射线影像中的候选目标位置及区域特征进行显式的相关性聚合和区域特征修正。本专利技术的有益效果：本专利技术通过在单个或多个不同尺度提取乳腺X射线影像的图像特征，并根据图像特征确定候选目标位置及区域特征，以及对多个视角的乳腺X射线影像中的候选目标位置及区域特征进行显式的相关性聚合和区域特征修正，由此，能够对多个视角乳腺X射线影像中的目标进行有效融合，从而便于对乳腺X射线影像病灶检出，并提高后续相关属性识别的准确度，有利于促进人体组织分析等研究工作。附图说明图1为本专利技术实施例的乳腺X射线影像的处理方法的流程图；图2为本专利技术实施例的乳腺X射线影像的处理装置的方框示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。如图1所示，本专利技术实施例的乳腺X射线影像的处理方法包括以下步骤：S1，基于深度特征提取网络在单个或多个不同尺度提取乳腺X射线影像的图像特征。在本专利技术的一个实施例中，深度特征提取网络可通过大量数据预训练得到。举例而言，可通过大量的图像数据对卷积神经网络进行训练，得到深度特征提取网络。本专利技术实施例的深度特征提取网络可用于提取乳腺X射线影像中的边缘特征、纹理特征和/或灰度特征等，同一图像中不同的图像特征可表示不同属性的物体，例如病灶与正常组织一般具有不同的纹理特征。考虑到同一部位的乳腺X射线影像在不同尺度下图像特征会发生变化，例如，在尺度越小时，病灶的纹理越多，而通过在多个不同尺度提取图像特征，所提取到的特征更加全面，更能反映出所拍摄的部位本身的属性。S2，根据图像特征确定候选目标位置及区域特征。其中，候选目标为可能性较大的识别目标。具体地，可基于图像特征在固定锚点预测相对应尺度下是否存在识别目标，及识别目标相对于固定锚点的位置偏差，然后以存在识别目标可能性大于阈值的区域做区域性特征对齐，提取相同大小的候选目标区域特征。进一步地，可对对齐后的区域的特征进行修正处理，并基于修正处理后的特征再次进行识别目标和位置偏差的预测。其中，对特征的修正操作可包括但不限于卷积、池化、非线性激活函数或归一化。S3，对多个视角的乳腺X射线影像中的候选目标位置及区域特征进行显式的相关性聚合和区域特征修正。在本专利技术的一个实施例中，可将每一个视角的乳腺X射线影像中的候选目标位置及区域特征，均与其他所有视角的乳腺X射线影像中的候选目标位置及区域特征进行显式的相关性聚合和区域特征修正。在本专利技术的一个实施例中，可筛选出非极大值抑制后的候选目标进行特征的相关性聚合。多个视角的乳腺X射线影像中候选目标位置及区域特征的相关性可采用cosine距离、L1～Ln距离或KL散度等进行度量，并且，可采用softmax或weightedaverage等函数过程对多个视角的乳腺X射线影像中的候选目标位置及区域特征进行显式的相关性聚合。以cosine距离和weightedaverage为例，聚合过程为：计算所选定的一个视角的乳腺X射线影像中候选目标位置及区域特征与其他每个视角的乳腺X射线影像中候选目标位置及区域特征之间的cosine距离，并基于预设的各个cosine距离的权重计算出上述多个cosine距离的加权平均值，即得到该选定的一个视角的乳腺X射线影像所对应的相关性聚合结果，如此，计算出每个视角的乳腺X射线影像所对应的相关性聚合结果。聚合后的特征可再次经过卷积、池化、非线性激活函数、归一化等操作进行特征修正。多个视角的乳腺X射线影像中候选目标位置及区域特征的相关性以各个视角的乳腺X射线影像中相同目标特征为监督信息进行学习。进行学习的损失函数可包括但不限于对比损失(contrastiveloss)、三元组(tripletloss)、N对损失(N-pairloss)。在本专利技术的一个实施例中，步骤S3可多次执行，以使目标间信息产生多次关联及修正以达到较佳的处理效果。此外，可根据需求，在修正处理后确定的识别目标位置，重新根据图像特征提取对齐的候选目标位置及区域特征，以便预测识别目标的具体属性。在本专利技术的一个具体实施例中，识别目标可以为软组织类病灶或乳头等正常组织。在本专利技术的另一个具体本文档来自技高网...

【技术保护点】
1.一种乳腺X射线影像的处理方法，其特征在于，包括以下步骤：/n基于深度特征提取网络在单个或多个不同尺度提取乳腺X射线影像的图像特征；/n根据所述图像特征确定候选目标位置及区域特征；/n对多个视角的乳腺X射线影像中的候选目标位置及区域特征进行显式的相关性聚合和区域特征修正。/n

【技术特征摘要】
1.一种乳腺X射线影像的处理方法，其特征在于，包括以下步骤：
基于深度特征提取网络在单个或多个不同尺度提取乳腺X射线影像的图像特征；
根据所述图像特征确定候选目标位置及区域特征；
对多个视角的乳腺X射线影像中的候选目标位置及区域特征进行显式的相关性聚合和区域特征修正。


2.根据权利要求1所述的乳腺X射线影像的处理方法，其特征在于，根据所述图像特征确定候选目标位置及区域特征，具体包括：
基于图像特征在固定锚点预测相对应尺度下是否存在识别目标，及所述识别目标相对于所述固定锚点的位置偏差；
以存在所述识别目标可能性大于阈值的区域做区域性特征对齐，提取相同大小的候选目标区域特征。


3.根据权利要求2所述的乳腺X射线影像的处理方法，其特征在于，根据所述图像特征确定候选目标位置及区域特征，还包括：
对对齐后的区域的特征进行修正处理，并基于修正处理后的区域特征再次进行识别目标和位置偏差的预测。


4.根据权利要求3所述的乳腺X射线影像的处理方法，其特征在于，多个视角的乳腺X射线影像中候选目标区域特征的相关性进行显式建模，具体度量可采用cosine距离、L1～Ln距离或KL散度。

【专利技术属性】
技术研发人员：张笑春，章谦一，刚亚栋，张番栋，俞益洲，
申请(专利权)人：北京深睿博联科技有限责任公司，杭州深睿博联科技有限公司，
类型：发明
国别省市：北京;11