基于选择性搜索和CNN的计算机辅助乳腺肿块检测方法技术

本发明专利技术提出了一种基于选择性搜索和CNN的计算机辅助乳腺肿块检测方法，用于解决现有技术中存在的因候选框质量差和分类准确率低导致的检测准确率低的技术问题，实现步骤为：1.获取多幅乳腺钼靶X线图像及其医师标注文件；2.对N幅乳腺钼靶X线图像进行预处理；3.获取N幅预处理后的乳腺钼靶X线图像的目标框集合；4.基于选择性搜索算法获取N幅预处理后的乳腺钼靶X线图像的候选框集合；5.构建卷积神经网络CNN并初始化；6.对初始化后的卷积神经网络进行训练；7.获取待检测乳腺钼靶X线图像的肿块区域。本发明专利技术乳腺肿块检测的检出率高且假阳率低，可应用于计算机辅助乳腺肿块检测系统中。

Computer Aided Breast Mass Detection Based on Selective Search and CNN

The invention proposes a computer-aided breast mass detection method based on selective search and CNN, which is used to solve the technical problems of low detection accuracy caused by poor quality of candidate frames and low classification accuracy in the prior art. The realization steps are as follows: 1. acquiring multiple mammograms and their doctor's labeling documents; 2. preprocessing N mammograms; 3. Obtain the set of target frames of N preprocessed mammary molybdenum target X-ray images; 4. Obtain the set of candidate frames of N preprocessed mammary molybdenum target X-ray images based on selective search algorithm; 5. Construct and initialize the convolution neural network; 6. Train the initialized convolution neural network; 7. Obtain the mass area of mammary molybdenum target X-ray images to be detected. The invention has high detection rate of breast mass and low false positive rate, and can be applied in computer aided breast mass detection system.

【技术实现步骤摘要】
基于选择性搜索和CNN的计算机辅助乳腺肿块检测方法
本专利技术属于图像处理领域，更进一步涉及在医学影像处理领域中的一种基于选择性搜索和CNN的计算机辅助乳腺肿块检测方法，可用于计算机辅助乳腺肿块检测系统中。
技术介绍
乳腺癌是女性中高发的恶性肿瘤，公开数据表明，乳腺癌占所有癌症病例的23％，以及全球女性中癌症相关死亡的14％。而早期筛查能有效地降低乳腺癌的发病率和死亡率。乳腺钼靶X线是较为先进的一种检查方式，清晰度好，对比度高，能比较可靠地鉴别出乳腺的良性病变和恶性肿瘤。肿块是乳腺疾病在乳腺钼靶X线图像上一个主要表现。由于乳腺组织的非刚性及不同视角的变换，病变的形状、大小、边缘、纹理的多变性，正常组织的视觉干扰，再加上医师阅片量大，容易因疲劳而造成误诊和漏诊，而另外一名专家或者计算机辅助系统对同一张乳腺图像的二次阅读可提高检测的准确率，因此可以实现乳腺肿块自动检测作为辅助阅读器的计算机辅助系统的发展对临床实践具有重要意义。现有的计算机辅助乳腺钼靶X线图像肿块检测方法主要分为两步，先采用候选框生成方法生成一系列的候选框，再提取候选框的特征并进行分类。一般来说，候选框质量越高，分类准确率越高，计算机辅助乳腺钼靶X线图像肿块检测的准确率越高。本领域采用检出率和假阳率来评估计算机辅助乳腺钼靶X线图像肿块检测的准确率，检出率指检出的肿块占实际肿块数目的比例，假阳率指每幅图像中错分为肿块组织的正常组织的平均数目。目前，计算机辅助乳腺钼靶X线图像肿块检测方法中通常采用滑窗的方法得到一系列的候选框，再提取灰度共生矩阵SGLD特征、局部二值模式LBP特征或基于肿块特性设计的其他特征，然后用SVM、稀疏表示分类器等传统机器学习分类器对这些基于先验知识提取的特征进行分类，实现乳腺肿块的检测。例如，授权公告号为CN104182755B的“基于塔型PCA的乳腺钼靶X线图像肿块特征提取方法”中国专利中，通过固定大小的窗口在乳腺钼靶X线图像上滑动生成一系列图像块，将每个图像块由内而外划分为5层，构成一个塔型结构，分层提取每个图像块的灰度特征，并根据乳腺肿块密度分布特征分别对每层的灰度特征进行PCA降维得到每个乳腺钼靶X线图像块的特征。该方法分层提取的特征表征了乳腺肿块中间密度大边缘密度小的分布特征，更为鲁棒地表示乳腺钼靶X线图像块的特征，提高了乳腺钼靶X线图像肿块检测的准确率。但是仍然存在的不足是，由于肿块大小不一，通过固定大小的窗口在乳腺钼靶X线图像上生成的候选框不能完全覆盖到不同大小的肿块，虽然后期对候选框根据阈值对某些候选框进行融合并采用区域生长方法生成新的候选框，但新的候选框位置并不能很精确标示出肿块区域的最小边界框。且对每个乳腺钼靶X线候选框由内而外构成塔型结构时需要手动设置每层图像块的大小，而由于肿块大小、形态、边缘的多变性，固定的层次划分方式无法对所有病变区域的特征很好的表征，影响了后续对每个候选框进行分类的准确率，进而影响了乳腺钼靶X线图像肿块检测的准确率，其检出率为88％，假阳率5.6。为了提高肿块组织和正常组织分类的准确率，越来越多的研究者将卷积神经网络CNN应用于肿块组织和正常组织的分类中。通过用肿块组织和正常组织样本组成的数据集对应用在自然图像上的Alexnet、VGG等卷积神经网络中权重参数进行微调，实现肿块组织和正常组织的分类。卷积神经网络CNN通过多个变换阶段对底层特征进行组合形成抽象的高级表示，避免了显式的特征提取，可以隐式地从训练数据中自动地学习到分层特征，对数据进行更本质的描述，同时稀疏连接和参数共享的特点使得卷积神经网络对图像的缩放、位移、光照等多种变换具有很强的鲁棒性，有效提高了肿块组织和正常组织的分类准确率，但是现有的应用在自然图像上的卷积神经网络是为了实现1000个物品的分类任务而设计的，其权重参数多，需要大量的有标注的样本和大量的计算和存储器资源，而在医学影像处理领域，大量的有医师标注的医学图像获取难度大，在训练样本数目不足的情况下对卷积神经网络CNN训练时易出现过拟合现象，即训练好的卷积神经网络在训练样本上分类准确率高而在未知样本上分类准确率低的情况。在计算机辅助乳腺肿块检测任务中，除了通过提高肿块组织和正常组织分类的准确率来提高检测准确率，还可通过生成高质量的候选框来显著提高乳腺肿块检测的准确率，而选择性搜索算法是一种与类独立的启发式的候选框生成方法，在目标检测任务中，可用于生成不同目标类别的不同大小的一系列候选框。
技术实现思路
本专利技术的目的在于克服上述现有技术的不足，提出了一种基于选择性搜索和CNN的计算机辅助乳腺肿块检测方法，用于解决现有技术中存在的因候选框质量差和分类准确率低导致的检测准确率低的技术问题。为实现上述目的，本专利技术采取的技术方案包括如下步骤：(1)获取多幅乳腺钼靶X线图像及其医师标注文件：从乳腺影像数字数据库DDSM中选取N幅含有肿块的乳腺钼靶X线图像以及每幅图像的医师标注文件，N≥500；(2)对N幅乳腺钼靶X线图像进行预处理：(2a)对N幅乳腺钼靶X线图像以c为采样间隔进行下采样，得到N幅下采样乳腺钼靶X线图像，N≥500，2≤c≤5；(2b)对每幅下采样乳腺钼靶X线图像的左右边缘各裁剪r列像素区域，上下边缘各裁剪l行像素区域，用于去除图像边缘上的白色条带噪声，得到N幅裁剪后的下采样乳腺钼靶X线图像并保存，5≤r≤15，30≤l≤50；(2c)采用最大类间方差方法对每幅裁剪后的下采样乳腺钼靶X线图像进行分割，得到N幅包括乳腺区域和非乳腺区域的二值图像，并确定每幅二值图像中乳腺区域的最小外接矩形；(2d)对裁剪后的下采样乳腺钼靶X线图像中与二值图像对应的乳腺区域的最小外接矩形以外的非乳腺区域进行裁剪，得到N幅预处理后的乳腺钼靶X线图像；(3)获取N幅预处理后的乳腺钼靶X线图像的目标框集合{G1,G2,...,Gq,...,GN}：将从每幅预处理后的乳腺钼靶X线图像对应的医师标注文件中提取的k个肿块区域组合成目标框集合，得到N幅预处理后的乳腺钼靶X线图像的目标框集合组成的集合{G1,G2,...,Gq,...,GN}，k为每幅预处理后的乳腺钼靶X线图像中由医师标注的肿块区域的数目，k≥1，Gq为第q幅预处理后的乳腺钼靶X线图像的目标框集合，Gq＝{gq1,gq2,...,gqi,...,gqk}，gqi为第q幅预处理后的乳腺钼靶X线图像的第i个目标框，gqi＝{xqi1,yqi1,xqi2,yqi2}，xqi1,yqi1,xqi2,yqi2分别为第i个目标框在第q幅预处理后的乳腺钼靶X线图像中的最小列位置、最小行位置、最大列位置和最大行位置；(4)基于选择性搜索算法获取N幅预处理后的乳腺钼靶X线图像的候选框集合{L1,L2,...,Lq,...,LN}：(4a)对N幅预处理后的乳腺钼靶X线图像的中第q幅图像进行超像素分割，得到分割区域集合Rqv＝{rqv1,...,rqvi,...,rqvj,...,rqvm}，并计算Rqv中每个邻接区域对(rqvi,rqvj)的相似度s(rqvi,rqvj)，组合得到相似度矩阵Sqv，其中，v为当前迭代次数，v＝1，rqvi和rqvj为Rqv中两个不同的分割区域，m为Rqv中分割区域的总数目，m≥2；(4b)对相似度矩阵本文档来自技高网...

【技术保护点】
1.一种基于选择性搜索和CNN的计算机辅助乳腺肿块检测方法，其特征在于，包括如下步骤：(1)获取多幅乳腺钼靶X线图像及其医师标注文件：从乳腺影像数字数据库DDSM中选取N幅含有肿块的乳腺钼靶X线图像以及每幅图像的医师标注文件，N≥500；(2)对N幅乳腺钼靶X线图像进行预处理：(2a)对N幅乳腺钼靶X线图像以c为采样间隔进行下采样，得到N幅下采样乳腺钼靶X线图像，N≥500，2≤c≤5；(2b)对每幅下采样乳腺钼靶X线图像的左右边缘各裁剪r列像素区域，上下边缘各裁剪l行像素区域，用于去除图像边缘上的白色条带噪声，得到N幅裁剪后的下采样乳腺钼靶X线图像并保存，5≤r≤15，30≤l≤50；(2c)采用最大类间方差方法对每幅裁剪后的下采样乳腺钼靶X线图像进行分割，得到N幅包括乳腺区域和非乳腺区域的二值图像，并确定每幅二值图像中乳腺区域的最小外接矩形；(2d)对裁剪后的下采样乳腺钼靶X线图像中与二值图像对应的乳腺区域的最小外接矩形以外的非乳腺区域进行裁剪，得到N幅预处理后的乳腺钼靶X线图像；(3)获取N幅预处理后的乳腺钼靶X线图像的目标框集合{G1,G2,...,Gq,...,GN}：将从每幅预处理后的乳腺钼靶X线图像对应的医师标注文件中提取的k个肿块区域组合成目标框集合，得到N幅预处理后的乳腺钼靶X线图像的目标框集合组成的集合{G1,G2,...,Gq,...,GN}，k为每幅预处理后的乳腺钼靶X线图像中由医师标注的肿块区域的数目，k≥1，Gq为第q幅预处理后的乳腺钼靶X线图像的目标框集合，Gq＝{gq1,gq2,...,gqi,...,gqk}，gqi为第q幅预处理后的乳腺钼靶X线图像的第i个目标框，gqi＝{xqi1,yqi1,xqi2,yqi2}，xqi1,yqi1,xqi2,yqi2分别为第i个目标框在第q幅预处理后的乳腺钼靶X线图像中的最小列位置、最小行位置、最大列位置和最大行位置；(4)基于选择性搜索算法获取N幅预处理后的乳腺钼靶X线图像的候选框集合{L1,L2,...,Lq,...,LN}：(4a)对N幅预处理后的乳腺钼靶X线图像的中第q幅图像进行超像素分割，得到分割区域集合Rqv＝{rqv1,...,rqvi,...,rqvj,...,rqvm}，并计算Rqv中每个邻接区域对(rqvi,rqvj)的相似度s(rqvi,rqvj)，组合得到相似度矩阵Sqv，其中，v为当前迭代次数，v＝1，rqvi和rqvj为Rqv中两个不同的分割区域，m为Rqv中分割区域的总数目，m≥2；(4b)对相似度矩阵Sqv中最大值所对应的邻接区域对(r′qvi,r′qvj)中的两个区域进行合并，得到区域rqvt，并将rqvt添加到Rqv中，得到分割区域集合Rq(v+1)：Rq(v+1)＝Rqv∪rqvt；(4c)从相似度矩阵Sqv中去除与区域r′qvi和r′qvj邻接的区域的相似度值，得到相似度矩阵S′qv：S′qv＝Sqv\s(r′qvi,rqvi*)\s(r′qvj,rqvj*)，并判断S′qv是否为空集，若是，执行步骤(4e)，否则，计算Rqv中所有与rqvt邻接的区域的相似度s(rqvt,rqvt*)，再将s(rqvt,rqvt*)添加到S′qv中，得到相似度矩阵Sq(v+1)：Sq(v+1)＝S′qv∪s(rqvt,rqvt*)，并执行步骤(4d)，其中，rqvi*为Rqv中与区域r′qvi邻接的所有区域，rqvj*为Rqv中与区域r′qvj邻接的所有区域，rqvt*为Rqv中与区域rqvt邻接的所有区域；(4d)令v＝v+1，重复执行步骤(4b)和(4c)；(4e)取分割区域集合Rq(v+1)中每个分割区域的最小外接矩形，形成第q幅预处理后的乳腺钼靶X线图像的候选框集合Lq＝{lq1,lq2,...,lqj,...,lqn}，其中，n为候选框的总数目，lqj为第q幅预处理后的乳腺钼靶X线图像的第j个候选框，lqj＝{xqj1,yqj1,xqj2,yqj2}，xqj1,yqj1,xqj2,yqj2分别为候选框在预处理后的乳腺钼靶X线图像中的最小列位置、最小行位置、最大列位置和最大行位置；(4f)对N幅预处理后的乳腺钼靶X线图像的中除第q幅图像以外的其他图像执行(4a)～(4e)，并对所有预处理后的乳腺钼靶X线图像的候选框集合进行合并，得到候选框集合的集合{L1,L2,...,Lq,...,LN}；(5)构建卷积神经网络CNN并初始化：构建卷积神经网络CNN，包含依次层叠的大小为R×R的输入层Input、卷积层conv、批量归一化层BN、池化层pool、激活函数层ReLU、全连接层fc及用于获取肿块组织和正常组织分类概率的分类层softmax，并采用高斯分布函数对该卷积神经网络各层的权重进行初始化，得到初始化后的卷积神经网络mode...

【技术特征摘要】
1.一种基于选择性搜索和CNN的计算机辅助乳腺肿块检测方法，其特征在于，包括如下步骤：(1)获取多幅乳腺钼靶X线图像及其医师标注文件：从乳腺影像数字数据库DDSM中选取N幅含有肿块的乳腺钼靶X线图像以及每幅图像的医师标注文件，N≥500；(2)对N幅乳腺钼靶X线图像进行预处理：(2a)对N幅乳腺钼靶X线图像以c为采样间隔进行下采样，得到N幅下采样乳腺钼靶X线图像，N≥500，2≤c≤5；(2b)对每幅下采样乳腺钼靶X线图像的左右边缘各裁剪r列像素区域，上下边缘各裁剪l行像素区域，用于去除图像边缘上的白色条带噪声，得到N幅裁剪后的下采样乳腺钼靶X线图像并保存，5≤r≤15，30≤l≤50；(2c)采用最大类间方差方法对每幅裁剪后的下采样乳腺钼靶X线图像进行分割，得到N幅包括乳腺区域和非乳腺区域的二值图像，并确定每幅二值图像中乳腺区域的最小外接矩形；(2d)对裁剪后的下采样乳腺钼靶X线图像中与二值图像对应的乳腺区域的最小外接矩形以外的非乳腺区域进行裁剪，得到N幅预处理后的乳腺钼靶X线图像；(3)获取N幅预处理后的乳腺钼靶X线图像的目标框集合{G1,G2,...,Gq,...,GN}：将从每幅预处理后的乳腺钼靶X线图像对应的医师标注文件中提取的k个肿块区域组合成目标框集合，得到N幅预处理后的乳腺钼靶X线图像的目标框集合组成的集合{G1,G2,...,Gq,...,GN}，k为每幅预处理后的乳腺钼靶X线图像中由医师标注的肿块区域的数目，k≥1，Gq为第q幅预处理后的乳腺钼靶X线图像的目标框集合，Gq＝{gq1,gq2,...,gqi,...,gqk}，gqi为第q幅预处理后的乳腺钼靶X线图像的第i个目标框，gqi＝{xqi1,yqi1,xqi2,yqi2}，xqi1,yqi1,xqi2,yqi2分别为第i个目标框在第q幅预处理后的乳腺钼靶X线图像中的最小列位置、最小行位置、最大列位置和最大行位置；(4)基于选择性搜索算法获取N幅预处理后的乳腺钼靶X线图像的候选框集合{L1,L2,...,Lq,...,LN}：(4a)对N幅预处理后的乳腺钼靶X线图像的中第q幅图像进行超像素分割，得到分割区域集合Rqv＝{rqv1,...,rqvi,...,rqvj,...,rqvm}，并计算Rqv中每个邻接区域对(rqvi,rqvj)的相似度s(rqvi,rqvj)，组合得到相似度矩阵Sqv，其中，v为当前迭代次数，v＝1，rqvi和rqvj为Rqv中两个不同的分割区域，m为Rqv中分割区域的总数目，m≥2；(4b)对相似度矩阵Sqv中最大值所对应的邻接区域对(r′qvi,r′qvj)中的两个区域进行合并，得到区域rqvt，并将rqvt添加到Rqv中，得到分割区域集合Rq(v+1)：Rq(v+1)＝Rqv∪rqvt；(4c)从相似度矩阵Sqv中去除与区域r′qvi和r′qvj邻接的区域的相似度值，得到相似度矩阵S′qv：S′qv＝Sqv\s(r′qvi,rqvi*)\s(r′qvj,rqvj*)，并判断S′qv是否为空集，若是，执行步骤(4e)，否则，计算Rqv中所有与rqvt邻接的区域的相似度s(rqvt,rqvt*)，再将s(rqvt,rqvt*)添加到S′qv中，得到相似度矩阵Sq(v+1)：Sq(v+1)＝S′qv∪s(rqvt,rqvt*)，并执行步骤(4d)，其中，rqvi*为Rqv中与区域r′qvi邻接的所有区域，rqvj*为Rqv中与区域r′qvj邻接的所有区域，rqvt*为Rqv中与区域rqvt邻接的所有区域；(4d)令v＝v+1，重复执行步骤(4b)和(4c)；(4e)取分割区域集合Rq(v+1)中每个分割区域的最小外接矩形，形成第q幅预处理后的乳腺钼靶X线图像的候选框集合Lq＝{lq1,lq2,...,lqj,...,lqn}，其中，n为候选框的总数目，lqj为第q幅预处理后的乳腺钼靶X线图像的第j个候选框，lqj＝{xqj1,yqj1,xqj2,yqj2}，xqj1,yqj1,xqj2,yqj2分别为候选框在预处理后的乳腺钼靶X线图像中的最小列位置、最小行位置、最大列位置和最大行位置；(4f)对N幅预处理后的乳腺钼靶X线图像的中除第q幅图像以外的其他图像执行(4a)～(4e)，并对所有预处理后的乳腺钼靶X线图像的候选框集合进行合并，得到候选框集合的集合{L1,L2,...,Lq,...,LN}；(5)构建卷积神经网络CNN并初始化：构建卷积神经网络CNN，包含依次层叠的大小为R×R的输入层Input、卷积层conv、批量归一化层BN、池化层pool、激活函数层ReLU、全连接层fc及用于获取肿块组织和正常组织分类概率的分类层softmax，并采用高斯分布函数对该卷积神经网络各层的权重进行初始化，得到初始化后的卷积神经网络model0，其中，90≤R≤150；(6)对初始化后的卷积神经网络model0进行训练：(6a)计算每幅预处理后的乳腺钼靶X线图像的目标框集合Gq中每个目标框gqi与候选框集合Lq中每个候选框lqj的交叠比其中，gqi∩lqj为目标框gqi与候选框lqj在预处理后的乳腺钼靶X线图像上取交集后的区域，size(gqi∩lqj)为取交集后的区域内的像素总数目，gqi∪lqj为目标框gqi与候选框lqj在预处理后的乳腺钼靶X线图像上的取并集后的区域，size(gqi∪lqj)为取并集后的区域内像素总数目；(6b)将大于等于阈值iou的所有交叠比Overlap(gqi,lqj)对应的gqi和lqj合并成正样本集P＝{p1,...,pu,...,pK}，同时从小于阈值iou的所有交叠比Overlap(gpi,lqj)对应的lqj中随机选取K个合并成负样本集N＝{n1,...,nw,...,nK}，并从P和N中分别随机取ratio×K个样本组合成训练样本...

【专利技术属性】
技术研发人员：李洁，张敏，王颖，焦志成，仵赛飞，张航，陈聪，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61