一种基于受限玻尔兹曼机的乳腺图像特征融合方法技术

本发明专利技术涉及一种基于受限玻尔兹曼机的乳腺图像特征融合方法，首先通过堆叠自编码器深度学习分别获取乳腺钼靶、乳腺B超的高层语义特征，然后利用受限玻尔兹曼机模型提取乳腺B超、钼靶的不同模态图像的共享特征表示。本发明专利技术所提出的一种基于受限玻尔兹曼机的乳腺图像特征融合方法，以无监督的训练方式获取乳腺B超、钼靶的不同模态统计属性之间的联合分布，可以充分利用大量的无标签数据，弥补了目前好多特征融合方法过度依赖于样本类标签的缺陷，具有较强的实用性。

【技术实现步骤摘要】

本专利技术涉及特征工程
，特别是一种基于受限玻尔兹曼机的乳腺图像特征融合方法。
技术介绍
乳腺癌是发生在妇女群体中最普遍的恶性肿瘤之一。近年来我国调查研究显示，乳腺癌的发生比率在逐年递增。因此提高乳腺癌的早期诊断精度变得越来越有意义。目前，乳腺癌诊断采用的主要方法是通过乳腺钼靶、B超图像等影像检查，诊断者通过钙化或肿块等影像特征来对病情进行分析。但由于乳腺组织中的腺体、血管、脂肪等软组织的密度与病灶区的密度都很接近，加上诊断者视觉疲劳等因素，使得早期乳腺癌的误诊和漏诊仍时常发生。随着医学影像技术和计算机技术的不断发展，利用计算机进行辅助诊断成为可能。从计算机辅助诊断乳腺癌的应用现状来看，计算机辅助诊断的准确度很大程度取决于提取到乳腺图像病理相关特征是否有效。目前，一张特定的医学图像对应一个单一的视角，只能捕捉到该视角下的局部信息，辅助诊断通常需要综合考虑不同视角的情况。例如对于乳腺钼靶图像而言，就可分为LCC、LMLO、RCC、RMLO四个不同的视角。其中LCC、LMLO是针对左乳腺的影像，而RCC、RMLO是针对右乳腺的影像。CC、MLO代表不同视角，分别表示轴位和侧位。不同视角下图像特征的融合有助于提供更为全面的病理描述。其次，医学成像技术发展至今，有各种模态的医学图像，如超声、核磁共振成像、乳腺钼靶图像、核医学图像、计算机断层摄影、红外线、荧光造影等。由于采用不同的成像技术，每种模态的医学图像在辅助诊断中具有各自的特点。就乳腺癌诊断而言，钙化和肿块是两个非常重要的诊断依据。乳腺钼靶对微小钙化敏感度高，但对肿块受致密性影响很大；乳腺B超图像肿块检测性能良好，不受致密性影响，但是对微小钙化敏感性差。显然，乳腺X射线和B超图像在辅助诊断上存在很强的互补性，两种模态下各自的图像特征亟需有效融合。因此，最好的解决机制是提供一种可以根据以往乳腺癌钼靶图像自动学习出与病理有关且可用于辅助诊断的钼靶图像高层语义特征的方法。医学图像特征融合是隶属于医学图像融合的一个子问题。目前研究最多也最为成熟的是像素级图像融合技术，包含两个阶段：图像配准和像素信息融合。但是像素级融合是最低层次的融合，在尽可能多的保留原始图像信息的同时也带来了计算繁杂的缺陷。决策级融合发生在决策阶段，主要是通过集成不同分类器来实现，以此达到提高单一分类器性能的目的。作为最高层次的融合，决策级融合处理简单但是损失细节信息过多。特征级融合介于像素级和决策级之间，在保留足够数量的有效信息的基础上，对信息进行了一定的压缩，减少信息处理的繁杂度。无论是信息饱和度还是处理效用度的角度来考察，特征级融合都是医学图像融合中更为合理有效的机制。目前特征级融合主要有级(串)联融合、并联融合、加权融合、基于主成分分析的融合和基于典型相关分析融合等。例如王之琼等人首先提取乳腺乳腺钼靶图像的特征，然后将左侧乳腺、右侧乳腺以及双侧乳腺对比特征进行级联融合。Dong-Jun Yu,Jun Hu等人对蛋白质的多视角特征利用复数空间进行融合，然后在利用广义的主成分分析进行分类。魏旭等人先提取了包括分形特征、局域灰度概率特征等多种特征，通过基于PCA的特征融合算法对其进行融合，对目标进行了匹配识别。医学图像含有异构性、成分复杂、噪声显著、生理相关性等特性，使得到目前为止的医学图像特征级融合的效果不尽人意。受限玻尔兹曼机作为一种多隐层的人工神经网络深度学习模型，具有很强的特征学习能力，可以从数据中学习得到更抽象更本质的特征；而多层人工神经网络很难进行有效训练的问题也可以通过逐层无监督训练加以克服。因此，本申请基于上述方法，从乳腺钼靶、B超图像预处理获取的手工浅层特征中经由堆叠自编码学习抽取效用度更好的高层病理特征，进一步经由单模态多视角下图像病理特征融合和多模态图像病理特征融合等阶段，从而为临床诊断提供更有价值的“参考意见”，提高乳腺癌诊断的准确率和效率。
技术实现思路
本专利技术的目的在于提供一种基于受限玻尔兹曼机的乳腺图像特征融合方法，以克服现有技术中存在的缺陷。为实现上述目的，本专利技术的技术方案是：一种基于受限玻尔兹曼机的乳腺图像特征融合方法，包括以下步骤：步骤S1：针对乳腺钼靶图像，从不同视角提取的手工浅层特征，并经过深度学习，得到不同视角的高层语义特征；步骤S2：针对乳腺B超图像，从不同视角提取的手工浅层特征，并经过深度学习，得到不同视角的高层语义特征；步骤S3：将所述步骤S1中获取的乳腺钼靶图像不同视角的高层语义特征级联，得到乳腺钼靶多视角融合后的高层语义特征；步骤S4：将所述步骤S2中获取的乳腺B超图像不同视角的高层语义特征级联，得到乳腺B超多视角融合后的高层语义特征；步骤S5：将所述步骤S3及所述步骤S4得到的乳腺钼靶多视角融合后的高层语义特征、乳腺B超多视角融合后的高层语义特征作为训练样本，利用CD算法训练整个多模态乳腺图像特征融合模型，也即FUSION_RBM模型；步骤S6：所述FUSION_RBM模型训练完成后，给定一待测样本(f_mod1，f_mod2)，根据以下公式获得融合特征表示： P ( h j = 1 | f _ mod 1 , f _ mod 2 ) = σ ( Σ i = 1 v 1 w 1 i j f _ mod 1 i + Σ i = 1 v 2 w 2 i j f _ mod 2 i + b h j ) ]]>其中，hj为隐层h第j个单元，f_modti为模态t图像特征第i个单元，wtij为模态t图像特征输入层第i本文档来自技高网...

【技术保护点】
一种基于受限玻尔兹曼机的乳腺图像特征融合方法，其特征在于：包括以下步骤：步骤S1：针对乳腺钼靶图像，从不同视角提取的手工浅层特征，并经过深度学习，得到不同视角的高层语义特征；步骤S2：针对乳腺B超图像，从不同视角提取的手工浅层特征，并经过深度学习，得到不同视角的高层语义特征；步骤S3：将所述步骤S1中获取的乳腺钼靶图像不同视角的高层语义特征级联，得到乳腺钼靶多视角融合后的高层语义特征；步骤S4：将所述步骤S2中获取的乳腺B超图像不同视角的高层语义特征级联，得到乳腺B超多视角融合后的高层语义特征；步骤S5：将所述步骤S3及所述步骤S4得到的乳腺钼靶多视角融合后的高层语义特征、乳腺B超多视角融合后的高层语义特征作为训练样本，利用CD算法训练整个多模态乳腺图像特征融合模型，也即FUSION_RBM模型；步骤S6：所述FUSION_RBM模型训练完成后，给定一待测样本(f_mod1，f_mod2)，根据以下公式获得融合特征表示：P(hj=1|f_mod1,f_mod2)=σ(Σi=1v1w1ijf_mod1i+Σi=1v2w2ijf_mod2i+bhj)]]>其中，hj为隐层h第j个单元，f_modti为模态t图像特征第i个单元，wtij为模态t图像特征输入层第i个单元与隐层h第j个单元之间的连接权值，bhj为隐层h中第j个单元的偏置，bti为模态t图像特征输入层第i个单元的偏置，σ表示sigmoid函数。...

【技术特征摘要】
1.一种基于受限玻尔兹曼机的乳腺图像特征融合方法，其特征在于：包括以下步骤：步骤S1：针对乳腺钼靶图像，从不同视角提取的手工浅层特征，并经过深度学习，得到不同视角的高层语义特征；步骤S2：针对乳腺B超图像，从不同视角提取的手工浅层特征，并经过深度学习，得到不同视角的高层语义特征；步骤S3：将所述步骤S1中获取的乳腺钼靶图像不同视角的高层语义特征级联，得到乳腺钼靶多视角融合后的高层语义特征；步骤S4：将所述步骤S2中获取的乳腺B超图像不同视角的高层语义特征级联，得到乳腺B超多视角融合后的高层语义特征；步骤S5：将所述步骤S3及所述步骤S4得到的乳腺钼靶多视角融合后的高层语义特征、乳腺B超多视角融合后的高层语义特征作为训练样本，利用CD算法训练整个多模态乳腺图像特征融合模型，也即FUSION_RBM模型；步骤S6：所述FUSION_RBM模型训练完成后，给定一待测样本(f_mod1，f_mod2)，根据以下公式获得融合特征表示： P ( h j = 1 | f _ mod 1 , f _ mod 2 ) = σ ( Σ i = 1 v 1 w 1 i j f _ mod 1 i + Σ i = 1 v 2 w 2 i j f _ mod 2 i + b h j ) ]]>其中，hj为隐层h第j个单元，f_modti为模态t图像特征第i个单元，wtij为模态t图像特征输入层第i个单元与隐层h第j个单元之间的连接权值，bhj为隐层h中第j个单元的偏置，bti为模态t图像特征输入层第i个单元的偏置，σ表示sigmoid函数。2.根据权利要求1所述的一种基于受限玻尔兹曼机的乳腺图像特征融合方法，其特征在于，在所述步骤S1中，从每一张视角为CC位，也即view1，的钼靶ROI图像中提取手工浅层特征，经过堆叠自编码器深度学习，得到钼靶的高层语义特征SAE-F2-view1；从每一张视角为MLO位，也即view2，的钼靶ROI图像中提取手工浅层特征，经过堆叠自编码器深度学习，得到钼靶高层语义特征SAE-F2-view2。3.根据权利要求1所述的一种基于受限玻尔兹曼机的乳腺图像特征融合方法，其特征在于，在所述步骤S2中，从每一张视角为切面1，也即view1，的B超ROI图像中提取手工浅层特征，经过堆叠自编码器深度学习，得到B超的高层语义特征BSAE-F2-view1；从每一张视角为切面2，也即view2，的B超ROI图像中提取手工浅层特征，经过堆叠自编码器深度学习，得到B超的高层语义特征BSAE-F2-view2。4.根据权利要求2所述的一种基于受限玻尔兹曼机的乳腺图像特征融合方法，其特征在于，在所述步骤S3中，将所述步骤S1得到的乳腺钼靶两个视角的图像特征SAE-F2-view1和SAE-F2-view2，串联成一个高维特征向量SAE-F2-fusion，以保留所有视角的信息。5.根据权利要求3所述的一种基于受限玻尔兹曼机的乳腺图像特征融合方法，其特征在于，在所述步骤S4中，将所述步骤S2中得到的乳腺B超两个视角的图像特征BSAE-F2-view1和BSAE-F2-view2，串联成一个高维特征向量BSAE-F2-fusion，以保留所有视角的信息。6.根据权利要求1所述的一种基于受限玻尔兹曼机的乳腺图像特征融合方法，其特征在于，在所述步骤S5中，将所述步骤S3及所述步骤S4得到的乳腺钼靶多视角融合后的高层语义特征、乳腺B超多视角融合后的高层语义特征作为训练样本，利用CD算法训练整个多模态乳腺图像特征融合模型，也即FUSION_RBM模型，具体包括以下步骤：步骤S51：初始化，α表示学习率，size表示训练集样本个数，num_epoch表示设置的循环次数；步骤S52：外重循环for t＝1:num_epoch；内重循环for s＝1:size；步骤S521：输入层采样；将训练样本转化为二进制单元，具体为：即，当特征大于一个0至1之间的随机数时，赋值为1，否则为0；其中，f_mod1＝BSAE-F2-fusion，f_mod2＝SAE-F2-fusion，vi表示模态i的特征维数；rand(1,v1+v2)表示产生1行v1+v2列的(0,1)区间的随机数；步骤S522：计算正向概率隐层 P ( p o s _ h _ pro j ( s ) = 1 | f _ mod 1 ( s ) , f _ mod 2 ( s ) ) = σ ( Σ i = 1 v 1 w 1 i j f _ mod 1 ( s ) i + Σ i = 1 v 2 w 2 i j f _ mod 2 ( s ) i + b h j ) ; ]]>步骤S523：正向隐层采样。将概率隐层转化为二进制隐层： p o s _ h _ s t a t e ( s ) = p o s _ h _ p r o ( s ) > r a n d ( 1 , v h ) ; ]]>步骤S524：反向重构输入层： P ( n e g _ f _ mod t ( s ) i = 1 | p o s _ h _ s t a t e ( s ) ) = σ ( Σ j = 1 v h w t i j p o s _ h _ s t a t e ( s ) j + b t i ) , t = 1 , 2 ; ]]>步骤S525：反向输入层采样： n e g _ s t a t e _ ( s ) f _ mod t = n e g _ f _ mod t ( s ) > r a n d ...

【专利技术属性】
技术研发人员：王秀，余春艳，滕保强，陈壮威，
申请(专利权)人：福州大学，
类型：发明
国别省市：福建;35