一种基于深度哈希的病理全切片检索算法制造技术

本发明专利技术公开了一种基于深度哈希的病理全切片检索算法，包括：哈希数据库的建立：输入查询图像，得到带标签的图像块，将带标签的图像块输入至卷积神经网络中，通过切片级损失函数对CNN网络框架进行训练，将所有的训练图像转化为相应的二值编码，得到哈希数据库；检索结果的确定：利用CNN网络框架提取测试图像的二值编码，通过哈希数据库检索得到与测试图像二值编码相近的编码，进而返回对应的图像，采用非极大值抑制的方法对返回的图像进行融合，得出检索结果。本发明专利技术利用图像块的切片标签信息，在损失函数中加入了一个切片级抑制项，使得来自相同切片的图像在特征空间中具有更大的区分度。

An algorithm of pathological full section retrieval based on depth hash

【技术实现步骤摘要】
一种基于深度哈希的病理全切片检索算法
本专利技术属于数字图像处理
，更具体的说是涉及一种基于深度哈希的病理全切片检索算法。
技术介绍
数字病理图像分析是当前癌症诊断中重要的辅助诊断方法，数字病理图像是指经过染色处理的病理切片在显微镜下成像后得到的数字图像。基于内容的图像检索可以在数据库中查找与目标患者相似的病理图像及其病例，为医生诊断提供丰富的辅助信息，近年来关于病理图像的检索成为研究领域的热点。在之前的研究中传统的检索方法主要是针对小规模的数据集，提取出图像的特征描述子，例如SIFT、HOG、GIST特征等等，再采用语义分析模型对特征进行分析处理，但是这种方法只能适应于特定的图像，鲁棒性较差，并且在处理速度上也达不到要求。近年来随着卷积神经网络(CNN)和哈希方法在病理图像检索上的应用，使得检索方法在鲁棒性和处理速度上有了比较大的提升。具体地，在训练阶段通过CNN对大规模病理全切片数据集进行训练，把分割之后的图像块映射到二值特征空间，进而得到训练集的哈希表，在测试阶段，通过训练完成的CNN结构得到测试图像相应的二值编码特征，最后通过比较此编码与训练集编码的汉明距离得到检索结果。现有技术以PDRH算法为代表，其流程图如图1所示。PDRH算法设计了一个15层的卷积神经网络，对所有训练集中的图像进行训练，该网络采用了针对图像检索的复数级(pairwiselevel)损失函数，输入图像经过一系列卷积层后，在输出层被压缩为32位的列向量，此损失函数使得带有同一标签的图像在输出层的特征空间内尽量靠近，并且使得该编码的每一位的绝对值接近1，然后通过一个符号函数把32位特征转换为相应的二值编码，以此得到训练集的二值编码列表。在测试时通过训练好的CNN输出测试图像的二值编码，在哈希表上返回与测试图像编码汉明距离最近的编码，并依次返回相应的图像。现有技术PDRH算法基于图像块层面的检索，对于图像块的切片信息采取忽视的策略，在放回结果中可能出现大量的来自同一切片和同一区域的冗余结果(如图3(a))；虽然PDRH算法可以取得良好的检索精度，但是提供的诊断信息是很有限的，不能够充分的利用已有的诊断信息数据。因此，如何提供一种基于深度哈希的病理全切片检索算法是本领域技术人员亟需解决的问题。
技术实现思路
有鉴于此，本专利技术提供了一种基于深度哈希的病理全切片检索算法，利用图像块的切片标签信息，在损失函数中加入了一个切片级抑制项，使得来自相同切片的图像在特征空间中具有更大的区分度。为了实现上述目的，本专利技术采用如下技术方案：一种基于深度哈希的病理全切片检索算法，包括：(1)哈希数据库的建立：输入查询图像，得到带标签的图像块，将带标签的图像块输入至卷积神经网络中，通过切片级损失函数对CNN网络框架进行训练，将所有的训练图像转化为相应的二值编码，得到哈希数据库；(2)检索结果的确定：利用CNN网络框架提取测试图像的二值编码，通过哈希数据库检索得到与测试图像二值编码相近的编码，进而返回对应的图像，采用非极大值抑制的方法对返回的图像进行融合，得出检索结果。具体的，查询图像采用224×224像素的图像。具体的，采用DenseNet-121的网络结构作为CNN网络网架，包含121个卷积层，由4个DenseBlock构成，将224×224像素的训练图像{I1，I2，…，IN}映射到d维特征空间，之后用符号函数把特征转化为二值编码：其中，In指的是其中某一个图像，bn是d维的二值编码，FCNN表示CNN框架的特征提取函数，sgn(·)表示符号函数，当t＞0时，sgn(t)＝1，其他情况sgn(t)＝-1。切片级损失函数得出的方法为：对于一个图像对I1，I2，基本损失函数如下：L(c1，c2，x)＝(1-x)max(m-||c1-c2||2，|0)+x||c1-c2||2+β(|||c1|-1||+|||c2|-1||)；其中当I1，I2具有相同的标签时x＝1，具有不同的标签时x＝0，m，β是超参数，c1，c2是对应的CNN特征，用来控制特征编码的绝对值接近1；为了加强检索结果的切片信息丰富度，加入一个切片信息约束项：Ls(c1，c2，y)＝ρ(y||c1-c2||+(1-y)max(m2-||c1-c2||，0))其中，m2，ρ是超参数，y是图像对的切片标签，当图像对来自同一切片时y＝0，来自不同切片时y＝1；在训练过程中对于N个图像对，他的损失函数可以表示为：其中ci，1，ci，2为第i对图像块的特征。采用如下评价指标来表征检索结果的切片信息丰富度：其中，Ni(K)表示第i张切片中包含的前K张返回图像块的数量；Nj(K)表示第j张切片中包含的前K张返回图像块的数量，M为切片总数。本专利技术的有益效果在于：本专利技术针对现有技术PDRH算法的以上缺陷进行改进，在返回信息的丰富度上有了较大的提升。本专利技术首先利用图像块的切片标签信息，在损失函数中加入了一个切片级抑制项，使得来自相同切片的图像在特征空间中具有更大的区分度；并且提出了一种新的基于非极大值抑制的检索策略，在规定的汉明距离内对来自同一张切片的检索结果，进行非极大值抑制处理，有效的去除同一个区域的冗余结果，从而增大了检索结果中的有效信息量。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为现有技术PDRH算法流程图。图2为本专利技术的算法流程图。图3为现有方法检索效果与本专利技术检索效果的对比图。图4为本专利技术与与其他现有方法检索结果的对比图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参阅附图2，本专利技术提供了一种基于深度哈希的病理全切片检索算法，包括：(1)哈希数据库的建立：S1：输入查询图像，查询图像采用224×224像素的图像，得到训练集中与查询图像具有相似内容和特征的带标签的图像块。S2：将带标签的图像块输入至卷积神经网络中，采用DenseNet-121的网络结构作为CNN网络网架，包含121个卷积层，由4个DenseBlock构成，将224×224像素的训练图像{I1，I2，…，IN}映射到d维特征空间，之后用符号函数把特征转化为二值编码：其中，In指的是其中某一个图像，bn是d维的二值编码，FCNN表示CNN框架的特征提取函数，sgn(·)表示本文档来自技高网...

【技术保护点】
1.一种基于深度哈希的病理全切片检索算法，其特征在于，包括：/n(1)哈希数据库的建立：/n输入查询图像，得到带标签的图像块，将带标签的图像块输入至卷积神经网络中，通过切片级损失函数对CNN网络框架进行训练，将所有的训练图像转化为相应的二值编码，得到哈希数据库；/n(2)检索结果的确定：/n利用CNN网络框架提取测试图像的二值编码，通过哈希数据库检索得到与测试图像二值编码相近的编码，进而返回对应的图像，采用非极大值抑制的方法对返回的图像进行融合，得出检索结果。/n

【技术特征摘要】
1.一种基于深度哈希的病理全切片检索算法，其特征在于，包括：
(1)哈希数据库的建立：
输入查询图像，得到带标签的图像块，将带标签的图像块输入至卷积神经网络中，通过切片级损失函数对CNN网络框架进行训练，将所有的训练图像转化为相应的二值编码，得到哈希数据库；
(2)检索结果的确定：
利用CNN网络框架提取测试图像的二值编码，通过哈希数据库检索得到与测试图像二值编码相近的编码，进而返回对应的图像，采用非极大值抑制的方法对返回的图像进行融合，得出检索结果。


2.根据权利要求2所述的一种基于深度哈希的病理全切片检索算法，其特征在于，查询图像采用224×224像素的图像。


3.根据权利要求1所述的一种基于深度哈希的病理全切片检索算法，其特征在于，采用DenseNet-121的网络结构作为CNN网络网架，包含121个卷积层，由4个DenseBlock构成，将224×224像素的训练图像{I1,I2,…,IN}映射到d维特征空间，之后用符号函数把特征转化为二值编码：



其中，In指的是其中某一个图像，bn是d维的二值编码，FCNN表示CNN框架的特征提取函数，sgn(·)表示符号函数，当t>0时，sgn(t)＝1，其他情况sgn(t)＝-1。

【专利技术属性】
技术研发人员：姜志国，胡定一，郑钰山，张浩鹏，谢凤英，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京;11