【技术实现步骤摘要】
本专利技术属于深度学习图像检索，具体涉及一种基于多尺度特征融合和深度哈希的医学图像检索方法。
技术介绍
1、随着计算机技术与医学影像技术的快速发展，医学影像诊断已经成为医生辅助诊断的主要工具。医院每天产生大量的医学图像数据，需要运用合适的检索技术来实现高效的医学图像检索。在此背景下，如何有效地检索这些数据图像变得尤为重要，这与医生的诊断效率和准确率息息相关，医学图像检索也随之逐渐兴起。
2、医学图像检索是指通过计算机技术，从医学图像数据库中检索与用户查询相似的医学图像的过程。传统的医学图像检索方法通常基于手工设计的特征提取和传统的相似性度量方法，虽然可以有效提取颜色、纹理等底层特征，但是手工设计特征需要领域专业知识，可能无法捕捉到复杂的图像信息，缺乏对图像的深层语义描述。随着深度学习在计算机视觉领域的兴起，特别是卷积神经网络(cnn)等架构的成功应用，图像特征提取和表示学习取得了显著进展。这些网络能够从图像中学习层次化的特征表示，使得从不同层次提取特征成为可能。
3、基于深度学习的方式更加侧重于提取图像的深层语义特征，虽然效果卓越，但是缺乏底层特征的补充和增强，在检索性能上依旧难以体现全面的效果。由于医学图像的高维、大量和复杂性，传统的检索方法也存在着维数灾难和计算复杂度高的问题。随着图像数据库规模的不断增长，执行线性搜索所需的时间和存储空间也呈指数增长，这就导致基于内容的图像检索所面临的“维数灾难”问题。传统的哈希方法需要存储所有的图像特征，这会导致存储开销大，并且计算查询图像与数据库中图像的相似度时也
技术实现思路
1、本专利技术的目的是针对以上不足，提供一种基于多尺度特征融合和深度哈希的医学图像检索方法。
2、本专利技术在特征提取上，将残差网络resnet50和特征图金字塔网络fpn结合，fpn通过建立自上而下的特征金字塔结构，可以从不同层级的特征图中提取特征并进行融合，以捕捉医学图像中的多尺度信息，使模型能够同时关注细节和整体信息，在融合的特征上应用哈希编码，将高维的连续特征映射为低维的二进制编码，再利用汉明距离在索引结构中搜索最相似的图像，找到与查询图像最相似的医学图像，通过结合多尺度特征融合模型和深度哈希编码，充分利用深度学习的特征学习能力和哈希编码的存储和计算优势，提高医学图像检索的准确性和效率。
3、为达到上述目的，本专利技术采用的技术方案是：
4、一种基于多尺度特征融合和深度哈希的医学图像检索方法，包括以下步骤：
5、s1、收集和准备医学图像数据集；
6、s2、使用深度卷积神经网络模型对图像进行多尺度特征提取；
7、s3、将提取到的多尺度特征进行融合；
8、s4、构建和训练深度哈希网络；
9、s5、将测试集与训练集图像分别输入到训练好的哈希网络中进行学习，生成二进制哈希编码；
10、s6、计算相似度，返回与查询图像最相似的图像作为检索结果。
11、进一步的，所述步骤s1具体包括以下步骤：
12、s11、构建以类别标注的医学图像数据集，并对图像进行预处理：将图像大小调整为244×224像素，以及进行去均值和像素值归一化操作；
13、s12、从每个类别图像中，抽取50％作为训练集，剩下的50％作为测试集。
14、进一步的，所述步骤s2中的深度卷积神经网络模型采用resnet50网络模型，模型结构由卷积层、池化层、残差块、全连接层和哈希层构成；
15、resnet50网络模型分为5个部分，分别记为stage1、stage2、stage3、stage4和stage5；
16、其中，stage1由64个卷积、步长为2的7*7卷积核、非线性激活函数relu和最大池化3*3的卷积组成，stage2、stage3、stage4、stage5分别由3、4、6、3个残差块组成，每个残差块由3个卷积层组成，分别为1*1卷积核、3*3卷积核和1*1卷积核3部分，每部分直接分别采用批归一化(bn)和激活函数relu连接。
17、进一步的，所述步骤s3具体包括以下步骤：
18、s31、在resnet50网络的基础上结合fpn(特征金字塔网络)，通过融合stage2、stage3、stage4和stage5的特征图来综合利用不同尺度的特征信息；
19、s32、fpn从主干网络最顶层特征图开始，纵向连接采用2倍上采样，横向连接采用1*1卷积，调整特征图通道数，使本层特征与下一层的浅层特征对齐后相加融合，实现将上采样后的高语义特征和浅层特征进行融合。
20、进一步的，所述步骤s4具体包括以下步骤：
21、s41、构建深度哈希网络，在深度特征提取网络中的全连接层之后引入哈希层，以取代传统的softmax分类层，哈希层输出近似哈希码b(x)，用符号函数计算最后的二值编码：
22、
23、其中，下标i表示哈希编码的第i个元素；
24、s42、在训练阶段，采用双曲正切函数tanh(·)来限制n维特征向量的取值范围在[-1,1]之间，使哈希层在训练过程中的输出更接近于二值编码；
25、s43、将训练集输入到深度哈希网络，基于三元组损失函数训练网络，损失函数定义如下：
26、
27、其中，f(i)表示查询图像，f(i+)表示正样本图像，f(i-)表示负样本图像，表示查询图像与正样本图像之间的距离，表示查询图像与负样本图像之间的距离，margin是预先定义的边界值，用于控制正样本与负样本之间的距离。
28、进一步的，所述步骤s5中将测试集与训练集图像分别输入到训练好的哈希网络中进行学习，生成二进制哈希编码。
29、进一步的，所述步骤s6中通过计算图像之间的相似度是通过计算汉明距离的方法，返回训练集中汉明距离最小的前k张图像作为检索结果，汉明距离的计算公式表达为：
30、
31、其中为异或操作，x和y表示两张图像的k维哈希编码，i＝0，1，…，k-1，d(x，y)表示x与y之间的汉明距离。
32、与现有技术相比，本专利技术具有以下优点和有益效果：
33、(1)将resnet50网络模型与fpn结合，更全面地描述医学图像的语义信息，提高检索准确率；
34、(2)应用深度哈希，将高维图像特征映射为低维的二进制码，降低存储开销，有效减少存储空间的需求；
35、(3)实现快速的图像相似度计算，加快检索速度。
本文档来自技高网...【技术保护点】
1.一种基于多尺度特征融合和深度哈希的医学图像检索方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于多尺度特征融合和深度哈希的医学图像检索方法，其特征在于，所述步骤S1具体包括以下步骤：
3.根据权利要求1所述的一种基于多尺度特征融合和深度哈希的医学图像检索方法，其特征在于，步骤S2中所述的深度卷积神经网络模型采用ResNet50网络模型，其框架结构由卷积层、池化层、残差块、全连接层和哈希层构成；
4.根据权利要求1所述的基于多尺度特征融合和深度哈希的医学图像检索方法，其特征在于，所述步骤S3具体包括以下步骤：
5.根据权利要求1所述的基于多尺度特征融合和深度哈希的医学图像检索方法，其特征在于，所述步骤S4具体包括以下步骤：
6.根据权利要求1所述的基于多尺度特征融合和深度哈希的医学图像检索方法，其特征在于，所述步骤S6中计算图像之间的相似度是通过计算汉明距离的方法，返回训练集中汉明距离最小的图像作为检索结果。
【技术特征摘要】
1.一种基于多尺度特征融合和深度哈希的医学图像检索方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于多尺度特征融合和深度哈希的医学图像检索方法，其特征在于，所述步骤s1具体包括以下步骤：
3.根据权利要求1所述的一种基于多尺度特征融合和深度哈希的医学图像检索方法，其特征在于，步骤s2中所述的深度卷积神经网络模型采用resnet50网络模型，其框架结构由卷积层、池化层、残差块、全连接层和哈希层构成；
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。