一种医学图像检索网络训练方法、应用方法及电子设备技术

本发明专利技术提供了一种医学图像检索网络训练方法、应用方法及电子设备，包括：获取医学三元组实例及医学三元组实例标签；构建包括多尺度模块、卷积自注意力模块和哈希标签模块的医学图像检索网络，将医学三元组实例及标签作为医学图像检索网络的输入，基于多尺度模块得到多尺度特征图，基于卷积自注意力模块得到注意力监督约束图，基于哈希标签模块得到对应哈希码及预测标签；设置总体损失函数参数，训练医学图像检索网络至损失不再降低，得到训练完备的医学图像检索网络。本发明专利技术基于多尺度模块和卷积自注意力模块捕获医学图像的多尺度信息及增强通道域的信息交互作用，对医学图像检索网络优化改进，提升医学图像检索的精度。提升医学图像检索的精度。提升医学图像检索的精度。

【技术实现步骤摘要】
一种医学图像检索网络训练方法、应用方法及电子设备


[0001]本专利技术涉及图像检索领域，具体涉及一种医学图像检索网络训练方法、应用方法、电子设备及存储介质。

技术介绍

[0002]随着射线成像技术的快速发展，医疗数据逐渐电子化，医学图像的数量急剧增加。为了更好地辅助医疗诊断和评估，在大规模医学图像中挖掘有用信息非常关键。因此，医学图像检索引起了广泛注意。
[0003]医学图像检索的目标是在大型医学图像数据库中检索类似的医学图像，可以呈现被查询的医学图像的上下文，这样助于帮助诊断。由于针对大规模的医学图像数据集，医学图像检索算法需要具有良好的可伸缩性和准确性。深度哈希技术通过利用深度神经网络将高维特征投射到低纬二进制码中，加速检索过程，提高检索效率，因此，深度哈希码学习在医学图像检索中得到了广泛的应用。
[0004]现有的深度哈希医学图像检索方法虽然取得了良好的性能，但仍然存在：1、未充分考虑医学图像的多尺度信息，导致大量信息丢失；2、忽略通道域的信息交互来捕获可辨别区域，影响哈希码的质量。

技术实现思路

[0005]有鉴于此，有必要提出一种医学图像检索网络训练方法、应用方法、电子设备及存储介质，用于解决现有技术中未考虑医学图像的多尺度信息，导致大量信息丢失以及忽略通道域的信息交互而影响哈希码的质量进而导致医学图像检索效率不高的技术问题。
[0006]为了解决上述问题，本专利技术提供一种医学图像检索网络训练方法，包括：
[0007]获取组成医学三元组实例的锚点医学实例、正例医学实例以及负例医学实例，以及组成医学三元组实例标签的锚点医学实例标签、正例医学实例标签以及负例医学实例标签；
[0008]构建包括多尺度模块、卷积自注意力模块和哈希标签模块的医学图像检索网络，将医学三元组实例及医学三元组标签作为所述医学图像检索网络的输入，基于所述多尺度模块对所述医学三元组实例及医学三元组标签进行多尺度特征提取得到多尺度特征图，基于所述卷积自注意力模块对所述多尺度特征图进行注意力监督约束处理得到注意力监督约束图，基于所述哈希标签模块将所述注意力监督约束图生成对应的哈希码和预测标签；
[0009]设置所述医学图像检索网络的总体损失函数的参数，基于所述哈希码和预测标签训练所述医学图像检索网络直至损失不再降低，得到训练完备的医学图像检索网络。
[0010]进一步的，所述基于所述多尺度模块对所述医学三元组实例及医学三元组标签进行多尺度特征提取得到多尺度特征图像，包括：
[0011]将输入的医学三元组实例及医学三元组标签进行特征提取得到三元组特征图，并通过三个并行卷积层和三个并行第一稠密块和最大池化层进行所述三元组特征图的卷积
操作，得到有相同高和宽的三个输出特征图，然后沿通道方向将三个特征图进行拼接，得到所述多尺度特征图。
[0012]进一步的，基于所述卷积自注意力模块对所述多尺度特征图像进行注意力监督约束处理得到注意力监督约束图，包括：
[0013]输入所述多尺度特征图，通过三个平行的卷积层并基于注意力机制以多种并行方式学习注意力权重，得到注意图，将输入的所述多尺度特征图与所述注意图进行相加拼接，得到所述注意力监督约束图，作为卷积自注意模块的输出。
[0014]进一步的，基于所述哈希标签模块将所述注意力监督约束图生成对应的哈希码和预测标签，包括：
[0015]将所述注意力监督约束图作为输入，通过第二稠密块后输入至全连接层，全连接层分别与哈希层和分类层相连接；
[0016]基于所述哈希层将所述注意力监督约束图转化成哈希码；
[0017]基于所述分类层对所述注意力监督约束图进行预测，得到对应的预测标签。
[0018]进一步的，总体损失函数由层次相似性函数、语义学习函数和类别级保持函数组成。
[0019]进一步的，设置所述医学图像检索网络的总体损失函数的参数，包括：
[0020]基于所述层次相似性函数将二进制码转化为类哈希码且利用二范式代替汉明距离，并根据所述类哈希码以及所述汉明距离分别确定哈希码相似性和深度特征的相似性，作为相似度参数；
[0021]基于语义学习函数获取增强类哈希码潜在相关性的语义信息，作为语义信息参数。
[0022]基于类别级保持函数获取已学习的特征以投影辨别哈希码的类别级信息，作为类别级信息参数。
[0023]进一步的，基于所述哈希码和预测标签训练所述医学图像检索网络直至损失不再降低，得到训练完备的医学图像检索网络，包括：
[0024]以所述相似度参数、语义信息参数以及类别级信息参数作为损失函数的损失参数，基于所述哈希码和预测标签进行训练时，调整所述总体损失函数的损失参数和三元组损失的边缘阈值，利用Adam函数优化损失，进行设定轮次的训练或直到损失不再降低，得到训练完备的医学图像检索网络。
[0025]本专利技术还提供一种医学图像检索网络应用方法，包括：
[0026]获取待检索医学图像；
[0027]将所述待检索医学图像输入到训练完备的医学图像检索网络，检索相似医学图像，其中，所述训练完备的医学图像检索网络根据上述任一项所述的医学图像检索网络训练方法确定；
[0028]医学图像检索网络输出得到相似医学图像。
[0029]本专利技术还提供一种电子设备，包括处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时，实现上述任一项所述的医学图像检索网络训练方法，和/或上述的医学图像检索网络应用方法。
[0030]本专利技术还提供一种计算机可存储介质，其上存储有计算机程序，所述计算机程序
被处理器执行时，实现上述任一项所述的医学图像检索网络训练方法，和/或上述的医学图像检索网络应用方法。
[0031]与现有技术相比，采用上述实施例的有益效果是：在本专利技术提供的医学图像检索网络训练中，首先，从训练样本集中获取锚点医学实例、正例医学实例以及负例医学实例组成医学三元组标签，获取锚点医学实例标签、正例医学实例标签以及负例医学实例标签组成医学三元组实例标签；然后构建由多尺度模块，卷积自注意力模块和哈希标签模块组成的医学图像检索网络，将三元组实例及三元组标签作为医学图像检索网络的输入；其中，基于多尺度模块进行多尺度特征提取得到多尺度特征图，基于卷积自注意力模块进行注意力监督约束得到注意力监督约束图，可以捕获医学图像的多尺度信息和增强通道域的信息交互作用；最后，设置总体损失函数的参数，基于哈希码和预测标签训练医学图像检索网络直至损失不再降低，得到训练完备的医学图像检索网络。在本专利技术提供的应用方法中，首先，获取待测医学图像，然后利用上述训练完备的医学图像检索网络对相似医学图像进行检索，即可输出得到相似医学图像。综上，本专利技术通过引入多尺度模块和卷积自注意力模块，对医学图像检索网络优化改进，充分提取其医学图像的多尺度信息并增强通道域的信息交互，改善网络性能，提升医学图像检索的精度。
附图说明
[0032]为了更清本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种医学图像检索网络训练方法，其特征在于，包括：获取组成医学三元组实例的锚点医学实例、正例医学实例以及负例医学实例，以及组成医学三元组实例标签的锚点医学实例标签、正例医学实例标签以及负例医学实例标签；构建包括多尺度模块、卷积自注意力模块和哈希标签模块的医学图像检索网络，将医学三元组实例及医学三元组标签作为所述医学图像检索网络的输入，基于所述多尺度模块对所述医学三元组实例及医学三元组标签进行多尺度特征提取得到多尺度特征图，基于所述卷积自注意力模块对所述多尺度特征图进行注意力监督约束处理得到注意力监督约束图，基于所述哈希标签模块将所述注意力监督约束图生成对应的哈希码和预测标签；设置所述医学图像检索网络的总体损失函数的参数，基于所述哈希码和预测标签训练所述医学图像检索网络直至损失不再降低，得到训练完备的医学图像检索网络。2.根据权利要求1所述的医学图像检索网络训练方法，其特征在于，所述基于所述多尺度模块对所述医学三元组实例及医学三元组标签进行多尺度特征提取得到多尺度特征图，包括：将输入的医学三元组实例及医学三元组标签进行特征提取得到三元组特征图，并通过三个并行卷积层和三个并行的第一稠密块和最大池化层进行所述三元组特征图的卷积操作，得到有相同高和宽的三个输出特征图，然后沿通道方向将三个特征图进行拼接，得到所述多尺度特征图。3.根据权利要求2所述的医学图像检索网络训练方法，其特征在于，基于所述卷积自注意力模块对所述多尺度特征图像进行注意力监督约束处理得到注意力监督约束图，包括：输入所述多尺度特征图，通过三个平行的卷积层并基于注意力机制以多种并行方式学习注意力权重，得到注意图，将输入的所述多尺度特征图与所述注意图进行相加拼接，得到所述注意力监督约束图，作为卷积自注意模块的输出。4.根据权利要求3所述的医学图像检索网络训练方法，其特征在于，基于所述哈希标签模块将所述注意力监督约束图生成对应的哈希码和预测标签，包括：将所述注意力监督约束图作为输入，通过第二稠密块后输入至全连接层，全连接层分别与哈希层和分类层相连接；基于所述哈希层将所述注意力监督约束图转化成哈希码；...

【专利技术属性】
技术研发人员：陈亚雄，杨锴，汤一博，路雄博，熊盛武，
申请(专利权)人：武汉理工大学重庆研究院，
类型：发明
国别省市：