一种图像检索方法、装置、设备及存储介质制造方法及图纸

本申请实施例公开了一种图像检索方法、装置、设备及存储介质，所述方法用于在数据库中检索第一图像的相似图像，数据库包括多个带有标注的图像，所述方法包括：获取第一图像和第一标注，第一标注是对第一图像中的目标对象进行的标注；基于第一图像和第一标注，利用分割模型得到第一图像中目标对象的边缘分割信息；基于第一图像与边缘分割信息得到第一融合图像；基于第一融合图像和第一图像，利用检索模型得到第一图像对应的第一特征向量；基于第一特征向量和第一索引库确定第一图像的相似图像；第一索引库根据数据库中保存的带有标注的图像得到的特征向量的集合得到。采用本申请实施例提供的技术方案，能够提高图像检索的准确性。性。性。

【技术实现步骤摘要】
一种图像检索方法、装置、设备及存储介质


[0001]本申请涉及图像检索
，尤其涉及一种图像检索方法、装置、设备及存储介质。

技术介绍

[0002]随着医疗行业信息化水平的不断提高，以及医学图像采集设备日趋便捷，越来越多的患者可以进行各种医学图像检查，医学图像的量呈爆炸式增长。
[0003]近年来，在临床研究、临床教学、放射科报告撰写等应用场景中，相似图像检索应用广泛。以深度学习为基础的图像检索技术得到了迅猛的发展，其中监督学习式的深度学习网络取得了大大超越传统图像检索技术的水平。监督学习需要大量的标注才会有好的效果。对自然图像来说，普通人可以对其进行标注；为了收集图像标签，研究者会采用众包标注或搜索引擎抓取。但这并不适用于医学图像，因为医学图像的标注需要大量的医学知识和临床经验，专业的医生才能对其进行正确的标注。这种现状导致带有良好标注的医学图像的样本量相对医学图像总量来说极少。事实上，在临床诊断的业务流程中，医生会天然地在病灶上进行单径标注或双径标注等专业标注。如何利用上述医学界现有专业标注信息，进行大规模的监督学习式图像检索是本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像检索方法，其特征在于，用于在数据库中检索第一图像的相似图像，所述数据库包括N个带有标注的图像，所述N是大于1的整数，所述第一图像是待检索的图像，所述方法包括：获取所述第一图像和第一标注，所述第一标注是对所述第一图像中的目标对象进行的标注；基于所述第一图像和所述第一标注，利用分割模型得到所述第一图像中所述目标对象的边缘分割信息；基于所述第一图像与所述边缘分割信息得到第一融合图像；基于所述第一融合图像和所述第一图像，利用检索模型得到所述第一图像对应的第一特征向量；基于所述第一特征向量和第一索引库确定所述第一图像的相似图像；所述第一索引库根据所述数据库中的所述N个带有标注的图像得到的特征向量的集合得到。2.根据权利要求1所述的方法，其特征在于，所述相似图像包括Q个图像，所述Q是大于1的整数；所述方法还包括：对所述第一图像和所述相似图像进行局部相似性比对，得到排序后的Q个图像。3.根据权利要求2所述的方法，其特征在于，所述图像是医学影像，所述方法还包括：获取检索请求，所述检索请求包括：获取对R个相似的医学影像以及所述R个相似的医学影像的相关信息，所述R是小于或者等于Q的正整数。4.根据权利要求3所述的方法，其特征在于，所述方法还包括:根据排序后的所述Q个图像和所述检索请求，输出检索结果。5.根据权利要求1至4中任意一项所述的方法，其特征在于，在所述基于所述第一特征向量和第一索引库确定所述第一图像的相似图像之前，还包括建立所述第一索引库；所述建立所述第一索引库包括：基于所述数据库中带有标注的图像A进行数据扩充得到带有标注的M个图像，所述图像A是所述N个带有标注的图像中的任意一个图像，所述M是大于1的整数；根据图像P和所述图像P对应的标注，利用所述分割模型得到所述图像P中所述目标对象的边缘分割信息，所述图像P是所述M个图像中的任意一个图像；基于所述图像P与所述图像P中所述目标对象的边缘分割信息得到的第二融合图像；基于所述第二融合图像和所述图像P，利用所述检索模型得到所述图像P对应的特征向量；基于所述N个带有标注的图像中每个图像分别对应的特征向量，以及所述N个带有标注的图像中的每个图像分别进行数据扩充后得到的图像集合中每个图像分别对应的特征向量，得到特征向量集合；基于所述特征向量集合建立所述第一索引库。6.根据权利要求5所述的方法，其特征在于，所述基于所述特征向量集合建立所述第一索引库，包括：对所述特征向量集合中的特征向量进行降维处理，得到降维后的特征向量的集合；基于降维后的特征向量的集合中的特征向量进行聚类；计算所述降维后的特征向量的集合中每个特征向量与集合中任一特征向量两两的相似度，存储为所述第一索引库。
7.根据权利要求1至6中任意一项所述的方法，其特征在于，所述分割模型由所述数据库中已有的所述N个带有标注的图像和所述N个带有标注的图像中每个图像分别进行数据扩充后得到的所有图像以及每个图像对应的标注训练得到；所述第一检索模型由所述数据库中已有的所述N个带有标注的图像和所述N个带有标注的图像中每个图像分别进行数据扩充后得到的所有图像以及每个图像对应的标注训练得到。8.根据权利要求1至7中任意一项所述的方法，其特征在于，所述第一图像包括：二维图像和/或三维图像；在所述第一图像是二维图像时，所述边缘分割信息是二维的二值掩码；在所述第一图像是三维图像时，所述边缘分割信息是三维的二值掩码。9.根据权利要求8所述的方法，其特征在于，在所述第一图像是三维图像时，所述分割模型利用所述三维图像中带有标注的图像帧和没有带标注的图像帧通过迭代循环的方式训练得到。10.根据权利要求1至9中任意一项所述的方法，其特征在于，所述标注包括如下方式中的一种或者多种：单径标注、双径标注、点状标注、曲线标注或者矩形标注。11.一种图像检索装置，其特征在于，用于在数据库中检索第一图像的相似图像，所述数据库包括N个带有标注的图像，所述N是大于1的整数，所述第一图像是待检索的图像，所述装置包括：第一获取单元，用于获取所述第一图像和第一标注，所述第一标注是对所述第一图像中的目标对象进行的标注；分割单元，用于基于所述第一图像和所述第一标注，利用分割模型得到所述第一图像中所述目标对象的边缘分割信息；融合单元，用于基于所述第一图像与所述边...

【专利技术属性】
技术研发人员：龙云飞，朱森华，涂丹丹，
申请(专利权)人：华为云计算技术有限公司，
类型：发明
国别省市：