System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 图像检索方法、装置、设备及存储介质制造方法及图纸_技高网

图像检索方法、装置、设备及存储介质制造方法及图纸

技术编号:40555935 阅读:16 留言:0更新日期:2024-03-05 19:16
本公开提供了一种图像检索方法、装置、设备及存储介质,涉及人工智能领域,具体涉及深度学习、计算机视觉、智能搜索、图像识别等技术领域。其中,图像检索方法包括:获取检索请求,检索请求中携带检索需求信息;获取检索需求信息的属性特征;根据属性特征和图像的图像特征,在多个图像中进行图像检索,得到满足检索需求信息的目标图像,图像特征包括全局特征、局部特征、包含对象的对象特征以及对象间的关系特征。从而,结合图像的多种特征,提高了图像检索的准确性。

【技术实现步骤摘要】

本公开涉及人工智能领域,具体涉及深度学习、计算机视觉、智能搜索、图像识别等,尤其涉及一种图像检索方法、装置、设备及存储介质,可用于以文搜图、以图搜图等图像搜索场景。


技术介绍

1、随着深度学习、计算机视觉等技术的发展,图像搜索在多个业务领域中得到广泛应用,比如导航业务、电商业务。

2、相关技术中,利用深度学习网络,提取图像的全局特征和/或局部特征,基于图像的全局特征和/或局部特征,进行图像搜索。

3、然而,上述检索方案的准确性较低。


技术实现思路

1、本公开提供了一种用于提高图像检索准确性的图像检索方法、装置、设备及存储介质。

2、根据本公开的第一方面,提供了一种图像检索方法,包括:获取检索请求,所述检索请求中携带检索需求信息;获取所述检索需求信息的属性特征;根据所述属性特征和图像的图像特征,在多个图像中进行图像检索,得到满足所述检索需求信息的目标图像,所述图像特征包括全局特征、局部特征、包含对象的对象特征以及对象间的关系特征。

3、根据本公开的第二方面,提供了一种图像检索装置,包括:请求获取单元,用于获取检索请求,所述检索请求中携带检索需求信息;属性特征获取单元,用于获取所述检索需求信息的属性特征;图像检索单元,用于根据所述属性特征和图像的图像特征,在多个图像中进行图像检索,得到满足所述检索需求信息的目标图像,所述图像特征包括全局特征、局部特征、包含对象的对象特征以及对象间的关系特征。

4、根据本公开的第三方面,提供了一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行第一方面所述的图像检索方法。

5、根据本公开的第四方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行第一方面所述的图像检索方法。

6、根据本公开的第五方面,提供了一种计算机程序产品,所述计算机程序产品包括:计算机程序,所述计算机程序存储在可读存储介质中,电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序,所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面所述的图像检索方法。

7、根据本公开提供的技术方案,基于检索请求中检索需求信息的属性特征和图像的图像特征,在多个图像中进行图像检索,得到符合检索需求信息的目标图像,其中,图像特征包括全局特征、局部特征、包含对象的对象特征以及对象间的关系特征,这些特征可以反映图像的局部和细节,还可以反映图像包含对象的特点以及图像包含对象之间的关系特点,结合这些特征进行图像检索,可有效地提高图像检索的准确性。

8、应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

本文档来自技高网...

【技术保护点】

1.一种图像检索方法,包括:

2.根据权利要求1所述的图像检索方法,其中,所述检索需求信息包括检索图像,所述属性特征包括所述检索图像的图像检索特征,所述图像检索特征包括全局检索特征、局部检索特征、包含对象的对象检索特征以及对象间的关系检索特征,和/或,所述检索需求信息包括检索文本,所述属性特征包括所述检索文本的文本特征。

3.根据权利要求1所述的图像检索方法,其中,所述检索需求信息包括所述检索请求的检索类型,所述检索类型包括如下一种或者多种:场景检索、对象检索、对象间的关系检索,所述根据所述属性特征和图像的图像特征,在多个图像中进行图像检索,得到满足所述检索需求信息的目标图像,包括:

4.根据权利要求1至3中任一项所述的图像检索方法,其中,所述图像特征的提取过程包括:

5.根据权利要求4所述的图像检索方法,其中,所述注意力掩码矩阵是通过以下方式确定的:

6.根据权利要求5所述的图像检索方法,其中,所述根据图像所包含对象的位置分布,确定所述对象特征对应的第一掩码矩阵和所述关系特征对应的第二掩码矩阵,包括:

7.根据权利要求6所述的图像检索方法,其中,所述根据图像包含的对象在所述多个图像块中的分布情况,确定所述第一掩码矩阵中的多个元素值和所述第二掩码矩阵中的多个元素值,包括:

8.根据权利要求5所述的图像检索方法,其中,所述注意力掩码矩阵包括所述对象特征与所述局部特征之间相似度对应的子掩码矩阵、所述关系特征与所述局部特征之间相似度对应的子掩码矩阵,所述根据所述第一掩码矩阵和所述第二掩码矩阵,确定所述注意力掩码矩阵,包括:

9.根据权利要求8所述的图像检索方法,其中,所述注意力掩码矩阵包括所述全局特征、所述局部特征、所述对象特征和所述关系特征中两两特征之间的相似度分别对应的子掩码矩阵;

10.根据权利要求9所述的图像检索方法,其中,所述全局特征与所述全局特征之间的相似度、所述全局特征与所述对象特征之间的相似度、所述全局特征与所述关系特征之间的相似度、所述全局特征与所述局部特征之间的相似度、所述局部特征与所述局部特征之间的相似度、所述对象特征与所述对象特征之间的相似度、所述关系特征与所述关系特征之间的相似度分别对应的子掩码矩阵为所有元素值为1的子掩码矩阵;

11.根据权利要求4所述的图像检索方法,其中,所述注意力掩码矩阵包括所述全局特征、所述局部特征、所述对象特征和所述关系特征中两两特征之间的相似度分别对应的子掩码矩阵;

12.根据权利要求11所述的图像检索方法,其中,所述基于第N轮特征处理中待处理的组合特征矩阵,确定特征相似度矩阵,包括:

13.根据权利要求11所述的图像检索方法,其中,所述根据掩码处理后的特征相似度矩阵,对所述待处理的组合特征矩阵进行特征处理,得到经过所述第N轮特征处理的组合特征矩阵,包括:

14.一种图像检索装置,包括:

15.根据权利要求14所述的图像检索装置,其中,所述检索需求信息包括检索图像,所述属性特征包括所述检索图像的图像检索特征,所述图像检索特征包括全局检索特征、局部检索特征、包含对象的对象检索特征以及对象间的关系检索特征,和/或,所述检索需求信息包括检索文本,所述属性特征包括所述检索文本的文本特征。

16.根据权利要求14所述的图像检索装置,其中,所述检索需求信息包括所述检索请求的检索类型,所述检索类型包括如下一种或者多种:场景检索、对象检索、对象间的关系检索,所述图像检索单元包括:

17.根据权利要求14至16中任一项所述的图像检索装置,其中,所述图像特征的提取过程包括:

18.根据权利要求17所述的图像检索装置,其中,所述注意力掩码矩阵是通过以下方式确定的:

19.根据权利要求18所述的图像检索装置,其中,所述根据图像所包含对象的位置分布,确定所述对象特征对应的第一掩码矩阵和所述关系特征对应的第二掩码矩阵,包括:

20.根据权利要求19所述的图像检索装置,其中,所述根据图像包含的对象在所述多个图像块中的分布情况,确定所述第一掩码矩阵中的多个元素值和所述第二掩码矩阵中的多个元素值,包括:

21.根据权利要求19所述的图像检索装置,其中,所述注意力掩码矩阵包括所述对象特征与所述局部特征之间相似度对应的子掩码矩阵、所述关系特征与所述局部特征之间相似度对应的子掩码矩阵,所述根据所述第一掩码矩阵和所述第二掩码矩阵,确定所述注意力掩码矩阵,包括:

22.根据权利要求21所述的图像检索装置,其中,所述注意力掩码矩阵包括所述全局特征、所述局部特征、所述对象特...

【技术特征摘要】

1.一种图像检索方法,包括:

2.根据权利要求1所述的图像检索方法,其中,所述检索需求信息包括检索图像,所述属性特征包括所述检索图像的图像检索特征,所述图像检索特征包括全局检索特征、局部检索特征、包含对象的对象检索特征以及对象间的关系检索特征,和/或,所述检索需求信息包括检索文本,所述属性特征包括所述检索文本的文本特征。

3.根据权利要求1所述的图像检索方法,其中,所述检索需求信息包括所述检索请求的检索类型,所述检索类型包括如下一种或者多种:场景检索、对象检索、对象间的关系检索,所述根据所述属性特征和图像的图像特征,在多个图像中进行图像检索,得到满足所述检索需求信息的目标图像,包括:

4.根据权利要求1至3中任一项所述的图像检索方法,其中,所述图像特征的提取过程包括:

5.根据权利要求4所述的图像检索方法,其中,所述注意力掩码矩阵是通过以下方式确定的:

6.根据权利要求5所述的图像检索方法,其中,所述根据图像所包含对象的位置分布,确定所述对象特征对应的第一掩码矩阵和所述关系特征对应的第二掩码矩阵,包括:

7.根据权利要求6所述的图像检索方法,其中,所述根据图像包含的对象在所述多个图像块中的分布情况,确定所述第一掩码矩阵中的多个元素值和所述第二掩码矩阵中的多个元素值,包括:

8.根据权利要求5所述的图像检索方法,其中,所述注意力掩码矩阵包括所述对象特征与所述局部特征之间相似度对应的子掩码矩阵、所述关系特征与所述局部特征之间相似度对应的子掩码矩阵,所述根据所述第一掩码矩阵和所述第二掩码矩阵,确定所述注意力掩码矩阵,包括:

9.根据权利要求8所述的图像检索方法,其中,所述注意力掩码矩阵包括所述全局特征、所述局部特征、所述对象特征和所述关系特征中两两特征之间的相似度分别对应的子掩码矩阵;

10.根据权利要求9所述的图像检索方法,其中,所述全局特征与所述全局特征之间的相似度、所述全局特征与所述对象特征之间的相似度、所述全局特征与所述关系特征之间的相似度、所述全局特征与所述局部特征之间的相似度、所述局部特征与所述局部特征之间的相似度、所述对象特征与所述对象特征之间的相似度、所述关系特征与所述关系特征之间的相似度分别对应的子掩码矩阵为所有元素值为1的子掩码矩阵;

11.根据权利要求4所述的图像检索方法,其中,所述注意力掩码矩阵包括所述全局特征、所述局部特征、所述对象特征和所述关系特征中两两特征之间的相似度分别对应的子掩码矩阵;

12.根据权利要求11所述的图像检索方法,其中,所述基于第n轮特征处理中待处理的组合特征矩阵,确定特征相似度矩阵,包括:

13.根据权利要求11所述的图像检索方法,其中,所述根据掩码处理后的特征相似度矩阵,对所述待处理的组合特征矩阵进行特征处理,得到经过所述第n轮特征处理的组合特征矩阵,包括:

14.一种图像检索装置,包括:

15.根据权利要求14所述的图像检索装置,其中,所述检索需求信息包括检索图像,所述属性特征包括所...

【专利技术属性】
技术研发人员:杨馥魁
申请(专利权)人:北京百度网讯科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1