一种图像检索方法、装置及电子设备制造方法及图纸

技术编号:21629397 阅读:22 留言:0更新日期:2019-07-17 11:14
本发明专利技术实施例提供了一种图像检索方法、装置及电子设备,应用于图像检索技术领域,所述方法包括:在样本视频片段中提取待检索目标对应的多张视频帧图片;根据所述待检索目标在每一张视频帧图片中的位置,提取所述每一张视频帧图片中所述待检索目标的目标特征,并对提取到的多个目标特征进行特征融合,得到目标融合特征;计算检索图片数据库中各被检索图片中目标的目标特征与所述目标融合特征的第一特征相似度,将所述第一特征相似度大于预设阈值的被检索图片作为检索结果。本发明专利技术实施例通过对待检索目标的多个目标特征进行融合,有效利用待检索目标的多种结构化信息,提高了检索结果的准确性。

An Image Retrieval Method, Device and Electronic Equipment

【技术实现步骤摘要】
一种图像检索方法、装置及电子设备
本专利技术涉及图像检索
,特别是涉及一种图像检索方法、装置及电子设备。
技术介绍
随着信息技术的发展,图像检索的应用越来越广,而衡量图像检索的重要指标为图像检索的准确度。目前的图像检索技术大多是通过提供包含待检索目标的样本图片给检索系统,由检索系统提取样本图片中待检索目标的特征,然后与图片数据库中的目标的特征进行比对查询,将相似度最高的图片作为目标图片。但是,由于光照、背景等原因,使得样本图片具有不稳定性,导致提取的待检索目标的特征准确性较低,因此,检索到的目标图片的准确性也比较低。
技术实现思路
本专利技术实施例的目的在于提供一种图像检索方法、装置及电子设备,以提高图像检索的准确性。具体技术方案如下:本专利技术实施例公开了一种图像检索方法,包括:在样本视频片段中提取待检索目标对应的多张视频帧图片;根据所述待检索目标在每一张视频帧图片中的位置,提取所述每一张视频帧图片中所述待检索目标的目标特征,并对提取到的多个目标特征进行特征融合,得到目标融合特征;计算检索图片数据库中各被检索图片中目标的目标特征与所述目标融合特征的第一特征相似度,将所述第一特征相似度大于预设阈值的被检索图片作为检索结果。可选的,所述在样本视频片段中提取待检索目标对应的多张视频帧图片,包括:检测所述样本视频片段中的样本目标;显示所述样本目标;接收用户发送的对待检索目标进行检索的检索指令,其中,所述待检索目标为所述样本目标中的一个或多个;在所述样本视频片段中提取所述待检索目标对应的多张视频帧图片。可选的,所述在样本视频片段中提取待检索目标对应的多张视频帧图片,包括:提取用户发送的图片中待检索目标的第一目标特征;检测所述样本视频片段中的样本目标,提取所述样本目标在所述样本视频片段对应的帧序列中的多个第二目标特征;分别计算所述第一目标特征和提取的多个第二目标特征的第二特征相似度,将所述待检索目标更新为所述第二特征相似度中最大值对应的样本目标;在所述样本视频片段中提取所述待检索目标对应的多张视频帧图片。可选的,在所述根据所述待检索目标在每一张视频帧图片中的位置,提取所述每一张视频帧图片中所述待检索目标的目标特征之前,所述方法还包括:向用户发送所述多张视频帧图片;在接收到所述用户对所述多张视频帧图片进行纠正的操作指令时,对所述多张视频帧图片进行纠正,得到纠正后的视频帧图片;所述提取所述每一张视频帧图片中所述待检索目标的目标特征,包括:提取纠正后的视频帧图片中所述待检索目标的目标特征。可选的,在所述根据所述待检索目标在每一张视频帧图片中的位置,提取所述每一张视频帧图片中所述待检索目标的目标特征之前,所述方法还包括:通过快速区域卷积神经网络FRCNN检测所述待检索目标在每一张视频帧图片中的位置。可选的,所述提取所述每一张视频帧图片中所述待检索目标的目标特征,并对提取到的多个目标特征进行特征融合,得到目标融合特征,包括:通过卷积神经网络前向传播算法提取所述每一张视频帧图片中所述待检索目标的目标特征fi_d;根据公式:Fd=max(f1_d,f2_d…fi_d…fn_d),对所述目标特征fi_d进行最大池化,得到目标融合特征Fd;或,根据公式:Fd=mean(f1_d,f2_d…fi_d…fn_d),对所述目标特征fi_d进行平均池化,得到目标融合特征Fd;其中,n表示所述多张视频帧图片的数量,fi_d表示第i张视频帧图片的第d维特征。可选的,所述计算检索图片数据库中各被检索图片中目标的目标特征与所述目标融合特征的第一特征相似度,包括:计算检索图片数据库中各被检索图片中每一个目标的目标特征与所述目标融合特征的余弦值,将所述余弦值作为第一特征相似度;或,计算检索图片数据库中各被检索图片中每一个目标的目标特征与所述目标融合特征的欧式距离,将整数1与所述欧式距离的差值作为第一特征相似度。本专利技术实施例还公开了一种图像检索装置,包括:图片提取模块,用于在样本视频片段中提取待检索目标对应的多张视频帧图片;特征融合模块,用于根据所述待检索目标在每一张视频帧图片中的位置,提取所述每一张视频帧图片中所述待检索目标的目标特征,并对提取到的多个目标特征进行特征融合,得到目标融合特征;检索结果获取模块,用于计算检索图片数据库中各被检索图片中目标的目标特征与所述目标融合特征的第一特征相似度,将所述第一特征相似度大于预设阈值的被检索图片作为检索结果。可选的,所述图片提取模块,具体用于检测所述样本视频片段中的样本目标,显示所述样本目标,接收用户发送的对待检索目标进行检索的检索指令,在所述样本视频片段中提取所述待检索目标对应的多张视频帧图片,其中,所述待检索目标为所述样本目标中的一个或多个。可选的,所述图片提取模块,具体用于提取用户发送的图片中待检索目标的第一目标特征,检测所述样本视频片段中的样本目标,提取所述样本目标在所述样本视频片段对应的帧序列中的多个第二目标特征,分别计算所述第一目标特征和提取的多个第二目标特征的第二特征相似度,将所述待检索目标更新为所述第二特征相似度中最大值对应的样本目标,在所述样本视频片段中提取所述待检索目标对应的多张视频帧图片。可选的,本专利技术实施例的图像检索装置,还包括:图片发送模块,用于向用户发送所述多张视频帧图片;图片纠正模块,用于在接收到所述用户对所述多张视频帧图片进行纠正的操作指令时,对所述多张视频帧图片进行纠正,得到纠正后的视频帧图片;所述特征融合模块进一步用于,提取纠正后的视频帧图片中所述待检索目标的目标特征。可选的,本专利技术实施例的图像检索装置,还包括:目标位置检测模块,用于通过快速区域卷积神经网络FRCNN检测所述待检索目标在每一张视频帧图片中的位置。可选的,所述特征融合模块,具体用于通过卷积神经网络前向传播算法提取所述每一张视频帧图片中所述待检索目标的目标特征fi_d,根据公式:Fd=max(f1_d,f2_d…fi_d…fn_d),对所述目标特征fi_d进行最大池化,得到目标融合特征Fd;或,根据公式:Fd=mean(f1_d,f2_d…fi_d…fn_d),对所述目标特征fi_d进行平均池化,得到目标融合特征Fd;其中,n表示所述多张视频帧图片的数量,fi_d表示第i张视频帧图片的第d维特征。可选的,所述检索结果获取模块,具体用于计算检索图片数据库中各被检索图片中每一个目标的目标特征与所述目标融合特征的余弦值,将所述余弦值作为第一特征相似度;或计算检索图片数据库中各被检索图片中每一个目标的目标特征与所述目标融合特征的欧式距离,将整数1与所述欧式距离的差值作为第一特征相似度。本专利技术实施例还公开了一种电子设备,包括:处理器、通信接口、存储器和通信总线,其中,所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信;所述存储器,用于存放计算机程序;所述处理器,用于执行所述存储器上所存放的程序时,实现上述任一所述的图像检索方法的步骤。本专利技术实施例还公开了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时,实现上述任一所述的图像检索方法的步骤。本专利技术实施例提供的图像检索方法、装置及电子设备,通过在样本视频片段中提取待检索目标对应的多张视频帧图片,根据待检本文档来自技高网...

【技术保护点】
1.一种图像检索方法,其特征在于,包括:在样本视频片段中提取待检索目标对应的多张视频帧图片;根据所述待检索目标在每一张视频帧图片中的位置,提取所述每一张视频帧图片中所述待检索目标的目标特征,并对提取到的多个目标特征进行特征融合,得到目标融合特征;计算检索图片数据库中各被检索图片中目标的目标特征与所述目标融合特征的第一特征相似度,将所述第一特征相似度大于预设阈值的被检索图片作为检索结果。

【技术特征摘要】
1.一种图像检索方法,其特征在于,包括:在样本视频片段中提取待检索目标对应的多张视频帧图片;根据所述待检索目标在每一张视频帧图片中的位置,提取所述每一张视频帧图片中所述待检索目标的目标特征,并对提取到的多个目标特征进行特征融合,得到目标融合特征;计算检索图片数据库中各被检索图片中目标的目标特征与所述目标融合特征的第一特征相似度,将所述第一特征相似度大于预设阈值的被检索图片作为检索结果。2.根据权利要求1所述的图像检索方法,其特征在于,所述在样本视频片段中提取待检索目标对应的多张视频帧图片,包括:检测所述样本视频片段中的样本目标;显示所述样本目标;接收用户发送的对待检索目标进行检索的检索指令,其中,所述待检索目标为所述样本目标中的一个或多个;在所述样本视频片段中提取所述待检索目标对应的多张视频帧图片。3.根据权利要求1所述的图像检索方法,其特征在于,所述在样本视频片段中提取待检索目标对应的多张视频帧图片,包括:提取用户发送的图片中待检索目标的第一目标特征;检测所述样本视频片段中的样本目标,提取所述样本目标在所述样本视频片段对应的帧序列中的多个第二目标特征;分别计算所述第一目标特征和提取的多个第二目标特征的第二特征相似度,将所述待检索目标更新为所述第二特征相似度中最大值对应的样本目标;在所述样本视频片段中提取所述待检索目标对应的多张视频帧图片。4.根据权利要求1~3任一项所述的图像检索方法,其特征在于,在所述根据所述待检索目标在每一张视频帧图片中的位置,提取所述每一张视频帧图片中所述待检索目标的目标特征之前,所述方法还包括:向用户发送所述多张视频帧图片;在接收到所述用户对所述多张视频帧图片进行纠正的操作指令时,对所述多张视频帧图片进行纠正,得到纠正后的视频帧图片;所述提取所述每一张视频帧图片中所述待检索目标的目标特征,包括:提取纠正后的视频帧图片中所述待检索目标的目标特征。5.根据权利要求1~3任一项所述的图像检索方法,其特征在于,在所述根据所述待检索目标在每一张视频帧图片中的位置,提取所述每一张视频帧图片中所述待检索目标的目标特征之前,所述方法还包括:通过快速区域卷积神经网络FRCNN检测所述待检索目标在每一张视频帧图片中的位置。6.根据权利要求1~3任一项所述的图像检索方法,其特征在于,所述提取所述每一张视频帧图片中所述待检索目标的目标特征,并对提取到的多个目标特征进行特征融合,得到目标融合特征,包括:通过卷积神经网络前向传播算法提取所述每一张视频帧图片中所述待检索目标的目标特征fi_d;根据公式:Fd=max(f1_d,f2_d…fi_d…fn_d),对所述目标特征fi_d进行最大池化,得到目标融合特征Fd;或,根据公式:Fd=mean(f1_d,f2_d…fi_d…fn_d),对所述目标特征fi_d进行平均池化,得到目标融合特征Fd;其中,n表示所述多张视频帧图片的数量,fi_d表示第i张视频帧图片的第d维特征。7.根据权利要求1~3任一项所述的图像检索方法,其特征在于,所述计算检索图片数据库中各被检索图片中目标的目标特征与所述目标融合特征的第一特征相似度,包括:计算检索图片数据库中各被检索图片中每一个目标的目标特征与所述目标融合特征的余弦值,将所述余弦值作为第一特征相似度;或,计算检索图片数据库中各被检索图片中每一个目标的目标特征与所述目标融合特征的欧式距离,将整数1...

【专利技术属性】
技术研发人员:陆磊郭阶添
申请(专利权)人:杭州海康威视数字技术股份有限公司
类型:发明
国别省市:浙江,33

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1