基于深度学习的交通图像检索方法技术

技术编号:14642083 阅读:39 留言:0更新日期:2017-02-15 22:01
本发明专利技术在智能交通应用场景下,提出一种基于深度学习的交通图像检索方法,实现深度哈希编码进行交通监控视频图像检索。包括:将目标数据集分为训练集与测试集两部分;通过深度卷积神经网络得到目标类别、颜色的特征以及图像哈希编码;类别、颜色特征的分类损失与哈希编码损失经后向传播优化哈希函数;哈希函数对图像进行哈希编码,计算查询图像与测试数据集中图像的哈希编码之间的汉明距离以表征两者相似程度;根据汉明距离的大小进行相似度得分排序来检索图像。本方法进行图像检索即保留了图像中丰富的多级语义信息又利用了各图像中目标特有的属性信息,通过共享网络结构完成检索与图像属性分类多任务,利用分类任务辅助检索。

【技术实现步骤摘要】

本专利技术涉及基于内容的图像检索
,特别涉及一种基于深度学习的多属性深度哈希编码图像检索方法,具体是指一种基于深度学习实现交通图像检索的方法。
技术介绍
随着平安城市、智能交通等工程的推进,监控摄像为大多数案件留下了影像资料,给警方破案带来了很大的便利。但查找视频、分析视频的工作常常会耗用大量的时间和人力。在海量视频中更方便查找到相关信息的需求越来越强烈,视频检索技术也越来越重要。交通监控视频的数据量非常之大,在这种海量数据中寻找特定目标是不易的,因此这种交通应用场景下的图像检索应运而生。为了适应海量图像库的检索需求并降低“维数灾难”的影响,常采用的方法为图像哈希的方法。该方法将图像特征映射成二进制哈希码,再用哈希码间的汉明距离表示图像间的相似程度。利用图像哈希方法能够快速计算哈希码间的汉明距离并大大降低了数据的存储量,但其缺点在于:依赖于图像特征的提取,一张图像的复杂程度往往不能用几个特征来表达,此时编码函数不能很好的贴近原图像信息则检索的精确度会下降。为解决上述问题,研究人员提出了采用多标签图像中包含的多级语义进行深度哈希学习。深度哈希学习可以处理图像中多级语义相似度而不仅是描述图像表观特征。这种方法虽然处理了图像包含的高级语义信息,但是没有利用上图中物体的属性特征信息,这种单一的深度哈希编码方法还有提升的空间。
技术实现思路
本专利技术的目的在于克服现有技术的不足,在智能交通应用场景下,提出一种基于深度学习的交通图像检索方法,是一种融合目标的多属性特征与深度哈希编码进行学习从而达到交通监控视频图像检索的方法。本方法基于深度卷积神经网络,通过加入目标属性分类任务融合目标的多属性特征与深度哈希编码进行学习从而达到交通监控视频图像检索的目的。本方法的特点在于既保留了图像中丰富的多级语义信息又利用了各图像中目标特有的属性信息,通过共享网络结构同时利用了CNN输出包含的多种图像属性特征的特点,让深度哈希函数更加好的表达图像信息,使得在交通监控中的视频图像搜索更为精确有效。本专利技术的目的通过以下的技术方案实现:一种基于深度学习的交通图像检索方法,包括下述步骤:步骤1:将已经分离好且具有多属性标签的运动目标视频帧数据集分为训练集和测试集两部分;步骤2:把训练集图像输入深度卷积神经网络中,得到目标颜色、类别特征,同时根据哈希编码函数初始参数计算每张图的哈希编码;步骤3:对图像之间的类标进行相似度排序;步骤4:计算目标损失函数,先计算训练集中图像哈希编码之间的汉明距离并进行排序,与类标的相似度排序比较进行检索分支损失函数的计算;该目标损失函数由颜色及类别属性分类任务multihinge-loss与哈希函数学习任务的triplet-loss共同组成,经随机梯度下降法与后向传播改变网络参数以得到深度学习哈希编码函数;步骤5:对于新的查询图像,利用步骤4学习到的哈希编码函数对图像进行哈希编码,计算查询图像与测试集中图像的哈希编码之间的汉明距离,采用该汉明距离表征查询图像与测试集中图像之间的相似程度;步骤6:根据查询图像与测试集中图像的哈希编码之间的汉明距离得到距离的大小序列进行相似度得分排序来得到检索图像列表,根据被检索图像路径所属的视频段得到相应视频的搜索。优选地,所述步骤1中,对交通监控视频数据集做运动物体分割识别得到分离好的运动目标,并且采用人工标注方式标注每帧图像上的目标类别与目标颜色,目标视频帧数据集中的图片路径信息包含其所属的视频段标号。优选地,所述步骤2中,深度卷积神经网络为alex—net网络结构,包含五个卷积层,两个全连接层以及一个哈希编码层;哈希编码函数表达为:上式中,k表示函数计算的第k个哈希编码值,sgn()为符号函数,为第k个哈希编码值的权重,xi为第i张图像;最终第i张图像的哈希编码表述为:h(xi)=[h1(xi),h2(xi),…,hk(xi)]。优选地,所述步骤3中,对图像之间的类标进行相似度排序,具体是:对于训练集中的图像{X1,X2,X3,…,XN本文档来自技高网...
基于深度学习的交通图像检索方法

【技术保护点】
一种基于深度学习的交通图像检索方法,其特征在于,包括下述步骤:步骤1:将已经分离好且具有多属性标签的运动目标视频帧数据集分为训练集和测试集两部分;步骤2:把训练集图像输入深度卷积神经网络中,得到目标颜色、类别特征,同时根据哈希编码函数初始参数计算每张图的哈希编码;步骤3:对图像之间的类标进行相似度排序;步骤4:计算目标损失函数,先计算训练集中图像哈希编码之间的汉明距离并进行排序,与类标的相似度排序比较进行检索分支损失函数的计算;该目标损失函数由颜色及类别属性分类任务multihinge‑loss与哈希函数学习任务的triplet‑loss共同组成,经随机梯度下降法与后向传播改变网络参数以得到深度学习哈希编码函数;步骤5:对于新的查询图像,利用步骤4学习到的哈希编码函数对图像进行哈希编码,计算查询图像与测试集中图像的哈希编码之间的汉明距离,采用该汉明距离表征查询图像与测试集中图像之间的相似程度;步骤6:根据查询图像与测试集中图像的哈希编码之间的汉明距离得到距离的大小序列进行相似度得分排序来得到检索图像列表,根据被检索图像路径所属的视频段得到相应视频的搜索。

【技术特征摘要】
1.一种基于深度学习的交通图像检索方法,其特征在于,包括下述步骤:步骤1:将已经分离好且具有多属性标签的运动目标视频帧数据集分为训练集和测试集两部分;步骤2:把训练集图像输入深度卷积神经网络中,得到目标颜色、类别特征,同时根据哈希编码函数初始参数计算每张图的哈希编码;步骤3:对图像之间的类标进行相似度排序;步骤4:计算目标损失函数,先计算训练集中图像哈希编码之间的汉明距离并进行排序,与类标的相似度排序比较进行检索分支损失函数的计算;该目标损失函数由颜色及类别属性分类任务multihinge-loss与哈希函数学习任务的triplet-loss共同组成,经随机梯度下降法与后向传播改变网络参数以得到深度学习哈希编码函数;步骤5:对于新的查询图像,利用步骤4学习到的哈希编码函数对图像进行哈希编码,计算查询图像与测试集中图像的哈希编码之间的汉明距离,采用该汉明距离表征查询图像与测试集中图像之间的相似程度;步骤6:根据查询图像与测试集中图像的哈希编码之间的汉明距离得到距...

【专利技术属性】
技术研发人员:赖剑煌谷扬
申请(专利权)人:广东顺德中山大学卡内基梅隆大学国际联合研究院中山大学
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1