车辆图像确定方法、装置和系统制造方法及图纸

本申请提供了一种车辆图像确定方法、装置和系统，该方法包括：获得文本组以及至少一辆候选车辆各自的车辆图像集；基于文本组中的各条车辆描述文本，确定文本组描述的至少一种车辆属性各自的第一属性特征，基于候选车辆的至少一帧车辆图像，确定候选车辆分别对应至少一种车辆属性的第二属性特征；对于每种车辆属性，基于文本组描述的车辆属性的第一属性特征以及候选车辆对应车辆属性的第二属性特征，确定候选车辆的车辆图像集与文本组在车辆属性上的第一匹配度；结合候选车辆的车辆图像集与文本组分别在至少一种车辆属性上的第一匹配度，从至少一辆候选车辆的车辆图像集中确定出与文本组匹配的目标候选车辆的车辆图像集。与文本组匹配的目标候选车辆的车辆图像集。与文本组匹配的目标候选车辆的车辆图像集。

【技术实现步骤摘要】
车辆图像确定方法、装置和系统


[0001]本申请涉及信息处理
，尤其涉及一种车辆图像确定方法、装置和系统。

技术介绍

[0002]通过自然语言描述检索跟踪车辆对于车辆监控具有较为重要的意义。例如，交通监管或者违法案件处理过程中，经常需要依据来源于不同用户的自然语言描述文本检索并定位违规车辆或者违法人员的车辆等。但是，目前基于自然语言文本检索车辆仍处于起步阶段，基于文本的描述内容，很难从大量车辆图像中准确地检索出该文本描述的目标车辆的车辆图像。

技术实现思路

[0003]本申请提供了车辆图像确定方法、装置和系统。
[0004]其中，一种车辆图像确定方法，包括：
[0005]获得文本组以及至少一辆候选车辆各自的车辆图像集，所述文本组包括至少一条车辆描述文本，候选车辆的车辆图像集包括：所述候选车辆的至少一帧车辆图像；
[0006]基于所述文本组中的各条车辆描述文本，确定所述文本组描述的至少一种车辆属性各自的第一属性特征，基于所述候选车辆的至少一帧车辆图像，确定所述候选车辆分别对应所述至少一种车辆属性的第二属性特征；
[0007]对于每种车辆属性，基于所述文本组描述的所述车辆属性的第一属性特征以及所述候选车辆对应所述车辆属性的第二属性特征，确定所述候选车辆的车辆图像集与文本组在所述车辆属性上的第一匹配度；
[0008]结合所述候选车辆的车辆图像集与文本组分别在所述至少一种车辆属性上的第一匹配度，从所述至少一辆候选车辆的车辆图像集中确定出与所述文本组匹配的目标候选车辆的车辆图像集。
[0009]在一种可能的实现方式中，还包括：
[0010]基于所述候选车辆的至少一帧车辆图像，确定所述候选车辆的车辆图像集对应的图像特征，所述图像特征用于表征所述车辆图像集中各帧车辆图像中的像素点所呈现出的特征；
[0011]基于所述文本组中的各条车辆描述文本，确定所述文本组的文本特征；
[0012]基于所述候选车辆的车辆图像集对应的图像特征以及所述文本组的文本特征，确定所述候选车辆的车辆图像集与所述文本组的第二匹配度；
[0013]所述结合所述候选车辆的车辆图像集与文本组分别在所述至少一种车辆属性上的第一匹配度，从所述至少一辆候选车辆的车辆图像集中确定出与所述文本组匹配的目标候选车辆的车辆图像集，包括：
[0014]结合所述候选车辆的车辆图像集与所述文本组分别在所述至少一种车辆属性上的第一匹配度以及所述候选车辆的车辆图像集与所述文本组的第二匹配度，从所述至少一
辆候选车辆的车辆图像集中确定出与所述文本组匹配的目标候选车辆的车辆图像集。
[0015]在又一种可能的实现方式中，在确定所述文本组描述的至少一种车辆属性各自的第一属性特征之前，还包括：从所述文本组中的至少一条车辆描述文本中，提取出与至少一种车辆属性各自相关的文本信息；
[0016]所述基于所述文本组中的各条车辆描述文本，确定所述文本组描述的至少一种车辆属性各自的第一属性特征，包括：对于每种车辆属性，基于所述文本组中与所述车辆属性相关的文本信息，确定所述文本组描述的所述车辆属性的第一属性特征；
[0017]或者，
[0018]在确定所述候选车辆分别对应所述至少一种车辆属性的第二属性特征之前，还包括：从所述候选车辆的至少一帧车辆图像中，提取出与所述至少一种车辆属性各自相关的参照图像集，所述参照图像集包括：至少一帧参照车辆图像；
[0019]所述基于所述候选车辆的至少一帧车辆图像，确定所述候选车辆分别对应所述至少一种车辆属性的第二属性特征，包括：对于每种车辆属性，基于所述候选车辆中与所述车辆属性相关的至少一帧参照车辆图像，确定所述候选车辆对应所述车辆属性的第二属性特征。
[0020]在又一种可能的实现方式中，在所述车辆属性为车辆颜色或者车辆类型；
[0021]所述基于所述候选车辆的至少一帧车辆图像，确定所述候选车辆分别对应所述至少一种车辆属性的第二属性特征，包括：
[0022]将所述候选车辆的至少一帧车辆图像输入到第一图像编码模块，得到所述候选车辆对应所述车辆属性的第一车辆特征；
[0023]将所述第一车辆特征输入到第二图像编码模块，得到所述候选车辆对应所述车辆属性的第二车辆特征，所述第一图像编码模块为开源的图像编码模块，所述第二图像编码模块为利用标注有车辆颜色或者车辆类型的多帧车辆图像样本训练得到的；
[0024]融合所述候选车辆的第一车辆特征和第二车辆特征，得到所述候选车辆对应所述车辆属性的第二属性特征。
[0025]在又一种可能的实现方式中，所述车辆属性为所述车辆运动类型；
[0026]所述从所述候选车辆的至少一帧车辆图像中，提取出与所述至少一种车辆属性各自相关的参照图像集，包括：
[0027]按照所述候选车辆的车辆图像集中所述至少一帧车辆图像的时间先后顺序，从所述候选车辆的车辆图像集中提取出时间靠前的至少一帧第一参照车辆图像和时间靠后的至少一帧第二参照车辆图像；
[0028]所述基于所述候选车辆中与所述车辆属性相关的至少一帧参照车辆图像，确定所述候选车辆对应所述车辆属性的第二属性特征，包括：
[0029]基于所述至少一帧第一参照车辆图像确定所述候选车辆的起始方向向量；
[0030]基于所述至少一帧第二参照车辆图像确定所述候选车辆的结束方向向量；
[0031]结合所述候选车辆的起始方向向量和结束方向向量，确定所述候选车辆对应所述车辆运动类型的车辆运动特征。
[0032]在又一种可能的实现方式中，还包括：
[0033]对于所述候选车辆的车辆图像，基于所述文本组中各条车辆描述文本，从所述车
辆图像中确定所述文本组描述的与所述候选车辆相关的参考车辆，确定所述候选车辆与所述文本组的第一相似度以及所述参考车辆与所述文本组的第二相似度；
[0034]对于所述候选车辆的车辆图像，基于所述车辆图像中所述候选车辆与文本组的第一相似度以及参考车辆与文本组的第二相似度，确定所述车辆图像与所述文本组的综合相似度；
[0035]基于所述候选车辆的各帧车辆图像与所述文本组的综合相似度，确定所述候选车辆的车辆图像集与所述文本组的第三匹配度；
[0036]所述结合所述候选车辆的车辆图像集与文本组分别在所述至少一种车辆属性上的第一匹配度，从所述至少一辆候选车辆的车辆图像集中确定出与所述文本组匹配的目标候选车辆的车辆图像集，包括：
[0037]结合所述候选车辆的车辆图像集与文本组分别在所述至少一种车辆属性上的第一匹配度以及所述候选车辆的车辆图像集与所述文本组的第三匹配度，从所述至少一辆候选车辆的车辆图像集中确定出与所述文本组匹配的目标候选车辆的车辆图像集。
[0038]在又一种可能的实现方式中，所述至少一种车辆属性包括：车辆颜色和车辆类型中的至少一种；
[0039]所述方法还包括：
[0040]确定所述候选车辆的各帧车辆图像的采本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种车辆图像确定方法，包括：获得文本组以及至少一辆候选车辆各自的车辆图像集，所述文本组包括至少一条车辆描述文本，候选车辆的车辆图像集包括：所述候选车辆的至少一帧车辆图像；基于所述文本组中的各条车辆描述文本，确定所述文本组描述的至少一种车辆属性各自的第一属性特征，基于所述候选车辆的至少一帧车辆图像，确定所述候选车辆分别对应所述至少一种车辆属性的第二属性特征；对于每种车辆属性，基于所述文本组描述的所述车辆属性的第一属性特征以及所述候选车辆对应所述车辆属性的第二属性特征，确定所述候选车辆的车辆图像集与文本组在所述车辆属性上的第一匹配度；结合所述候选车辆的车辆图像集与文本组分别在所述至少一种车辆属性上的第一匹配度，从所述至少一辆候选车辆的车辆图像集中确定出与所述文本组匹配的目标候选车辆的车辆图像集。2.根据权利要求1所述的方法，还包括：基于所述候选车辆的至少一帧车辆图像，确定所述候选车辆的车辆图像集对应的图像特征，所述图像特征用于表征所述车辆图像集中各帧车辆图像中的像素点所呈现出的特征；基于所述文本组中的各条车辆描述文本，确定所述文本组的文本特征；基于所述候选车辆的车辆图像集对应的图像特征以及所述文本组的文本特征，确定所述候选车辆的车辆图像集与所述文本组的第二匹配度；所述结合所述候选车辆的车辆图像集与文本组分别在所述至少一种车辆属性上的第一匹配度，从所述至少一辆候选车辆的车辆图像集中确定出与所述文本组匹配的目标候选车辆的车辆图像集，包括：结合所述候选车辆的车辆图像集与所述文本组分别在所述至少一种车辆属性上的第一匹配度以及所述候选车辆的车辆图像集与所述文本组的第二匹配度，从所述至少一辆候选车辆的车辆图像集中确定出与所述文本组匹配的目标候选车辆的车辆图像集。3.根据权利要求1所述的方法，在确定所述文本组描述的至少一种车辆属性各自的第一属性特征之前，还包括：从所述文本组中的至少一条车辆描述文本中，提取出与至少一种车辆属性各自相关的文本信息；所述基于所述文本组中的各条车辆描述文本，确定所述文本组描述的至少一种车辆属性各自的第一属性特征，包括：对于每种车辆属性，基于所述文本组中与所述车辆属性相关的文本信息，确定所述文本组描述的所述车辆属性的第一属性特征；或者，在确定所述候选车辆分别对应所述至少一种车辆属性的第二属性特征之前，还包括：从所述候选车辆的至少一帧车辆图像中，提取出与所述至少一种车辆属性各自相关的参照图像集，所述参照图像集包括：至少一帧参照车辆图像；所述基于所述候选车辆的至少一帧车辆图像，确定所述候选车辆分别对应所述至少一种车辆属性的第二属性特征，包括：对于每种车辆属性，基于所述候选车辆中与所述车辆属性相关的至少一帧参照车辆图像，确定所述候选车辆对应所述车辆属性的第二属性特征。4.根据权利要求1所述的方法，在所述车辆属性为车辆颜色或者车辆类型；
所述基于所述候选车辆的至少一帧车辆图像，确定所述候选车辆分别对应所述至少一种车辆属性的第二属性特征，包括：将所述候选车辆的至少一帧车辆图像输入到第一图像编码模块，得到所述候选车辆对应所述车辆属性的第一车辆特征；将所述第一车辆特征输入到第二图像编码模块，得到所述候选车辆对应所述车辆属性的第二车辆特征，所述第一图像编码模块为开源的图像编码模块，所述第二图像编码模块为利用标注有车辆颜色或者车辆类型的多帧车辆图像样本训练得到的；融合所述候选车辆的第一车辆特征和第二车辆特征，得到所述候选车辆对应所述车辆属性的第二属性特征。5.根据权利要求3所述的方法，所述车辆属性为所述车辆运动类型；所述从所述候选车辆的至少一帧车辆图像中，提取出与所述至少一种车辆属性各自相关的参照图像集，包括：按照所述候选车辆的车辆图像集中所述至少一帧车辆图像的时间先后顺序，从所述候选车辆的车辆图像集中提取出时间靠前的至少一帧第一参照车辆图像和时间靠后的至少一帧第二参照车辆图像；所述基于所述候选车辆中与所述车辆属性相关的至少一帧参照车辆图像，确定所述候选车辆对应所述车辆属性的第二属性特征，包括：基于所述至少一帧第一参照车辆图像确定所述候选车辆的起始方向向量；基于所述至少一帧第二参照车辆图像确定所述候选车辆的结束方向向量；结合所述候选车辆的起始方向向量和结束方向向量，确定所述候选车辆对应所述车辆运动类型的车辆运动特征。6.根据权利要求1所述的方法，还包括：对于所述候选车辆的车辆图像，基于所述文本组中各条车辆描述文本，从所述车辆图像中确定所述文本组描述的与所述候选车辆相关的参考车辆，确定所述候选车辆与所述文本组的第一相似度以及所述参考车辆与所述文本组的第二相似度；对于所述候选车辆的车辆图像，基于所述车辆图像中所述候选车辆与文本组的第一相似度以及参考车辆与文本组的第二相似度，确定所述车辆图像与所述文本组的综合相似度；基于所述候选车辆的各帧车辆图像与所述文本组的综合相似度，确定所述候选车辆的车辆图像集与所述文本组的第三匹配度；所述结合所述候选车辆的车辆图像集与文本组分别在所述至少一种车辆属性上的第一匹配度，从所述至少一辆候选...

【专利技术属性】
技术研发人员：谢栋，刘林虎，
申请(专利权)人：联想北京有限公司，
类型：发明
国别省市：