基于视频的目标检索方法、装置、设备以及存储介质制造方法及图纸

本公开提供了基于视频的目标检索方法、装置、设备以及存储介质，本公开涉及人工智能技术领域，具体为深度学习、图像处理、计算机视觉技术领域，可应用于人脸识别等场景。具体实现方案为：确定目标视频中包括目标对象的优选帧图像；根据优选帧图像，提取目标对象的目标局部区域的第一特征信息；将第一特征信息发送至云端，以与云端的特征库中的第二特征信息进行目标检索。根据本公开技术，仅将第一特征信息发送云端进行目标检索，可以降低与云端交互的网络开销。网络开销。网络开销。

【技术实现步骤摘要】
基于视频的目标检索方法、装置、设备以及存储介质


[0001]本公开涉及人工智能
，具体为深度学习、图像处理、计算机视觉
，可应用于人脸识别等场景。

技术介绍

[0002]目前安防监控领域，基于摄像头的实时目标检测与报警应用的越来越广泛。业界应用已经从基础的目标识别和目标轨迹检索，拓展到了视频大数据分析应用上，因而对视频流多目标检索预警能力，有了更高的需求。

技术实现思路

[0003]本公开提供了一种基于视频的目标检索方法、装置、设备以及存储介质。
[0004]根据本公开的一方面，提供了一种基于视频的目标检索方法，包括：
[0005]确定目标视频中包括目标对象的优选帧图像；
[0006]根据优选帧图像，提取目标对象的目标局部区域的第一特征信息；
[0007]将第一特征信息发送至云端，以与云端的特征库中的第二特征信息进行目标检索。
[0008]根据本公开的另一方面，提供了一种基于视频的目标检索装置，包括：
[0009]第一确定模块，用于确定目标视频中包括目标对象的优选帧图像；
[0010]提取模块，用于根据优选帧图像，提取目标对象的目标局部区域的第一特征信息；
[0011]发送模块，用于将第一特征信息发送至云端，以与云端的特征库中的第二特征信息进行目标检索。
[0012]根据本公开的另一方面，提供了一种电子设备，包括：
[0013]至少一个处理器；以及
[0014]与该至少一个处理器通信连接的存储器；其中，
[0015]该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开中任一实施例的方法。
[0016]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，该计算机指令用于使该计算机执行根据本公开中任一实施例的方法。
[0017]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现根据本公开中任一实施例的方法。
[0018]根据本公开技术，仅将第一特征信息发送云端进行目标检索，可以降低与云端交互的网络开销。
[0019]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0020]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0021]图1是根据本公开实施例的基于视频的目标检索方法的流程示意图；
[0022]图2是根据本公开实施例的基于视频的目标检索方法的应用场景示意图；
[0023]图3是根据本公开另一实施例的基于视频的目标检索方法的流程示意图；
[0024]图4是根据本公开实施例的基于视频的目标检索装置的结构示意图；
[0025]图5是用来实现本公开实施例的基于视频的目标检索方法的电子设备的框图。
具体实施方式
[0026]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0027]如图1所示，本公开实施例提供了一种基于视频的目标检索方法，包括：
[0028]步骤S101：确定目标视频中包括目标对象的优选帧图像。
[0029]步骤S102：根据优选帧图像，提取目标对象的目标局部区域的第一特征信息。
[0030]步骤S103：将第一特征信息发送至云端，以与云端的特征库中的第二特征信息进行目标检索。
[0031]根据本公开实施例，需要说明的是：
[0032]目标视频，可以是预先录制的视频，也可以是实时的视频流，在此不做具体限定。例如，目标视频可以是摄像头录制的某一时间段的视频，也可以是当下实时采集到并传输的视频。
[0033]目标对象，可以包括人物、动物、车、飞行器等任何物体，在此不做具体限定，根据应用场景进行选择和调整。
[0034]优选帧图像，可以理解为目标视频中的任一帧或多帧包含有目标对象的帧图像。该优选帧图像可以较好的显示出目标对象的相关特征信息。
[0035]目标局部区域，可以理解为在的优选帧图像中目标对象所在图像区域中的一部分图像区域。例如，在目标对象为人物时，目标局部区域可以理解为是优选帧图像中的人物图像的面部图像。
[0036]第一特征信息，可以理解为能够表征目标对象的任何维度的信息，在此不做具体限定。
[0037]云端可以理解为远程的特征检索系统、服务器或数据库等。目标检索的目的在于判断目标对象是否为需要关注的目标，如果检索判断与特征库内的第二特征信息不匹配，则说明目标对象不是需要关注的目标，忽略该目标对象。若检索判断与特征库内的第二特征信息匹配，则说明目标对象是需要关注的目标。
[0038]第二特征信息，可以理解为基于所需关注的目标的图像，预先进行特征提取所得到的特征信息。第二特征信息能够表征该需要关注的目标。
[0039]根据本公开实施例，可以实现对视频中的目标对象进行检索和在复杂网络条件下的异常目标实时预警。本公开实施例输送至云端的仅包括第一特征信息，此时网络交互数
据量仅限于极少的第一特征信息，数据量大小在KB(千字节，Kilobyte)级别，在极差的网络环境下也能够进行本公开实施例的方法。相比通过网络远程传输视频的帧图像到云端进行目标检索的方式，本公开实施例的方法仅传输第一特征信息可以大大减少网络压力，降低了网络开销，可以在弱网络条件下，使用更少的服务器资源，处理更多的实时视频流，同时可以达到提高检索准确度、完整度、以及提升检索效率的检索效果，可以较低的成本支持大规模的实际应用。
[0040]在一个示例中，在目标对象包括人物，目标局部区域包括面部区域的情况下，本公开实施例的基于视频的目标检索方法可应用于安防预警、人流统计等场景中。可以实现实时视频流的人脸目标检索和预警。可以实现在复杂网络条件下的异常目标实时预警。本公开实施例输送至云端的仅包括人物面部的第一特征信息，相比通过网络远程传输视频中包含人物的帧图像的方式，大大减少网络压力，降低了网络开销，可以在弱网络条件下，使用更少的服务器资源，处理更多的实时视频流。同时可以达到提高视频流中的人脸检索准确度、完整度、以及提升视频流中的人脸检索效率的检索效果。
[0041]在一个示例中，本公开实施例的步骤S101至S103，可以由CPU(中央处理器，central processing unit)和/或GPU(图形处理器，graphics processing unit)执行。对于视频的实时处理，可以使用CPU与GPU结合的方法，将较为耗时的步骤放在GPU本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视频的目标检索方法，包括：确定目标视频中包括目标对象的优选帧图像；根据所述优选帧图像，提取所述目标对象的目标局部区域的第一特征信息；以及将所述第一特征信息发送至云端，以与所述云端的特征库中的第二特征信息进行目标检索。2.根据权利要求1所述的方法，其中，所述确定目标视频中包括目标对象的优选帧图像，包括：对根据第一抽帧频率从目标视频中得到的第一帧图像进行图像识别；在根据所述第一帧图像的图像识别结果确定所述第一帧图像包括目标对象的情况下，将所述第一抽帧频率提升为第二抽帧频率；在根据所述第二抽帧频率从所述目标视频中得到的多个第二帧图像中，根据预设筛选规则，确定包含有所述目标对象的目标局部区域的优选帧图像。3.根据权利要求2所述的方法，其中，所述在根据所述第二抽帧频率从所述目标视频中得到的多个第二帧图像中，根据预设筛选规则，确定包含有所述目标对象的目标局部区域的优选帧图像，包括：根据所述第二抽帧频率，对所述目标视频进行抽帧，得到多个第三帧图像；从所述多个第三帧图像中确定出包含所述目标对象的多个第二帧图像；根据预设筛选规则，从所述多个第二帧图像中确定包含有所述目标对象的目标局部区域的优选帧图像。4.根据权利要求3所述的方法，其中，所述从所述多个第三帧图像中确定出包含所述目标对象的多个第二帧图像，包括：根据质心跟踪算法，从所述多个第三帧图像中确定出包含所述目标对象的多个第二帧图像。5.根据权利要求2所述的方法，其中，所述在根据所述第二抽帧频率从所述目标视频中得到的多个第二帧图像中，根据预设筛选规则，确定包含有所述目标对象的目标局部区域的优选帧图像，包括：根据所述第二抽帧频率从所述目标视频中得到的多个第二帧图像中，确定包含有所述目标对象的目标局部区域的多个候选帧图像；根据预设筛选规则定义的目标局部区域的角度、大小、模糊程度中的至少一个指标，从所述多个候选帧图像中确定出优选帧图像。6.根据权利要求1所述的方法，其中，所述根据所述优选帧图像，提取所述目标对象的目标局部区域的第一特征信息，包括：利用深度学习方法，根据所述优选帧图像，提取所述目标对象的目标局部区域的第一特征信息。7.根据权利要求1所述的方法，还包括：在根据所述云端的检索结果确定所述第一特征信息与所述第二特征信息匹配的情况下，生成预警信息。8.根据权利要求7所述的方法，还包括：根据所述预警信息，在所述目标视频中包含有所述目标对象的帧图像上进行可视化标
记。9.根据权利要求2所述的方法，其中，所述对根据第一抽帧频率从目标视频中得到的第一帧图像进行图像识别，之前，还包括：对目标视频进行解封装和解码的预处理；根据第一抽帧频率，对预处理后的目标视频进行抽帧，得到初始帧图像；对所述初始帧图像进行格式转换，得到RGB格式的第一帧图像。10.根据权利要求2所述的方法，还包括：在根据所述第一帧图像的图像识别结果确定所述第一帧图像不包括所述目标对象的情况下，将所述第一抽帧频率降低为第三抽帧频率；对根据所述第三抽帧频率从所述目标视频中得到的第三帧图像进行图像识别；在根据所述第三帧图像的图像识别的结果确定所述第三帧图像包括所述目标对象的情况下，将所述第三抽帧频率提升为所述第二抽帧频率；在根据所述第二抽帧频率从所述目标视频中得到的多个第二帧图像中，根据所述预设筛选规则，确定包含所述优选帧图像。11.根据权利要求1至10任一项所述的方法，其中，所述目标对象包括人物，所述目标局部区域包括面部区域。12.根据权利要求11所述的方法，其中，所述将所述第一特征信息发送至云端，以与所述云端的特征库中的第二特征信息进行目标检索，包括：将所述第一特征信息发送至云端，以与所述云端的特征库中的第二特征信息进行目标检索，其中，所述第二特征信息根据预警人物的面部区域所得到。13.一种基于视频的目标检索装置，包括：第一确定模块，用于确定目标视频中包括目标对象的优选帧图像；提取模块，用于根据所述优选帧图像，提取所述目标对象的目标局部区域的第一特征信息；以及发送...

【专利技术属性】
技术研发人员：朱祥祥，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：