一种视频处理方法及装置、电子设备和存储介质制造方法及图纸

本公开涉及视频处理方法及装置、电子设备和存储介质，其中，该方法包括对视频流解码得到多个视频帧，所述视频流中包含所实时采集的目标对象；根据选帧策略从所述多个视频帧中选取部分待处理视频帧，所述待处理视频帧用于表征包含所述目标对象的多个视频帧中图像质量符合实时监控需求的视频帧；从所述待处理视频帧中提取出对应所述目标对象的结构化信息，将所述结构化信息发送给终端。采用本公开，能满足实时监控的需求。

A video processing method and device, electronic equipment and storage medium

【技术实现步骤摘要】
一种视频处理方法及装置、电子设备和存储介质
本公开涉及计算机视觉
，尤其涉及一种视频处理方法及装置、电子设备和存储介质。
技术介绍
在目标对象监控的应用场景中，可以通过采集设备(如摄像头)对目标对象进行采集，将采集结果汇聚成视频流后予以对目标对象的分析及跟踪定位等监控处理。目标在视频画面中从出现到消失一般会持续5-10秒，在视频帧率为25的情况下，会产生上百个的目标抓拍，这些抓拍包含了很多的冗余信息，在计算资源有限的情况下，没必要全部用来做特征提取等，否则会导致监控处理的运算量过大，资源占有过多的问题，至少影响到监控的实时性。达不到实时监控的需求。然而，对此，相关技术中未存在有效的解决方案。
技术实现思路
本公开提出了一种视频处理的技术方案。根据本公开的一方面，提供了一种视频处理方法，所述方法包括：对视频流解码得到多个视频帧，所述视频流中包含所实时采集的目标对象；根据选帧策略从所述多个视频帧中选取部分待处理视频帧，所述待处理视频帧用于表征包含所述目标对象的多个视频帧中图像质量符合实时监控需求的视频帧；从所述待处理视频帧中提取出对应所述目标对象的结构化信息，将所述结构化信息发送给终端。采用本公开，由于可以通过选帧策略来提取部分待处理视频帧，并不是对所有视频帧进行处理，且待处理视频帧用于表征包含所述目标对象的多个视频帧中图像质量符合实时监控需求的视频帧，因此，可以在符合实时监控需求情况下降低运算量，相应的降低了资源占有率。可能的实现方式中，所述对视频流解码得到多个视频帧之前，所述方法还包括：接收视频流播放请求，以根据所述视频流播放请求提取所述视频流；将所述结构化信息发送给终端，包括：将所述结构化信息发送给发出所述视频流播放请求的终端。采用本公开，可以针对终端发出的视频流播放请求进行选帧及结构化信息提取处理，是自适应的触发机制，而不是在终端空闲状态(未发起视频播放请求的状态)也一直执行该选帧和结构化信息提取处理，因此，降低了对实时采集目标对象的监控运算量，可以满足监控场景中实时监控的需求。可能的实现方式中，所述根据选帧策略从所述多个视频帧中选取部分待处理视频帧，包括：提取所述选帧策略，根据所述选帧策略对所述多个视频帧中包含同一目标对象的至少两个视频帧分别进行图像质量评估，得到至少两个评估结果；将所述至少两个评估结果进行融合运算，得到所述融合计算结果；根据所述融合计算结果从所述多个视频帧中筛选出所述待处理视频帧。采用本公开，根据图像质量评估得到至少两个评估结果后，可以根据至少两个评估结果得到融合计算结果。根据所述融合计算结果从所述多个视频帧中筛选出所述待处理视频帧，得到的该待处理视频帧为次优帧。由于次优帧图像质量低于原始视频帧，因此，采用次优帧进行结构化信息提取，可以降低运算量，相应的降低资源占有率。可能的实现方式中，所述根据所述融合计算结果从所述多个视频帧中筛选出所述待处理视频帧，包括：根据所述融合计算结果得到融合图像；所述融合计算结果大于所述选帧策略中配置的目标分值的情况下，将大于所述目标分值的融合图像作为所述待处理视频帧。采用本公开，对于融合图像而言，在融合计算结果大于所述选帧策略中配置的目标分值的情况下，将大于所述目标分值的融合图像作为所述待处理视频帧，即通过融合确保所需提取的结构化信息有效，且可以降低运算量，相应的降低资源占有率。可能的实现方式中，所述对视频流解码得到多个视频帧之后，所述方法还包括：对所述多个视频帧中的目标对象进行识别，提取出所述目标对象；对所述目标对象进行分类，得到至少一个分类结果。采用本公开，可以对目标对象进行分类，以更好的进行归类统计。可能的实现方式中，所述对所述多个视频帧中包含同一目标对象的至少两个视频帧进行图像质量评估，得到至少两个评估结果之前，所述方法还包括：根据所述至少一个分类结果，对所述多个视频帧中的目标对象进行归类，将包含同一目标对象的至少两个视频帧置于同一个归类结果中。采用本公开，根据至少一个分类结果进行归类统计中，可以将包含同一目标对象的至少两个视频帧置于同一个归类结果中，方便归类整理。可能的实现方式中，所述对视频流解码得到多个视频帧之后，所述方法还包括：对所述多个视频帧中的目标对象进行位置检测，得到所述目标对象的至少一个目标位置信息。采用本公开，可以对目标对象进行位置检测，以便将该目标位置信息用于最终视频流的合成中。可能的实现方式中，从所述待处理视频帧中提取出对应所述目标对象的结构化信息，将所述结构化信息发送给终端，包括：对所述待处理视频帧中的目标对象进行特征提取和/或属性提取，得到由特征信息和/或属性信息构成的结构化信息；将对应同一目标对象的结构化信息和目标位置信息发送给所述终端，以由所述终端进行结构化信息渲染后，将得到的渲染信息和所述目标位置信息添加到所述视频流中并一起播放。采用本公开，通过归类统计、归类整理，对同一归类的结构化信息提取之后，将检测到的目标位置信息和提取的结构化信息合成到视频流中，播放该视频流，就可以实现对目标对象的实时监控。根据本公开的一方面，提供了一种视频处理装置，所述装置包括：解码单元，用于对视频流解码得到多个视频帧，所述视频流中包含所实时采集的目标对象；选帧单元，用于根据选帧策略从所述多个视频帧中选取部分待处理视频帧，所述待处理视频帧用于表征包含所述目标对象的多个视频帧中图像质量符合实时监控需求的视频帧；信息发送单元，用于从所述待处理视频帧中提取出对应所述目标对象的结构化信息，将所述结构化信息发送给终端。可能的实现方式中，所述装置还包括：接收单元，用于接收视频流播放请求，以根据所述视频流播放请求提取所述视频流；所述信息发送单元，用于将所述结构化信息发送给发出所述视频流播放请求的终端。可能的实现方式中，所述选帧单元，用于：提取所述选帧策略，根据所述选帧策略对所述多个视频帧中包含同一目标对象的至少两个视频帧分别进行图像质量评估，得到至少两个评估结果；将所述至少两个评估结果进行融合运算，得到所述融合计算结果；根据所述融合计算结果从所述多个视频帧中筛选出所述待处理视频帧。可能的实现方式中，所述选帧单元，用于：根据所述融合计算结果得到融合图像；所述融合计算结果大于所述选帧策略中配置的目标分值的情况下，将大于所述目标分值的融合图像作为所述待处理视频帧。可能的实现方式中，所述装置还包括分类单元，用于：对所述多个视频帧中的目标对象进行识别，提取出所述目标对象；对所述目标对象进行分类，得到至少一个分类结果。可能的实现方式中，所述装置还包括归类单元，用于：根据所述至少一个分类结果，对所述多个视频帧中的目标对象进行归类，将包含同一目标对象的至少两个视频帧置于同一个归类结果中。可能的实现方式中，所述装置还包括检测单元，用于：对所述多个视频帧中的目标对象进行位置检测，得到所述目标对象的至少一个目标位置信息。可能的实现方式中，所述信息发送单元，用于：对所述待处理视频帧中的目标对象进行特征提取和/或属性提取，得到由特征信息和/或属性信息构成的结构化信息；将对应同一目标对象的结构化信息和目标位置信息发送给所述终端，以由所述终端进行结构化信息渲染后，将得到的渲染信息和所述目标位置信息添加到所述视频流中并一起播放。根据本公开的一方面，提供了一种电子设备本文档来自技高网...

【技术保护点】
1.一种视频处理方法，其特征在于，所述方法包括：对视频流解码得到多个视频帧，所述视频流中包含所实时采集的目标对象；根据选帧策略从所述多个视频帧中选取部分待处理视频帧，所述待处理视频帧用于表征包含所述目标对象的多个视频帧中图像质量符合实时监控需求的视频帧；从所述待处理视频帧中提取出对应所述目标对象的结构化信息，将所述结构化信息发送给终端。

【技术特征摘要】
1.一种视频处理方法，其特征在于，所述方法包括：对视频流解码得到多个视频帧，所述视频流中包含所实时采集的目标对象；根据选帧策略从所述多个视频帧中选取部分待处理视频帧，所述待处理视频帧用于表征包含所述目标对象的多个视频帧中图像质量符合实时监控需求的视频帧；从所述待处理视频帧中提取出对应所述目标对象的结构化信息，将所述结构化信息发送给终端。2.根据权利要求1所述的方法，其特征在于，所述对视频流解码得到多个视频帧之前，所述方法还包括：接收视频流播放请求，以根据所述视频流播放请求提取所述视频流；所述将所述结构化信息发送给终端，包括：将所述结构化信息发送给发出所述视频流播放请求的终端。3.根据权利要求1或2所述的方法，其特征在于，所述根据选帧策略从所述多个视频帧中选取部分待处理视频帧，包括：提取所述选帧策略，根据所述选帧策略对所述多个视频帧中包含同一目标对象的至少两个视频帧分别进行图像质量评估，得到至少两个评估结果；将所述至少两个评估结果进行融合运算，得到所述融合计算结果；根据所述融合计算结果从所述多个视频帧中筛选出所述待处理视频帧。4.根据权利要求3所述的方法，其特征在于，所述根据所述融合计算结果从所述多个视频帧中筛选出所述待处理视频帧，包括：根据所述融合计算结果得到融合图像；在所述融合计算结果大于所述选帧策略中配置的目标分值的情况下，将与所述融合计算结果对应的融合图像作为所述待处理视频帧。5.根据权利要求1-4任一项所述的方法，其特征在于，所述对视频流解码...

【专利技术属性】
技术研发人员：刘建成，由光鑫，辛彦哲，屈秋竹，
申请(专利权)人：上海商汤智能科技有限公司，
类型：发明
国别省市：上海,31