一种视频处理方法、装置、终端及存储介质制造方法及图纸

本发明专利技术公开了视频处理方法、装置、终端及存储介质，视频处理方法包括将待处理的原始视频进行图像分组划分，令N帧连续的图像为一个图像组，对图像组内每一帧图像计算图像特征提取，包括在每一帧图像中选取待特征提取的区域，进行图像特征提取计算，输出每一帧图像的特征；根据图像组内每一帧图像的特征，计算当前图像组的视频特征。采用本方法，使得本发明专利技术具有避免图像有效信息丢失、提高目标检测精度的特点。

【技术实现步骤摘要】
一种视频处理方法、装置、终端及存储介质
本专利技术涉及一种视频处理
，特别是一种视频处理方法、装置、终端及存储介质。
技术介绍
随着智能电视、手机等的逐步广泛应用以及人工智能技术、图像传感技术等相关技术的演进迭代和运用，图像处理技术也越来越受到重视，而且获取原始图像的分辨率也越来越高。在对这些原始图像进行处理时，通常利用一种基于深度学习的神经网络模型来推理实现。一般来讲，对于移动终端比如基于Android或者iOS平台的智能手机或者高并发和高吞吐的云服务平台，其单体承受的计算能力和内存容量均比较受限，实施较大的或者较复杂的神经网络模型成为挑战和瓶颈。因此，采用神经网络模型推理较大分辨率的图像成为工业界的挑战和难题。传统常规的方法是无论获得的原始图像是哪种分辨率，统一经过图像处理，比如缩放和/或裁剪、填充到预设训练好的网络模型输入尺寸再进行图像内容检测。例如，视频通信场景获取的原始图像分辨率为3840*2160，对于3840*2160的原始图像直接缩放到相应的网络模型输入尺寸如416*416，输入到神经网络，提取相关的图像特征(如人脸特征)，最后对特征位置进行定位检测。但是对于原始图像为超大分辨率或者大分辨率，对其直接按照上述的传统图像处理方式进行内容检测时，会造成图像有效信息丢失严重，导致无法检测到相应的目标，检测精度严重下降。因此，现有的图像处理方式，存在对大分辨率或者超大分辨率视频进行内容检测时，容易造成图像有效信息丢失严重、计算性能低下，导致目标检测精度下降甚至无法检测到的问题。<br>
技术实现思路
本专利技术的目的在于，提供一种视频处理方法、装置、终端及存储介质。本专利技术具有避免图像有效信息丢失、提高目标检测精度的特点。本专利技术的技术方案：一种视频处理方法，包括以下步骤：S1：将待处理的原始视频进行图像分组划分，令N帧连续的图像为一个图像组，其中，N为大于1的整数；S2：对图像组内每一帧图像计算图像特征提取，包括在每一帧图像中选取待特征提取的区域，进行图像特征提取计算，输出每一帧图像的特征；S3：根据图像组内每一帧图像的特征，计算当前图像组的视频特征。前述的视频处理方法中，所述S2中，若原始视频的分辨率大于参考分辨率R，则采用第一图像特征提取的计算方法，否则采用第二图像特征提取的计算方法。前述的视频处理方法中，所述第一图像特征提取的计算方法，包括以下步骤：步骤一、将原始视频缩放到特征提取模块能够保证精度的最大缩放视频，最大缩放视频的分辨率为参考分辨率R；步骤二、在最大缩放视频的图像组内的每一帧图像中选取M1个待特征提取的区域，其中，M1为大于或者等于1的整数；步骤三、对图像组内所有帧的待特征提取的区域作区域并集计算，并集的区域总和至少覆盖到最大缩放视频的整个画面；步骤四、每帧图像的待特征提取的区域选定后，依据选定的区域生成像素块，对像素块进行图像特征提取计算，输出每一帧图像的图像特征结果。前述的视频处理方法中，所述参考分辨率R比原始视频的分辨率小，比特征提取模块的输入尺寸大，最接近特征提取模块输入允许的最大分辨率。前述的视频处理方法中，所述第二图像特征提取的计算方法，包括以下步骤：步骤一、在原始视频的图像组内的每一帧图像中选取M2个待特征提取的区域，其中，M2为大于或者等于1的整数；步骤二、对图像组内所有帧的待特征提取的区域作区域并集计算，并集的区域总和至少覆盖到原始视频的整个画面；步骤三、每帧图像的待特征提取的区域选定后，依据选定的区域生成像素块，对像素块进行图像特征提取计算，输出每一帧图像的图像特征结果。前述的视频处理方法中，所述特征提取模块采用神经网络处理器NPU或者图像处理器GPU。前述的视频处理方法中，所述步骤S3中，当前图像组的视频特征的计算方法为，对当前图像组的每一帧图像的特征图进行拼接合成，或者是对当前图像组的每一帧图像的特征图中的特征值进行相加。上述视频处理方法的一种视频处理装置，包括视频分组模块，用于将待处理的原始视频进行图像分组划分，令N帧连续的图像为一个图像组，其中，N为大于1的整数；特征提取模块，用于对图像组内每一帧图像计算图像特征提取，包括在每一帧图像中选取待特征提取的区域，进行图像特征提取计算；获取模块，用于根据图像组内每一帧图像的特征，计算当前图像组的视频特征。一种终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的视频处理方法。一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的视频处理方法。与现有技术相比，本专利技术通过将待处理原始视频进行图像分组划分，确定多帧连续的图像为一个图像组，对图像组内每一帧图像计算图像特征提取，包括在每一帧图像中选取待特征提取的区域，将视频分帧分区进行图像特征提取计算，根据图像组内每一帧图像的特征，计算当前图像组的整体视频特征，由于视频在时间域内具有强的相关性，同一块像素区域在不同时间的连续帧都有重复出现，一般每次的特征提取计算往往比较耗时，分帧分区可以减少或者避免重复的特征提取计算，从而降低计算复杂度，减少大分辨率视频传统处理方式所产生的关键像素信息的损失，提升计算性能，降低功耗，并进一步提高了目标特征提取和识别的精确性。且针对不同的分辨率的原始视频采用不同的处理方法，进一步降低计算复杂度，减少时延。因此，本专利技术具有避免图像有效信息丢失、提高目标检测精度的特点。附图说明图1是本专利技术视频处理方法的流程图；图2是本专利技术视频处理方法中图像分组划分方法的示意图；图3是不同分辨率的原始视频处理流程图；图4是图像组特征提取计算方法示意图；图5是视频处理装置的结构示意图。具体实施方式下面结合实施例对本专利技术作进一步的说明，但并不作为对本专利技术限制的依据。实施例：如图1所示，一种视频处理方法，包括以下步骤：S1：将待处理的原始视频进行图像分组划分，令N帧连续的图像为一个图像组(GroupofPicture,简称GoP)；其中，N为大于1的整数；即一个图像组中包含N帧连续的图像。例如，第一连续的N帧图像被划分确定为GoP1，相继连续的N帧图像被划分确定为GoP2，以此类推，如图2所示。N的取值取决于原始视频的帧率fr、每帧图像特征提取的计算时间time以及系统容忍的时延值delay等因素。N与原始视频的帧率fr及系统容忍的时延值delay为正相关的关系，与每帧图像特征提取的计算时间time存在负相关关系，其关系式如下等式1所示：S2：对图像组内每一帧图像计算图像特征提取，包括在每一帧图像中选取待特征提取的区域，进行图像特征提取计算，输出每一帧图像的特征；如图3所示，若原始视频的分辨率大于参考分辨率R，比如原始视频的本文档来自技高网...

【技术保护点】
1.一种视频处理方法，其特征在于：包括以下步骤：/nS1：将待处理的原始视频进行图像分组划分，令N帧连续的图像为一个图像组，其中，N为大于1的整数；/nS2：对图像组内每一帧图像计算图像特征提取，包括在每一帧图像中选取待特征提取的区域，进行图像特征提取计算，输出每一帧图像的特征；/nS3：根据图像组内每一帧图像的特征，计算当前图像组的视频特征。/n

【技术特征摘要】
1.一种视频处理方法，其特征在于：包括以下步骤：
S1：将待处理的原始视频进行图像分组划分，令N帧连续的图像为一个图像组，其中，N为大于1的整数；
S2：对图像组内每一帧图像计算图像特征提取，包括在每一帧图像中选取待特征提取的区域，进行图像特征提取计算，输出每一帧图像的特征；
S3：根据图像组内每一帧图像的特征，计算当前图像组的视频特征。


2.根据权利要求1所述的一种视频处理方法，其特征在于：所述S2中，若原始视频的分辨率大于参考分辨率R，则采用第一图像特征提取的计算方法，否则采用第二图像特征提取的计算方法。


3.根据权利要求2所述的一种视频处理方法，其特征在于：所述第一图像特征提取的计算方法，包括以下步骤：
步骤一、将原始视频缩放到特征提取模块能够保证精度的最大缩放视频；
步骤二、在最大缩放视频的图像组内的每一帧图像中选取M1个待特征提取的区域，其中，M1为大于或者等于1的整数；
步骤三、对图像组内所有帧的待特征提取的区域作区域并集计算，并集的区域总和至少覆盖到最大缩放视频的整个画面；
步骤四、每帧图像的待特征提取的区域选定后，依据选定的区域生成像素块，对像素块进行图像特征提取计算，输出每一帧图像的图像特征结果。


4.根据权利要求2所述的一种视频处理方法，其特征在于：所述参考分辨率R比原始视频的分辨率小，比特征提取模块的输入尺寸大，最接近特征提取模块输入允许的最大分辨率。


5.根据权利要求2所述的一种视频处理方法，其特征在于：所述第二图像特征提取的计算方法，包括以下步骤：
步骤一、在原始视频的图像组内的每一帧图像中选取M2个待特征...

【专利技术属性】
技术研发人员：黄敦笔，杜武平，
申请(专利权)人：杭州赛鲁班网络科技有限公司，
类型：发明
国别省市：浙江;33