【技术实现步骤摘要】
本申请涉及计算机视觉，尤其涉及一种视频预处理方法、装置、设备及存储介质。
技术介绍
1、视频行为识别技术是计算机视觉领域一个重要分支，主要识别目标一般是人类，但也可以是动物、机器人等更宽泛的对象。视频行为识别技术广泛应用于视频监控、视频分析和理解、以及人机交互等领域，是目前一种热门的研究领域。
2、现有视频行为识别技术主要通过双流法或3d卷积及其相应变种的算法模型进行有效提取视频中的时空特征，从而进行视频行为识别。由于视频帧间信息冗余严重，普遍使用帧采样的方法进行视频识别，帧间信息丢失比较多，不利于后续的视频行为识别。
技术实现思路
1、本申请提供一种视频预处理方法、装置、设备及存储介质，可以有效保留视频帧间信息，方便后续的视频行为识别。
2、第一方面，本申请提供一种视频预处理方法，该方法包括：获取视频的目标帧，以及目标帧的前向帧与后向帧；基于目标帧以及周围帧，得到周围帧对应的运动信息掩膜；周围帧为前向帧或者后向帧；融合目标帧、前向帧对应的运动信息掩膜以及后向帧对应的运动信息掩膜，得到融合图像。
3、本申请提供的视频预处理方法，该方法中通过获取视频中目标帧的前向帧以及后向帧，并基于前向帧与目标帧确定运动信息掩膜，基于后向帧与目标帧确定运动信息掩膜，进而使用这些信息融合构成新的视频帧。该新的视频帧中包括目标帧以及前后帧的运动信息，可以方便后续视频行为识别算法的训练与推断，实现不用增加采样帧的数量也可以实现多帧识别的效果，可以有效避免视频帧间信息的丢
4、一种可能的实现方式，周围帧与目标帧之间的间隔帧数、基于视频的长度、视频中目标帧的采样数量以及抖动参数确定；抖动参数为随机整数。
5、另一种可能的实现方式，前向帧满足如下表达式：
6、xni＝xnj-int(m/n/2),(1≤i≤m)
7、其中，xni为前向帧的序号，xnj为目标帧的序号，int(m/n/2)为间隔帧数，m为视频的长度，n为采样数量；
8、后向帧满足如下表达式：
9、xnk＝xnj+int(m/n/2),(1≤k≤m)
10、其中，xnk为后向帧的序号。
11、又一种可能的实现方式，周围帧与目标帧之间的间隔帧数、基于视频的长度、视频中目标帧的采样数量以及抖动参数确定；抖动参数为随机整数。
12、又一种可能的实现方式，前向帧满足如下表达式：
13、xni＝xnj-(int(m/n/2)+zi)
14、其中，xni为前向帧的序号，xnj为目标帧的序号，int(m/n/2)+zi为间隔帧数，zi为前向帧对应的抖动参数，m为视频的长度，n为采样数量；
15、后向帧满足如下表达式：
16、xnk＝xnj+int(m/n/2)+zk
17、其中，xnk为后向帧的序号，int(m/n/2)+zk为间隔帧数，zk为后向帧对应的抖动参数；
18、抖动参数的绝对值小于int(m/n/2)。
19、又一种可能的实现方式，基于目标帧以及周围帧，得到周围帧对应的运动信息掩膜，包括：
20、分别对目标帧以及周围帧，进行图像灰度化处理、尺寸缩放处理、高斯模糊处理后得到第一图像和第二图像；
21、对第一图像和第二图像进行差分处理后得到第三图像；
22、对第三图像进行尺寸恢复处理、二值化处理后得到运动信息掩膜。
23、又一种可能的实现方式，基于目标帧以及周围帧，得到周围帧对应的运动信息掩膜，包括：
24、采用目标检测算法，提取周围帧相较于目标帧中发生变换的目标区域，得到运动信息掩膜。
25、又一种可能的实现方式，融合目标帧、前向帧对应的运动信息掩膜以及后向帧对应的运动信息掩膜，得到融合图像，包括：
26、采用如下表达式得到融合图像：
27、xz＝αxa+βxb+γxc,(α+β+γ＝1)
28、其中，xz为融合图像，xa为前向帧对应的运动信息掩膜，xb为目标帧，xc为后向帧对应的运动信息掩膜；α不等于γ，且α与γ均小于β。
29、又一种可能的实现方式，融合目标帧、前向帧对应的运动信息掩膜以及后向帧对应的运动信息掩膜，得到融合图像，包括：
30、采用如下表达式得到融合图像：
31、xz＝merge([xa,xe,xc])
32、其中，merge为通道拼接函数，xa为前向帧对应的运动信息掩膜，xe为灰度化后的目标帧，xc为后向帧对应的运动信息掩膜。
33、第二方面，本申请提供一种视频预处理装置，该装置包括：获取模块和融合模块。获取模块用于，获取视频的目标帧，以及目标帧的前向帧与后向帧；获取模块还用于，基于目标帧以及周围帧，得到周围帧对应的运动信息掩膜；周围帧为前向帧或者后向帧；融合模块用于，融合目标帧、前向帧对应的运动信息掩膜以及后向帧对应的运动信息掩膜，得到融合图像。
34、一种可能的实现方式，周围帧与目标帧之间的间隔帧数，基于视频的长度以及视频中目标帧的采样数量确定。
35、另一种可能的实现方式，周围帧与目标帧之间的间隔帧数，基于视频的长度以及视频中目标帧的采样数量确定。
36、又一种可能的实现方式，前向帧满足如下表达式：
37、xni＝xnj-int(m/n/2),(1≤i≤m)
38、其中，xni为前向帧的序号，xnj为目标帧的序号，int(m/n/2)为间隔帧数，m为视频的长度，n为采样数量；
39、后向帧满足如下表达式：
40、xnk＝xnj+int(m/n/2),(1≤k≤m)
41、其中，xnk为后向帧的序号。
42、又一种可能的实现方式，间隔帧数还基于抖动参数确定；抖动参数为随机整数。
43、又一种可能的实现方式，前向帧满足如下表达式：
44、xni＝xnj-(int(m/n/2)+zi)
45、其中，xni为所述前向帧的序号，xnj为所述目标帧的序号，int(m/n/2)+zi为间隔帧数，zi为前向帧对应的抖动参数；
46、后向帧满足如下表达式：
47、xnk＝xnj+int(m/n/2)+zk
48、其中，int(m/n/2)+zk为间隔帧数，zk为后向帧对应的抖动参数；
49、抖动参数的绝对值小于int(m/n/2)。
50、又一种可能的实现方式，获取模块具体用于，分别对目标帧以及周围帧，进行图像灰度化处理、尺寸缩放处理、高斯模糊处理后得到第一图像和第二图像；对第一图像和第二图像进行差分处理后得到第三图像；对第三图像进行尺寸恢复处理、二值化处理后得到运动信息掩膜。
51、又一种本文档来自技高网...
【技术保护点】
1.一种视频预处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述周围帧与所述目标帧之间的间隔帧数，基于所述视频的长度以及所述视频中所述目标帧的采样数量确定。
3.根据权利要求2所述的方法，其特征在于，所述前向帧满足如下表达式：
4.根据权利要求1所述的方法，其特征在于，所述周围帧与所述目标帧之间的间隔帧数，基于所述视频的长度、所述视频中所述目标帧的采样数量以及抖动参数确定；所述抖动参数为随机整数。
5.根据权利要求4所述的方法，其特征在于，所述前向帧满足如下表达式：
6.根据权利要求1-5任一项所述的方法，其特征在于，所述基于所述目标帧以及周围帧，得到所述周围帧对应的运动信息掩膜，包括：
7.根据权利要求1-5任一项所述的方法，其特征在于，所述基于所述目标帧以及周围帧，得到所述周围帧对应的运动信息掩膜，包括：
8.根据权利要求1-5任一项所述的方法，其特征在于，所述融合所述目标帧、所述前向帧对应的运动信息掩膜以及所述后向帧对应的运动信息掩膜，得到融合图像，包括：<...
【技术特征摘要】
1.一种视频预处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述周围帧与所述目标帧之间的间隔帧数，基于所述视频的长度以及所述视频中所述目标帧的采样数量确定。
3.根据权利要求2所述的方法，其特征在于，所述前向帧满足如下表达式：
4.根据权利要求1所述的方法，其特征在于，所述周围帧与所述目标帧之间的间隔帧数，基于所述视频的长度、所述视频中所述目标帧的采样数量以及抖动参数确定；所述抖动参数为随机整数。
5.根据权利要求4所述的方法，其特征在于，所述前向帧满足如下表达式：
6.根据权利要求1-5任一项所述的方法，其特征在于，所述基于所述目标帧以及周围帧，得到所述周围帧对应的运动信息掩膜，包括：
7.根据权利...
【专利技术属性】
技术研发人员：欧剑港，岳丽云，范荣辉，陈国豪，吴瑞平，吴甜，方思学，施辰光，马振源，
申请(专利权)人：中国联合网络通信集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。