一种全景视频显著性预测方法及其系统，涉及全景视频显著性预测技术领域。解决现有全景视频显著性预测方法，普遍存在对视频特征提取能力不够，程序运行速度慢，预测显著性图准确度不高的问题。方法为：先提取出全景视频的视频帧并分别沿时间序列正向排列和反向排列；采用编码器分别处理正向排列和反向排列的视频帧序列，分别获得所有正向排列和反向排列帧的全局时空特征；采用解码器分别处理正向视频帧的全局时空特征和反向视频帧的全局时空特征，并将分别获得的显著性信息进行叠加，将叠加后的显著性图通过后处理模块和多种高斯先验特征结合，产生更符合人眼观察偏置的显著性图。本发明专利技术适用于全景视频中的显著性预测。
【技术实现步骤摘要】
本专利技术涉及全景视频显著性预测。
技术介绍
1、随着vr技术的快速发展及头戴式显示器的普及，人们已经能够在日常生活的各个领域中应用vr技术，包括休闲娱乐、商业服务以及医疗健康等。人类在观看全景视频时，通过视觉系统中的注意力机制能够迅速关注图像的一部分，而不是处理整个场景中的所有信息。注意力机制是一个选择过程，它优先选择视觉场景中最吸引人的区域。全景视频显著性预测旨在让计算机通过智能算法模拟人类视觉系统的注意力机制，提取全景视频中人类感兴趣的区域(即显著区域)。这对于图像和视频分析、对象检测、场景理解等任务非常有用，因为它可以减少不必要的计算和处理开销，集中注意力在最相关的区域上。
2、针对全景视频进行显著性预测，需要明确对全景视频的失真特性及超分辨特性进行设计。受限于对全景特性的了解，现有全景视频显著性预测方法大部分是基于双流网络分别提取时间和空间特征，但在视频显著性预测中已经证明同步提取时空特征的重要性，分别提取时空特征并融合进行显著性预测的方法并不完全适合全景视频显著性预测。此外现有的方法针对erp投影失真大多采用cmp投影进行解决，erp和cmp之间的投影会造成程序运行速度缓慢的问题。
3、因此，现有的全景视频显著性预测方法中，普遍存在对视频特征提取能力不够，程序运行速度慢，预测显著性图准确度不高的问题。
技术实现思路
1、本专利技术解决现有全景视频显著性预测方法，普遍存在对视频特征提取能力不够，程序运行速度慢，预测显著性图准确度不高的问题。
2、为实现上述目的，本专利技术提供了如下方案：
3、本专利技术提供一种全景视频显著性预测方法，所述预测方法为：
4、s1、提取全景视频的视频帧；
5、s2、将提取的全景视频的视频帧，沿时间序列正向排列，获得正向排列的视频帧序列；
6、s3、将提取的全景视频的视频帧，沿时间序列反向排列，获得反向排列的视频帧序列；
7、s4、采用aam和球卷积lstm构成的编码器对所述正向排列的视频帧序列进行处理，获得所有正向排列的视频帧序列的全局时空特征；
8、s5、采用aam和球卷积lstm构成的编码器对所述反向排列的视频帧序列进行处理，获得所有反向排列的视频帧序列的全局时空特征；
9、s6、采用球卷积lstm构成的解码器对正向视频帧的全局时空特征进行处理，获取正向视频帧的显著性信息；
10、s7、采用球卷积lstm构成的解码器对反向视频帧的全局时空特征进行处理，获取后向视频帧的显著性信息；
11、s8、根据所述反向排列的视频帧序列获得后向帧序列，沿时间序列反转所述后向帧序列，并将所述正向视频帧的显著性信息和后向帧序列预测的显著性信息叠加，获得叠加后的显著性图；
12、s9、将所述叠加后的显著性图通过后处理模块和多种高斯先验特征结合，产生更符合人眼观察偏置的显著性图。
13、进一步，还有一种优选实施例，上述步骤s4具体为：
14、s41、采用球卷积lstm计算出所述正向排列的视频帧序列中各个时间步的隐层状态ht；
15、s42、采用aam模块对所述隐层状态ht，通过轴向注意力机制和跨轴向注意机制发掘每个特征向量的重要性，获取所有正向排列帧的全局时空特征。
16、进一步，还有一种优选实施例，上述步骤s41具体为：
17、it＝σ(wi*[xt,ht-1]+bi)；
18、ft＝σ(wf*[xt,ht-1]+bf)；
19、ot＝σ(wo*[xt,ht-1]+bo)；
20、ct＝ft⊙ct-1+it⊙tanh(wg*[xt,ht-1]+bg)；
21、ht＝ot⊙tanh(ct)；
22、其中，it为输入门、xt为当前时刻的输入、ht-1为上一时刻的隐层状态、ft为遗忘门、ot为输出门、ct为当前时刻的记忆细胞、ct-1为上一时刻的记忆细胞、tanh为双曲正切函数、wi、wf、wo、wg和bi、bf、bo、bg分别为四次球卷积中学习到的权重和偏差。
23、进一步，还有一种优选实施例，上述步骤s6具体为：
24、f＝upsample(sconvlstm(ht))；
25、其中，f为正向视频帧的显著性信息，sconvlstm()为球卷积，卷积算子的输出通道为1，upsample()为上采样操作。
26、进一步，还有一种优选实施例，上述步骤s9具体为：
27、s91、根据多种均值和方差的组合产生8个高斯先验图；
28、s92、采用球卷积对所述8个高斯先验图进行特征变化，获取高斯先验特征；
29、s93、将所述叠加后的显著性图和高斯先验特征进行拼接，球卷积将拼接后的特征映射为更符合人眼观察偏置的显著性图。
30、进一步，还有一种优选实施例，上述步骤s91中高斯先验图的产生方式为：
31、
32、其中，μx和μy分别代表沿x和y轴的均值，σx，σy分别代表沿横轴和纵轴观看的标准差。
33、进一步，还有一种优选实施例，上述步骤s93具体为：
34、sal＝spher_conv(spher_conv(cat(sal,gaussianmap)))；
35、其中，sal为最终产生的显著性图，sal为显著性特征，cat为拼接操作，spher_conv为两层球卷积。
36、本专利技术所述的一种全景视频显著性预测方法可以全部采用计算机软件实现，因此，对应的，本专利技术还提供一种全景视频显著性预测系统，所述系统包括：
37、用于提取全景视频的视频帧的存储装置；
38、用于将提取的全景视频的视频帧，沿时间序列正向排列，获得正向排列的视频帧序列的存储装置；
39、用于将提取的全景视频的视频帧，沿时间序列反向排列，获得反向排列的视频帧序列的存储装置；
40、用于采用aam和球卷积lstm构成的编码器对所述正向排列的视频帧序列进行处理，获得所有正向排列的视频帧序列的全局时空特征的存储装置；
41、用于采用aam和球卷积lstm构成的编码器对所述反向排列的视频帧序列进行处理，获得所有反向排列的视频帧序列的全局时空特征的存储装置；
42、用于采用球卷积lstm构成的解码器对正向视频帧的全局时空特征进行处理，获取正向视频帧的显著性信息的存储装置；
43、用于采用球卷积lstm构成的解码器对反向视频帧的全局时空特征进行处理，获取后向视频帧的显著性信息的存储装置；
44、用于根据所述反向排列的视频帧序列获得后向帧序列，并沿时间序列反转所述后向帧序列，将所述正向视频帧的显著性信息和后向帧序列预测的显著性信息叠加，获得叠加后的显著性图的存储装置；
45、用于将所述叠加后的显著性图通过后处理模块和多种高斯先验特本文档来自技高网
...
【技术保护点】
1.一种全景视频显著性预测方法，其特征在于，所述方法为：
2.根据权利要求1所述的一种全景视频显著性预测方法，其特征在于，所述步骤S4具体为：
3.根据权利要求2所述的一种全景视频显著性预测方法，其特征在于，所述步骤S41具体为：
4.根据权利要求1所述的一种全景视频显著性预测方法，其特征在于，所述步骤S6具体为：
5.根据权利要求1所述的一种全景视频显著性预测方法，其特征在于，所述步骤S9具体为：
6.根据权利要求5所述的一种全景视频显著性预测方法，其特征在于，所述步骤S91中高斯先验图的产生方式为：
7.根据权利要求5所述的一种全景视频显著性预测方法，其特征在于，所述步骤S93具体为：
8.一种全景视频显著性预测系统，其特征在于，所述系统包括：
9.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行权利要求1-7任意一项所述的一种全景视频显著性预测方法。
10.一种计算机设备，其特征在于,该设备包括存储器和处理器，所述存储器中存储有计算机程序，当所述处理器运行所述存储器存储的计算机程序时，所述处理器执行权利要求1-7任意一项所述的一种全景视频显著性预测方法。
...
【技术特征摘要】
1.一种全景视频显著性预测方法，其特征在于，所述方法为：
2.根据权利要求1所述的一种全景视频显著性预测方法，其特征在于，所述步骤s4具体为：
3.根据权利要求2所述的一种全景视频显著性预测方法，其特征在于，所述步骤s41具体为：
4.根据权利要求1所述的一种全景视频显著性预测方法，其特征在于，所述步骤s6具体为：
5.根据权利要求1所述的一种全景视频显著性预测方法，其特征在于，所述步骤s9具体为：
6.根据权利要求5所述的一种全景视频显著性预测方法，其特征在于，所述步骤s91中高斯先验图的产生方式为：<...
【专利技术属性】
技术研发人员：赵德斌，万照麟，秦瀚，杨秋霜，范晓鹏，栗志扬，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。