【技术实现步骤摘要】
本专利技术涉及一种基于时空感知的全景视频增强处理方法、装置和电子设备，属于热测量控制领域。
技术介绍
1、全景视频(omnidirectional video,odv)，也被称为360°视频或球形视频，覆盖整个空间场景，能够提供沉浸式视觉体验，被广泛应用在虚拟现实和增强现实领域。受采集设备和传输带宽限制，全景视频往往分辨率较低且带有压缩噪声，现有的视频增强处理技术旨在增强低分辨率视频的分辨率，去除压缩噪声。全景视频由于投影变换过程中带来的失真，难以直接使用以往的一般视频增强处理算法对其进行增强处理或增强处理效果较差。
2、通过计算机或头戴式设备，用户观看全景视频时可以身临其境，为实现高质量视觉体验，需要增强处理技术重建全景视频。在实际应用中，全景视频需要投影到二维平面上再处理传输，最常采用的投影格式为等距柱状投影。三维空间到二维平面的投影变换不可避免地引入了失真，对于等距柱状投影来说，两极区域失真尤为严重。
3、传统的处理方法中，直接将一般视频增强处理方法应用到全景视频上，模型会学习失真部分的细节而不是纹理细节，造成纹理重建丢失错乱。
4、此外，用户在观看全景视频时往往只聚焦于部分视点区域，对这些区域不加以针对性处理，增强处理模型会倾向于提升一些不重要区域视觉质量，与人眼观看全景视频习惯相悖。同时，用户观看视点区域进行切换时，现有的视频增强方法大多未考虑时间一致性，造成全景视频不连续流畅，降低用户对全景视频质量满意度。
5、因此，有必要对全景视频增强处理方法进行更为深入的研究，以解
技术实现思路
1、为了克服上述问题，本专利技术人进行了深入研究，提出了一种基于时空感知的全景视频增强处理方法，包括：
2、获取输入全景视频图像的纬度权重图像和显著性权重图像；
3、将输入全景视频图像和纬度权重图像、显著性权重图像在颜色通道维度上进行融合，得到预处理全景视频；
4、对预处理全景视频进行采样，获得多个像素块序列；
5、分别对每个像素块序列进行下采样，每个像素块序列得到一个高分辨率像素块序列和低分辨率像素块序列，重建低分辨率像素块序列至高分辨率获得重建像素块序列，以重建像素块序列与高分辨率像素块序列之间的损失作为损失函数，对深度学习模型进行训练，获得增强模型；
6、将待处理全景视频输入增强模型，由增强模型输出增强处理后的全景视频。
7、在一个优选的实施方式中，所述纬度权重图像中包含输入全景视频图像中每个像素点的纬度权重值；
8、所述显著性权重图像中包括输入全景视频图像中每个像素点的显著性权重值。
9、在一个优选的实施方式中，通过以下步骤获取输入全景视频图像的纬度权重图像：
10、获取输入全景视频图像的高度，以及获取输入全景视频图像中每个像素点的经纬度坐标；
11、基于高度和每个像素点的经纬度坐标，获取每个像素点的纬度权重值，表示为
12、
13、其中，表示经纬度坐标为(i,j)的像素点的纬度权重值，h表示所述输入全景视频图像的高度，j表示每个像素点的高度；
14、按照每个像素点在图像中的位置，将每个像素点的纬度权重值组合形成输入全景视频图像的纬度权重图像
15、在一个优选的实施方式中，通过以下步骤获取输入全景视频图像的显著性权重图像：
16、获取所述输入全景视频图像中每个像素点的经纬度坐标；
17、分别基于所述每个像素点的经纬度坐标，预测高频观看区域和感兴趣区域，获取每个像素点的显著性权重值；
18、按照每个像素点在图像中的位置，将每个像素点的显著性权重值组合形成输入全景视频图像的显著性权重图像
19、在一个优选的实施方式中，在下采样过程中，进行全景视频超分辨率下采样和全景视频去噪下采样；
20、其中，全景视频超分辨率下采样中通过调整下采样倍率得到对应倍率低分辨率像素块序列；全景视频去噪下采样中下采样倍率固定为1。
21、在一个优选的实施方式中，将得到的低分辨率像素块序列通过双向循环结构网络重建，获得重建像素块序列
22、在一个优选的实施方式中，所述双向循环网络结构采用时域可变形卷积和空域可变性卷积构建，使用光流引导可变形卷积对齐。
23、在一个优选的实施方式中，所述损失函数通过以下步骤获得：
24、将高分辨率像素块序列中的每个坐标处的像素值与其对应的重建像素块序列中相同坐标处的像素值相减，得到每个坐标处的像素差值；
25、将每个坐标处的像素差值的绝对值与每个坐标处的纬度权重值相乘，得到每个坐标处的纬度损失值；
26、分别将每个坐标处的像素差值的绝对值与每个坐标处的显著性权重值相乘，得到每个坐标处的显著性损失值；
27、基于每个坐标处的像素差值、显著性损失值、纬度损失值以及输入全景视频图像的高度和宽度，通过下列公式计算训练损失值：
28、
29、其中，l表示训练损失值，w、h表示图像的输入全景视频图像的高度、宽度，表示坐标为(i,j)的纬度损失值，表示坐标为(i,j)的显著性损失值，α1表示纬度损失权重，α2表示显著性损失权重，表示坐标为(i,j)的高分辨率像素块的像素值，表示坐标为(i,j)的重建像素块的像素值。
30、本专利技术还提供了一种电子设备，包括：
31、至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述方法中任一项所述的方法。
32、本专利技术还提供一种存储有计算机指令的计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述任一项所述的方法。
33、本专利技术所具有的有益效果包括：
34、(1)可以进行全景视频超分辨率，提升全景视频分辨率大小，解决因采集设备或传输带宽限制而产生的低分辨率问题；
35、(2)可以增强因采集、拼接、投影、压缩而产生变形、失真、噪声的全景视频质量，实现全景视频去噪，保证全景视频沉浸式视觉体验。
36、(3)实现更高质量的全景视频增强处理重建、提升用户视觉感知质量。
本文档来自技高网...【技术保护点】
1.一种基于时空感知的全景视频增强处理方法，其特征在于，包括：
2.根据权利要求1所述的基于时空感知的全景视频增强处理方法，其特征在于，
3.根据权利要求2所述的基于时空感知的全景视频增强处理方法，其特征在于，
4.根据权利要求1所述的基于时空感知的全景视频增强处理方法，其特征在于，
5.根据权利要求1所述的基于时空感知的全景视频增强处理方法，其特征在于，
6.根据权利要求1所述的基于时空感知的全景视频增强处理方法，其特征在于，
7.根据权利要求6所述的基于时空感知的全景视频增强处理方法，其特征在于，
8.根据权利要求1所述的基于时空感知的全景视频增强处理方法，其特征在于，
9.一种电子设备，包括：
10.一种存储有计算机指令的计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-8中任一项所述的方法。
【技术特征摘要】
1.一种基于时空感知的全景视频增强处理方法，其特征在于，包括：
2.根据权利要求1所述的基于时空感知的全景视频增强处理方法，其特征在于，
3.根据权利要求2所述的基于时空感知的全景视频增强处理方法，其特征在于，
4.根据权利要求1所述的基于时空感知的全景视频增强处理方法，其特征在于，
5.根据权利要求1所述的基于时空感知的全景视频增强处理方法，其特征在于，
6...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。