一种全景视频的存储优化方法、系统、终端及存储介质技术方案

本发明专利技术公开了一种全景视频的存储优化方法、系统、终端及存储介质，所述方法包括：获取全景视频中第一全景图像，识别所述第一全景图像中的对象，计算所述对象的运动范围，并将所述全景视频分割成全景视频块；基于所述全景视频块获取第二全景图像，对所述第二全景图像进行分割得到语义分割结果，并对所述语义分割结果进行投影得到投影平面；对所述投影平面进行强化学习处理，并将所述全景视频块投影成平面格式后进行压缩储存。本发明专利技术通过将全景视频在时间轴上分割为多段全景视频块，依据每段全景视频块的内容，对投影坐标系进行多自由度空间旋转后，对全景视频进行投影为平面格式并压缩视频，使得压缩后的全景视频所需的存储空间减少。少。少。

【技术实现步骤摘要】
一种全景视频的存储优化方法、系统、终端及存储介质


[0001]本专利技术涉及全景视频点播或直播领域，尤其涉及一种全景视频的存储优化方法、系统、终端及存储介质。

技术介绍

[0002]全景视频是一种用3D摄像机进行全方位360度进行拍摄的视频，用户在观看视频的时候，可以随意调节视频上下左右进行观看。全景视频可提供全方位视野，允许用户自由选择任意方向进行观看，提供了身临其境的观影感受。
[0003]现有技术中，在存储全景视频时，由于高质量的全景视频码率很大，当前带宽不足以支持高质量全景视频实时传输，通常将全景视频在时间轴上分割为多段相同时间长度的全景视频块，然后使用多种投影坐标系，将全景视频块内每帧全景图像投影为多面体格式，然后将多面体的各个投影面拼接为单张平面格式的图像，再使用传统的平面视频压缩技术对连续帧进行压缩，例如H256视频编码标准；但是实际投影过程中，单帧全景图像内的车等前景对象会坐落在不同的投影面中，第二行中间两个投影面将汽车割裂；前景对象的空间不连续性不利于平面视频压缩技术的压缩过程，导致其压缩率降低，占用更多的存储空间。
[0004]此外，每段全景视频块内可能存在多个前景对象同时运动，全景视频块时间长度越长，前景对象的运动范围越大，更可能让大量前景对象跨越更多投影面，相反，如果时间长度越短，时间连续性也会受到干扰，在这些情况下同样不利于平面视频压缩技术的压缩过程。
[0005]因此，现有技术还有待于改进和发展。

技术实现思路

[0006]本专利技术的主要目的在于提供一种全景视频的存储优化方法、系统、终端及存储介质，旨在解决现有技术中前景对象的空间不连续性与全景视频块时间长度过短时均不利于平面视频压缩技术的压缩过程，导致压缩率降低，占用更多存储空间的问题。
[0007]为实现上述目的，本专利技术提供一种全景视频的存储优化方法，所述全景视频的存储优化方法包括如下步骤：
[0008]获取全景视频中第一全景图像，识别所述第一全景图像中的对象，计算所述对象的运动范围，并将所述全景视频分割成全景视频块；
[0009]基于所述全景视频块获取第二全景图像，对所述第二全景图像进行分割得到语义分割结果，并对所述语义分割结果进行投影得到投影平面；
[0010]对所述投影平面进行强化学习处理，并将所述全景视频块投影成平面格式后进行压缩储存。
[0011]可选地，所述的全景视频的存储优化方法，其中，所述获取全景视频中第一全景图像，识别所述第一全景图像中的对象，计算所述对象的运动范围，并将所述全景视频分割成全景视频块，具体包括：
[0012]对全景视频进行均匀采样以获取数帧的全景图像，对所述全景图像采用对象识别算法识别出每帧全景图像中的对象，并标记连续帧内的相同对象；
[0013]当对象的中心点作为所述对象的重心时，设定一个时间长度，计算得出每个对象的第一帧到所述时间长度后的一帧之间的重心移动距离；
[0014]计算出所述重心移动距离的平均值，将所述平均值作为所述时间长度内所有对象的平均运动范围，并设定所述平均范围的阈值；
[0015]判断所述平均运动范围与所述阈值的大小，若所述平均运动范围等于所述阈值时，则使用所述时间长度在时间轴上分割全景视频为多段全景视频块。
[0016]可选地，所述的全景视频的存储优化方法，其中，所述阈值的大小根据投影格式进行设定。
[0017]可选地，所述的全景视频的存储优化方法，其中，所述判断所述平均运动范围与所述阈值的大小，还包括：
[0018]若所述平均运动范围大于所述阈值时，则缩短所述时间长度，并重新计算缩短后的时间长度内所有对象的平均运动范围；
[0019]若所述平均运动范围小于所述阈值时，则增加所述时间长度，并重新计算增加后的时间长度内所有对象的平均运动范围。
[0020]可选地，所述的全景视频的存储优化方法，其中，所述基于所述全景视频块获取第二全景图像，对所述第二全景图像进行分割得到语义分割结果，并对所述语义分割结果进行投影得到投影平面，具体包括：
[0021]从所述全景视频块中提取出数帧的第二全景图像，将所述第二全景图像输入到语义分割算法中进行分割得到语义分割结果；
[0022]基于所述语义分割结果的投影格式，选择所述投影格式对应的投影坐标系，使用所述投影坐标系对所述语义分割结果进行投影并得到多个投影平面。
[0023]可选地，所述的全景视频的存储优化方法，其中，所述投影格式包括等距形投影格式和立方体投影格式。
[0024]可选地，所述的全景视频的存储优化方法，其中，所述对所述投影平面进行强化学习处理，并将所述全景视频块投影成平面格式后进行压缩储存，具体包括：
[0025]将所述投影平面按照时间轴顺序输入至强化学习方法中处理，处理完成后输出多自由度旋转角度；
[0026]基于所述多自由度旋转角度完成对所述投影坐标系的旋转，并使用旋转后的投影坐标系对所述全景视频块进行投影，得到平面格式的第一全景视频块；
[0027]对所述第一全景视频块进行压缩储存，并将所述第一全景视频块的多自由旋转角度存储在记录文件中。
[0028]可选地，所述的全景视频的存储优化方法，其中，所述基于所述多自由度旋转角度完成对所述投影坐标系的旋转，还包括：
[0029]若存在多个合适的多自由旋转角度，则对所述投影坐标系进行多次迭代旋转，并将每次旋转后的投影坐标系对所述全景视频块进行投影，得到多个平面格式的第二全景视频块；
[0030]将所有第二全景视频块均进行压缩，并记录每个第二全景视频块的压缩率；
[0031]选取压缩率最高的第二全景视频块进行存储，并将所述第二全景视频块的多自由度旋转角度记录在文件中。
[0032]可选地，所述的全景视频的存储优化方法，其中，所述基于所述多自由度旋转角度完成对所述投影坐标系的旋转，之后还包括：
[0033]根据旋转角度的周期性变化，得到一个周期内旋转角度的变化范围；
[0034]基于所述变化范围，将强化学习方法输出的旋转角度限制在所述周期的变化范围中；
[0035]若限制后的旋转角度为0，则结束当前全景视频块的处理。
[0036]可选地，所述的全景视频的存储优化方法，其中，所述对所述第一全景视频块进行压缩储存，并将所述第一全景视频块的多自由旋转角度存储在记录文件中，之后还包括：
[0037]接收用户的访问请求，基于所述访问请求向用户客户端传输全景视频块；
[0038]在传输所述全景视频块时，从所述记录文件中提取所述全景视频块对应的多自由旋转角度，并将所述多自由旋转角度传输至所述用户客户端；
[0039]当所述用户客户端完成接收后，基于所述多自由旋转角度对投影坐标系进行旋转，并将旋转后的投影坐标系对所述全景视频块进行投影以完成渲染过程。
[0040]此外，为实现上述目的，本专利技术还提供一种全景视频的存储优化系统，其中，所述全景视本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种全景视频的存储优化方法，其特征在于，所述全景视频的存储优化方法包括：获取全景视频中第一全景图像，识别所述第一全景图像中的对象，计算所述对象的运动范围，并将所述全景视频分割成全景视频块；基于所述全景视频块获取第二全景图像，对所述第二全景图像进行分割得到语义分割结果，并对所述语义分割结果进行投影得到投影平面；对所述投影平面进行强化学习处理，并将所述全景视频块投影成平面格式后进行压缩储存。2.根据权利要求1所述的全景视频的存储优化方法，其特征在于，所述获取全景视频中第一全景图像，识别所述第一全景图像中的对象，计算所述对象的运动范围，并将所述全景视频分割成全景视频块，具体包括：对全景视频进行均匀采样以获取数帧的全景图像，对所述全景图像采用对象识别算法识别出每帧全景图像中的对象，并标记连续帧内的相同对象；当对象的中心点作为所述对象的重心时，设定一个时间长度，计算得出每个对象的第一帧到所述时间长度后的一帧之间的重心移动距离；计算出所述重心移动距离的平均值，将所述平均值作为所述时间长度内所有对象的平均运动范围，并设定所述平均范围的阈值；判断所述平均运动范围与所述阈值的大小，若所述平均运动范围等于所述阈值时，则使用所述时间长度在时间轴上分割全景视频为多段全景视频块。3.根据权利要求2所述的全景视频的存储优化方法，其特征在于，所述阈值的大小根据投影格式进行设定。4.根据权利要求2所述的全景视频的存储优化方法，其特征在于，所述判断所述平均运动范围与所述阈值的大小，还包括：若所述平均运动范围大于所述阈值时，则缩短所述时间长度，并重新计算缩短后的时间长度内所有对象的平均运动范围；若所述平均运动范围小于所述阈值时，则增加所述时间长度，并重新计算增加后的时间长度内所有对象的平均运动范围。5.根据权利要求1所述的全景视频的存储优化方法，其特征在于，所述基于所述全景视频块获取第二全景图像，对所述第二全景图像进行分割得到语义分割结果，并对所述语义分割结果进行投影得到投影平面，具体包括：从所述全景视频块中提取出数帧的第二全景图像，将所述第二全景图像输入到语义分割算法中进行分割得到语义分割结果；基于所述语义分割结果的投影格式，选择所述投影格式对应的投影坐标系，使用所述投影坐标系对所述语义分割结果进行投影并得到多个投影平面。6.根据权利要求5所述的全景视频的存储优化方法，其特征在于，所述投影格式包括等距形投影格式和立方体投影格式。7.根据权利要求5所述的全景视频的存储优化方法，其特征在于，所述对所述投影平面进行强化学习处理，并将所述全景视频块投影成平面格式后进行压缩储存，具体包括：将所述投影平面按照时间轴顺序输入至强化学习方法中处理，处理完成后输出多自由度旋转角度；
基于所述多自由度旋转角度完成对所述...

【专利技术属性】
技术研发人员：陈梓豪，邹龙昊，陈作舟，薛雅利，陈昊，王彬彬，陶小峰，
申请(专利权)人：鹏城实验室，
类型：发明
国别省市：