云视频帧自适应协作渲染方法、装置及计算机设备制造方法及图纸

本发明专利技术公开了一种云视频帧自适应协作渲染方法、装置及计算机设备，包括以下步骤：根据所述目标区域，通过信息量检测，得到目标区域的动态信息量；根据所述动态信息量，通过渲染倍数的自适应关系，得到目标区域的自适应渲染倍数；第一渲染服务器依据所述目标区域的自适应渲染倍数，对所述目标区域进行画面渲染得到第一渲染区域；第二渲染服务器依据固定渲染倍数，对所述非目标区域进行画面渲染得到第二渲染区域。本发明专利技术通过建立渲染倍数的自适应关系，根据信息动态性强的渲染区域的动态信息量得到信息动态性强的渲染区域的自适应渲染倍数，使得信息动态性强的渲染区域中渲染流畅性得以适配信息动态性，云视频的渲染效果达到最佳。佳。佳。

【技术实现步骤摘要】
云视频帧自适应协作渲染方法、装置及计算机设备


[0001]本专利技术涉及视频处理
，具体涉及一种云视频帧自适应协作渲染方法
、
装置及计算机设备
。

技术介绍

[0002]流媒体已经遍布人们工作生活的方方面面，例如电视
、
手机
、
笔记本等各种终端中都要使用流媒体进行视频及云视频播放
。
相应的，人们对视频播放质量的要求，包括清晰度
、
流畅性
、
实时性等方面要求也越来越高
。
很多流媒体场景比如云游戏的云渲染
(Rendering)
，是在云端完成渲染，然后将渲染得到的视频图像编码串流传输至端侧，由端侧对接收到的码流进行解码
。
这样，端侧可以获取到高质量的渲染内容实现视频播放
。
[0003]在现有技术进行视频帧渲染时，通常对渲染服务器进行统一的渲染设定，导致渲染忽略了视频帧的信息动态性，使得渲染流畅性无法适配信息动态性，云视频的渲染效果无法达到最佳，影响云游戏体验
。

技术实现思路

[0004]本专利技术的目的在于提供一种云视频帧自适应协作渲染方法
、
装置及计算机设备，以解决现有技术中渲染忽略了视频帧的信息动态性，使得渲染流畅性无法适配信息动态性，云视频的渲染效果无法达到最佳的技术问题
。
[0005]为解决上述技术问题，本专利技术具体提供下述技术方案：在本专利技术的第一个方面，本专利技术提供了一种云视频帧自适应协作渲染方法，包括以下步骤：获取云视频，所述云视频中包含有多个云视频帧，所述云视频帧包含目标区域和非目标区域；对目标区域和非目标区域，通过渲染服务器匹配，得到第一渲染服务器和第二渲染服务器，其中，第一渲染服务器对应于目标区域的画面渲染，第二渲染服务器对应于非目标区域的画面渲染；根据所述目标区域，通过信息量检测，得到目标区域的动态信息量；根据所述动态信息量，通过渲染倍数的自适应关系，得到目标区域的自适应渲染倍数，所述渲染倍数的自适应关系为表征动态信息量于渲染倍数映射关系的神经网络；第一渲染服务器依据所述目标区域的自适应渲染倍数，对所述目标区域进行画面渲染得到第一渲染区域；第二渲染服务器依据固定渲染倍数，对所述非目标区域进行画面渲染得到第二渲染区域；将第一渲染区域和第二渲染区域进行融合重构得到渲染云视频帧，将渲染云视频帧对应替换云视频中的云视频帧，得到渲染云视频
。
[0006]作为本专利技术的一种优选方案，所述云视频帧的目标区域和云视频帧的非目标区域
的确定，包括：利用
YOLO V5
网络对云视频帧进行目标检测，得到云视频帧的目标区域和云视频帧的非目标区域；所述
YOLO V5
网络经由大数据量的云视频帧进行训练
。
[0007]作为本专利技术的一种优选方案，所述目标区域的动态信息量的确定，包括：在云视频中，根据云视频帧的序列位置顺序，将位于目标区域所属的云视频帧的前置相邻序列位置处的云视频帧，标定为目标区域的前置云视频帧，以及将位于目标区域所属的云视频帧的后置相邻序列位置处的云视频帧，标定为目标区域的后置云视频帧；提取出所述前置云视频帧中的目标区域作为目标区域的前置目标区域，以及提取出所述后置云视频帧中的目标区域作为目标区域的后置目标区域；将目标区域
、
前置目标区域和后置目标区域进行离散性分析，得到目标区域的动态信息量
。
[0008]作为本专利技术的一种优选方案，所述离散性分析采用标准差方式进行量化；所述离散性分析的表达式为：；式中，
K
M
为目标区域的动态信息量，
G
i
为
i
的图像矩阵，
i
为
L
，
M
，
R
的标识符，
L
，
M
，
R
分别为前置目标区域，目标区域，后置目标区域，为与的矩阵距离
。
[0009]作为本专利技术的一种优选方案，所述渲染倍数的自适应关系的构建，包括：随机选取一组目标区域作为学习区域，获取目标区域的动态信息量作为学习区域的动态信息量，获取目标区域的前置目标区域和后置目标区域分别作为学习区域的前置学习区域和后置学习区域；在每个学习区域中，利用梯度下降法设定多个渲染倍数；在每个学习区域中，逐一利用每个渲染倍数对学习区域进行画面渲染，得到每个渲染倍数下的渲染学习区域；在每个学习区域中，逐一将每个渲染倍数下的渲染学习区域与学习区域的前置学习区域和后置学习区域，依据云视频帧的序列位置顺序，构成局部云视频；在每个学习区域中，逐一检测每个渲染倍数下的局部云视频的播放流畅度；在每个学习区域中，利用
BP
神经网络对渲染倍数与所述播放流畅度进行学习训练，得到第一渲染倍数测算网络；所述第一渲染倍数测算网络的函数表达式为：
H=BP(T)
；式中，
H
为播放流畅度，
T
为渲染倍数，
BP
为神经网络；在每个学习区域中，利用第一渲染倍数测算网络对学习区域所有可选的渲染倍数进行播放流畅度测算，并将最大播放流畅度对应的渲染倍数作为学习区域的自适应渲染倍数；在多个学习区域中，利用
BP
神经网络对学习区域的动态信息量与学习区域的自适应渲染倍数进行学习训练，得到所述渲染倍数的自适应关系，以实现利用动态信息量测算出自适应渲染倍数；
所述渲染倍数的自适应关系的函数表达式为：
T
M
=BP(K
M
)
；式中，
T
M
为自适应渲染倍数，
K
M
为动态信息量，
BP
为
BP
神经网络
。
[0010]作为本专利技术的一种优选方案，所述目标区域的自适应渲染倍数的确定，包括：将任一目标区域输入至所述渲染倍数的自适应关系，得到任一目标区域的自适应渲染倍数
。
[0011]作为本专利技术的一种优选方案，所述播放流畅度利用局部云视频的码率
、
局部云视频的帧率中的至少一种进行度量
。
[0012]作为本专利技术的一种优选方案，所述固定渲染倍数的设定，包括：随机选取一组非目标区域作为第二学习区域，获取非目标区域的前置非目标区域和后置非目标区域分别作为第二学习区域的第二前置学习区域和第二后置学习区域；在每个第二学习区域中，利用梯度下降法设定多个渲染倍数；在每个第二学习区域中，逐一利用每个渲染倍数对第二学习区域进行画面渲染，得到每个渲染倍数下的第二渲染学习区域；在每个第二学习区域中，逐一将每个渲染倍数下的第二渲染学习区域与第二前置学习区域和第二后置学习区域，依据云视频帧的序列位置顺序，构成第二局部云视频；在每个第二学习区域中，逐一检测每个渲染倍数下的第二局部云本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种云视频帧自适应协作渲染方法，其特征在于，包括以下步骤：获取云视频，所述云视频中包含有多个云视频帧，所述云视频帧包含目标区域和非目标区域；对目标区域和非目标区域，通过渲染服务器匹配，得到第一渲染服务器和第二渲染服务器，其中，第一渲染服务器对应于目标区域的画面渲染，第二渲染服务器对应于非目标区域的画面渲染；根据所述目标区域，通过信息量检测，得到目标区域的动态信息量；根据所述动态信息量，通过渲染倍数的自适应关系，得到目标区域的自适应渲染倍数，所述渲染倍数的自适应关系为表征动态信息量于渲染倍数映射关系的神经网络；第一渲染服务器依据所述目标区域的自适应渲染倍数，对所述目标区域进行画面渲染得到第一渲染区域；第二渲染服务器依据固定渲染倍数，对所述非目标区域进行画面渲染得到第二渲染区域；将第一渲染区域和第二渲染区域进行融合重构得到渲染云视频帧，将渲染云视频帧对应替换云视频中的云视频帧，得到渲染云视频
。2.
根据权利要求1所述的一种云视频帧自适应协作渲染方法，其特征在于：所述云视频帧的目标区域和云视频帧的非目标区域的确定，包括：利用
YOLO V5
网络对云视频帧进行目标检测，得到云视频帧的目标区域和云视频帧的非目标区域；所述
YOLO V5
网络经由大数据量的云视频帧进行训练
。3.
根据权利要求1所述的一种云视频帧自适应协作渲染方法，其特征在于：所述目标区域的动态信息量的确定，包括：在云视频中，根据云视频帧的序列位置顺序，将位于目标区域所属的云视频帧的前置相邻序列位置处的云视频帧，标定为目标区域的前置云视频帧，以及将位于目标区域所属的云视频帧的后置相邻序列位置处的云视频帧，标定为目标区域的后置云视频帧；提取出所述前置云视频帧中的目标区域作为目标区域的前置目标区域，以及提取出所述后置云视频帧中的目标区域作为目标区域的后置目标区域；将目标区域
、
前置目标区域和后置目标区域进行离散性分析，得到目标区域的动态信息量
。4.
根据权利要求3所述的一种云视频帧自适应协作渲染方法，其特征在于：所述离散性分析采用标准差方式进行量化；所述离散性分析的表达式为：；式中，
K
M
为目标区域的动态信息量，
G
i
为
i
的图像矩阵，
i
为
L
，
M
，
R
的标识符，
L
，
M
，
R
分别为前置目标区域，目标区域，后置目标区域，为与的矩阵距离
。5.
根据权利要求4所述的一种云视频帧自适应协作渲染方法，其特征在于：所述渲染倍数的自适应关系的构建，包括：
随机选取一组目标区域作为学习区域，获取目标区域的动态信息量作为学习区域的动态信息量，获取目标区域的前置目标区域和后置目标区域分别作为学习区域的前置学习区域和后置学习区域；在每个学习区域中，利用梯度下降法设定多个渲染倍数；在每个学习区域中，逐一利用每个渲染倍数对学习区域进行画面渲染，得到每个渲染倍数下的渲染学习区域；在每个学习区域中，逐一将每个渲染倍数下的渲染学习区域与学习区域的前置学习区域和后置学习区域，依据云视频帧的序列位置顺序，构成局部云视频；在每个学习区域中，逐一检测每个渲染倍数下的局部云视频的播放流畅度；在每个学习区域中，利用
BP
神经网络对渲染倍数与所述播放流畅度进行学习训练，得到第一渲染倍数测算网络；所述第一渲染倍数测算网络的函数表达式为：
H=BP(T)
；式中，
H
为播放流畅度，
T
为渲染倍数，
BP
为神经网络；在每个学习区域中，利用第一渲染倍数测算网络对学习区域所有可选的渲染倍数进行播放流畅度测算，并将最大播放流畅度对应的渲染倍数作为学习区域的自适应渲染倍数；在多个学习区域中，利用
BP
神经网络对学习区域的动态信息量与学习区域的自适应...

【专利技术属性】
技术研发人员：许亦，王曜，刘琦，贺国超，请求不公布姓名，请求不公布姓名，请求不公布姓名，
申请(专利权)人：深圳云天畅想信息科技有限公司，
类型：发明
国别省市：