云视频协作渲染方法技术

本发明专利技术公开了一种云视频协作渲染方法

【技术实现步骤摘要】
云视频协作渲染方法、装置及计算机设备


[0001]本专利技术涉及视频处理
，具体涉及一种云视频协作渲染方法
、
装置及计算机设备
。

技术介绍

[0002]流媒体已经遍布人们工作生活的方方面面，例如电视
、
手机
、
笔记本等各种终端中都要使用流媒体进行视频及云视频播放
。
相应的，人们对视频播放质量的要求，包括清晰度
、
流畅性
、
实时性等方面要求也越来越高
。
很多流媒体场景比如云游戏的云渲染
(Rendering)
，是在云端完成渲染，然后将渲染得到的视频图像编码串流传输至端侧，由端侧对接收到的码流进行解码
。
这样，端侧可以获取到高质量的渲染内容实现视频播放
。
[0003]在现有技术进行视频帧渲染时，通常使用单一服务器进行渲染操作，导致效率低下，难以满足在云游戏中云视频加载服务的时效性，影响云游戏体验
。

技术实现思路

[0004]本专利技术的目的在于提供一种云视频协作渲染方法
、
装置及计算机设备，以解决现有技术中使用单一服务器进行渲染操作，导致效率低下，难以满足在云游戏中云视频加载服务的时效性，影响云游戏体验的技术问题
。
[0005]为解决上述技术问题，本专利技术具体提供下述技术方案：在本专利技术的第一个方面，本专利技术提供了一种云视频协作渲染方法，包括以下步骤：获取云视频，所述云视频中包含有多个云视频帧；对云视频帧，通过图像识别模型，得到云视频帧的目标区域和云视频帧的非目标区域；对云视频帧的目标区域，通过目标区域的渲染匹配模型，确定出所述目标区域的渲染服务器；对云视频帧的非目标区域，通过非目标区域的渲染匹配模型，确定出所述非目标区域的渲染服务器；利用目标区域的渲染服务器，对目标区域进行渲染得到第一渲染区域；利用非目标区域的渲染服务器，对非目标区域进行渲染得到第二渲染区域；将第一渲染区域和第二渲染区域进行融合重构得到第一渲染视频帧，将第一渲染视频帧对应替换云视频中的云视频帧，得到渲染云视频；其中，所述图像识别模型为神经网络，所述渲染匹配模型为聚类模型
。
[0006]作为本专利技术的一种优选方案，所述云视频帧的目标区域和云视频帧的非目标区域的确定，包括：利用
YOLO V5
网络对云视频帧进行目标检测，得到云视频帧的目标区域和云视频帧的非目标区域；所述
YOLO V5
网络经由大数据量的云视频帧进行训练
。
作为本专利技术的一种优选方
案，所述目标区域的渲染匹配模型的构建，包括：随机选择一组云视频帧的目标区域作为样本目标区域；将所述样本目标区域利用聚类算法进行聚类处理，得到多个样本区域簇；为每个样本区域簇赋予一个服务器标签，将样本区域簇的服务器标签作为样本区域簇中每个样本目标区域的服务器标签；将样本目标区域作为
sofmax
分类器的第一输入项，将样本目标区域的服务器标签作为
sofmax
分类器的第一输出项；利用
sofmax
分类器对第一输入项和第一输出项进行学习训练，得到所述目标区域的渲染匹配模型；所述目标区域的渲染匹配模型的模型表达式为：
Label_object=sofmax(g_object)
；式中，
Label_object
为目标区域的服务器标签，
g_object
为所述目标区域，
sofmax
为
sofmax
分类器；所述服务器标签对应于渲染服务器的编号
。
[0007]作为本专利技术的一种优选方案，确定出所述目标区域的渲染服务器，包括：将云视频帧的目标区域输入至目标区域的渲染匹配模型，由目标区域的渲染匹配模型输出云视频帧的目标区域的服务器标签；根据服务器标签匹配到对应编号的渲染服务器
。
[0008]作为本专利技术的一种优选方案，所述目标区域的渲染匹配模型的构建，包括：随机选择一组云视频帧的非目标区域作为第二样本目标区域；将所述第二样本目标区域利用聚类算法进行聚类处理，得到多个第二样本区域簇；为每个第二样本区域簇赋予一个服务器标签，将第二样本区域簇的服务器标签作为第二样本区域簇中每个第二样本目标区域的服务器标签；将第二样本目标区域作为
sofmax
分类器的第二输入项，将第二样本目标区域的服务器标签作为
sofmax
分类器的第二输出项；利用
sofmax
分类器对第二输入项和第二输出项进行学习训练，得到所述非目标区域的渲染匹配模型；所述非目标区域的渲染匹配模型的模型表达式为：
Label_Nobject=sofmax(g_Nobject)
；式中，
Label_Nobject
为非目标区域的服务器标签，
g_Nobject
为所述非目标区域，
sofmax
为
sofmax
分类器；所述服务器标签对应于渲染服务器的编号
。
[0009]作为本专利技术的一种优选方案，确定出所述非目标区域的渲染服务器，包括：将云视频帧的非目标区域输入至非目标区域的渲染匹配模型，由非目标区域的渲染匹配模型输出云视频帧的非目标区域的服务器标签；根据服务器标签匹配到对应编号的渲染服务器
。
[0010]作为本专利技术的一种优选方案，所述第一渲染区域的获得，包括：将目标区域与目标区域的渲染服务器中存储的已完成渲染的所有历史目标区域进行逐一比较，其中，若目标区域与历史目标区域的相似度高于或等于预设阈值，则将历史目标区域作
为目标区域的标定区域；若目标区域与历史目标区域的相似度小于预设阈值，则将历史目标区域作为目标区域的非标定区域；当目标区域存在至少一个标定区域，则将渲染服务器中存储的所述相似度最高对应的标定区域的渲染结果作为所述第一渲染区域；当目标区域不存在标定区域，则利用渲染服务器对目标区域进行渲染处理得到第一渲染区域
。
[0011]作为本专利技术的一种优选方案，所述第二渲染区域的获得，包括：将非目标区域与非目标区域的渲染服务器中存储的已完成渲染的所有历史非目标区域进行逐一比较，其中，若非目标区域与历史非目标区域的相似度高于或等于预设阈值，则将历史非目标区域作为非目标区域的标定区域；若非目标区域与历史非目标区域的相似度小于预设阈值，则将历史非目标区域作为非目标区域的非标定区域；当非目标区域存在至少一个标定区域，则将渲染服务器中存储的所述相似度最高对应的非标定区域的渲染结果作为所述第二渲染区域；当非目标区域不存在标定区域，则利用渲染服务器对非目标区域进行渲染处理得到第二渲染区域
。
[0012]在本专利技术的第二个方面，本专利技术提提供了一种云视频协作渲染装置，包括：数据获取模块，用于获取第一流媒体视频，所述第一流媒体视频中包含有多个云本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种云视频协作渲染方法，其特征在于，包括以下步骤：获取云视频，所述云视频中包含有多云视频帧；对云视频帧，通过图像识别模型，得到云视频帧的目标区域和云视频帧的非目标区域；对云视频帧的目标区域，通过目标区域的渲染匹配模型，确定出所述目标区域的渲染服务器；对云视频帧的非目标区域，通过非目标区域的渲染匹配模型，确定出所述非目标区域的渲染服务器；利用目标区域的渲染服务器，对目标区域进行渲染得到第一渲染区域；利用非目标区域的渲染服务器，对非目标区域进行渲染得到第二渲染区域；将第一渲染区域和第二渲染区域进行融合重构得到第一渲染视频帧，将第一渲染视频帧对应替换云视频中的云视频帧，得到渲染云视频；其中，所述图像识别模型为神经网络，所述渲染匹配模型为聚类模型
。2.
根据权利要求1所述的一种云视频协作渲染方法，其特征在于：所述云视频帧的目标区域和云视频帧的非目标区域的确定，包括：利用
YOLO V5
网络对云视频帧进行目标检测，得到云视频帧的目标区域和云视频帧的非目标区域；所述
YOLO V5
网络经由大数据量的云视频帧进行训练
。3.
根据权利要求2所述的一种云视频协作渲染方法，其特征在于：所述目标区域的渲染匹配模型的构建，包括：随机选择一组云视频帧的目标区域作为样本目标区域；将所述样本目标区域利用聚类算法进行聚类处理，得到多个样本区域簇；为每个样本区域簇赋予一个服务器标签，将样本区域簇的服务器标签作为样本区域簇中每个样本目标区域的服务器标签；将样本目标区域作为
sofmax
分类器的第一输入项，将样本目标区域的服务器标签作为
sofmax
分类器的第一输出项；利用
sofmax
分类器对第一输入项和第一输出项进行学习训练，得到所述目标区域的渲染匹配模型；所述目标区域的渲染匹配模型的模型表达式为：
Label_object=sofmax(g_object)
；式中，
Label_object
为目标区域的服务器标签，
g_object
为所述目标区域，
sofmax
为
sofmax
分类器；所述服务器标签对应于渲染服务器的编号
。4.
根据权利要求3所述的一种云视频协作渲染方法，其特征在于：确定出所述目标区域的渲染服务器，包括：将云视频帧的目标区域输入至目标区域的渲染匹配模型，由目标区域的渲染匹配模型输出云视频帧的目标区域的服务器标签；根据服务器标签匹配到对应编号的渲染服务器
。5.
根据权利要求4所述的一种云视频协作渲染方法，其特征在于：所述目标区域的渲染匹配模型的构建，包括：随机选择一组云视频帧的非目标区域作为第二样本目标区域；
将所述第二样本目标区域利用聚类算法进行聚类处理，得到多个第二样本区域簇；为每个第二样本区域簇赋予一个服务器标签，将第二样本区域簇的服务器标签作为第二样本区域簇中每个第二样本目标区域的服务器标签；将第二样本目标区域作为
sofmax
分类器的第二输入项，将第二样本目标区域的服务器标签作为
sofmax
分类器的第二输出项；利用
sofmax
分类器对第二输入项和第二输出项进行学习训练，得到所述非目标区域的渲染匹配模型；所述非目标区域的渲...

【专利技术属性】
技术研发人员：许亦，王曜，刘琦，贺国超，请求不公布姓名，请求不公布姓名，请求不公布姓名，
申请(专利权)人：深圳云天畅想信息科技有限公司，
类型：发明
国别省市：