视频编解码方法技术

本申请提供了一种视频编解码方法

【技术实现步骤摘要】
视频编解码方法、装置、设备及存储介质


[0001]本申请涉及云端渲染
，尤其涉及一种视频编解码方法
、
装置
、
设备及存储介质
。

技术介绍

[0002]云端渲染流程通常是：云服务器读取模型文件，并根据用户所指定的渲染视角渲染出对应的渲染图像，从而通过视频编码的方式生成对应渲染图像的压缩视频流，进而通过网络将视频流传输至用户终端；用户终端解码视频流以为用户呈现渲染的结果
。
[0003]在现有的云端渲染框架中，渲染和视频编码是独立的过程，如前述所示，渲染是根据用户所执行的视角到对应的渲染图像的转换，而视频编码则对渲染图像的编码
。
视频编解码主要利用视频图像中存在空间冗余
、
时间冗余等，利用预测
、
变换等技术去除相关冗余，达到压缩数据量的效果
。
[0004]由此可见，在云端渲染流程中，视频的编解码是用户能否看到云端渲染结果的重要环节
。
若编码后视频流的大小会直接影响网络传输的速度，进而影响用户看本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种视频编解码方法，其特征在于，应用于云端渲染系统中的云服务器，所述云端渲染系统包括所述云服务器和终端，所述云服务器和所述终端通信连接且均设置有相同的模型图像库和图像生成模型，所述方法包括：响应于根据所述终端发送的渲染请求所确定的渲染向量，确定所述模型图像库内是否存储有对应所述渲染向量的渲染图像，所述模型图像库通过索引记录所存储的采样向量以及所述采样向量对应的图像；在所述模型图像库内存储有所述渲染图像的情况下，在向所述终端输出的编码码流的图像标志位中添加第一目标标识并添加所述渲染向量对应的索引值，以供所述终端确定渲染图像的来源并从中获取渲染图像；在所述模型图像库内未存储有所述渲染图像的情况下，基于目标向量
、
所述目标向量对应的目标图像以及所述渲染向量，获取所述图像生成模型输出的生成图像，所述目标向量为所述模型图像库内与所述渲染向量之间向量距离最小且大于预设阈值的向量；对比所述生成图像和云端渲染图像，以确定所述生成图像和所述云端渲染图像的差异值，所述云端渲染图像为基于模型文件和预设的渲染算法所生成的对应所述渲染向量的图像；在所述差异值小于预设差异阈值的情况下，在向所述终端输出的编码码流的图像标志位中添加第二目标标识以及在所述编码码流中添加所述目标向量对应的索引值和所述渲染向量，以供所述终端确定渲染图像的来源，并从中获取渲染图像；在所述差异值大于或等于所述预设差异阈值的情况下，对所述云端渲染图像进行编码以传输至所述终端
。2.
根据权利要求1所述的视频编解码方法，其特征在于，所述在所述模型图像库内未存储有所述渲染图像的情况下，基于目标向量
、
所述目标向量对应的目标图像以及所述渲染向量，获取所述图像生成模型输出的生成图像，包括：依次计算所述渲染向量与所述模型图像库内各采样向量的向量距离，以确定向量距离最小的采样向量作为邻近向量；若所述邻近向量与所述渲染向量的向量距离大于所述预设阈值，则以所述邻近向量作为所述目标向量；选取所述目标向量
、
所述目标向量对应的目标图像以及所述渲染向量作为所述图像生成模型的输入参数，以获取所述图像生成模型输出的生成图像，所述图像生成模型用于对应输入参数生成预测的生成图像
。3.
根据权利要求1或2所述的视频编解码方法，其特征在于，所述方法还包括：在所述模型图像库内未存储有所述渲染图像的情况下，若所述模型图像库中存储有相似渲染图像，则在所述编码码流中添加所述第一目标标识以及所述相似渲染图像在所述模型图像库中的索引值，所述相似渲染图像对应的向量与所述渲染向量之间的向量距离小于或等于所述预设阈值
。4.
根据权利要求1所述的视频编解码方法，其特征在于，所述若所述差异值大于或等于所述预设差异阈值，则对所述云端渲染图像进行编码以传输至所述终端，包括：若在对所述云端渲染图像进行编码前存在已编码的参考帧图像，则获取所述云端渲染图像与所述参考帧图像之间的残差信息，并在所述编码码流中添加所述残差信息以及所述
参考帧图像对应的图像信息；其中，当所述参考帧图像来源于所述模型图像库时，在所述编码码流中添加的图像信息为所述参考帧图像在所述模型图像库中的索引值；当所述参考帧图像来源于所述图像生成模型，在所述编码码流中添加的图像信息为所述目标图像在所述模型图像库中的索引值以及所述渲染向量
。5.
一种视频编解码方法，其特征在于，应用于云端渲染系统中的终端，所述云端渲染系统包括云服务器和所述终端，所述云服务器和所述终端通信连接且均设置有相同的模型图像库和图像生成模型，所述方法包括：根据对应用户操作的输入设备参数，生成渲染请求，并向所述云服务器发送所述渲染请求，以供所述云服务器确定渲染向量；接收所述云服务器发送的编码码流，并对所述编码码流进行解码；根据对所...

【专利技术属性】
技术研发人员：邢培银，尚戴雨，刘丽，朱敏，
申请(专利权)人：上海久尺网络科技有限公司，
类型：发明
国别省市：