流媒体视频补帧方法技术

本发明专利技术公开了一种流媒体视频补帧方法

【技术实现步骤摘要】
流媒体视频补帧方法、装置及计算机设备


[0001]本专利技术涉及视频帧处理
，具体涉及一种流媒体视频补帧方法
、
装置及计算机设备
。

技术介绍

[0002]流媒体已经遍布人们工作生活的方方面面，例如电视
、
手机
、
笔记本等各种终端中都要使用流媒体进行视频及云视频播放
。
相应的，人们对视频播放质量的要求，包括清晰度
、
流畅性
、
实时性等方面要求也越来越高
。
很多流媒体场景比如云游戏的云渲染
(Rendering)
，是在云端完成渲染，然后将渲染得到的视频图像编码串流传输至端侧，由端侧对接收到的码流进行解码
。
这样，端侧可以获取到高质量的渲染内容实现视频播放
。
[0003]现有技术中在保持视频帧渲染效果的视频帧超分辨预处理时，重点放在视频帧的分辨率提升上，而造成对流媒体视频整体连贯性的忽视，使得最终渲染得到的流媒体视频出现卡顿
、
黑屏等不良现象，影响最终渲染效果
。

技术实现思路

[0004]本专利技术的目的在于提供一种流媒体视频补帧方法
、
装置及计算机设备，以解决现有技术中造成对流媒体视频整体连贯性的忽视，使得最终渲染得到的流媒体视频出现卡顿
、
黑屏等不良现象，影响最终渲染效果的技术问题
。
[0005]为解决上述技术问题，本专利技术具体提供下述技术方案：在本专利技术的第一个方面，一种流媒体视频补帧方法，包括以下步骤：获取超分辨率流媒体视频，所述超分辨率流媒体视频中包含有多个第一超分辨率视频帧；对第一超分辨率视频帧，通过坏帧检测，得到第一损坏帧，所述第一损坏帧对应于第一超分辨率视频帧中的损坏帧；根据第一超分辨率视频帧在超分辨率流媒体视频中的序列顺序，筛选位于第一损坏帧两侧的第一超分辨视频帧，得到第二超分辨率视频帧；根据第二超分辨率视频帧，通过补偿模型，得到第一损坏帧的补偿帧，所述补偿模型为神经网络，或所述补偿模型为第一损坏帧的补偿帧与位于第一损坏帧两侧的第一超分辨率视频帧之间的关联映射关系；将第一损坏帧的补偿帧替换至超分辨率流媒体视频中
。
[0006]作为本专利技术的一种优选方案，所述对第一超分辨率视频帧，通过坏帧检测，得到第一损坏帧，包括：依次将各个第一超分辨率视频帧输入至视频帧分类模型，由所述视频帧分类模型输出对第一超分辨率视频帧的分类标签，所述分类标签包括损坏帧和非损坏帧；将具有损坏帧标签的第一超分辨率视频帧作为所述第一损坏帧；将具有非损坏帧标签的第一超分辨率视频帧作为所述第一非损坏帧；
所述视频帧分类模型由神经网络对第一超分辨率视频帧进行大数据训练得到
。
[0007]作为本专利技术的一种优选方案，所述第二超分辨率视频帧的筛选，包括：提取出所述序列顺序中位于第一损坏帧前侧的所有第一非损坏帧；将所述前侧的所有第一非损坏帧中与第一损坏帧具有相邻序列关系的第一非损坏帧，标记为第一筛选定位帧；提取出所述序列顺序中位于第一损坏帧后侧的所有第一非损坏帧；将所述前侧的所有第一非损坏帧中与第一损坏帧具有相邻序列关系的第一非损坏帧，标记为第二筛选定位帧；将第一筛选定位帧和第二筛选定位帧进行图像相似度比较，其中，当第一筛选定位帧与第二筛选定位帧的图像相似度大于或等于预设阈值，则将第一筛选定位帧标记为位于第一损坏帧前侧的第二超分辨率视频帧，以及将第二筛选定位帧标记为位于第一损坏帧后侧的第二超分辨率视频帧；当第一筛选定位帧与第二筛选定位帧的图像相似度小于预设阈值，则将所述前侧的所有第一非损坏帧标记为位于第一损坏帧前侧的第二超分辨率视频帧，以及将后侧的所有第一非损坏帧标记为位于第一损坏帧后侧的第二超分辨率视频帧
。
[0008]作为本专利技术的一种优选方案，利用所述关联映射关系构建补偿模型，包括：将位于第一损坏帧前侧的第二超分辨率视频帧利用
SSD
检测，得到位于第一损坏帧前侧的第二超分辨率视频帧的多尺度特征图；位于第一损坏帧后侧的第二超分辨率视频帧利用
SSD
检测，得到位于第一损坏帧后侧的第二超分辨率视频帧的多尺度特征图；将位于第一损坏帧前侧的第二超分辨率视频帧的多尺度特征图与位于第一损坏帧后侧的第二超分辨率视频帧的多尺度特征图，进行对应尺特征融合，得到第一损坏帧的补偿帧；其中，对应尺寸特征的融合规则为取大值
、
取小值或加权平均中的至少一种
。
[0009]作为本专利技术的一种优选方案，利用神经网络构建补偿模型，包括：将位于第一损坏帧前侧的第二超分辨率视频帧依所述序列顺序进行预测性训练，得到位于第一损坏帧前侧的补偿帧预测网络；将位于第一损坏帧后侧的第二超分辨率视频帧依所述序列顺序的反向 顺序进行预测性训练，得到位于第一损坏帧后侧的补偿帧预测网络；将位于第一损坏帧前侧的补偿帧预测网络的输出项，利用
SSD
检测，得到位于第一损坏帧前侧的第二超分辨率视频帧的多尺度特征图；将位于第一损坏帧后侧的补偿帧预测网络的输出项，利用
SSD
检测，得到位于第一损坏帧前侧的第二超分辨率视频帧的多尺度特征图；将位于第一损坏帧前侧的第二超分辨率视频帧的多尺度特征图与位于第一损坏帧后侧的第二超分辨率视频帧的多尺度特征图，进行对应尺特征融合，得到第一损坏帧的补偿帧；其中，对应尺寸特征的融合规则为取大值
、
取小值或加权平均中的至少一种；所述位于第一损坏帧前侧的补偿帧预测网络的网络表达式为：
G
k
=LSTM(G1,G2,
…
,G
k
‑1)
；式中，
G
k
为第一损坏帧，
G1,G2,
…
,G
k
‑1分别为位于第一损坏帧前侧的第1到第
k
‑1个第
二超分辨率视频帧；
G
k
=LSTM(G
n
,G
n
‑1,
…
,G
k+1
)
；式中，
G
k
为第一损坏帧，
G
k+1
,
…
,G
n
‑1,G
n
分别为位于第一损坏帧后侧的第
k+1
到第
n
个第二超分辨率视频帧
。
作为本专利技术的一种优选方案，所述根据第二超分辨率视频帧，通过补偿模型，得到第一损坏帧的补偿帧，包括：当位于第一损坏帧前侧的第二超分辨率视频帧，位于第一损坏帧后侧的第二超分辨率视频帧，分别为第一筛选定位帧，第二筛选定位帧，则将第一筛选定位帧，第二筛选定位帧，利用对应关联映射关系的补偿模型，得到第一损坏帧的补偿帧；当位于第一损坏帧前侧的第二超分辨率视频帧，位于第一损坏帧后侧的第二超分辨率视频帧，分别为所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种流媒体视频补帧方法，其特征在于，包括以下步骤：获取超分辨率流媒体视频，所述超分辨率流媒体视频中包含有多个第一超分辨率视频帧；对第一超分辨率视频帧，通过坏帧检测，得到第一损坏帧，所述第一损坏帧对应于第一超分辨率视频帧中的损坏帧；根据第一超分辨率视频帧在超分辨率流媒体视频中的序列顺序，筛选位于第一损坏帧两侧的第一超分辨视频帧，得到第二超分辨率视频帧；根据第二超分辨率视频帧，通过补偿模型，得到第一损坏帧的补偿帧，所述补偿模型为神经网络，或所述补偿模型为第一损坏帧的补偿帧与位于第一损坏帧两侧的第一超分辨率视频帧之间的关联映射关系；将第一损坏帧的补偿帧替换至超分辨率流媒体视频中
。2.
根据权利要求1所述的一种流媒体视频补帧方法，其特征在于：所述对第一超分辨率视频帧，通过坏帧检测，得到第一损坏帧，包括：依次将各个第一超分辨率视频帧输入至视频帧分类模型，由所述视频帧分类模型输出对第一超分辨率视频帧的分类标签，所述分类标签包括损坏帧和非损坏帧；将具有损坏帧标签的第一超分辨率视频帧作为所述第一损坏帧；将具有非损坏帧标签的第一超分辨率视频帧作为所述第一非损坏帧；所述视频帧分类模型由神经网络对第一超分辨率视频帧进行大数据训练得到
。3.
根据权利要求2所述的一种流媒体视频补帧方法，其特征在于：所述第二超分辨率视频帧的筛选，包括：提取出所述序列顺序中位于第一损坏帧前侧的所有第一非损坏帧；将所述前侧的所有第一非损坏帧中与第一损坏帧具有相邻序列关系的第一非损坏帧，标记为第一筛选定位帧；提取出所述序列顺序中位于第一损坏帧后侧的所有第一非损坏帧；将所述前侧的所有第一非损坏帧中与第一损坏帧具有相邻序列关系的第一非损坏帧，标记为第二筛选定位帧；将第一筛选定位帧和第二筛选定位帧进行图像相似度比较，其中，当第一筛选定位帧与第二筛选定位帧的图像相似度大于或等于预设阈值，则将第一筛选定位帧标记为位于第一损坏帧前侧的第二超分辨率视频帧，以及将第二筛选定位帧标记为位于第一损坏帧后侧的第二超分辨率视频帧；当第一筛选定位帧与第二筛选定位帧的图像相似度小于预设阈值，则将所述前侧的所有第一非损坏帧标记为位于第一损坏帧前侧的第二超分辨率视频帧，以及将后侧的所有第一非损坏帧标记为位于第一损坏帧后侧的第二超分辨率视频帧
。4.
根据权利要求3所述的一种流媒体视频补帧方法，其特征在于：利用所述关联映射关系构建补偿模型，包括：将位于第一损坏帧前侧的第二超分辨率视频帧利用
SSD
检测，得到位于第一损坏帧前侧的第二超分辨率视频帧的多尺度特征图；位于第一损坏帧后侧的第二超分辨率视频帧利用
SSD
检测，得到位于第一损坏帧后侧的第二超分辨率视频帧的多尺度特征图；
将位于第一损坏帧前侧的第二超分辨率视频帧的多尺度特征图与位于第一损坏帧后侧的第二超分辨率视频帧的多尺度特征图，进行对应尺特征融合，得到第一损坏帧的补偿帧；其中，对应尺寸特征的融合规则为取大值
、
取小值或加权平均中的至少一种
。5.
根据权利要求4所述的一种流媒体视频补帧方法，其特征在于：利用神经网络构建补偿模型，包括：将位于第一损坏帧前侧的第二超分辨率视频帧依所述序列顺序进行预测性训练，得到位于第一损坏帧前侧的补偿帧预测网络；将位于第一损坏帧后侧的第二超分辨率视频帧依所述序列顺序的反向 顺序进行预测性训练，得到位于第一损坏帧后侧的补偿帧预测网络；将位于第一损坏帧前侧的补偿帧预测网络的输出项，利用
SSD
检测，得到位于第一损坏帧前侧的第二超分辨率视频帧的多尺度特征图；将位于第一损坏帧后侧的补偿帧预测网络的输出项，利用
SSD
检测，得到位于第一损坏帧前侧的第二超分辨率视频帧的多尺度特征图；将位于第一损坏帧前侧的第二超分辨率视频帧的多尺度特征图与位于第一损...

【专利技术属性】
技术研发人员：王曜，刘琦，许亦，贺国超，请求不公布姓名，请求不公布姓名，请求不公布姓名，
申请(专利权)人：深圳云天畅想信息科技有限公司，
类型：发明
国别省市：