流媒体时空视频渲染方法、装置及计算机设备制造方法及图纸

本发明专利技术公开了一种流媒体时空视频渲染方法、装置及计算机设备，包括以下步骤：根据视频帧时序序列，通过时序关联关系，得到位于视频帧的前置时序处的前置时序插帧序列和后置时序处的后置时序插帧序列；对前置时序插帧序列和后置时序插帧序列，通过空间关联关系，得到前置时空插帧序列和后置时空插帧序列；将所述前置时空插帧序列和后置时空插帧序列，分别对应插入视频帧的前置时序处和后置时序处，得到第二视频帧时序序列。本发明专利技术通过建立时序关联关系，以及空间关联关系，在时域超分辨率处理中融合空间域超分辨率处理利用空间域超分辨率处理或时域超分辨率处理之间的相关性，使得超分辨率性能达到最佳提升。超分辨率性能达到最佳提升。超分辨率性能达到最佳提升。

【技术实现步骤摘要】
流媒体时空视频渲染方法、装置及计算机设备


[0001]本专利技术涉及视频处理
，具体涉及一种流媒体时空视频渲染方法、装置及计算机设备。

技术介绍

[0002]图像超分辨率重构(superresolution,SR)是指利用计算机将一幅低分辨率图像(lowresolution,LR)或图像序列进行处理，恢复出高分辨率图像(highresolution，HR)的一种图像处理技术。HR意味着图像具有高像素密度，可以提供更多的细节，这些细节往往在应用中起到关键作用。
[0003]现有技术在视频超分辨重建时，通常分为空间域超分辨率和时域超分辨率两种类型，空间域超分辨率用于提升视频帧的清晰度，时域超分辨率则用于提升视频的帧率。在实际应用中，视频的清晰度和帧率都严重影响着用户对视频的感观体验，而视频时空超分辨率技术可以从清晰度和帧率两方面提升视频的视觉质量，因而具有更高的应用价值和研究价值。
[0004]在现有的视频时空超分辨率方法中，通常单独的使用空间域超分辨率处理或时域超分辨率处理进行视频分辨的提高，单独使用一种处理方法，会切断空间本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种流媒体时空视频渲染方法，其特征在于：包括以下步骤：获取流媒体视频，所述流媒体视频中包含有多个视频帧，流媒体视频为视频帧在连续时间上构成的视频帧时序序列；对视频帧，通过图像特征提取，得到视频帧的第一目标特征，所述第一目标特征对应于视频帧中目标对象形成的图像特征，所述目标对象为流媒体视频的拍摄对象；根据视频帧时序序列，通过时序关联关系，得到位于视频帧的前置时序处的前置时序插帧序列和后置时序处的后置时序插帧序列，所述时序关联关系为表征视频帧在时间域关联关系的神经网络；对前置时序插帧序列和后置时序插帧序列，通过空间关联关系，得到前置时空插帧序列和后置时空插帧序列，所述空间关联关系为表征视频帧与插帧序列在空间域关联关系的神经网络；将所述前置时空插帧序列和后置时空插帧序列，分别对应插入视频帧的前置时序处和后置时序处，得到第二视频帧时序序列，所述第二视频帧时序序列对应于时空超分辨率处理的视频帧时序序列；将第二视频帧时序序列中所有的视频帧进行渲染处理，得到所述流媒体视频时空超分辨率渲染结果。2.根据权利要求1所述的一种流媒体时空视频渲染方法，其特征在于：所述视频帧的第一焦点特征，包括：利用区域生长法对视频帧进行分割，得到目标对象所在的图像区域和非目标对象所在的图像区域；将目标对象所在的图像区域，通过CNN神经网络进行图像特征提取，得到所述视频帧的第一焦点特征。3.根据权利要求2所述的一种流媒体时空视频渲染方法，其特征在于：所述时序关联关系的构建，包括：将视频帧时序序列，通过LSTM神经网络依据正向时序顺序进行预测性学习，得到位于视频帧后置时序处的视频帧预测模型；所述位于视频帧后置时序处的视频帧预测模型的模型表达式为：(Gp
i+1
,Gp
i+2
,
…
,Gp
i+k
)=LSTM(G1,G2,
…
,G
i
)；式中，Gp
i+1
,Gp
i+2
,
…
,Gp
i+k
分别为第i个视频帧后置时序处的第1,2,
…
,k个预测视频帧，G1,G2,
…
,G
i
分别为视频帧时序序列中第1,2,
…
,i个视频帧，LSTM为LSTM神经网络，i，k为计数变量；将视频帧时序序列，通过LSTM神经网络依据逆向时序顺序进行预测性学习，得到位于视频帧前置时序处的视频帧预测模型；所述位于视频帧前置时序处的视频帧预测模型的模型表达式为：(Gp
i
‑1,Gp
i
‑2,
…
,Gp
i
‑
k
)=LSTM(G
n
,G
n
‑1,
…
,G
i
)；式中，Gp
i
‑1,Gp
i
‑2,
…
,Gp
i
‑
k
分别为第i个视频帧前置时序处的第1,2,
…
,k个预测视频帧，G
n
‑1,G
n
‑2,
…
,G
i
分别为视频帧时序序列中第n,n
‑
1,
…
,i个视频帧，LSTM为LSTM神经网络，n为视频帧时序序列中视频帧的总数量，i，k为计数变量。4.根据权利要求3所述的一种流媒体时空视频渲染方法，其特征在于：所述前置时序插帧序列的获得，包括：
将视频帧时序序列中任一视频帧的前置时序处的所有视频帧，输入至位于视频帧前置时序处的视频帧预测模型中，由位于视频帧前置时序处的视频帧预测模型输出任一视频帧前置时序处的第1,2,
…
,k个预测视频帧；将任一视频帧前置时序处的第1,2,
…
,k个预测视频帧依时序排列，得到任一视频帧的前置时序插帧序列。5.根据权利要求4所述的一种流媒体时空视频渲染方法，其特征在于：所述后置时序插帧序列的获得，包括：将视频帧时序序列中任...

【专利技术属性】
技术研发人员：王曜，刘琦，许亦，贺国超，请求不公布姓名，请求不公布姓名，请求不公布姓名，
申请(专利权)人：深圳云天畅想信息科技有限公司，
类型：发明
国别省市：