用于视频超分辨率的多阶段多参考自举制造技术

一种实施例方法，包括对使用视频中的当前帧和所述当前帧的参考帧(或数字世界参考图像)构建的第一张量进行第一卷积滤波，以生成分辨率高于所述当前帧的图像的分辨率的所述当前帧的第一估计图像。所述方法还包括对使用所述第一估计图像和所述参考帧的估计参考图像构建的第二张量进行第二卷积滤波，以生成分辨率高于所述当前帧的所述图像的分辨率的所述当前帧的第二估计图像。所述参考帧的所述估计参考图像是所述参考图像的重建高分辨率图像。像。像。

【技术实现步骤摘要】
【国外来华专利技术】用于视频超分辨率的多阶段多参考自举
[0001]相关申请案交叉引用
[0002]本申请要求于2019年6月14日提交的第62/861,884号、专利技术名称为“用于视频超分辨率的多阶段多参考自举(Multi
‑
Stage Multi
‑
Reference Bootstrapping for Video Super
‑
Resolution)”的美国临时申请，以及2019年5月3日提交的第62/843,135号、专利技术名称为“用于视频超分辨率的多阶段多参考自举(Multi
‑
Stage Multi
‑
Reference Bootstrapping for Video Super
‑
Resolution)”的美国临时申请的优先权。上述美国临时申请通过引用并入本文，如全文再现一样。


[0003]本专利技术大体上涉及一种视频信号处理，在特定实施例中，涉及用于视频超分辨率的多阶段多参考自举的技术和机制。

技术介绍

[0004]多年来，通过非光学手段，使用视觉数据的原始低分辨率版本提高视觉数据的空间分辨率一直是图像增强的目标之一。视频超分辨率(video super
‑
resolution，VSR)是一种用于生成视觉数据的高分辨率图像的技术，随着视频数据的使用显著增加，该技术变得愈发重要。据估计，在2016年，视频数据约占所有互联网流量的73％，预计未来将继续增加。例如，据预测，在2021年，视频数据可能约占互联网流量的82％，几年内，带宽达到惊人的187百亿亿字节(1870亿千兆字节)。需求可能来自各种类型的互联网视频，例如点播内容、网络摄像头观看、互联网上提供的传统电视选项，以及通过社交媒体提供的实时视频、体育比赛直播、视频监控和内容提供商的实时过顶捆绑包。VSR不仅可以确保减少所有这些应用的带宽，而且还可以减少时延。

技术实现思路

[0005]本专利技术的实施例通常实现了技术优势，这些实施例描述了用于视频超分辨率的多阶段多参考自举。
[0006]根据本专利技术的一个方面，提供了一种计算机实现的方法，所述方法包括：获取视频中的当前帧和所述当前帧的多个参考帧；对使用所述当前帧和所述多个参考帧构建的第一张量进行第一卷积滤波，以生成所述当前帧的第一估计图像，所述第一估计图像的分辨率高于所述当前帧的图像的分辨率；获取所述多个参考帧的估计参考图像，所述估计参考图像的分辨率高于所述多个参考帧的图像的分辨率；对使用所述当前帧的所述第一估计图像和所述多个参考帧的所述估计参考图像构建的第二张量进行第二卷积滤波，以生成所述当前帧的第二估计图像。
[0007]上述方法能够增强当前帧的图像质量，并通过使用多个参考视频帧生成时间一致的结果。该方法还可以通过迭代执行获取和执行卷积滤波的步骤来逐步提高当前帧的图像分辨率。
[0008]可选地，在上述任一方面中，所述当前帧的所述多个参考帧包括所述当前帧的先前帧。
[0009]可选地，在上述任一方面中，所述当前帧的所述多个参考帧包括所述当前帧之前的帧和所述当前帧之后的帧。
[0010]可选地，在上述任一方面中，所述方法还包括：在进行所述第一卷积滤波之前，确定所述多个参考帧中的一个参考帧中的扩展区域，所述扩展区域对应于所述当前帧中的一个区域，并且所述参考帧中的所述扩展区域包括所述当前帧中所述区域的放大场景；根据所述参考帧的每个像素是否属于所述扩展区域，为所述参考帧的每个像素分配效用分数，从而生成所述参考帧的效用掩码，所述效用掩码包括所述参考帧的像素的效用分数集合；使用所述当前帧、所述多个参考帧和所述参考帧的所述效用掩码构建所述第一张量。
[0011]可选地，在上述任一方面中，所述方法还包括：使用所述当前帧和所述多个参考帧生成场景流，所述场景流包括根据所述当前帧的所述图像进行运动补偿的所述多个参考帧的图像；为所述多个参考帧中的每个参考帧生成流图；其中，确定所述参考帧中的所述扩展区域是基于所述场景流和所述流图。
[0012]可选地，在上述任一方面中，生成所述场景流包括使用所述当前帧、所述多个参考帧和所述当前帧的数字世界参考图像生成所述场景流。
[0013]可选地，在上述任一方面中，所述数字世界参考图像是从数字世界图像数据库获取的。
[0014]可选地，在上述任一方面中，所述方法还包括：获取所述当前帧的视觉定位系统(visual positioning system，VPS)信息；根据所述VPS信息在所述数字世界图像数据库中查找所述数字世界参考图像。
[0015]可选地，在上述任一方面中，所述方法还包括：调整所述数字世界参考图像的大小，使得所述数字世界参考图像具有与所述当前帧的所述图像的大小相同的大小。
[0016]可选地，在上述任一方面中，所述方法还包括：为所述多个参考帧中的每个参考帧生成效用掩码；使用所述当前帧、所述多个参考帧和所述多个参考帧的效用掩码构建所述第一张量。
[0017]可选地，在上述任一方面中，构建所述第一张量包括：根据所述当前帧和所述多个参考帧的序列，对所述当前帧和所述多个参考帧进行排序；根据所述序列对所述多个参考帧的所述效用掩码进行排序。
[0018]可选地，在上述任一方面中，构建所述第一张量包括：将所述多个参考帧中的每个参考帧的像素值和相应参考帧的效用掩码相乘。
[0019]可选地，在上述任一方面中，所述第一估计图像或所述第二估计图像的大小大于所述当前帧的所述图像的大小。
[0020]可选地，在上述任一方面中，所述方法还包括：在进行所述第二卷积滤波之前，确定所述多个参考帧中的估计参考图像中的扩展区域，所述扩展区域对应于所述第一估计图像中的一个区域，并且所述估计参考图像中的所述扩展区域包括所述第一估计图像中所述区域的放大场景；根据所述估计参考图像的每个像素是否属于所述扩展区域，为所述估计参考图像的每个像素分配效用分数，从而生成所述估计参考图像的效用掩码，所述估计参考图像的所述效用掩码包括所述估计参考图像的像素的效用分数集合；使用所述第一估计
图像、所述多个参考帧的所述估计参考图像和所述估计参考图像的所述效用掩码构建所述第二张量。
[0021]可选地，在上述任一方面中，所述方法还包括：使用所述第一估计图像和所述多个参考帧的所述估计参考图像生成场景流，所述场景流包括根据所述第一估计图像进行运动补偿的所述估计参考图像的图像；为所述估计参考图像中的每个估计参考图像生成流图；其中，确定所述估计参考图像中的所述扩展区域是基于所述场景流和所述流图。
[0022]可选地，在上述任一方面中，所述方法还包括：为所述估计参考图像中的每个估计参考图像生成效用掩码。
[0023]可选地，在上述任一方面中，所述方法还包括：使用所述第一估计图像、所述多个参考帧的所述估计参考图像和所述估计参考图像的效用掩码构建所述第二张量。
[0024]可选地，在上述任一方面中，所本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种计算机实现的方法，其特征在于，包括：获取视频中的当前帧和所述当前帧的多个参考帧；对使用所述当前帧和所述多个参考帧构建的第一张量进行第一卷积滤波，以生成所述当前帧的第一估计图像；获取所述多个参考帧的估计参考图像，所述估计参考图像的分辨率高于所述多个参考帧的图像的分辨率；对使用所述当前帧的所述第一估计图像和所述多个参考帧的所述估计参考图像构建的第二张量进行第二卷积滤波，以生成所述当前帧的第二估计图像。2.根据权利要求1所述的计算机实现的方法，其特征在于，所述当前帧的所述多个参考帧包括所述当前帧的先前帧。3.根据权利要求1所述的计算机实现的方法，其特征在于，所述当前帧的所述多个参考帧包括所述当前帧之前的帧和所述当前帧之后的帧。4.根据权利要求1至3中任一项所述的计算机实现的方法，其特征在于，还包括：在进行所述第一卷积滤波之前，确定所述多个参考帧中的一个参考帧中的扩展区域，所述扩展区域对应于所述当前帧中的一个区域，并且所述参考帧中的所述扩展区域包括所述当前帧中所述区域的放大场景；根据所述参考帧的每个像素是否属于所述扩展区域，为所述参考帧的每个像素分配效用分数，从而生成所述参考帧的效用掩码，所述效用掩码包括所述参考帧的像素的效用分数集合；使用所述当前帧、所述多个参考帧和所述参考帧的所述效用掩码构建所述第一张量。5.根据权利要求4所述的计算机实现的方法，其特征在于，还包括：使用所述当前帧和所述多个参考帧生成场景流，所述场景流包括根据所述当前帧的所述图像进行运动补偿的所述多个参考帧的图像；为所述多个参考帧中的每个参考帧生成流图；其中，确定所述参考帧中的所述扩展区域是基于所述场景流和所述流图。6.根据权利要求5所述的计算机实现的方法，其特征在于，生成所述场景流包括使用所述当前帧、所述多个参考帧和所述当前帧的数字世界参考图像生成所述场景流。7.根据权利要求6所述的计算机实现的方法，其特征在于，所述数字世界参考图像是从数字世界图像数据库获取的。8.根据权利要求7所述的计算机实现的方法，其特征在于，还包括：获取所述当前帧的视觉定位系统(visualpositioning system，VPS)信息；根据所述VPS信息在所述数字世界图像数据库中查找所述数字世界参考图像。9.根据权利要求6至8中任一项所述的计算机实现的方法，其特征在于，还包括：调整所述数字世界参考图像的大小，使得所述数字世界参考图像具有与所述当前帧的所述图像的大小相同的大小。10.根据权利要求4至9中任一项所述的计算机实现的方法，其特征在于，还包括：为所述多个参考帧中的每个参考帧生成效用掩码；使用所述当前帧、所述多个参考帧和所述多个参考帧的效用掩码构建所述第一张量。
11.根据权利要求10所述的计算机实现的方法，其特征在于，构建所述第一张量包括：根据所述当前帧和所述多个参考帧的序列，对所述当前帧和所述多个参考帧进行排序；根据所述序列对所述多个参考帧的所述效用掩码进行排序。12.根据权利要求10所述的计算机实现的方法，其特征在于，构建所述第一张量包括：将所述多个参考帧中的每个参考帧的像素值和相应参考帧的效用掩码相乘。13.根据权利要求1至12中任一项所述的计算机实现的方法，其特征在于，所述第一估计图像或所述第二估计图像的大小大于所述当前帧的所述图像的大小。14.根据权利要求1至13中任一项所述的计算机实现的方法，其特征在于，还包括：在进行所述第二卷积滤波之前，确定所述多个参考帧中的估计参考图像中的扩展区域，所述扩展区域对应于所述第一估计图像中的一个区域，并且所述估计参考图像中的所述扩展区域包括所述第一估计图像中所述区域的放大场景；根据所述估计参考图像的每个像素是否属于所述扩展区域，为所述估计参考图像的每个像素分配效用分数，从而生成所述估计参考图像的效用掩码，所述估计参考图像的所述效用掩码包括所述估计参考图像的像素的效用分数集合；使用所述第一估计图像、所述多个参考帧的所述估计参考图像和所述估计参考图像的所述效用掩码构建所述第二张量。15.根据权利要求14所述的计算机实现的方法，其特征在于，还包括：使用所述第一估计图像和所述多个参考帧的所述估计参考图像生成场景流，所述场景流包括根据所述第一估计图像进行运动补偿的所述估计参考图像的图像；为所述估计参考图像中的每个估计参考图像生成流图；其中，确定所述估计参考图像中的所述扩展区域是基于所述场景流和所述流图。16.根据权利要求14或15所述的计算机实现的方法，其特征在于，还包括：为所述估计参考图像中的每个估计参考图像生成效用掩码。17.根据权利要求16所述的计算机实现的方法，其特征在于，还包括：使用所述第一估计图像、所述多个参考帧的所述估计参考图像和所述估计参考图像的效用掩码构建所述第二张量。18.根据权利要求17所述的计算机实现的方法，其特征在于，还包括：对所述估计的第一图像和所述多个参考帧的所述估计参考图像进行卷积滤波，从而生成所述估计的第一图像和所述估计参考图像的特征图；其中，构建所述第二张量包括：使用所述特征图、所述估计参考图像的所述效用掩码和所述第一张量构建所述第二张量。19.一种计算机实现的方法，其特征在于，包括：获取视频中的当前帧和所述当前帧的多个参考帧；确定所述多个参考帧中的一个参考帧中的扩展区域，所述扩展区域对应于所述当前帧中的一个区域，并且所述参考帧中的所述扩展区域包括所述当前帧中所述区域的放大场景；
根据所述参考帧的每个像素是否属于所述扩展区域，为所述参考帧的每个像素分配效用分数，从而生成所述参考帧的效用掩码，所述效用掩码包括所述参考帧的像素的效用分数集合；使用所述当前帧、所述多个参考帧和所述参考帧的所述效用掩码构建第一张量；对所述第一张量进行卷积滤波，以生成所述当前帧的第一重建图像。20.根据权利要求19所述的计算机实现的方法，其特征在于，还包括：使用所述当前帧和所述多个参考帧生成场景流，所述场景流包括根据所述当前帧的所述图像进行运动补偿的所述多个参考帧的图像；为所述多个参考帧中的每个参考帧生成流图；其中，确定所述参考帧中的所述扩展区域是基于所述场景流和所述流图。21.根据权利要求20所述的计算机实现的方法，其特征在于，生成所述场景流包括使用所述当前帧、所述多个参考帧和所述当前帧的数字世界参考图像生成所述场景流。22.根据权利要求21所述的计算机实现的方法，其特征在于，所述数字世界参考图像是从数字世界图像数据库获取的。23.根据权利要求22所述的计算机实现的方法，其特征在于，还包括：获取所述当前帧的视觉定位系统(visual positioning system，VPS)信息；根据所述VPS信息在所述数字世界图像数据库中查找所述数字世界参考图像。24.根据权利要求21至23中任一项所述的计算机实现的方法，其特征在于，还包括：调整所述数字世界参考图像的大小，使得所述数字世界参考图像具有与所述当前帧的所述图像的大小相同的大小。25.根据权利要求19至24中任一项所述的计算机实现的方法，其特征在于，还包括：为所述多个参考帧中的每个参考帧生成效用掩码；使用所述当前帧、所述多个参考帧和所述多个参考帧的效用掩码构建所述第一张量。26.根据权利要求25所述的计算机实现的方法，其特征在于，构建所述第一张量包括：根据所述当前帧和所述多个参考帧的序列，对所述当前帧和所述多个参考帧进行排序；根据所述序列对所述多个参考帧的所述效用掩码进行排序。27.根据权利要求26所述的计算机实现的方法...

【专利技术属性】
技术研发人员：法提赫，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：