深度视频增强方法、电子设备及存储介质技术

本申请实施例公开一种深度视频增强方法、电子设备及存储介质，该方法包括：接收待增强的第一图像序列；通过视频增强网络对第一图像序列中每一帧的原始深度图像和纹理图像进行处理，得到增强后的第二图像序列；视频增强网络的处理过程包括：提取第i帧的原始深度图像的深度空间特征和纹理图像的纹理空间特征；根据第i帧的原始深度图像的深度空间特征、对应的纹理空间特征和视频增强网络所生成的第i

【技术实现步骤摘要】
帧的增强深度图像的时序特征，生成第i帧的增强深度图像和所述第i帧的增强深度图像的时序特征。
[0012]根据本申请的第二方面，公开了一种深度视频增强装置，所述装置包括：
[0013]接收模块，用于接收待增强的第一图像序列，其中，所述第一图像序列中包括：时序上连续的多帧原始深度图像和对应的纹理图像；
[0014]处理模块，用于通过视频增强网络对所述第一图像序列中每一帧的原始深度图像和纹理图像进行处理，得到增强后的第二图像序列，所述第二图像序列中包括：每一帧的原始深度图像对应的增强深度图像；其中，所述视频增强网络的处理过程包括：
[0015]提取第i帧的原始深度图像的深度空间特征和纹理图像的纹理空间特征，1≤i≤N，N为所述第一图像序列中原始深度图像的总帧数；
[0016]根据第i帧的原始深度图像的深度空间特征、对应的纹理空间特征和所述视频增强网络所生成的第i
‑
1帧的原始深度图像的时序特征，生成第i帧的原始深度图像的时空特征和时序特征，其中，所述时序特征为图像序列中各相邻的深度图像在时间层面上传递的特征，所述时空特征为深度图像在空间层面和时间层面上的深度纹理特征；
[0017]根据所述第i帧的原始深度图像的时空特征和所述视频增强网络所生成的第i
‑
1帧的增强深度图像的时序特征，生成第i帧的增强深度图像和所述第i帧的增强深度图像的时序特征。
[0018]根据本申请的第三方面，公开了一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现如第一方面中的深度视频增强方法。
[0019]根据本申请的第四方面，公开了一种计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现如第一方面中的深度视频增强方法。
[0020]根据本申请的第五方面，公开了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现如第一方面中的深度视频增强方法。
[0021]本申请实施例中，在接收到待增强的第一图像序列之后，通过视频增强网络对第一图像序列中每一帧的原始深度图像和纹理图像进行处理，对于当前正在处理的帧，提取当前帧的原始深度图像的深度空间特征和纹理图像的纹理空间特征，根据当前帧的原始深度图像的深度空间特征、对应的纹理空间特征和视频增强网络所生成的上一帧的原始深度图像的时序特征，生成当前帧的原始深度图像的时空特征和时序特征；根据当前帧的原始深度图像的时空特征和视频增强网络所生成的上一帧的增强深度图像的时序特征，生成当前帧的增强深度图像和对应的时序特征，从而得到增强后的第二图像序列。
[0022]与现有技术相比，本申请实施例中，在对深度视频进行增强时，只需提取深度视频中各帧的深度图像的深度空间特征、其对应的纹理空间特征和各帧之间的时序特征，基于提取到的特征就可以实现对深度视频的增强，由于提取以上特征所耗费的时长较短、对设备资源的占用也较少，并且提取到的特征可以从时间维度和空间维度准确、全面地涵盖深度视频的信息，因此可以在确保深度视频增强具备较佳效果的同时，降低整个深度视频增强所需的成本。
附图说明
[0023]图1是本申请实施例提供的一种深度视频增强方法的流程图；
[0024]图2是本申请实施例提供的视频增强网络的处理过程的流程图；
[0025]图3是本申请实施例提供的视频增强网络的训练过程的流程图；
[0026]图4是本申请实施例提供的初始网络的网络结构的第一个示例图；
[0027]图5是本申请实施例提供的初始网络的网络结构的第二个示例图；
[0028]图6是本申请实施例提供的初始网络的网络结构的第三个示例图；
[0029]图7是本申请实施例提供的一种深度视频增强装置的结构示意图；
[0030]图8是本申请实施例提供的一种电子设备的结构框图。
具体实施方式
[0031]为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。
[0032]需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请实施例并不受所描述的动作顺序的限制，因为依据本申请实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本申请实施例所必须的。
[0033]近年来，基于人工智能的计算机视觉、深度学习、机器学习、图像处理、图像识别等技术研究取得了重要进展。人工智能(Artificial Intelligence，AI)是研究、开发用于模拟、延伸人的智能的理论、方法、技术及应用系统的新兴科学技术。人工智能学科是一门综合性学科，涉及芯片、大数据、云计算、物联网、分布式存储、深度学习、机器学习、神经网络等诸多技术种类。计算机视觉作为人工智能的一个重要分支，具体是让机器识别世界，计算机视觉技术通常包括人脸识别、活体检测、指纹识别与防伪验证、生物特征识别、人脸检测、行人检测、目标检测、行人识别、图像处理、图像识别、图像语义理解、图像检索、文字识别、视频处理、视频内容识别、行为识别、三维重建、虚拟现实、增强现实、同步定位与地图构建(SLAM)、计算摄影、机器人导航与定位等技术。随着人工智能技术的研究和进步，该项技术在众多领域展开了应用，例如安防、城市管理、交通管理、楼宇管理、园区管理、人脸通行、人脸考勤、物流管理、仓储管理、机器人、智能营销、计算摄影、手机影像、云服务、智能家居、穿戴设备、无人驾驶、自动驾驶、智能医疗、人脸支付、人脸解锁、指纹解锁、人证核验、智慧屏、智能电视、摄像机、移动互联网、网络直播、美颜、美妆、医疗美容、智能测温等领域。
[0034]以图像处理领域中的深度视频增强为例，现有深度视频增强方法，主要采用时空域上的加权滤波方式对深度视频进行增强，然而，加权滤波方式在处理过程中会涉及到深度视频内各相邻的深度图像之间的光流计算，光流计算的时间开销和占用设备资源开销都比较大，导致整个深度视频增强的成本较高。
[0035]为了解决上述技术问题，本申请实施例提供了一种深度视频增强方法、电子设备及存储介质。
[0036]下面首先对本申请实施例提供的一种深度视频增强方法进行介绍。
[0037]图1是本申请的一个实施例的深度视频增强方法的流程图，如图1所示，该方法可
以包括以下步骤：步骤101和步骤102，其中，
[0038]在步骤101中，接收待增强的第一图像序列，其中，第一图像序列中包括：时序上连续的多帧原始深度图像和对应的纹理图像。
[0039]本申请实施例中，纹理图像为彩色图像，具体可以为RGB格式的彩色图像；原始深度图像可以为3D采集设备采集到的深度图像，也可以为基于纹理图像生成的深度图像。
[0040]在一个例子中，图像采集设备兼具3D采集功能和拍照功能，这类图像采集设备可以在输出深度本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度视频增强方法，其特征在于，所述方法包括：接收待增强的第一图像序列，其中，所述第一图像序列中包括：时序上连续的多帧原始深度图像和对应的纹理图像；通过视频增强网络对所述第一图像序列中每一帧的原始深度图像和纹理图像进行处理，得到增强后的第二图像序列，所述第二图像序列中包括：每一帧的原始深度图像对应的增强深度图像；其中，所述视频增强网络的处理过程包括：提取第i帧的原始深度图像的深度空间特征和纹理图像的纹理空间特征，1≤i≤N，N为所述第一图像序列中原始深度图像的总帧数；根据第i帧的原始深度图像的深度空间特征、对应的纹理空间特征和所述视频增强网络所生成的第i
‑
1帧的原始深度图像的时序特征，生成第i帧的原始深度图像的时空特征和时序特征，其中，所述时序特征为图像序列中各相邻的深度图像在时间层面上传递的特征，所述时空特征为深度图像在空间层面和时间层面上的深度纹理特征；根据所述第i帧的原始深度图像的时空特征和所述视频增强网络所生成的第i
‑
1帧的增强深度图像的时序特征，生成第i帧的增强深度图像和所述第i帧的增强深度图像的时序特征。2.根据权利要求1所述的方法，其特征在于，所述根据第i帧的原始深度图像的深度空间特征、对应的纹理空间特征和所述视频增强网络所生成的第i
‑
1帧的原始深度图像的时序特征，生成第i帧的原始深度图像的时空特征和时序特征，包括：对第i帧的原始深度图像的深度空间特征和对应的纹理空间特征进行连接，得到第i帧的原始深度图像在原始尺度下的深度纹理联合空间特征；对所述第i帧的原始深度图像在原始尺度下的深度纹理联合空间特征与第i
‑
1帧的原始深度图像在原始尺度下的时序特征进行融合，得到第i帧的原始深度图像在原始尺度下的时空特征和时序特征；将所述第i帧的原始深度图像在原始尺度下的时空特征编码到下一尺度，得到第一编码特征，其中，所述下一尺度小于所述原始尺度；对所述第一编码特征与第i
‑
1帧的原始深度图像在同尺度下的时序特征进行融合，得到第i帧的原始深度图像在同尺度下的时空特征和时序特征；将上述编码、融合过程，继续应用于所述第i帧的原始深度图像在同尺度下的时空特征，直至得到第i帧的原始深度图像在目标尺度下的时空特征对应的编码特征。3.根据权利要求2所述的方法，其特征在于，所述根据所述第i帧的原始深度图像的时空特征和所述视频增强网络所生成的第i
‑
1帧的增强深度图像的时序特征，生成第i帧的增强深度图像和所述第i帧的增强深度图像的时序特征，包括：将所述第i帧的原始深度图像在目标尺度下的时空特征对应的编码特征解码到上一尺度，得到第一解码特征；对所述第一解码特征和第i帧的原始深度图像在同尺度下的编码特征进行加法融合，得到第一残差特征；对所述第一残差特征和第i
‑
1帧的增强深度图像在同尺度下的时序特征进行融合，得到第i帧的增强深度图像在同尺度下的特征图和时序特征；将上述解码、融合过程，继续应用于所述第i帧的增强深度图像在同尺度下的特征图，
直至得到第i帧的增强深度图像在原始尺度下的特征图；根据所述第i帧的增强深度图像在原始尺度下的特征图，生成所述第i帧的增强深度图像。4.根据权利...

【专利技术属性】
技术研发人员：刘钦，
申请(专利权)人：北京极感科技有限公司，
类型：发明
国别省市：