【技术实现步骤摘要】
帧的增强深度图像的时序特征,生成第i帧的增强深度图像和所述第i帧的增强深度图像的时序特征。
[0012]根据本申请的第二方面,公开了一种深度视频增强装置,所述装置包括:
[0013]接收模块,用于接收待增强的第一图像序列,其中,所述第一图像序列中包括:时序上连续的多帧原始深度图像和对应的纹理图像;
[0014]处理模块,用于通过视频增强网络对所述第一图像序列中每一帧的原始深度图像和纹理图像进行处理,得到增强后的第二图像序列,所述第二图像序列中包括:每一帧的原始深度图像对应的增强深度图像;其中,所述视频增强网络的处理过程包括:
[0015]提取第i帧的原始深度图像的深度空间特征和纹理图像的纹理空间特征,1≤i≤N,N为所述第一图像序列中原始深度图像的总帧数;
[0016]根据第i帧的原始深度图像的深度空间特征、对应的纹理空间特征和所述视频增强网络所生成的第i
‑
1帧的原始深度图像的时序特征,生成第i帧的原始深度图像的时空特征和时序特征,其中,所述时序特征为图像序列中各相邻的深度图像在时间层面上传递的特征,所述时空特征为深度图像在空间层面和时间层面上的深度纹理特征;
[0017]根据所述第i帧的原始深度图像的时空特征和所述视频增强网络所生成的第i
‑
1帧的增强深度图像的时序特征,生成第i帧的增强深度图像和所述第i帧的增强深度图像的时序特征。
[0018]根据本申请的第三方面,公开了一种电子设备,包括存储器、处理器及存储在存储器上的计算机程序,所述处理器执行所述计算机程序以 ...
【技术保护点】
【技术特征摘要】
1.一种深度视频增强方法,其特征在于,所述方法包括:接收待增强的第一图像序列,其中,所述第一图像序列中包括:时序上连续的多帧原始深度图像和对应的纹理图像;通过视频增强网络对所述第一图像序列中每一帧的原始深度图像和纹理图像进行处理,得到增强后的第二图像序列,所述第二图像序列中包括:每一帧的原始深度图像对应的增强深度图像;其中,所述视频增强网络的处理过程包括:提取第i帧的原始深度图像的深度空间特征和纹理图像的纹理空间特征,1≤i≤N,N为所述第一图像序列中原始深度图像的总帧数;根据第i帧的原始深度图像的深度空间特征、对应的纹理空间特征和所述视频增强网络所生成的第i
‑
1帧的原始深度图像的时序特征,生成第i帧的原始深度图像的时空特征和时序特征,其中,所述时序特征为图像序列中各相邻的深度图像在时间层面上传递的特征,所述时空特征为深度图像在空间层面和时间层面上的深度纹理特征;根据所述第i帧的原始深度图像的时空特征和所述视频增强网络所生成的第i
‑
1帧的增强深度图像的时序特征,生成第i帧的增强深度图像和所述第i帧的增强深度图像的时序特征。2.根据权利要求1所述的方法,其特征在于,所述根据第i帧的原始深度图像的深度空间特征、对应的纹理空间特征和所述视频增强网络所生成的第i
‑
1帧的原始深度图像的时序特征,生成第i帧的原始深度图像的时空特征和时序特征,包括:对第i帧的原始深度图像的深度空间特征和对应的纹理空间特征进行连接,得到第i帧的原始深度图像在原始尺度下的深度纹理联合空间特征;对所述第i帧的原始深度图像在原始尺度下的深度纹理联合空间特征与第i
‑
1帧的原始深度图像在原始尺度下的时序特征进行融合,得到第i帧的原始深度图像在原始尺度下的时空特征和时序特征;将所述第i帧的原始深度图像在原始尺度下的时空特征编码到下一尺度,得到第一编码特征,其中,所述下一尺度小于所述原始尺度;对所述第一编码特征与第i
‑
1帧的原始深度图像在同尺度下的时序特征进行融合,得到第i帧的原始深度图像在同尺度下的时空特征和时序特征;将上述编码、融合过程,继续应用于所述第i帧的原始深度图像在同尺度下的时空特征,直至得到第i帧的原始深度图像在目标尺度下的时空特征对应的编码特征。3.根据权利要求2所述的方法,其特征在于,所述根据所述第i帧的原始深度图像的时空特征和所述视频增强网络所生成的第i
‑
1帧的增强深度图像的时序特征,生成第i帧的增强深度图像和所述第i帧的增强深度图像的时序特征,包括:将所述第i帧的原始深度图像在目标尺度下的时空特征对应的编码特征解码到上一尺度,得到第一解码特征;对所述第一解码特征和第i帧的原始深度图像在同尺度下的编码特征进行加法融合,得到第一残差特征;对所述第一残差特征和第i
‑
1帧的增强深度图像在同尺度下的时序特征进行融合,得到第i帧的增强深度图像在同尺度下的特征图和时序特征;将上述解码、融合过程,继续应用于所述第i帧的增强深度图像在同尺度下的特征图,
直至得到第i帧的增强深度图像在原始尺度下的特征图;根据所述第i帧的增强深度图像在原始尺度下的特征图,生成所述第i帧的增强深度图像。4.根据权利...
【专利技术属性】
技术研发人员:刘钦,
申请(专利权)人:北京极感科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。