一种基于时空联合Transformer的虚拟视点视频生成方法技术

本发明专利技术为一种基于时空联合Transformer的虚拟视点视频生成方法，所述生成方法使用时空联合Transformer模型，所述时空联合Transformer模型包括编码器、多头时空自注意力模块、背景修复模块、时空一致性约束模块和解码器；利用整体损失函数L

【技术实现步骤摘要】
一种基于时空联合Transformer的虚拟视点视频生成方法


[0001]本专利技术属于虚拟视图生成领域，涉及一种基于时空联合Transformer的虚拟视点视频生成方法。

技术介绍

[0002]三维显示技术3DTV通过同时展示一个场景的多个相差不多的角度，使观看者感受到场景的深度空间，立体感增强。自由视点视频(FTV)指生成场景的任意视点的视图，提供给观看者舒服的立体视差和平滑的运动视差，给用户带来更好的沉浸感与自由度。FTV作为3DTV的一个重要分支，可以让用户不需要借助任何辅助用具，就可以在任意视点下看到立体场景，但这也对生成虚拟视图的图像质量有了更高的要求。
[0003]在计算机视觉领域,通过真实拍摄视点的图像来合成虚拟合成视角下的图像,称为虚拟视图合成技术。采用虚拟视图生成方法，可以充分利用计算资源，从而降低对硬件设备的需求，不需要在场景周围布满静态和动态的摄像机即可展现自由视点视频。通过视点生成算法，可通过少量视点生成更多的视点。目前虚拟视图生成方法技术的研究己成为三维显示领域的最热门研究方向。
[0004]基于深度图像的绘制技术(Depth Image Based Rendering，DIBR)，不需要建立复杂的模型，通过计算少量视点之间相同像素的位置关系，利用这些位置关系生成新的视点图像。该技术主要有两个过程，分别是3D
‑
warping和空洞填充，3D
‑
warping根据相机成像原理，根据深度图和相机内外参数，将参考视点的彩色图像的像素内容映射到三维空间中，再映射到虚拟视点的彩色视图中；由于参考图像和虚拟图像中前景和背景的视差不同，虚拟视图中的部分背景内容在参考视图中是被前景遮挡的，因此在虚拟视图中形成了空洞，空洞填充工作是将这部分缺失的内容补全，得到完整的虚拟视点视图。自由视点生成在实际应用中生成的是连续的视频内容，而当前基于DIBR算法的研究都是针对单帧虚拟视图的生成过程的，虽然生成了不错的单张虚拟视图，但是缺少对视频内容时间和空间一致性的考虑，导致了在播放视频时会出现像素点闪烁的现象，这大大影响了观看者的观感。其中像素点闪烁产生的主要原因有两个，第一个原因是在3D
‑
warping过程中，不同帧的深度图不同，坐标映射的计算过程中存在误差，第二个原因是不同视频帧的空洞位置不同，空洞内填充的内容也各不相同。
[0005]目前针对上述问题，有研究人员提出了针对性的无参考图像评价指标，但是没有从视点生成的过程出发去解决该问题。基于DIBR的虚拟视点视频的生成的像素点闪烁问题，需要兼顾单帧图像的空间信息和整个视频序列的时间一致性信息，而基于二维卷积的方法难以兼顾单个视频帧的全局和局部的图像特征，基于三维卷积的方法只针对很少的连续视频帧，无法兼顾整个视频的信息一致性。对此，本专利技术提出了基于时空联合Transformer的虚拟视点视频生成方法，其中的注意力机制不受时间和空间的闲置，既能保证视频单帧的图像完整性，也保证了视频所有帧的时间一致性，减少了像素闪烁的情况。

技术实现思路

[0006]本专利技术针虚拟视频生成中的像素点闪烁问题，提供一种基于时空联合Transformer的虚拟视图视频生成方法。本专利技术应用于基于DIBR算法的视频生成任务，能够针对性解决不同帧3D
‑
warping结果的误差问题和空洞填充内容的前后不一致问题，有效减少虚拟视点视频播放时的像素点闪烁问题。
[0007]本专利技术的技术方案如下：
[0008]一种基于时空联合Transformer的虚拟视点视频生成方法，所述生成方法使用时空联合Transformer模型，所述时空联合Transformer模型包括编码器、多头时空自注意力模块、背景修复模块、时空一致性约束模块和解码器；
[0009]利用整体损失函数L
total
：L
total
＝L
hole
+0.5L
valid
+0.1(L
Fore
+L
Back
)，进行模型训练，
[0010]其中，L
hole
为空洞区域损失，L
valid
为非空洞区域的损失函数，L
Fore
为前景区域的一致性损失函数，L
Back
为背景区域的一致性损失函数；
[0011]时空联合Transformer模型的输入为待修复的虚拟视点视频，如果是多视点生成场景，则输入还有该虚拟视点下左右两侧的真实视点视频；
[0012]生成方法的具体实现步骤是：
[0013]第一步，生成虚拟视点视频的前景区域、背景区域、空洞区域的掩码
[0014]采用K
‑
means算法对参考视频的深度图进行二分类，得到前景和背景的掩码，依据相机内外参数和原视点的深度图，进行空间坐标变换得到新视点的深度图，再将所有帧的原视点彩色图映射到新视点构成虚拟视点视频：在原视点彩色图映射到新视点时，对前景和背景分开映射，得到单帧前景区域的掩码、背景区域的掩码、空洞区域的掩码，对所有的视频帧的彩色图进行前景和背景分开映射操作，得到虚拟视点视频的所有前景、背景和空洞区域的掩码；
[0015]第二步，将第一步的虚拟视点视频以及相应掩码输入编码器进行编码，并剪裁排列成序列形式
[0016]虚拟视点视频通过编码器得到视频的编码，将每帧的编码裁剪为相同大小的N个块，其中N＝W/w
p
×
H/h
p
，w
p
和h
p
为每个patch编码的宽和高，W为视频帧的宽，H为视频帧的高；虚拟视点视频的长度也就是帧数为f，即需要的修复的帧数为f，将所需的f个视频帧都裁剪好后，每帧的patches编码从左到右自上而下依次排列成一个长度为N的序列，再将所有视频帧的长度为N的序列按时间顺序排列得到长度为fN的总序列，后输入多头时空自注意力模块；
[0017]第三步，将排列好的总序列输入多头时空自注意力模块，计算得到注意力矩阵
[0018]根据虚拟视点视频的相应掩码将排列好的总序列中的patch编码分为三类：前景patch、背景patch和空洞patch；将总序列经过三个不同的1
×
1卷积得到Q、K、V三个不同的序列，将Q、K、V三个序列的每个patch编码转换成长度为L的一维向量，并两个向量的转置矩阵乘法计算相似度，所有的相似度构成fN
×
fN的注意力矩阵S；
[0019]第四步，根据注意力矩阵，对虚拟视点视频编码的背景区域中的空洞进行填补
[0020]对总序列中空洞patch在注意力矩阵中对应的列，利用softmax操作，根据Q序列中的空洞patch与K序列中的背景patch对应的向量来计算注意力值，得到空洞patch对应的注意力矩阵；
[0021]计算得到空洞patch对应的注意力矩阵后，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时空联合Transformer的虚拟视点视频生成方法，其特征在于，所述生成方法使用时空联合Transformer模型，所述时空联合Transformer模型包括编码器、多头时空自注意力模块、背景修复模块、时空一致性约束模块和解码器；利用整体损失函数L
total
：L
total
＝L
hole
+0.5L
valid
+0.1(L
Fore
+L
Back
)，进行模型训练，其中，L
hole
为空洞区域损失，L
valid
为非空洞区域的损失函数，L
Fore
为前景区域的一致性损失函数，L
Back
为背景区域的一致性损失函数；时空联合Transformer模型的输入为待修复的虚拟视点视频，如果是多视点生成场景，则输入还有该虚拟视点下左右两侧的真实视点视频；生成方法的具体实现步骤是：第一步，生成虚拟视点视频的前景区域、背景区域、空洞区域的掩码采用K
‑
means算法对参考视频的深度图进行二分类，得到前景和背景的掩码，依据相机内外参数和原视点的深度图，进行空间坐标变换得到新视点的深度图，再将所有帧的原视点彩色图映射到新视点构成虚拟视点视频：在原视点彩色图映射到新视点时，对前景和背景分开映射，得到单帧前景区域的掩码、背景区域的掩码、空洞区域的掩码，对所有的视频帧的彩色图进行前景和背景分开映射操作，得到虚拟视点视频的所有前景、背景和空洞区域的掩码；第二步，将第一步的虚拟视点视频以及相应掩码输入编码器进行编码，并剪裁排列成序列形式虚拟视点视频通过编码器得到视频的编码，将每帧的编码裁剪为相同大小的N个块，其中N＝W/w
p
×
H/h
p
，w
p
和h
p
为每个patch编码的宽和高，W为视频帧的宽，H为视频帧的高；虚拟视点视频的长度也就是帧数为f，即需要的修复的帧数为f，将所需的f个视频帧都裁剪好后，每帧的patches编码从左到右自上而下依次排列成一个长度为N的序列，再将所有视频帧的长度为N的序列按时间顺序排列得到长度为fN的总序列，后输入多头时空自注意力模块；第三步，将排列好的总序列输入多头时空自注意力模块，计算得到注意力矩阵根据虚拟视点视频的相应掩码将排列好的总序列中的patch编码分为三类：前景patch、背景patch和空洞patch；将总序列经过三个不同的1
×
1卷积得到Q、K、V三个不同的序列，将Q、K、V三个序列的每个patch编码转换成长度为L的一维向量，并两个向量的转置矩阵乘法计算相似度，所有的相似度构成fN
×
fN的注意力矩阵S；...

【专利技术属性】
技术研发人员：张义锐，张磊，孙铎，
申请(专利权)人：河北工业大学，
类型：发明
国别省市：