基于姿态引导的行人视频修复方法、系统、设备和介质技术方案

技术编号:34014074 阅读:33 留言:0更新日期:2022-07-02 15:19
本发明专利技术公开了一种基于姿态引导的行人视频修复方法、系统、计算机设备和存储介质,所述方法包括:获取行人视频修复的数据集;利用数据集对图卷积神经网络进行训练;将数据集中被遮挡的姿态序列输入训练好的图卷积神经网络,得到优化后的姿态序列;利用优化后的姿态序列和数据集对姿态注意转移网络进行训练;将待修复的行人视频中被遮挡的姿态序列输入训练好的图卷积神经网络中得到优化后的姿态序列;将优化后的姿态序列与待修复的行人视频输入训练好的姿态注意转移网络,得到修复好的行人视频。本发明专利技术通过对被遮挡的姿态序列补全得到优化后的人体姿态序列,根据其与被遮挡的视频逐步修复视频帧中人体缺失部分,从而得到更真实清晰的行人视频。清晰的行人视频。清晰的行人视频。

【技术实现步骤摘要】
基于姿态引导的行人视频修复方法、系统、设备和介质


[0001]本专利技术涉及人工智能
,尤其是涉及一种基于姿态引导的行人视频修复方法、系统、计算机设备和存储介质。

技术介绍

[0002]视频修复也被称为视频补全,即用一些复杂的修复算法将缺损或被遮挡的区域用其周围的区域进行填充。在某些特殊的情况下视频中的行人会被一些障碍物或视频中的另一运动目标所遮挡,行人视频修复的任务是对视频中被遮挡行人进行修复。目前还未发现有专门针对行人视频修复任务的研究,特别是在生成神经网络领域。把现有的视频修复方法直接用于行人视频修复工作是不可行的,因为没有考虑到人体语义信息,会出现使用背景像素信息来修复人体缺失区域的情况,从而导致修复结果模糊失真。

技术实现思路

[0003]为了解决上述现有技术的不足,本专利技术提供了一种基于姿态引导的行人视频修复方法、系统、计算机设备和存储介质,针对视频中的行人会被遮挡,本专利技术提出行人视频修复从人体姿态着手,先修复视频中被遮挡的姿态序列,然后根据优化后的姿态序列逐步修复视频帧中人体缺失部分。具体地,将基于姿态引导的行人视频修复方法分为两个子任务,第一个子任务是从被遮挡的视频中提取出被遮挡的人体姿态序列,然后对其进行修复得到优化的姿态序列;第二个子任务是根据被遮挡的视频与得到的优化后的姿态序列,逐步修复视频帧中人体缺失部分,从而得到更真实清晰的行人视频。
[0004]本专利技术的第一个目的在于提供一种基于姿态引导的行人视频修复方法。
[0005]本专利技术的第二个目的在于提供一种基于姿态引导的行人视频修复系统。
[0006]本专利技术的第三个目的在于提供一种计算机设备。
[0007]本专利技术的第四个目的在于提供一种存储介质。
[0008]本专利技术的第一个目的可以通过采取如下技术方案达到:
[0009]一种基于姿态引导的行人视频修复方法,所述方法包括:
[0010]获取行人视频修复的数据集;
[0011]利用所述数据集对图卷积神经网络进行训练,得到训练好的图卷积神经网络;
[0012]将所述数据集中被遮挡的姿态序列输入训练好的图卷积神经网络,得到优化后的姿态序列;
[0013]利用所述优化后的姿态序列和所述数据集对姿态注意转移网络进行训练,得到训练好的姿态注意转移网络;
[0014]将待修复的行人视频中被遮挡的姿态序列输入训练好的图卷积神经网络中得到优化后的姿态序列;将所述优化后的姿态序列与待修复的行人视频输入训练好的姿态注意转移网络,得到修复好的行人视频。
[0015]进一步的,所述利用所述数据集对图卷积神经网络进行训练,得到训练好的图卷
积神经网络,具体包括:
[0016]利用离散余弦变换对数据集中被遮挡的姿态序列进行时间维度上的编码以获得每个关节点的运动模式,得到处理后被遮挡的姿态序列;
[0017]将所述处理后被遮挡的姿态序列输入图卷积神经网络中,利用图卷积神经网络的特性提取出空间维度上的信息,综合考虑人体姿态的时空信息对残缺序列进行修复,得到网络输出结果;
[0018]对网络输出结果进行逆离散余弦变换,得到优化后的姿态序列;
[0019]训练时,根据所述优化后的姿态序列和数据集中对应的真值姿态,计算训练误差以进行误差反向传播,得到训练好的图卷积神经网络。
[0020]进一步的,所述将所述处理后被遮挡的姿态序列输入图卷积神经网络中,利用图卷积神经网络的特性提取出空间维度上的信息,综合考虑人体姿态的时空信息对残缺序列进行修复,得到网络输出结果,具体包括:
[0021]在图卷积神经网络中,用具有K个节点的全连接图表示人体姿态,图中每条边的强度用加权邻接矩阵表示,表示图卷积层p的输入,其中F是上一层的特征输出数量;表示一组可学习的权重,是上一层的特征输出数量,图卷积层p+1的输出如下所示:
[0022]H
(p+1)
=σ(A
(p)
H
(p)
W
(p)
)
[0023]其中,A
(p)
是图卷积层p中可学习的加权邻接矩阵,σ(.)是激活函数;若每个姿态包括n个关节点,则k=2*n。
[0024]进一步的,利用所述优化后的姿态序列和所述数据集对姿态注意转移网络进行训练前,将所述优化后的姿态序列制作成热力图;同时将数据集中的被遮挡的视频和二值掩码视频进行拼接,作为行人视频修复输入。
[0025]进一步的,所述利用所述优化后的姿态序列和所述数据集对姿态注意转移网络进行训练,得到训练好的姿态注意转移网络,具体包括:
[0026]将所述热力图和所述行人视频修复输入分别输入到具有两次下采样卷积层的卷积神经网络中提取出对应的特征,分别记为姿态特征和视频特征;
[0027]将所述姿态特征和视频特征输入姿态注意转移网络中得到修复结果,其中,姿态信息用来指示姿态注意转移网络复制有用的信息来补全缺失区域:当修复某一视频帧时,其余的视频帧是参考视频帧;
[0028]训练时,目标函数是最小化修复结果和数据集中对应的真值视频的差,使用的损失函数为L1 loss、Perceptual loss和Style loss,从而得到训练好的姿态注意转移网络。
[0029]进一步的,所述姿态注意转移网络由多个姿态注意转移模块组成;
[0030]堆叠多个姿态注意转移模块能够不断地融合视频帧间的有效信息,从而实现逐步修复行人视频。
[0031]进一步的,所述获取行人视频修复的数据集,具体包括:
[0032]将Human3.6M中Walking视频作为原始视频,将Human3.6M中Walking视频中的人体姿态作为原始姿态数据;
[0033]把原始视频中的人固定在画面的中心位置,然后把视频统一裁剪缩放为固定的大
小,得到真值视频;同理,调整原始姿态数据并提取多个关节点得到真值姿态;
[0034]为每个真值视频产生自由形式的二值掩码视频;
[0035]将每个真值视频和对应的掩码视频进行组合,得到被遮挡的视频;
[0036]使用人体姿态估计开源库检测出每个被遮挡的视频中的被遮挡的姿态,所述被遮挡的姿态即为被遮挡的姿态序列;
[0037]对所述真值视频、二值掩码视频、被遮挡的视频、被遮挡的姿态及对应的真值姿态等间隔进行采样,得到数据样本,所有的数据样本构成行人视频修复的数据集。
[0038]本专利技术的第二个目的可以通过采取如下技术方案达到:
[0039]一种基于姿态引导的行人视频修复系统,所述系统包括:
[0040]数据集获取模块,用于获取行人视频修复的数据集;
[0041]图卷积神经网络训练模块,用于利用所述数据集对图卷积神经网络进行训练,得到训练好的图卷积神经网络;
[0042]优化后的姿态序列生成模块,用于将所述数据集中被遮挡的姿态序列输入训练好的图卷积神经网络,得到优化后的姿态序本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种基于姿态引导的行人视频修复方法,其特征在于,所述方法包括:获取行人视频修复的数据集;利用所述数据集对图卷积神经网络进行训练,得到训练好的图卷积神经网络;将所述数据集中被遮挡的姿态序列输入训练好的图卷积神经网络,得到优化后的姿态序列;利用所述优化后的姿态序列和所述数据集对姿态注意转移网络进行训练,得到训练好的姿态注意转移网络;将待修复的行人视频中被遮挡的姿态序列输入训练好的图卷积神经网络中得到优化后的姿态序列;将所述优化后的姿态序列与待修复的行人视频输入训练好的姿态注意转移网络,得到修复好的行人视频。2.根据权利要求1所述的行人视频修复方法,其特征在于,所述利用所述数据集对图卷积神经网络进行训练,得到训练好的图卷积神经网络,具体包括:利用离散余弦变换对数据集中被遮挡的姿态序列进行时间维度上的编码以获得每个关节点的运动模式,得到处理后被遮挡的姿态序列;将所述处理后被遮挡的姿态序列输入图卷积神经网络中,利用图卷积神经网络的特性提取出空间维度上的信息,综合考虑人体姿态的时空信息对残缺序列进行修复,得到网络输出结果;对网络输出结果进行逆离散余弦变换,得到优化后的姿态序列;训练时,根据所述优化后的姿态序列和数据集中对应的真值姿态,计算训练误差以进行误差反向传播,得到训练好的图卷积神经网络。3.根据权利要求2所述的行人视频修复方法,其特征在于,所述将所述处理后被遮挡的姿态序列输入图卷积神经网络中,利用图卷积神经网络的特性提取出空间维度上的信息,综合考虑人体姿态的时空信息对残缺序列进行修复,得到网络输出结果,具体包括:在图卷积神经网络中,用具有K个节点的全连接图表示人体姿态,图中每条边的强度用加权邻接矩阵表示,表示图卷积层p的输入,其中F是上一层的特征输出数量;表示一组可学习的权重,是上一层的特征输出数量,图卷积层p+1的输出如下所示:H
(p+1)
=σ(A
(p)
H
(p)
W
(p)
)其中,A
(p)
是图卷积层p中可学习的加权邻接矩阵,σ(.)是激活函数;若每个姿态包括n个关节点,则k=2*n。4.根据权利要求1所述的行人视频修复方法,其特征在于,利用所述优化后的姿态序列和所述数据集对姿态注意转移网络进行训练前,将所述优化后的姿态序列制作成热力图;同时将数据集中的被遮挡的视频和二值掩码视频进行拼接,作为行人视频修复输入。5.根据权利要求4所述的行人视频修复方法,其特征在于,所述利用所述优化后的姿态序列和所述数据集对姿态注意转移网络进行训练,得到训练好的姿态注意转移网络,具体包括:将所述热力图和所述行人视频修复输入分别输入到具有两次下采样卷积层的卷积...

【专利技术属性】
技术研发人员:聂勇伟唐福梅
申请(专利权)人:华南理工大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1