基于关系型互补约束的道路视频监控视频数据复原方法技术

本发明专利技术属于图像复原技术领域，涉及一种基于关系型互补约束的道路视频监控视频数据复原方法，先构建数据集，再对数据集中的视频序列进行多尺度时空特征编码，然后基于图关系进行车辆关系建模，依次进行长时序局部车辆区域级修复和长时序全局车辆物体级修复后对长时序车辆缺失内容进行修复融合，再采用关系对抗网络对视频序列中的动态场景进行建模，通过在生成器和判别器之间引入车辆关系对抗性训练，生成器学习到视频序列中的车辆关系信息，从而模拟动态场景的变化，生成新的视频数据，最后对网络训练和测试；能提高数据复原的准确性和鲁棒性，降低数据复原的误判率，增强数据复原的应用场景

【技术实现步骤摘要】
基于关系型互补约束的道路视频监控视频数据复原方法


[0001]本专利技术属于图像复原
，涉及一种基于关系型互补约束的道路视频监控视频数据复原方法
。

技术介绍

[0002]道路视频监控视频数据复原是指通过使用深度学习方法，对道路监控视频中的图像进行修复和恢复，以还原丢失
、
遮挡
、
模糊或损坏的数据
。
[0003]目前，道路视频监控视频数据复原方法在许多方面取得了显著的进步，但仍然存在一些挑战和限制
。
道路监控视频通常在复杂的场景和光照条件下进行拍摄，例如夜间
、
雨天
、
雪天
。
在这些条件下，图像可能受到严重的噪声
、
光照变化和运动模糊的影响，导致数据复原困难
。
而且道路监控视频中经常会出现遮挡目标的情况，例如车辆之间的相互遮挡
、
树木
、
建筑物的遮挡，遮挡目标的复原是一项复杂的任务，需要对遮挡目标的位置
、
形状和纹理进行准确估计和恢复
。
道路监控视频数据通常具有大规模
、
高分辨率和高帧率的特点，处理这些大规模和复杂的数据需要高效的计算和存储资源
。
此外，道路监控视频通常包含多个摄像头的数据，涉及多个视角的数据融合和处理，增加了算法的复杂性
。
[0004]现有道路视频监控系统产生了大量的视频数据，这可以被视为道路视频监控视频数据复原算法的优势
。
大量的视频数据为算法的训练和验证提供了充足的样本，可以帮助深度学习模型学习到更准确的特征和模式
。
通过大量的视频数据，可以构建更复杂和准确的深度学习模型，从而提高数据复原的准确性和鲁棒性
。
此外，大量的视频数据还可以用于数据增强技术，例如数据扩增和数据合成，以增加训练样本的多样性，提高模型的泛化性能
。
此外，随着硬件计算能力的不断提升，现代计算设备如
GPU
和
TPU
能够处理大规模视频数据，并加速深度学习算法的训练和推理过程，使得复原算法能够在较短的时间内处理大量的视频数据，满足实时性要求
。

技术实现思路

[0005]为克服现有技术存在的问题，本专利技术提供一种基于关系型互补约束的道路视频监控视频数据复原方法，通过分析车辆之间的关系和运动模式来提高复原结果的准确性和鲁棒性
。
[0006]为实现上述目的，本专利技术通过以下技术方案实现：一种基于关系型互补约束的道路视频监控视频数据复原方法，具体包括以下步骤：
S1、
构建数据集：收集包含道路交通监控的视频数据，并对采集的数据标注车辆的位置信息，再在标注的视频数据中人为引入数据缺失或损坏得到构建好的数据集，然后将构建好的数据集划分为训练集
、
验证集和测试集；
S2、
多尺度时空特征编码：将数据集中的视频序列输入主干网络
Transformer
，先进行多尺度的空间和时间分解，将提取的原始特征分解成不同尺度的子特征，编码器对每
个子特征进行编码，最后将编码后的子特征进行融合和整合，得到多尺度时空特征编码表示；
S3、
基于图关系的车辆关系建模：基于特征相似度
SIM
的图建模，将节点之间的关系建模为相似度度量
SIM
，得到节点之间的关系；
S4、
长时序局部车辆区域级修复：基于步骤
S2
得到的多尺度时空特征编码表示，通过对视频序列中的局部区域进行处理，修复该区域内的车辆信息；
S5、
长时序全局车辆物体级修复：采用物体检测算法对视频序列中的物体进行检测，得到物体的位置信息及物体的宽度和高度，将图像级位置信息转化到物体级位置信息后计算物体级相似性和物体级帧间相似性，修复整个车辆物体；
S6、
长时序车辆缺失内容修复融合：将步骤
S4
和
S5
的修复结果进行融合，得到融合后增强的特征；
S7、
关系对抗网络：采用关系对抗网络对视频序列中的动态场景进行建模，通过在生成器和判别器之间引入车辆关系对抗性训练，生成器学习到视频序列中的车辆关系信息，从而模拟动态场景的变化，生成新的视频数据；
S8、
网络训练和测试：分别进行生成器训练
、
判别器训练和时序对抗训练，使用验证集或测试集评估训练好的生成器，并根据评估结果进行调优和改进
。
[0007]作为本专利技术的进一步技术方案，步骤
S1
所述包含道路交通监控的视频数据为已有的视频数据集或者在实际道路交叉口或路段采集的视频数据，视频数据涵盖不同天气条件
、
不同时间段
、
不同交通流量多种情况，以保证数据集的多样性
。
[0008]作为本专利技术的进一步技术方案，步骤
S2
所述多尺度时空特征编码表示为：，其中，
Devide(Frames) 表示对输入的视频帧
Frames
进行多尺度的空间和时间分解，将原始特征分解成不同尺度的子特征；
Mask
表示对相应的区域增加掩码，产生车辆信息丢失的图像；
Encoder
表示对每个子特征进行编码，提取其重要的特征信息；
Fuse
表示将编码后的子特征即第
2,3,4
层的
Transformer
侧输出进行融合和整合
。
[0009]作为本专利技术的进一步技术方案，步骤
S3
所述节点之间的关系为： ，其中，
i
和
j
代表节点特征中的像素点的位置索引，代表相似性矩阵；代表当前节点，代表临接节点，代表节点间的相似性度量，节点间的相似性度量采用
L2
距离函数实现，表示归一化处理
。
[0010]作为本专利技术的进一步技术方案，步骤
S4
的具体过程为： ，其中，代表区域级相似性，代表当前区域级多尺度时空特征编码表示，代表相邻区域级多尺度时空特征编码表示
。
[0011]作为本专利技术的进一步技术方案，步骤
S5
采用物体检测算法对视频帧中的物体进行
检测的过程为：，其中，代表物体检测算法，代表将物体检测到的物体划分为不同的物体编号，
i
为编号，为产生的物体的位置信息（
x,y
）及物体的宽度
w
和高度
h
，代表物体级位置信息；代表数据的流动操作过程；计算物体级相似性的过程为： ，其中，代表物体级相似性，代表当前车辆物体级多尺度时空特征编码表示，代表相邻车辆物体级多尺度时空特征编码表示；计本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于关系型互补约束的道路视频监控视频数据复原方法，其特征在于，具体包括以下步骤：
S1、
收集包含道路交通监控的视频数据，并对采集的数据标注车辆的位置信息，再在标注的视频数据中引入数据缺失或损坏得到构建好的数据集，然后将构建好的数据集划分为训练集
、
验证集和测试集；
S2、
将数据集中的视频序列输入主干网络
Transformer
，先进行多尺度的空间和时间分解，将提取的原始特征分解成不同尺度的子特征，编码器对每个子特征进行编码，最后将编码后的子特征进行融合和整合，得到多尺度时空特征编码表示；
S3、
基于特征相似度
SIM
的图建模，将节点之间的关系建模为相似度度量
SIM
，得到节点之间的关系；
S4、
基于步骤
S2
得到的多尺度时空特征编码表示，通过对视频序列中的局部区域进行处理，修复该区域内的车辆信息；
S5、
采用物体检测算法对视频序列中的物体进行检测，得到物体的位置信息及物体的宽度和高度，将图像级位置信息转化到物体级位置信息后计算物体级相似性和物体级帧间相似性，修复整个车辆物体；
S6、
将步骤
S4
和
S5
的修复结果进行融合，得到融合后增强的特征；
S7、
采用关系对抗网络对视频序列中的动态场景进行建模，通过在生成器和判别器之间引入车辆关系对抗性训练，生成器学习到视频序列中的车辆关系信息，从而模拟动态场景的变化，生成新的视频数据；
S8、
分别进行生成器训练
、
判别器训练和时序对抗训练，使用验证集或测试集评估训练好的生成器，并根据评估结果进行调优和改进
。2.
根据权利要求1所述基于关系型互补约束的道路视频监控视频数据复原方法，其特征在于，步骤
S1
所述包含道路交通监控的视频数据为已有的视频数据集或者在实际道路交叉口或路段采集的视频数据
。3.
根据权利要求1所述基于关系型互补约束的道路视频监控视频数据复原方法，其特征在于，步骤
S2
所述多尺度时空特征编码表示为：，其中，
Devide(Frames) 表示对输入的视频帧
Frames
进行多尺度的空间和时间分解，将原始特征分解成不同尺度的子特征；
Mask
表示对相应的区域增加掩码，产生车辆信息丢失的图像；
Encoder
表示对每个子特征进行编码，提取其重要的特征信息；
Fuse
表示将编码后的子特征即第
2,3,4
层的
Transformer
侧输出进行融合和整合
。4.
根据权利要求3所述基于关系型互补约束的道路视频监控视频数据复原方法，其特征在于，步骤
S3
所述节点之间的关系为：，其中，
i
和
j
代表节点特征中的像素点的位置索引，代表相似性矩阵；代表当前节点，代表临接节点...

【专利技术属性】
技术研发人员：刘寒松，王国强，王永，刘瑞，董玉超，
申请(专利权)人：松立控股集团股份有限公司，
类型：发明
国别省市：