一种对缺损光流图进行精细补全的方法及其应用技术

技术编号:24095625 阅读:35 留言:0更新日期:2020-05-09 10:11
本发明专利技术公开了对缺损光流图进行精细补全的方法及其应用,步骤为:实时采集烟雾画面I,处理烟雾画面I获得光流图像,定位烟雾动态遮挡区域;在动态遮挡区域的最小外接正方形的中心中提取图像区域,将图像区域输入训练好的改进GAN网络得到动态遮挡区域的替代图像,改进GAN网络是指将GAN网络的上下文网络模块的损失函数中的对抗损失被替换成改进GAN网络的上下文网络模块的损失函数中的WGAN损失;通过VGG‑19网络对动态遮挡区域的替代图像进行处理,增添纹理信息;将增添纹理信息得到的图像映射到光流图像上即得到了完整的全局光流图。本发明专利技术的方法,补全效果好且处理速度快;电子设备,结构简单,成本低廉应用前景好。

A method and its application for fine completion of defect optical flow map

【技术实现步骤摘要】
一种对缺损光流图进行精细补全的方法及其应用
本专利技术属于图像处理及深度学习
,涉及一种对缺损光流图进行精细补全的方法及其应用。
技术介绍
随着机器视觉与图象处理的不断发展,视觉检测的效果要越来越精确,图像处理的技术需一个一个的难点需要突破,遮挡在视觉中是常见的一种干扰。在通过光流法对视域中的运动物体进行检测时,有各种各样的东西可能会导致遮挡,包括其他物体。遮挡意味着物体的一部分被遮住了导致部分对象丢失。视觉系统显然不能检测到图像中不存在的东西,影响运动物体检测鲁棒性。以检测烟雾浓度为例,烟雾浓度的准确评价在很大程度上依赖于对整体烟雾流场的估计,而整体烟雾流场的精度取决于遮挡后烟雾光流场的预测。遗憾的是,由于光强匹配的不可靠性,光流在遮挡处是不确定的,为了解决这一问题必须准确地获得全局烟雾光流。文献1(C.Yang,X.Lu,Z.Lin,EliShechtman,OliverWangandH.Li,High-ResolutionImageInpaintingusingMulti-ScaleNeuralPatchSynthesis,本文档来自技高网...

【技术保护点】
1.一种对缺损光流图进行精细补全的方法,其特征在于,其步骤如下:/n(1)实时采集烟雾画面I,对烟雾画面I进行处理获得光流图像,检测并定位烟雾动态遮挡区域;/n(2)在动态遮挡区域的最小外接正方形的中心中提取图像区域B,将图像区域B输入训练好的改进GAN网络,得到动态遮挡区域的替代图像;/n所述改进GAN网络是改进上下文网络模块的损失函数的GAN网络,GAN网络的上下文网络模块的损失函数中的对抗损失被替换成改进GAN网络的上下文网络模块的损失函数中的WGAN损失;/n所述改进GAN网络的训练过程即以历史数据组中一帧图像的图像区域A作为输入,以历史数据组中另一帧图像的对应动态遮挡区域的图片作为理...

【技术特征摘要】
1.一种对缺损光流图进行精细补全的方法,其特征在于,其步骤如下:
(1)实时采集烟雾画面I,对烟雾画面I进行处理获得光流图像,检测并定位烟雾动态遮挡区域;
(2)在动态遮挡区域的最小外接正方形的中心中提取图像区域B,将图像区域B输入训练好的改进GAN网络,得到动态遮挡区域的替代图像;
所述改进GAN网络是改进上下文网络模块的损失函数的GAN网络,GAN网络的上下文网络模块的损失函数中的对抗损失被替换成改进GAN网络的上下文网络模块的损失函数中的WGAN损失;
所述改进GAN网络的训练过程即以历史数据组中一帧图像的图像区域A作为输入,以历史数据组中另一帧图像的对应动态遮挡区域的图片作为理论输出,不断调整改进GAN网络的参数的过程,训练的终止条件为实际输出与理论输出的相似度达98%以上;
(3)通过VGG-19网络对动态遮挡区域的替代图像进行处理,增添纹理信息;
(4)将步骤(3)得到的图像映射到步骤(1)获得的光流图像上即得到了完整的全局光流图。


2.根据权利要求1所述的一种对缺损光流图进行精细补全的方法,其特征在于,一组历史数据组包括包含烟雾的相邻多帧图像;所述图像区域A是处理历史数据组的图像定位烟雾动态遮挡区域,并在动态遮挡区域的最小外接正方形的中心中提取得到的。


3.根据权利要求2所述的一种对缺损光流图进行精细补全的方法,其特征在于,图像区域B与图像区域A的尺寸大小相同,为256×256像素。


4.根据权利要求1所述的一种对缺损光流图进行精细补全的方法,其特征在于,所述步骤(1)具体为:
(1.1)实时采集烟雾画面I后对其进行预处理,所述预处理是指构建带有标注信息的烟雾信息数据;
(1.2)以预处理后的烟雾画面I作为输入,输入训练好的LiteFlowNet得到所述烟雾画面I的光流图像;
所述LiteFlowNet的训练过程即以经预处理的烟雾画面II作为输入,以烟雾画面II产生的光流图像作为理论输出,不断调整LiteFlowNet的参数的过程,训练的终止条件为达到最大迭代次数P;
(1.3)利用LoG滤波器与步骤(1.2)得到的光流图像进行卷积,得到滤波后的光流图像;
(1.4)在步骤(1.3)获取的图像中寻找零交叉位置,进而确定该图像上不同物体之间光流边缘的位置即确定动态遮挡区域;
(1.5)引入图像语义信息判断步骤(1.4)所得的遮挡区域是否为烟雾;
(1.6)检测出动态遮挡产生的光流,并映射回步骤(1.2)得到的光流图像定位动态遮挡区域。


5.根据权利要求4所述的一种对缺损光流图进行精细补全的方法,其特征在于,烟雾画面II是通过摄像头采集而得的,其至少包括30个视频和1000个烟雾图像对;
所述LiteFlowNet具有NetC和NetE两个子网络;NetC对任何输入的图片对提取两个多尺度的高维金字塔特征,NetE用来估算烟雾的由粗到细的流场,NetC子网络被设计成双流网络,双流之间相互共享权重。


6.根据权利要求4所述的一种对缺损光流图进行精细补全的方法,其特征在于,LoG算子G(r)公式如下:



LoG滤波器是G(r)的二...

【专利技术属性】
技术研发人员:张伟伟郭鹏宇李传昌陈超邱永锋陈彦召赵建波
申请(专利权)人:上海工程技术大学佛山市云米电器科技有限公司上海虹润建筑防水工程有限公司
类型:发明
国别省市:上海;31

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1