当前位置: 首页 > 专利查询>武汉大学专利>正文

一种复杂场景视频阴影检测与消除方法技术

技术编号:22331333 阅读:37 留言:0更新日期:2019-10-19 12:30
本发明专利技术公开了一种基于深度信息的视屏阴影检测与消除方法,首先利用图像的深度信息估计出各个像素点的法线信息、点云位置信息,通过比较各个像素点及其视屏流中时空局部邻域像素点间的特征相似度,估算出每个像素点的阴影置信度值,并利用拉普拉斯算子对阴影置信度进一步优化得到最终的阴影检测结果,最后利用阴影检测结果构建基于视屏流的光照恢复优化方程,得到最终的阴影消除结果。本发明专利技术有如下优点:利用纹理滤波有效减少纹理信息对阴影检测的干扰,利用拉普拉斯算子对初始阴影置信度进行优化,得到更完善的阴影检测结果,利用色度约束和前后帧的相关性消除阴影,可有效保证结果的色度不变性和帧间连续性。

A method of shadow detection and elimination in complex scene video

【技术实现步骤摘要】
一种复杂场景视频阴影检测与消除方法
本专利技术属视频处理
,尤其涉及一种复杂场景视频阴影检测与消除方法。
技术介绍
阴影是我们日常生活中常见的自然现象,它们可以为视觉场景的理解提供重要信息,例如光照环境、场景几何等信息。这些信息对于光照分析、重光照、增强现实等应用有着重要的作用。因此,有效地检测并消除阴影在计算机视觉领域是一个重要课题。然而,自动检测并消除阴影是一项非常困难的任务,它不仅受局部纹理材质信息的影响,还需要考虑场景中的全局结构信息及光照环境信息。现有的大多数阴影检测与消除算法都是基于局部色度信息和梯度信息等进行阴影的检测与分类,没有考虑到全局结构信息,因此这类算法通常无法有效处理复杂阴影以及复杂场景中的阴影。复杂场景中的阴影处理工作是指在复杂环境中,利用全局信息以及局部信息自动地检测并消除阴影,同时,阴影消除结果应当保留场景中的明暗渐变信息,防止视觉失真。造成复杂场景阴影消除比较困难的原因主要有两个方面,首先复杂场景中的材质纹理信息较为丰富,阴影分布也比较杂乱不集中,为检测工作增加了难度,即使借助人工交互先验知识,复杂的阴影场景会增加标注负担,且难以进行高效的批处理本文档来自技高网...

【技术保护点】
1.一种复杂场景视频阴影检测与消除方法,其特征在于,包括以下步骤:步骤1,对于输入视频流V,获取其深度信息;步骤2,对每一帧输入视频帧I,利用纹理滤波算子进行滤波处理,减少纹理影响的同时保留视频帧中的阴影信息;步骤3,对每个滤波后的视频帧Ti,选取其相邻的相关视频流,找出视频帧中每个像素点的初始阴影置信度和亮度置信度,并对每一帧的阴影置信度进行优化,得到最终的视频阴影检测结果;步骤4,利用阴影置信度和亮度置信度的全变差和固有变差,进一步计算出阴影边界置信度;步骤5,得到每一帧的阴影检测结果后,利用阴影图像模型β=I/F将当前帧图像I分解为无阴影的图像F和阴影因子β,并构造去阴影优化方程对每一帧...

【技术特征摘要】
1.一种复杂场景视频阴影检测与消除方法,其特征在于,包括以下步骤:步骤1,对于输入视频流V,获取其深度信息;步骤2,对每一帧输入视频帧I,利用纹理滤波算子进行滤波处理,减少纹理影响的同时保留视频帧中的阴影信息;步骤3,对每个滤波后的视频帧Ti,选取其相邻的相关视频流,找出视频帧中每个像素点的初始阴影置信度和亮度置信度,并对每一帧的阴影置信度进行优化,得到最终的视频阴影检测结果;步骤4,利用阴影置信度和亮度置信度的全变差和固有变差,进一步计算出阴影边界置信度;步骤5,得到每一帧的阴影检测结果后,利用阴影图像模型β=I/F将当前帧图像I分解为无阴影的图像F和阴影因子β,并构造去阴影优化方程对每一帧进行约束和优化;步骤6,对去阴影优化方程进行迭代优化求解,得到最终的视频阴影消除结果F和阴影因子β。2.如权利要求1所述的一种复杂场景视频阴影检测与消除方法,其特征在于:步骤3的具体实现包含以下子步骤:步骤3.1,利用每一视频帧的深度信息,结合相机参数进行点云估计,得到各像素点的点云的信息后,利用点云信息构建k-d树,对每个像素的点云找到其最相似的若干个点云,再利用这些相似点云计算该像素点所在空间切面的法线信息;步骤3.2,对于每一个滤波后的视频帧Ti,利用高斯相似度计算其中每个像素点p与其空间邻域内的点q∈Rp的色度相似度,空间距离相似度和法线相似度,再将三种相似度相乘得到最终的特征相似度αpq;其中,Rp为像素点p的空间邻域;步骤3.3,利用像素点间的相似度,比较每个像素点p与其空间邻域内所有邻居像素点q∈Rp的图像强度加权平均值,估算出每个像素点的阴影置信度和亮度置信度其中,p点所在邻域的强度加权平均值Ip和Iq分别表示像素p和q的强度,σ为可调参数,|Rp|表示邻域范围Rp中的像素点个数;步骤3.4,在每个视频帧中,利用拉普拉斯算子,结合步骤3.3中计算的初始阴影置信度和亮度置信度的结果,构造优化方程,得到最终的阴影检测结果S:其中,前两项为数据约束项,第三项为平滑项;pk表示第k个像素点,N为图像中像素点个数,Sk为第k个像素点的阴影置信度优化结果,ωk为第k个像素点所在的局部窗口,si和sj为窗口ωk内的两个像素点i和j对应的阴影置信度优化结果,用于平滑窗口内的像素点,wij是邻域内i和j点的mattingLaplacian值。3.如权利要求2所述的一种复杂场景视频阴影检测与消除方法,其特征在于:步骤3中计算阴影边界置信度的公式为,其中,和分别为p点置信度...

【专利技术属性】
技术研发人员:肖春霞吴文君
申请(专利权)人:武汉大学
类型:发明
国别省市:湖北,42

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1