一种联合图学习与概率传播的红外视频行人显著性检测方法技术

本发明专利技术公开了一种联合图学习与概率传播的红外视频行人显著性检测方法，能够在红外视频中自动定位红外行人区域，并准确地将行人与背景区分开。其步骤如下：一：基于布尔图的候选区域生成；二：计算各帧图像的运动显著性；三：构建多视角时空图结构；四：构建结合图自学习和显著性传播的能量函数并求解。通过以上步骤，本方法能够从杂乱背景及多重复杂运动中准确且鲁棒地提取出红外行人目标的时空显著性，并将背景几乎完全抑制，在其他图像处理领域如目标分割、目标跟踪和目标检索等都有实际应用价值。价值。价值。

【技术实现步骤摘要】
一种联合图学习与概率传播的红外视频行人显著性检测方法


[0001]本专利技术涉及一种联合图学习与概率传播的红外视频行人显著性检测方法，属于计算机视觉和数字图像处理领域。在目标分割、识别、跟踪等领域中有广阔的应用前景。

技术介绍

[0002]图像显著性检测作为计算机视觉领域的重要研究内容得到了广泛研究，已经取得了很好的效果。但是视频显著性检测仍还是一个有待研究的主题。视频显著性旨在自动找到并定位所给视频中最能吸引观察者注意的部分。作为一项有效的预处理手段，视频显著性在目标追踪、重定位，视频压缩，视频概述等方面都有着重要应用。现有的视频显著性方法基本都是针对可见光视频进行研究，但是可见光图像在光照条件差、极端天气、光线变化等具有挑战性的情况下往往会失去作用。红外成像则因为其依靠被动式接收目标热辐射的热能探测目标，不受天气、气候的影响，可以有效弥补可见光图像的不足，所以在军事、安防、监控、以及智能交通等领域发挥着越来越重要的作用。尤其行人由于其自身热辐射特点往往在红外图像中具有较高的显著性，因此针对红外视频的显著性检测这一研究对智能交通无人驾驶等领域的发展十分具有现实意义。然而将视频显著性应用到红外图像中对现有的方法来说仍然是具有挑战性的，现在并无相关方法的提出。
[0003]经典的视频显著性检测模型一般由低级的空间特征与运动特征(如颜色、纹理和运动向量场)、启发式规则(如对比度、似物性)、先验知识(如前景先验、背景先验)出发，通过简单地数学运算进一步融合。但是这些直接融合的方法往往通过逐帧操作，在包含背景杂乱、物体缺少特征、多重运动等复杂情况的视频中难以取得鲁棒的检测结果。考虑到视频序列之间的联系，学者们提出了基于轨迹的方法，将视频帧扩展到点或区域块的时空管状结构，并提出了一系列轨迹描述算子作为显著性测量依据。这类方法能够很好地捕获视频在时间空间上的一致性，但是轨迹聚类需要仔细选择合适的模型，这会带来很高的计算复杂度。基于图的方法使用概率模型在空域和时域传播显著性值，通过构建图时的连接约束减少计算负荷。构建用于视频显著性检测的鲁棒的图模型涉及三部分的关键技术：精确的初始显著性度量和图的构建以及能量函数的设计。
[0004]但是以上视频显著性方法往往基于可见光图像颜色纹理等多样的特征，这些方法在缺少这些特征的红外图像中往往会失效，因此并不能直接将这些方法用到红外图像中，需要针对红外视频的内在特性提出能描述红外目标的鲁棒特征。另一方面，视频显著性检测往往需要面对包含相机运动、动态背景等复杂运动状态，利用红外图像有限的特征描述目标与背景的差异性并捕捉红外视频在空域与时域的连续性十分重要。针对以上问题的研究具有十分重要的意义。

技术实现思路

[0005](1)本专利技术的目的
[0006]红外视频行人检测在智能交通领域有着重要的应用，例如行人监控系统中和车载
行人检测系统中。由于红外设备可以全天时全天候工作，可以很大程度上弥补可见光在光照差、天气恶劣等状态下无法使用的情况。显著性检测能够自动判断定定位图像中的显著目标，突出目标并抑制背景，红外图像中行人由于其辐射特性恰好具有这种显著的特征。然而，由于红外图像对比度低、缺乏颜色纹理特征、信噪比低等特征，现有的针对可见光的显著性检测方法很难直接应用于红外图像上。另外在红外视频中当面对相机运动、背景复杂等情况时，很难准确地提取出行人的运动显著性。
[0007]为了解决现有的问题，使得显著性能够较好的应用于红外行人视频中，突出行人并将行人与背景分离，本专利技术提出了一种联合图学习与概率传播的红外视频行人显著性检测方法。首先考虑到基于区域的显著性检测方法往往拥有更准确的边缘信息以及能保证物体内部的一致性，同时减少计算量，所以本方法提出一种针对红外图像的基于布尔图的候选目标区域生成策略，获取一系列可能包含显著目标的区域。并针对生成的区域提出似物性描述算子衡量各区域代表完整物体的可能性。然后，考虑到光流运动场的梯度具有更高的鲁棒性，以及图像边缘往往能表征图像背景的运动方向，本方法提出了基于运动梯度对比度和运动方向差异性的红外行人显著性描述特征，并与似物性算子相结合得到各区域属于前景和背景的概率。其次，为了更好地捕获行人在红外视频时间和空间中的相关性，本方法对红外视频构建图结构，并从灰度、边缘、运动多个角度对图节点间的相关性进行描述，同时结合时间的相关性构建时空图结构。最后，通过为了避免人工设定的图结构的误差并对显著性检测进行优化，本方法构建了结合图结构自学习和显著性传播的能量函数，并通过迭代求解获取最优结果。
[0008](2)技术方案
[0009]本专利技术的一种联合图学习与概率传播的红外视频行人显著性检测方法，其具体方法步骤如下：
[0010]步骤一：基于布尔图的候选区域生成；首先，对红外视频的各帧图像进行超像素分割；然后构建布尔图并将各级布尔图级联，得到一系列的三维区域；最后对各三维区域的子区域计算似物性算子，并归一化；
[0011]其中，在步骤一中所述的“对红外视频的各帧图像进行超像素分割”，其作法如下：利用 SLIC方法，将第t帧图像I
t
中具有相似灰度及结构的相邻像素聚类为有一定视觉意义的不规则像素块集合sp
t,i
和N
t
分别表示I
t
中的第i个超像素和超像素的总个数。各超像素的灰度则为其内部像素的灰度均值，计算公式为：
[0012][0013]其中C
t
(p)代表第t帧图像中像素p的灰度值，|sp
t,i
|则为超像素sp
t,i
的面积；
[0014]其中，在步骤一中所述的“建布尔图并将各级布尔图级联，得到一系列的三维区域”，其作法如下：将超像素分割后的第t帧红外图像利用255到0的整数作为阈值进行分割，则可得到一系列二值图构成布尔图B
t
＝{B
t,255
,B
t,254
,...,B
t,0
}：
[0015]B
t,θ
＝ξ(SP
t
,θ)
[0016]其中ξ为分割操作，将SP
t
中小于阈值θ的超像素标记为0，反之标记为1，B
t,θ
为阈值θ下的布尔图。根据红外图像灰度分布特性可知，B
t,255
是全黑图像或者含有个别白色区域，
随着阈值减小，B
t,θ
中这些白色区域不断增大，知道全部融为一体成为全白图像。
[0017]然后，将从B
t,255
中出现的连通区域从1开始标号，用连续整数对其中的所有连通区域分配不同编号。在其后的B
t,θ
中，出现与之前已编号的区域完全无重叠的全新区域时，则对新区域继续分配新编号；与唯一的已编号区域重叠时，则继承该区域的编号；与多个已编号区域重叠时，则继承其中面积最大的区域的编号。根据此规则实现对整个布尔图序列中的所有连通区域的编本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种联合图学习与概率传播的红外视频行人显著性检测方法，其特征在于，包括以下步骤：步骤一：基于布尔图的候选区域生成；针对后续步骤，首先，对红外视频的各帧图像进行超像素分割；然后构建布尔图并将各级布尔图级联，得到一系列的三维区域；最后对各三维区域的子区域计算似物性算子，并归一化；步骤二：计算各帧图像的运动显著性。首先提取视频序列的光流场；然后根据图像的运动梯度计算各区域基于局部梯度的运动显著性；其次通过提取背景运动主方向计算基于运动方向的运动显著性；最后将运动显著性与似物性算子相结合得到各超像素属于前景/背景的概率；步骤三：构建多视角时空图结构。首先构建图结构各节点的空间邻域关系，然后分别从灰度、边缘、运动三方面构建空间相关性矩阵；然后构建相邻帧节点之间的时间相关性矩阵。最后将时间相关性矩阵与空间相关性矩阵结合得到不同视角的时空相关性矩阵；步骤四：构建结合图自学习和显著性传播的能量函数并求解。在图结构的基础上构建包含图学习、显著性传播及联合学习项的能量函数，并利用交替优化的方法对其中的变量依次求解，从而得到优化的图相关性矩阵和显著性检测结果。2.根据权利要求1所述的一种联合图学习与概率传播的红外视频行人显著性检测方法，其特征在于：在步骤一中所述的“对红外视频的各帧图像进行超像素分割”，其作法如下：利用SLIC算法，将第t帧图像I
t
中具有相似灰度及结构的相邻像素聚类为有一定视觉意义的不规则像素块集合sp
t,i
和N
t
分别表示I
t
中的第i个超像素和超像素的总个数。各超像素的灰度则为其内部像素的灰度均值，计算公式为：其中C
t
(p)代表第t帧图像中像素p的灰度值，|sp
t,i
|则为超像素sp
t,i
的面积。3.根据权利要求1所述的一种联合图学习与概率传播的红外视频行人显著性检测方法，其特征在于：在步骤一中所述的“建布尔图并将各级布尔图级联，得到一系列的三维区域”，其作法如下：将超像素分割后的第t帧红外图像利用255到0的整数作为阈值进行分割，则可得到一系列二值图构成布尔图B
t
＝{B
t,255
,B
t,254
,...,B
t,0
}：B
t,θ
＝ξ(SP
t
,θ)其中ξ为分割操作，将SP
t
中小于阈值θ的超像素标记为0，反之标记为1，B
t,θ
为阈值θ下的布尔图。根据红外图像灰度分布特性可知，B
t,255
是全黑图像或者含有个别白色区域，随着阈值减小，B
t,θ
中这些白色区域不断增大，知道全部融为一体成为全白图像。然后，将从B
t,255
中出现的连通区域从1开始标号，用连续整数对其中的所有连通区域分配不同编号。在其后的B
t,θ
中，出现与之前已编号的区域完全无重叠的全新区域时，则对新区域继续分配新编号；与唯一的已编号区域重叠时，则继承该区域的编号；与多个已编号区域重叠时，则继承其中面积最大的区域的编号。根据此规则实现对整个布尔图序列中的所有连通区域的编号操作，存在于不同布尔图层中具有相同编号的一系列区域则可构成一个三维区域N
r
为图像I
t
得到的三维区域的个数，三维区域则由多个子区域图
层构成l为各子区域所处图层。4.根据权利要求1所述的一种联合图学习与概率传播的红外视频行人显著性检测方法，其特征在于：在步骤一中所述的“对各三维区域的子区域计算似物性算子，并归一化”，其计算方法如下：首先计算各子区域内部超像素与其相邻的外部超像素的灰度对比度，子区域内部与外部的灰度对比度越大，该区域越有可能代表一个完整物体。其计算公式为：其中sp
t,i
为子区域内的超像素，sp
t,j
为不属于的超像素；δ(
·
)为指示函数，当超像素sp
t,j
属于与sp
t,i
相邻的超像素集合时，函数值为1，反之为0。其次计算各子区域内部的超像素之间的灰度一致性，子区域内部超像素之间的差异越小，表示其越可能代表一个完整物体。其计算公式为：然后计算各子区域边界处包含的梯度信息，边界处包含越多的梯度越有可能是完整的物体。其计算公式为：其中br
t,p
是图像帧I
t
的梯度图在像素p处的响应，则为子区域的边界像素集合。则为子区域的面积。根据以上规则，似物性描述算子的计算公式为：最后将各三维区域内所有子区域的似物性算子归一化，其计算公式为：得到的似物性算子描述了各区域能够表示完整的目标区域的可能性。5.根据权利要求1所述的一种联合图学习与概率传播的红外视频行人显著性检测方法，其特征在于：在步骤二中所述的“提取视频序列的光流场”，是指通过光流法LDOF计算相邻当前图像帧I
t
到其后一帧图像I
t+1
之间在水平x和垂直y两个方向上的向前运动向量F＝[Fx
t
；Fy
t
]。并将视频反向利用光流法LDOF计算当前图像帧I
t
到其前一帧图像I
t
‑1的向后运动向量B＝[Bx
t
；By
t
]。6.根据权利要求1所述的一种联合图学习与概率传播的红外视频行人显著性检测方法，其特征在于：在步骤二中所述的“根据图像的运动梯度计算各区域基于局部梯度的运动
显著性”，其计算方法如下：首先通过加和运动场各向梯度计算图像帧I
t
的梯度概率，其计算公式如下其中和分表代表沿水平方向求梯度和沿垂直方向求梯度。然后对各子区域内部超像素的梯度概率进行加和，从而得到各子区域的运动梯度概率，其计算公式如下：其中Mg
t,p
为像素p的运动梯度概率，则为基于运动梯度的运动显著性值。7.根据权利要求1所述的一种联合图学习与概率传播的红外视频行人显著性检测方法，其特征在于：在步骤二中所述的“通过提取背景运动主方向计算基于运动方向的运动显著性”，其计算方法如下：首先提取图像I
t
四个边缘的超像素集合作为背景超像素，然后利用K
‑
means聚类方法对背景超像素的运动向量分为K类并相应地得到K个聚类中心作为各类的主要运动方向，并删除类占总数比小于1/6的类，剩余聚类中心作为背景主运动方向。然后，计算各子区域内像素与背景主运动方向的差异，差异越小越可能属于背景显著值...

【专利技术属性】
技术研发人员：李露，郑玉，刘博，罗晓燕，周付根，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：