融合多源视觉信息的危险物体检测方法技术

本发明专利技术提供一种融合多源视觉信息的危险物体检测方法，包括以下步骤：1】多源视觉影像采集；2】增量式运动一致性考量；3】多源视觉信息融合；4】计算检测率。该融合多源视觉信息的危险物体检测方法，解决了现有技术中危险物体检测类别有限、缺乏多种信息有效利用的技术问题。

【技术实现步骤摘要】

本专利技术属于计算机视觉、图像理解领域，具体涉及一种在视频监控中融合多源视觉信息的危险物体检测方法。
技术介绍
在行车过程中自动预测可能出现的危险物体是视频监控中的关键技术。通常情况下，由于复杂的物体种类、多变的监控环境、剧烈的相机抖动，使得危险物体检测变得十分困难。目前，对于危险物体的检测方法主要分成两大类：一是基于检测器的方法，这种方法是利用手动采集的行人或车辆样本事先训练好行人或车辆检测器，然后在监控视频中进行相应目标的检测。Xu等人在文献“Y.Xu,D.Xu,S.Lin,T.Han,X.Cao,and X.Li.Detection of Sudden Pedestrian Crossings for Driving Assistance Systems.IEEE Transactions on Systems,Man,and Cybernetics,Part B:Cybernetics,42(3):729–739,2012”提出了一种横跨道路的行人检测方法。该文献新颖地利用部分行人样本进行训练，从而使得行人在刚被发现时就可以检测出来。Rezaei和Terauchi在文献“M.Rezaei and M.Terauchi.Vehicle Detection Based on Multi-feature Clues and Dempster-shafer Fusion Theory.In Proceedings of Pacific-Rim Symposium on Image and Video Technology,2013,pp.60–72”中提出一种融合多特征和Dempster-shafer技术的车辆检测方法。虽然这些方法可以在一定程度上进行危险物体检测，但其不足之处是都需要额外的训练样本，且不能覆盖所有的出现在车辆前方的物体。二是基于显著性和颜色特征融合的方法，这种方法将心理学中的注意力选择机制利用显著性检测的方式引入到危险检测中来。比如Alonso等人在文献“J.Alonso,E.R.Vidal,A.Rotter,and M.Muhlenberg.Lane-change Decision Aid System Based on Motion-driven Vehicle Tracking.IEEE Transactions on Vehicular Technology,57(5):2736–2746,2008”中提出一种融合运动显著性和颜色特征的车辆检测方法。该方法存在的不足之处是只考虑了视场一侧的运动显著性，而
在真正的驾驶过程中，危险物体出现的位置是不定的，也就是拍摄的左右侧视野均可能出现危险物体。
技术实现思路
本专利技术提出一种新的融合多源视觉信息的危险物体检测方法，解决了现有技术中危险物体检测类别有限、缺乏多种信息有效利用的技术问题。本专利技术的技术解决方案是：一种融合多源视觉信息的危险物体检测方法，包括以下步骤：1】多源视觉影像采集：1.1】使用多光谱相机实时获得彩色视频影像和近红外视频影像；1.2】利用单序列深度恢复方法获得与彩色视频影像相对应的深度影像；1.3】利用相关性光流方法获得与彩色视频影像相对应的运动影像；1.4】利用线性迭代聚类方法分割运动影像中的每一帧图像，得到超像素网格；1.5】将超像素网格叠加到彩色视频影像、近红外视频影像和深度影像上；2】增量式运动一致性考量：2.1】将运动影像分界为左侧运动视频帧和右侧运动视频帧，分界线为运动影像中轴线；2.2】利用初始F帧分割得到的超像素运动模式，训练正常运动模式基A，包括左侧正常运动模式基Al和右侧正常运动模式基Ar；其中F的取值范围为5-20；2.3】在t时刻，所有通道的图像被分割成N个超像素，计算运动图像中N个超像素所对应的特征yi，其中i＝1:N；2.4】构建图正则的最小软阈值均方目标式模型： [ X ^ , U ^ ] = min X , U L ( X , U ) , ]]> L ( X , Y ) = 1 2 | | Y - AX - U | | f 2 + λ 1 | | U | | 1,1 + λ 2 2 tr ( XLX T ) , ]]>其中，U为构建的高斯-拉普拉斯误差项，Y为所有yi组成的矩阵，X为所要求解的稀疏系数，L为拉普拉斯矩阵，λ1为高斯-拉普拉斯噪声稀疏项约束系数，为几何流行正则项约束系数；2.5】得到运动影像的危险置信度值计算结果： d ( y i , A ) = 1 2 | | y i - A x ^ i | | 2 2 + λ 1 | | u ^ i | | 1 ]]>综合左右两侧计算结果： d t i = 1 - exp ( - ( ϵ l i - ϵ r 本文档来自技高网...

【技术保护点】
一种融合多源视觉信息的危险物体检测方法，其特征在于：包括以下步骤：1】多源视觉影像采集：1.1】使用多光谱相机实时获得彩色视频影像和近红外视频影像；1.2】利用单序列深度恢复方法获得与彩色视频影像相对应的深度影像；1.3】利用相关性光流方法获得与彩色视频影像相对应的运动影像；1.4】利用线性迭代聚类方法分割运动影像中的每一帧图像，得到超像素网格；1.5】将超像素网格叠加到彩色视频影像、近红外视频影像和深度影像上；2】增量式运动一致性考量：2.1】将运动影像分界为左侧运动视频帧和右侧运动视频帧，分界线为运动影像中轴线；2.2】利用初始F帧分割得到的超像素运动模式，训练正常运动模式基A，包括左侧正常运动模式基Al和右侧正常运动模式基Ar；其中F的取值范围为5‑20；2.3】在t时刻，所有通道的图像被分割成N个超像素，计算运动图像中N个超像素所对应的特征yi，其中i＝1:N；2.4】构建图正则的最小软阈值均方目标式模型：[X^,U^]minX,UL(X,U),]]>L(X,U)=12||Y-AX-U||F2+λ1||U||1,1+λ22tr(XLXT),]]>其中，U为构建的高斯‑拉普拉斯误差项，Y为所有yi组成的矩阵，X为所要求解的稀疏系数，L为拉普拉斯矩阵，λ1为高斯‑拉普拉斯噪声稀疏项约束系数，为几何流行正则项约束系数；2.5】得到运动影像的危险置信度值计算结果：d(yi,A)=12||yi-Ax^i-u^i||22+λ1||u^i||1]]>综合左右两侧计算结果：dti=1-exp(-(ϵli-ϵri)/β)]]>其中，ϵli=d(yti,Al),ϵri=d(yti,Ar),]]>β为左右两侧的误差平衡系数；2.6】得到整个运动影像动信息考量下的危险置信度将的值利用最大‑最小归一化方法归一化到[0,1]之间；3】多源视觉信息融合：3.1】利用基于图评测的显著性计算方法分别计算彩色视频影像、近红外视频影像和深度影像的显著性结果，得到彩色视频影像危险置信度近红外视频影像危险置信度和深度影像危险置信度3.2】利用显著性贝叶斯模型Pr(O|S(z))=Pr(S(z)|O)Pr(O)Pr(O)Pr(S(z)|O)+(1-Pr(O))Pr(S(z)|B)]]>融合得到运动影像、彩色视频影像、近红外视频影像和深度影像危险置信度图3.2.1】计算先验概率Pr(O)：根据超像素特征在图像空间的出现频率得到元素分布图其中OPT为元素分布图索引；则先验概率为3.2.2】计算似然概率Pr(S(z)|O)：将得到的二值化，计算原始视觉图像上对应的像素直方图计算背景区域在对应原始视觉图像上的落入中对应数值的像素数则目标及背景的似然概率为Pr(Sti|Ot)=NbOt(Sti(z))NBt,Pr(Sti|Bt)=NbBt(Sti(z))NBt]]>3.3】计算所有视觉信息贝叶斯化后的融合概率：StDanger=ΣiPr(Ot|Sti(z)),]]>其中，Pr(Ot|Sti(z))=Pr(Ot)p(Sti(z)|Ot)Pr(Ot)p(Sti(z)|Ot)+(1-Pr(Ot))Pr(Sti(z)|Bt)=(1-EDtOPT)Pr(Sti(z)|Ot)(1-EDtOPT)Pr(Sti(z)|Ot)+EDtOPTPr(Sti(z)|Bt)]]>4】计算检测率：对每帧影像均重复执行步骤2】‑步骤3】，直至整个视频影像被处理完毕；标记视频第t帧中真实的危险物体区域为Gt，检测率为：TPR＝TP/PFPR＝FP/N其中，TP为检测正确的像素点个数，FP为检测错误的像素点个数，P为Gt中的目标像素点个数，N为Gt中背景像素点个数。...

【技术特征摘要】
1.一种融合多源视觉信息的危险物体检测方法，其特征在于：包括以下步骤：1】多源视觉影像采集：1.1】使用多光谱相机实时获得彩色视频影像和近红外视频影像；1.2】利用单序列深度恢复方法获得与彩色视频影像相对应的深度影像；1.3】利用相关性光流方法获得与彩色视频影像相对应的运动影像；1.4】利用线性迭代聚类方法分割运动影像中的每一帧图像，得到超像素网格；1.5】将超像素网格叠加到彩色视频影像、近红外视频影像和深度影像上；2】增量式运动一致性考量：2.1】将运动影像分界为左侧运动视频帧和右侧运动视频帧，分界线为运动影像中轴线；2.2】利用初始F帧分割得到的超像素运动模式，训练正常运动模式基A，包括左侧正常运动模式基Al和右侧正常运动模式基Ar；其中F的取值范围为5-20；2.3】在t时刻，所有通道的图像被分割成N个超像素，计算运动图像中N个超像素所对应的特征yi，其中i＝1:N；2.4】构建图正则的最小软阈值均方目标式模型： [ X ^ , U ^ ] min X , U L ( X , U ) , ]]> L ( X , U ) = 1 2 | | Y - AX - U | | F 2 + λ 1 | | U | | 1,1 + λ 2 2 tr ( XL X T ) , ]]>其中，U为构建的高斯-拉普拉斯误差项，Y为所有yi组成的矩阵，X为所要求解的稀疏系数，L为拉普拉斯矩阵，λ1为高斯-拉普拉斯噪声稀疏项约束系数，为几何流行正则项约束系数；2.5】得到运动影像的危险置信度值计算结果： d ( y i , A ) = 1 2 | | y i - A x ^ i - u ^ i | | 2 2 + λ 1 | | u ^ i | | 1 ]]>综合左右两侧计算结果： d t i = 1 - exp ( - ( ϵ l i - ϵ r i ) / β ) ]]>其中， ϵ l i = d ( y t i , A l ) , ϵ r i = d ( y t i , A r ) , ]]>β为左右两侧的误差平衡系数；2.6】得到整个运动影像动信息考量下的危险置信度将的值利用最大-最小归一化方法归一化到[0,1]之间；3】多源视觉信息融合：3.1】利用基于图评测的显著性计算方法分别计算彩色视频影像、近红外视频影像和深度影像的显著性结果，得到彩色视频影像危险置信度近红外视频影像危险置信度和深度影像危险置信度3.2】利用显著性贝叶斯模型 Pr ( O | S ( z ) ) = Pr ( S ( z ) | O ) Pr ( O ) Pr ( O ) Pr ( S ( z ) | O ) + ( 1 - Pr ( O ) ) Pr ( S ( z ) | B ) ]]>融合得到运动影像、彩色视频影像、近红外视频影像和深度影像危险置信度图3.2.1】计算先验概率Pr(O)：根据超像素特征在图像空间的出现频率得到元素分布图其中OPT为元素分布图索引；则先验概率为3.2.2】计算似然概率Pr(S(z)|O)：将得到的二值化，计算原始视觉图像上对应的像素直方图计算背景区域在对应原始视觉图像上的落入中对应数值的像素数则目标及背景的似然概率为 Pr ( S t i | O t ) = N b O t ( S t i ( z ) ) N B t , Pr ( S t i | B t ) = N b B t ( S t i ( z ) ) N B t ]]>3.3】计算所有视觉信息贝叶斯化后的融合概率： S t Danger = Σ i ...

【专利技术属性】
技术研发人员：袁媛，王琦，房建武，
申请(专利权)人：中国科学院西安光学精密机械研究所，
类型：发明
国别省市：陕西;61