一种基于交通视频数据图像的确定交通目标所在区域的方法技术

本发明专利技术涉及一种基于交通视频数据图像的确定交通目标所在区域的方法，技术特征在于：记录驾驶员观察真实交通视频时的关注点；训练交通目标检测模板，用交通目标检测模板与视频做卷积，提取出视频的基于物体的特征；利用时空方向滤波器，提取视频的运动特征；将人眼关注位置的像素作为正样本，除关注点以外的像素作为负样本；使用样本的标签以及样本的特征、通过机器学习的方法训练出支持向量机分类器；这样，对于任意给定的交通驾驶视频，在提取了物体级别特征和运动特征以后，将这些特征输入到训练好的支持向量机分类器中，就可以预测出交通驾驶视频中的交通目标所在区域。

【技术实现步骤摘要】
一种基于交通视频数据图像的确定交通目标所在区域的方法
本专利技术属于计算机视觉
，涉及一种基于交通视频数据图像的确定交通目标所在区域的方法。
技术介绍
研究驾驶员的视觉注意力对于减少交通事故、提高驾驶舒适度、研究智能视觉导航系统和交互式负载操控系统均具有重要意义。研究驾驶员的视觉注意力的目的在于确定交通视频中引起驾驶员关注的交通目标所在区域，常见的交通目标包括了行人、车辆、交通标志等。相较于使用昂贵的高精度相机、导航仪器、传感器等硬件设备来识别和定位交通目标所在区域的方法而言，基于计算视觉的算法具有成本低、智能度高、易于移植等优势。目前已有的基于计算机视觉的定位交通目标所在区域的方法大多建立于人体视网膜系统中存在的“中心-周围对比机制”上，通过计算颜色、边缘等底层特征，找出具有明显中心-周围差异的区域、作为可能存在交通目标的区域，然后进一步通过分割、滤波等方法，最终定位出交通目标。这些方法虽然取得了较好的效果，却也具有一些难以克服的缺陷：1）只能识别出某一种交通目标，无法找出整个交通场景中的所有可能引起驾驶员关注的交通目标；2）方法繁琐复杂；3）未考虑高层视觉认知的指导，不符合真实的驾驶员视觉注意力分配情况。4）大多数是无监督的处理方法，未能充分利用已经掌握的交通目标的视觉特征。
技术实现思路
要解决的技术问题为了避免现有技术的不足之处，本专利技术提出一种基于交通视频数据图像的确定交通目标所在区域的方法，是一种眼动跟踪数据指导的确定交通目标所在区域的方法。技术方案一种基于交通视频数据图像的确定交通目标所在区域的方法，其特征在于步骤如下：步骤1、提取基于物体的特征：步骤a：训练目标检测模板：利用PedroFelzenszwalb在2010年发布的可变局部模型方法，训练交通目标检测模板；所述PedroFelzenszwalb在2010年公布的可变局部模型方法见论文ObjectDetectionwithDiscriminativelyTrainedPart-BasedModels；步骤b：用步骤a训练好的模板，对图像进行滤波，具体过程为：首先利用下采样技术得到每一幅输入图像在4个不同尺度上的图像，将这4幅各自位于4个不同尺度上的图像与步骤a训练好的所有模板逐个进行卷积计算，得到4幅响应图像；接下来，将这4幅响应图像进行线性插值，使其变换到相同尺寸；然后找出每个像素在这4幅响应图上的最大响应值、组成一幅最大响应图，求最大响应图里的像素平均值，作为此幅图像关于当前这个模板的特征值；对步骤a训练得到的12个模板，逐一按照上述方法进行滤波，就得到了分别对应这个12个模板的12个特征值，将这12个特征值线性连接成一个12维的特征向量，代表基于物体的特征；步骤2、提取运动特征：步骤a：构造三维高斯滤波器，并与原始视频I进行卷积：定义采样频率Sr＝0.5，在采样区间[-3，3]之间按照采样频率进行采样，获得采样值i＝-1，-2.5，-1，...2，2.5，3；定义权值C＝0.184，利用采样值i，计算出以下5个滤波器常量f1，f2，...，f5：其中，e代表指数函数；依次在x，y，z三个方向上、使用不同的滤波器常量fi，i∈{1，2，3，4，5}，对原始视频I进行卷积运算，得出10段卷积视频Ia，Ib，...，Ij，其中z表示时间轴，x，y组成的平面为单帧图像所在平面，x代表图像平面的横轴，y代表图像平面的纵轴，具体实现过程如下：I'a＝ζ(I，f1|x)，I''a＝ζ(I'a，f4|y)，Ia＝ζ(I''a，f4|z)I'b＝ζ(I，f3|x)，I''b＝ζ(I'b，f2|y)，Ib＝ζ(I''b，f4|z)I'c＝ζ(I，f2|x)，I''c＝ζ(I'c，f3|y)，Ic＝ζ(I''c，f4|z)I'd＝ζ(I，f4|x)，I''d＝ζ(I'd，f1|y)，Id＝ζ(I''d，f4|z)I'e＝ζ(I，f3|x)，I''e＝ζ(I'e，f4|y)，Ie＝ζ(I''e，f2|z)I'f＝ζ(I，f5|x)，I''f＝ζ(I'f，f2|y)，If＝ζ(I''f，f2|z)I'g＝ζ(I，f4|x)，I''g＝ζ(I'g，f3|y)，Ig＝ζ(I''g，f2|z)I'h＝ζ(I，f2|x)，I''h＝ζ(I'h，f4|y)，Ih＝ζ(I''h，f3|z)I'i＝ζ(I，f4|x)，I''i＝ζ(I'i，f2|y)，Ii＝ζ(I''i，f3|z)I'j＝ζ(I，f4|x)，I''j＝ζ(I'j，f4|y)，Ij＝ζ(I''j，f1|z)其中，ζ代表进行卷积运算，ζ(I，f1|x)表示将视频I与滤波器常量f1做卷积，并且卷积运算的方向沿着z轴方向，I'a，I'b，...，I'j代表用不同的滤波器常量与原始视频I沿着x方向做卷积以后得到的视频数据，I''a，I''b，...，I''j代表用不同的滤波器常量与视频I'a，I'b，...，I'j沿着y方向做卷积以后得到的视频数据，Ia，Ib，...，Ij代表用不同的滤波器常量与视频I''a，I''b，...，I''j沿着z方向做卷积以后得到的视频数据；步骤b：生成上、下、左、右和闪烁这5个方向向量i∈V＝{上，下，左，右，闪烁}，定义如下：步骤c、计算在方向上的总能量由对应4个子方向的4个子能量组成；设子方向为同时设置一个周向量A＝[0，1，0]；在每个子方向j＝0，1，2，3上，计算子能量的过程如下：首先计算卷积周向量Na：并对卷积周向量Na进行归一化，得到归一化卷积周向量然后计算二次卷积周向量Nb：接下来计算三角方向向量Nj：cos代表余弦三角函数，sin代表正弦三角函数，π代表圆周率；接下来计算方向向量Oj：其中，代表向量Oj在x方向的分量，代表向量Oj在y方向的分量，代表向量Oj在z方向的分量；并对Oj进行归一化，得到归一化方向向量其中，代表归一化方向向量在x方向的分量，代表归一化方向向量在y方向的分量，代表归一化方向向量在z方向的分量；最后计算在子方向j上的子能量其中，Ia，Ib，...，Ij为步骤a计算出的视频数据；最终对四个子方向的能量求和，得到方向上的总能量步骤d：计算在方向上的运动特征对于，首先对步骤c计算出的5个方向能量i∈V＝{上，下，左，右，闪烁}，进行高斯滤波，并用表示高斯滤波后的能量，其中高斯滤波器的方差为1；称数值最大的为定义能量补偿项c：则不同方向总能量为其中，V＝{上，下，左，右，闪烁}；最后计算每个方向上的运动特征其中，i∈V＝{上，下，左，右，闪烁}；步骤3：进行眼动数据采集实验：邀请18位有经验的驾驶员，观看30段真实交通驾驶视频，并应用眼动追踪仪、同步记录驾驶员的眼睛关注点位置；步骤4：训练分类器：从视频库中随机选出24段视频用于训练，以步骤3中记录的眼睛关注点位置的像素为正样本，从非人眼关注的像素里随机选取与正样本数量等同的负样本；对于每一个正、负样本，用步骤1和步骤2所描述的方法分别提取基于物体的特征和运动特征，并将基于物体的特征和运动特征线性连接起来，组成完备的特征向量，将完备的特征向量和对应的正、负标签作为输入，学习得到一个支持向量机分类器；步骤5：利用步骤4得出的分类器预测交通视频中的交通目标所在区域：将视频库中剩下本文档来自技高网...

【技术保护点】
一种基于交通视频数据图像的确定交通目标所在区域的方法，其特征在于步骤如下：步骤1、提取基于物体的特征：步骤a：训练目标检测模板：利用Pedro?Felzenszwalb在2010年发布的可变局部模型算法，训练交通目标检测模板；所述Pedro?Felzenszwalb在2010年公布的可变局部模型算法见论文Object?Detection?with?Discriminatively?Trained?Part?Based?Models；步骤b：用步骤a训练好的模板，对图像进行滤波，具体过程为：首先利用下采样技术得到每一幅输入图像在4个不同尺度上的图像，将这4幅各自位于4个不同尺度上的图像与步骤a训练好的所有模板逐个进行卷积计算，得到4幅响应图像；接下来，将这4幅响应图像进行线性插值，使其变换到相同尺寸；然后找出每个像素在这4幅响应图上的最大响应值、组成一幅最大响应图，求最大响应图里的像素平均值，作为此幅图像关于当前这个模板的特征值；对步骤a训练得到的12个模板，逐一按照上述方法进行滤波，就得到了分别对应这个12个模板的12个特征值，将这12个特征值线性连接成一个12维的特征向量，代表基于物体的特征；步骤2、提取运动特征：步骤a：构造三维高斯滤波器，并与原始视频I进行卷积：定义采样频率Sr＝0.5，在采样区间[?3，3]之间按照采样频率进行采样，获得采样值i＝?1，?2.5，?1，...2，2.5，3；定义权值C＝0.184，利用采样值i，计算出以下5个滤波器常量f1，f2，...，f5：f2=ie-i2,f3=-4C(2i2-1)e-i2,f4=e-i2,f5=-8Cie-i2,其中，e代表指数函数；依次在x，y，z三个方向上、使用不同的滤波器常量fi，i∈{1，2，3，4，5}，对原始视频I进行卷积运算，得出10段卷积视频Ia，Ib，...，Ij，其中z表示时间轴，x，y组成的平面为单帧图像所在平面，x代表图像平面的横轴，y代表图像平面的纵轴，具体实现过程如下：I“a＝ζ(I，f1|x)，I““a＝ζ(I“a，f4|y)，Ia＝ζ(I““a，f4|z)I“b＝ζ(I，f3|x)，I““b＝ζ(I“b，f2|y)，Ib＝ζ(I““b，f4|z)I“c＝ζ(I，f2|x)，I““c＝ζ(I“c，f3|y)，Ic＝ζ(I““c，f4|z)I“d＝ζ(I，f4|x)，I““d＝ζ(I“d，f1|y)，Id＝ζ(I““d，f4|z)I“e＝ζ(I，f3|x)，I““e＝ζ(I“e，f4|y)，Ie＝ζ(I““e，f2|z)I“f＝ζ(I，f5|x)，I““f＝ζ(I“f，f2|y)，If＝ζ(I““f，f2|z)I“g＝ζ(I，f4|x)，I““g＝ζ(I“g，f3|y)，Ig＝ζ(I““g，f2|z)I“h＝ζ(I，f2|x)，I““h＝ζ(I“h，f4|y)，Ih＝ζ(I““h，f3|z)I“i＝ζ(I，f4|x)，I““i＝ζ(Ii“，f2|y)，Ii＝ζ(I““i，f3|z)I“j＝ζ(I，f4|x)，I““j＝ζ(I“j，f4|y)，Ij＝ζ(I““j，f1|z)其中，ζ代表进行卷积运算，ζ(I，f1|x)表示将视频I与滤波器常量f1做卷积，并且卷积运算的方向沿着z轴方向，I“a，I“b，...，I“j代表用不同的滤波器常量与原始视频I沿着x方向做卷积以后得到的视频数据，I““a，I““b，...，I““j代表用不同的滤波器常量与视频I“a，I“b，...，I“j沿着y方向做卷积以后得到的视频数据，Ia，Ib，...，Ij代表用不同的滤波器常量与视频I““a，I““b，...，I““j沿着z方向做卷积以后得到的视频数据；步骤b：生成上、下、左、右和闪烁这5个方向量i∈V={上，下，左，右，闪烁}，定义如下：步骤c、计算在方向上的总能量由对应4个子方向的4个子能量组成；设子方向为同时设置一个周向量A＝[0，1，0]；在每个子方向j＝0，1，2，3上，计算子能量的过程如下：首先计算卷积周向量Na：并对卷积周向量Na进行归一化，得到归一化卷积周向量然后计算二次卷积周向量Nb：接 下来计算三角方向向量Nj：cos代表余弦三角函数，sin代表正弦三角函数，π代表圆周率；接下来计算方向向量Oj：其中，代表向量Oj在x方向的分量，代表向量Oj在y方向的分量，代表向量Oj在z方向的分量；并对Oj进行归一化，得到归一化方向向量其中，代表归一化方向向量在x方向的分量，代表归一化方向向量在y方向的分量，代表归一化方向向量在z方向的分量；最后计算在子...

【技术特征摘要】
1.一种基于交通视频数据图像的确定交通目标所在区域的方法，其特征在于步骤如下：步骤1、提取基于物体的特征：步骤a：训练目标检测模板：利用PedroFelzenszwalb在2010年发布的可变局部模型算法，训练交通目标检测模板；所述PedroFelzenszwalb在2010年公布的可变局部模型算法见论文ObjectDetectionwithDiscriminativelyTrainedPart-BasedModels；Felzenszwalb在2010年发布的可变局部模型方法，训练用于检测这12类交通目标的模板，这12类交通目标包括：4种交通标志：禁令prohibition、指示indication、指路direction、警告warning；2种交通灯：横排、竖排；行人；路障；4种交通工具：小汽车、公交车、摩托车、自行车；步骤b：用步骤a训练好的模板，对图像进行滤波，具体过程为：首先利用下采样技术得到每一幅输入图像在4个不同尺度上的图像，将这4幅各自位于4个不同尺度上的图像与步骤a训练好的所有模板逐个进行卷积计算，得到4幅响应图像；接下来，将这4幅响应图像进行线性插值，使其变换到相同尺寸；然后找出每个像素在这4幅响应图上的最大响应值、组成一幅最大响应图，求最大响应图里的像素平均值，作为此幅图像关于当前这个模板的特征值；对步骤a训练得到的12个模板，逐一按照上述方法进行滤波，就得到了分别对应这个12个模板的12个特征值，将这12个特征值线性连接成一个12维的特征向量，代表基于物体的特征；步骤2、提取运动特征：步骤a：构造三维高斯滤波器，并与原始视频I进行卷积：定义采样频率Sr＝0.5，在采样区间[-3,3]之间按照采样频率进行采样，获得采样值i＝-1,-2.5,-1,...2,2.5,3；定义权值C＝0.184，利用采样值i，计算出以下5个滤波器常量f1,f2,...,f5：其中，e代表指数函数；依次在x,y,z三个方向上、使用不同的滤波器常量fi,i∈{1,2,3,4,5}，对原始视频I进行卷积运算，得出10段卷积视频Ia,Ib,...,Ij，其中z表示时间轴，x,y组成的平面为单帧图像所在平面，x代表图像平面的横轴，y代表图像平面的纵轴，具体实现过程如下：I'a＝ζ(I,f1|x)，I″a＝ζ(I'a,f4|y)，Ia＝ζ(I″a,f4|z)I'b＝ζ(I,f3|x)，I″b＝ζ(I'b,f2|y)，Ib＝ζ(I″b,f4|z)I'c＝ζ(I,f2|x)，I″c＝ζ(I'c,f3|y)，Ic＝ζ(I″c,f4|z)I'd＝ζ(I,f4|x)，I″d＝ζ(I'd,f1|y)，Id＝ζ(I″d,f4|z)I'e＝ζ(I,f3|x)，I″e＝ζ(I'e,f4|y)，Ie＝ζ(I″e,f2|z)I'f＝ζ(I,f5|x)，I″f＝ζ(I'f,f2|y)，If＝ζ(I″f,f2|z)I'g＝ζ(I,f4|x)，I″g＝ζ(I'g,f3|y)，Ig＝ζ(I″g,f2|z)I'h＝ζ(I,f2|x)，I″h＝ζ(I'h,f4|y)，Ih＝ζ(I″h,f3|z)Ii'＝ζ(I,f4|x)，I″i＝ζ(Ii',f2|y)，Ii＝ζ(I″i,f3|z)I'j＝ζ(I,f4|x)，I″j＝ζ(I'j,f4|y)，Ij＝ζ(I″j,f1|z)其中，ζ代表进行卷积运算，ζ(I,f1|x)表示将视频I与滤波器常量f1做卷积，并且卷积运算的方向沿着z轴方向，I'a...

【专利技术属性】
技术研发人员：韩军伟，孙立晔，郭雷，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：