长时间跨度视频图像行人监测精准追踪方法技术

本申请针对行人检测与追踪问题，采用结构化动态背景自适应模型来实现动态学习过程，克服行人检测与追踪过程中常见的目标不规则运动、背景变化、遮挡与消失等问题，限定支持向量的数目，提高算法对计算资源的采用率：在行人检测方法上，采用尺度搜索变换目标追踪算法,解决目标可能会出现的放大缩小问题,提高追踪的精确性；在行人追踪方法上，将动态学习检测模块替换为结构化动态背景自适应模型，改进算法能够解决遮挡、消失等问题，展示了良好的性能，扩展到多尺度估算，解决漂移问题；在目标特征提取方法上，采用HOG扩展特征进行目标特征提取，能更好的提高追踪算法追踪精度，在多个领域具有重要作用和巨大应用价值。领域具有重要作用和巨大应用价值。领域具有重要作用和巨大应用价值。

【技术实现步骤摘要】
长时间跨度视频图像行人监测精准追踪方法


[0001]本申请涉及一种视频图像行人监测精准追踪方法，特别涉及一种长时间跨度视频图像行人监测精准追踪方法，属于视频行人监测追踪


技术介绍

[0002]行人目标检测与追踪是智能视频监控、智能交通的重要功能，它在计算机视觉领域有许多应用，如机器人技术，监测和自动化等。在通用的视频追踪中,行人追踪能完成在只有一个行人目标初始位置已知的条件下，估算行人目标在整个序列中轨迹的任务。现有技术的追踪方法是学习一个目标模型的外观，然后根据外观模型评估一种新的目标状态框架。
[0003]行人追踪可应用到很多场景中，如交通监控、人机交互、动作分析和视频监控等。行人追踪的问题主要是由于目标点的变化、遮挡、变形和快速运动产生的外观变化等而引起的。由于运动目标的大小发生变化,沿相机轴或目标外观发生变化等问题,准确的估算有较大难度。其他因素如遮挡、快速运动和照明的变化等也给精准追踪带来了难题。
[0004]智能的行人检测对于保护司机和行人远离交通事故非常重要，行人检测与追踪对行人计数性能有很大影响,它自动检测感兴趣的目标图像序列,并不断定位目标在随后的序列。目前,行人检测与追踪技术广泛应用于银行、交通、超市、仓库、社会综治等有高安全需求的位置合场景。近年来，虚拟现实技术的发展愈渐成熟,这要求计算机有获取人类各种动作和语音的能力，必须能够随时捕捉人类动作，并对这些动作进行精确的识别甚至理解。
[0005]行人检测广泛应用于智能化控制,智能交通驾驶辅助，先进人机交互等领域。然而，行人检测是具有实践意义的问题。首先，行人是非刚性物体，它们在身体和动作上是多种多样的；其次，可能会出现穿不同衣服和裤子的行人之间重叠；此外，背景环境在实践中非常复杂，频繁变化。
[0006]现有技术有关行人检测方面的研究和应用已经很多，一是运用Haar特征和行人的运动信息来训练一种级联探测器，这种级联探测器由一些强分类器组成，该方法在MIT行人检测中取得了良好的效果；二是采用定向梯度直方图作为特征描述符，在INRIA行人数据库中采用SVM分类器获得出色的效果；三是将目标进行分块，提出基于部件的可变形模型，结合行人检测的多种特征和运动信息,基于多重稀疏字典的行人检测方法；四是采用可变形模型,检测人群，即使粘连很严重的行人都可以检测出来并且效果很好。除了这些人工设计的特征之外,神经网络也被应用在行人检测。
[0007]近十几年来,行人追踪技术也得到了广泛关注，一大批优秀的追踪算法不断涌出，面向各种复杂应用场景的追踪框架也数之不尽,在商业、社会、民生等领域的应用需求也日益增加。正是由于它有如此广阔的应用前景,行人检测与追踪的研究和应用得到了空前的重视。
[0008]行人检测是基于视频或静态图像的,将图片中人体区域通过算法组合分离出来。目标的检测、追踪、行为理解等一系列技术都是连环相扣的,只有之前的每步操作都能有效
执行，之后的每项操作才能起作用。作为目标追踪与行为理解等操作技术的前期工作,有效的将人体检测出来是整项技术的关键点，因为以后的每项处理过程是以检测结果为基础，检测率对后续的运动人体分类与追踪等处理产生直接的影响。行人检测的算法包括连续帧间差分法、背景差分法和光流法等静态背景算法。也包括匹配块法、光流估算法、图像匹配法及全局运动估算法等动态背景算法。
[0009]综合来看，现有技术的视频图像行人监测精准追踪方法存在明显不足，其主要缺陷和设计难点包括：第一，虽然现在许多关于行人检测与追踪的研究已经日趋成熟,但由于行人所处的环境的复杂性等原因,一套可靠的、鲁棒性极高的全智能化行人检测与追踪系统仍是一项急需解决而具有挑战性的问题。当前影响目标检测效果的原因主要包括：行人目标灰度值变化影响检测精度，噪声的不可避免影响检测结果，干扰目标会造成运动目标误警、目标重叠、摄像头晃动等。目标追踪的难点主要有：由于种类多样造成的多目标行人追踪困难；运用到的模板算法中存在初始化的选择问题和模板自适应更新的问题；运动区域检测、定位准确度问题、目标冲突、遮挡问题，目标位置预测问题等等，现有技术还不能很好的解决这些问题；第二，现有技术还没有一种能够广泛应用于各种复杂环境下的行人运动目标追踪算法,同时没有解决好以下问题：一是运动分割，在追踪过程中受到的诸如天气变化、光照变化、不同物体之间的遮挡、摄像机运动等的影响，目标对象通常会出现在不同的场景中，在这种变化中建立一个不变的模型是非常重要的一个点；二是目标位置或目标形变：现有技术改变一个目标对象的外观,然后采用模板方法对高变化目标对象进行图像识别会显示出低性能；三是凌乱的场景阻碍目标对象的检测和定位；四是遮挡，复杂场景遮挡难免会出现，特别是多目标追踪问题中，不同目标在各自的运动轨迹下极易发生互相遮挡的现象,此时必须有更具鲁棒性的模型来处理遮挡时的目标匹配问题；五是处理效率：实时性是追踪的现实要求，在算法精度不够时，追踪的效率尤其重要，特别是在现在视频图像尺寸越来越大的情况下,需要研究如何提高算法的处理效率，提高算法处理的速度以达到实时处理的效果；第三，行人检测是一个具有实践意义但困难的问题。首先，行人是非刚性物体，在身体和动作上是多种多样且复杂的；其次，也可能会看到穿不同衣服和裤子的行人之间重叠；此外，背景环境在实践中非常复杂，频繁变化，现有技术的行人检测，一是需要为生成和标记的样本设计一种策略，目前尚不清楚怎样才能有效的实现；二是分类器输出的标记样本并不能准确关联到目标的估算,即最佳的分类结果并不意味着能最准确的估算出运动目标的位置，由于这两个目标在学习时并不能完全吻合，所以最大分类器与最佳目标位置预测一致的假设完全不成立；现有技术HOG不具有旋转不变性， HOG本身不具有尺度不变性，对噪声非常敏感，所以还需要进行高斯平滑处理，现有技术的这些缺陷决定了其不能完成长时间跨度视频图像行人监测精准追踪；第四，在行人长时间实时追踪中，总会存在行人动作姿势的变化、背景参照物也会发生改变、光照条件、遮挡与消失等不可预料的情况，目标模型和背景模型会失真, 行人追踪模块和自适应检测模块都需要更新数据以适应这种变化。现有技术的追踪算法中，只在初始化的过程采用检测算法来找出行人的定位并建模，到后面的追踪过程则主要依靠追踪
算法来更新数据，检测模块不再介入追踪过程，当出现目标遮挡或者消失的情形，采用原来的行人追踪模型则不能准确估算其运动变化，易出现追踪失败的结果。而自适应检测模块需要预先训练其参数模型,被选择出来的训练样本可能包含各种形状、姿态和光照条件，才能保证算法的鲁棒性。虽然在追踪框架中加入自适应检测模块能提高追踪框架对各种变化的适应性,但要在长时间的实时追踪中拥有更加完美的追踪效果,现有技术又缺少能够实时调节追踪模块和自适应检测模块的机制。

技术实现思路

[0010]本申请针对行人检测与追踪问题，采用结构化动态背景自适应模型来实现算法中的动态学习过程，克服行人检测与追踪过程中常见的目标不规则运动、背景变化、遮挡与消失等常见问题，在模型算法中限定支持向量的数目本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.长时间跨度视频图像行人监测精准追踪方法，其特征在于，一是将行人追踪视为一个结构化动态背景自适应目标检测问题，提出一个封闭形式的解决方案，使模型以原始形式快速更新，计算模型更新的步长；二是采用非线性内核，同时保持结构化动态背景自适应模型的线性性质，将非线性内核与显式特征图匹配；三是扩展追踪器与多尺度估算，通过大规模变化追踪提高性能；具体包括：长时间跨度行人监测精准追踪框架、尺度搜索变换、改进的HOG扩展特征提取方法、结构化动态背景自适应核函数设置、结构化动态背景自适应的最优化算法；第一，在行人检测方法上，采用改进的HOG扩展特征提取方法：对目标行人相对于视频画面大小的变化，采用尺度搜索变换目标追踪算法,解决目标放大缩小问题, 准确检测出目标位置及大小；第二，在行人追踪方法上，基于长时间跨度行人监测精准追踪框架，将动态学习检测模块替换为结构化动态背景自适应模型，对行人进行追踪，解决遮挡、消失问题，在线结构化动态自适应学习方法解决样本较少的高维度和非线性问题，根据上一帧的追踪结果实时获取数据来训练分类器，将结构化动态背景自适应追踪算法扩展到多尺度估算，解决漂移问题；第三，在行人特征提取方法上，改进HOG算法，采用HOG扩展特征进行目标特征提取，HOG扩展特征表征图像局部梯度方向和梯度强度分布特征，在边缘具体位置未知的情况下，边缘方向的分布也能很好的表示行人目标的外形轮廓，在出现目标物理上的几何变化和外部环境的光学变化时仍具有良好的不变性。2.根据权利要求1所述长时间跨度视频图像行人监测精准追踪方法，其特征在于，长时间跨度行人监测精准追踪框架：由行人追踪、动态学习、自适应检测三个模块组成，行人追踪模块估算连续帧序列之间目标的运动情况,同时针对追踪失败自适应检测，当视频中的行人消失或者出现遮挡时,就无法准确追踪目标，此时通知自适应检测器重检测，使得目标能够再次被跟踪；自适应检测模块由随机森林自适应检测器、方差检测器和最近邻检测器共同级联组成，实现对目标的精确检测，行人追踪和自适应检测过程都通过在线动态学习实时更新，相互校正和补充，应对行人出现的场景中的各种突发情况。3.根据权利要求2所述长时间跨度视频图像行人监测精准追踪方法，其特征在于，本申请提出结构化动态背景自适应追踪模型，设置实时调节追踪模块和自适应检测模块的机制，实时采用上一帧的追踪结果，迭代提取目标特征以更新追踪器，同时采用自适应检测产生的正样本数据和负样本数据实时评估检测器和追踪器的处理结果，并及时校正，避免错误在后面的追踪过程中不断累积。4.根据权利要求1所述长时间跨度视频图像行人监测精准追踪方法，其特征在于，尺度搜索变换：采用尺度搜索目标追踪滤波器，配合结构化动态背景自适应模型实现尺度搜索变换，尺度搜索目标追踪滤波器进行当前帧目标尺度的估算,获取上一帧图像中的目标框的中心位置，记作中心点，重新计算尺度，然后赋值到下一帧图像,完成尺度变化。5.根据权利要求1所述长时间跨度视频图像行人监测精准追踪方法，其特征在于，改进的HOG扩展特征提取方法：计算HOG扩展特征并从扩展的特征中选择有效的特征， 扩展HOG扩展特征的方法用f(u,v)表示坐标的像素强度(u,v)：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
式1f
u
和f
v
表示u和v的组成图像梯度，坐标(u,v)的梯度大小m(u.v)和取向θ(u,v)计算如式2：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
式2其中，一是单元大小C：包含图像像素信息，由左上的指定位置(x,y)和宽w和高h确定; 二是块大小R
pq
：一个块是一组单元构成的一个矩形,归一化的直方图在块中处理，降低负面的光照因素的影响，它的位置和大小是分别由(x',y')和(w',h')定义,几个大小的块独立使用,进行归一化，p与q分别为横向和纵向单元个数；三是区间数量l，格网数量B；通过格网数量B, 单元大小C, 块大小R
pq
,区间数量l,坐标(u,v)处单元大小，分别表示矩形块的大小和区间的索引，扩展HOG扩展特征计算式：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
式3
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
式4块的中心像素位于单元中心的像素，这些特征列举成一个特征向量x；本申请包括这些参数的所有扩展，从高维特征选择有效的结果锁定行人位置，实现了高精度行人自适应检测率。6.根据权利要求1所述长时间跨度视频图像行人监测精准追踪方法，其特征在于，结构化动态背景自适应核函数设置：在对图像进行前期处理后进行分析，并在目标周围提取若干个训练样本并标记其真实值，以此来初始化模型，然后采用样本进行训练，以获取最优分界面和所需的模型参数，当下一帧图像出现时，从上一帧的估算目标位置出发，在其附近一定范围内搜索得到若干个样本数据，用上一帧图像训练好的结构化动态背景自适应模型来对这些数据分类处理，最终的目标估算位置由分类结果为目标的数据样本的加权求和确定，确定出目标位置后,重复更新分类器，并更新其模型，如此不断循环，直至所有图像帧处理完，得到所有图像帧中的目标估算位置,实现在视频序列中的目标追踪任务；结构化动态背景自适应模型在线性可分的情形下寻找最优的分类面，保证结构化风险最小，但当数据出现不可分的情形时,运用核函数,使得数据在高维空间也能处理，分类器的训练样本不会独立出现,是以内积的形式成对出现,其数学描述为＜x,y>，结构化动态背景自适应模型的判定函数为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
式5其中，预测函数f的输出构成序列(x,y)，y为目标的变化值，L为目标函数，α为拉格朗日因子，w为法向量，b为约束临界值，g为判定系数，α(i=1,2,L,n)是以下二次优化问题的最优解：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
式6
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
式7C大于0是一个常数，平衡最大和最小边界的训练误差，对特征x进行非线性变换,将其映射至高维空间，假定高维空间的映射函数为z=Φ(x)，则新特征在高维空间的决策函数变为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
式8而对应的二次优化问题为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
式9
ꢀꢀꢀꢀꢀꢀꢀ...

【专利技术属性】
技术研发人员：梁徽耀，傅万乐，傅小强，陈诚，
申请(专利权)人：龙港市添誉信息科技有限公司，
类型：发明
国别省市：