一种视频的稀疏检测方法技术

本发明专利技术公开了一种视频的稀疏检测方法，预先确定目标特征与决定追踪器工作时间的工作参数之间的对应关系，其表示当目标存在这样的特征时，追踪器可以替代检测器在对应的期间内进行目标检测；进行视频检测时，检测器和追踪器交替启动工作；在每个交替周期内，检测器先启动，根据检测结果确定目标特征，利用所述对应关系匹配目标特征对应的追踪器工作参数；将追踪器初始化为检测器，追踪器根据该工作参数进行目标检测。本发明专利技术在当前检测器独立工作的基础上，通过追踪器替代部分视频帧的检测任务，从而在不损失或仅损失小部分视频检测性能的基础上，大幅降低视频检测的计算开销并提高处理速度。

A Sparse Detection Method for Video

【技术实现步骤摘要】
一种视频的稀疏检测方法
本专利技术涉及目标识别、目标提取
，尤其涉及一种视频的稀疏检测方法。
技术介绍
在各类大数据中，图像视频是“体量最大的大数据”。据思科统计，视频内容约占互联网总流量的90％；而在迅速发展的移动网络中，视频流量的比例也高达64％，并以超过130％的年复合增长率增长。可见，图像视频数据在大数据中占据着主导地位，因此图像视频的处理是大数据应用的关键所在。而且，相对于文本、语音等数据，图像视频的数据量更大、维度更高，其表达、处理、传输和利用的技术挑战性更大。所以将计算机视觉技术融入视频数据处理系统，例如电影、电视以及视频监控等场景的数据处理，是未来发展的必然趋势，实现对视频流进行图像处理、目标分析等工作，判断目标的动作，自动检测、跟踪目标并进行相关的记录，给予视频数据处理系统智能性。在视频数据处理系统中，视频检测是一项关键且基础的技术。但视频检测任务的处理速度和计算开销一直是计算机视觉领域面临的重要挑战之一。尤其是在智能视频监控系统中，往往通过对运动目标(背景建模类)或特定目标(对象建模类)的检测算法，不断地在视频帧内和帧间搜索并扫描感兴趣的目标区域(ROI)，从而实现在自然场景中对目标的定位、识别、行为分析等智能应用。同时，在视频监控系统中，需要在采集端设备(如智能摄像头)上进行运动目标的检测与区域分割运算，从而提取出视频中的关键信息(运动目标区域)，以实现降低传输流量并对接后续智能分析应用的目标。然而，受限于体积、功耗和成本的约束，视频监控采集端设备能够提供的计算资源是非常有限的，对视频进行实时计算压力非常大。目前的目标检测算法可以分为基于目标建模的检测方法和基于背景建模的检测方法。其中，随着深度卷积神经网络(CNN)和目标检测框架日趋成熟，基于目标建模的检测方法近年来发展迅速。例如，R-CNN和后续的研究等前沿的目标检测架构能够从图像区域中提取深层卷积特征，并进行目标区域的框选和分类。如今，目标检测逐渐从静态图像领域进入视频检测领域。然而，目前的检测架构都是面向静态图像检测设计的，将面向图像的目标检测算法直接用于视频检测，会出现目标检测区域陡变等问题，准确率并不理想。在视频序列中，运动目标在时空维度体现出很强的相关性，因此帧间的目标区域应当连续且稳定，但大多是以提高视频检测的准确率为目标。对于视频检测来说，传统的处理架构是逐帧检测，这种检测方式可以称为密集视频检测。视频序列中目标在连续帧间体现出较强的时空连续性，因此，可以跳过部分相似帧，对关键帧进行检测，即稀疏视频检测。基于这一思路，斯坦福大学提出了NoScope系统，NoScope系统针对不同场景训练了轻量化的CNN网络，同时对相邻视频帧之间的相似性分析，通过跳帧检测的方式实现了较高的处理速度。然而，NoScope对于被跳过的视频帧的处理方式过于极端，被跳过的视频帧直接沿用了前帧的目标检测框对当前帧的目标进行标记，这样会导致关键信息的丢失。其中，光流法由于计算量较大，难以达到实时性，而且噪声、多光源、阴影和遮挡等因素都会对光流场分布的计算结果造成严重影响，同时稀疏的光流场很难精确提取运动目标的形状，所以很难在有限计算资源的条件下达到较好的检测结果和吞吐量；深度卷积神经网络(CNN)能够在视频目标检测上达到较好的结果，但深度卷积神经网络(CNN)多是面向静态图像检测设计的，将面向图像的目标检测算法直接用于视频检测，会出现目标检测区域陡变等问题，而且该方法是逐帧检测的方法，无法充分利用视频序列中目标在连续帧间的时空连续性，从而大大地增加了不必要的资源消耗。同时，深度卷积神经网络(CNN)方法必须是有监督的目标检测，若视频中出现CNN训练阶段未出现的目标物体时，CNN将无法正确的检测识别出相关物体。该缺点大大限制了CNN在场景和目标多变的视频检测领域的应用。在视频检测中，追踪器也通常辅助检测器实现视频检测，相比于检测器，追踪器工作时的计算复杂度更低。然而，尽管追踪器的计算资源消耗较低，但是对目标特征的计算也相对粗略，往往会存在跟丢现象进而导致目标局部漏检、整体漏检等错误。可见，现有技术不能兼顾检测准确性和检测速度。
技术实现思路
有鉴于此，本专利技术提供了一种视频的稀疏检测方法，能够在保障运动目标区域分割准确率的前提下，大幅提高视频检测速度。为了解决上述技术问题，本专利技术是这样实现的：一种视频的稀疏检测方法，包括：预先确定目标特征与决定追踪器工作时间的工作参数之间的对应关系，其表示当目标存在这样的特征时，追踪器可以替代检测器在对应的期间内进行目标检测；进行视频检测时，检测器和追踪器交替启动工作；在每个交替周期内，检测器先启动，根据检测结果确定目标特征，利用所述对应关系匹配该目标特征对应的追踪器工作参数；将追踪器初始化为检测器，追踪器根据匹配到的追踪器工作参数进行目标检测。优选地，所述目标特征为：目标区域的面积、亮度或角点数中的一种或多种组合；优选地，所述决定追踪器工作时间的工作参数为：以帧为单位的追踪器工作长度、以时间为单位的追踪器工作时长、停止追踪器工作的条件中的一种或多种组合。优选地，所述目标特征与工作参数的对应关系是在初始化阶段通过在线学习方式获得的，具体为：在视频检测之前，检测器和追踪器同时启动对待检测视频进行目标检测，以追踪器可以替代检测器进行目标检测为目标，根据检测结果确定出多段符合该目标的追踪器连续工作段；针对每一追踪器连续工作段，获取检测框和追踪框相交区域的目标特征，该目标特征与决定所述追踪器连续工作段持续时间的工作参数，共同形成所述对应关系。优选地，所述追踪器连续工作段的确定方式是根据检测框区域和追踪框区域的交并比IoU确定的：针对每一帧，将交并比IoU与有效性尺度进行比较，确定交并比IoU数据是否有效，将连续有效的数据对应的段落确定为所述追踪器连续工作段。优选地，采用指数加权移动平均法EWMA得到的EMA参考值θk作为所述有效性尺度，对交并比IoU数据进行分析，实现对失效IoU数值的过滤。优选地，采用EWMA过滤失效IoU数值的过程中，进一步加入了判定无效数据后对EMA参考值θk的更新操作，则失效IoU数值的过滤过程包括：对于第k帧视频，已知当前帧的检测器和追踪器交并比度量值iouk和第k-1帧的EMA参考值θk-1；当iouk≧θk-1时，记录当前的IoU为有效数据，并利用iouk和θk-1的加权值更新当前帧的EMA参考值θk；当iouk<θk-1时，记录当前的IoU为无效数据，则按照下式计算3个EMA临时参考值θ1,k、θ2,k和θ3,kθ1,k＝θinitθ2,k＝ioukθ3,k＝β·θk-1其中，β为衰减系数，θinit为EMA参考值初始值；对临时参考值θ1,k、θ2,k和θ3,k按照大小进行排序；同时记录交并比度量值连续小于上一帧EMA参考值的次数N，当N＝1时，选择三个临时参考值中的最大值更新θk；当N＝2时，选择三个临时参考值中数值大小排序为第2的数值更新θk；当N＝3时，选择三个临时参考值中的最小值更新θk；当N>3时，一直用三个临时参考值中的最小值更新θk。优选地，所述针对每一追踪器连续工作段，获取检测框和追踪框相交区域的目标特征为：选取相交区域中各帧目标特征的平均值、最大值本文档来自技高网...

【技术保护点】
1.一种视频的稀疏检测方法，其特征在于，包括：预先确定目标特征与决定追踪器工作时间的工作参数之间的对应关系，其表示当目标存在这样的特征时，追踪器可以替代检测器在对应的期间内进行目标检测；进行视频检测时，检测器和追踪器交替启动工作；在每个交替周期内，检测器先启动，根据检测结果确定目标特征，利用所述对应关系匹配该目标特征对应的追踪器工作参数；将追踪器初始化为检测器，追踪器根据匹配到的追踪器工作参数进行目标检测。

【技术特征摘要】
1.一种视频的稀疏检测方法，其特征在于，包括：预先确定目标特征与决定追踪器工作时间的工作参数之间的对应关系，其表示当目标存在这样的特征时，追踪器可以替代检测器在对应的期间内进行目标检测；进行视频检测时，检测器和追踪器交替启动工作；在每个交替周期内，检测器先启动，根据检测结果确定目标特征，利用所述对应关系匹配该目标特征对应的追踪器工作参数；将追踪器初始化为检测器，追踪器根据匹配到的追踪器工作参数进行目标检测。2.如权利要求1所述的方法，其特征在于，所述目标特征为：目标区域的面积、亮度或角点数中的一种或多种组合；所述决定追踪器工作时间的工作参数为：以帧为单位的追踪器工作长度、以时间为单位的追踪器工作时长、停止追踪器工作的条件中的一种或多种组合。3.如权利要求1所述的方法，其特征在于，所述目标特征与工作参数的对应关系是在初始化阶段通过在线学习方式获得的，具体为：在视频检测之前，检测器和追踪器同时启动对待检测视频进行目标检测，以追踪器可以替代检测器进行目标检测为目标，根据检测结果确定出多段符合该目标的追踪器连续工作段；针对每一追踪器连续工作段，获取检测框和追踪框相交区域的目标特征，该目标特征与决定所述追踪器连续工作段持续时间的工作参数，共同形成所述对应关系。4.如权利要求3所述的方法，其特征在于，所述追踪器连续工作段的确定方式是根据检测框区域和追踪框区域的交并比IoU确定的：针对每一帧，将交并比IoU与有效性尺度进行比较，确定交并比IoU数据是否有效，将连续有效的数据对应的段落确定为所述追踪器连续工作段。5.如权利要求4所述的方法，其特征在于，采用指数加权移动平均法EWMA得到的EMA参考值θk作为所述有效性尺度，对交并比IoU数据进行分析，实现对失效IoU数值的过滤。6.如权利要求5所述的方法，其特征在于，采用EWMA过滤失效IoU数值的过程中，进一步加入了判定无效数据后对EMA参考值θk的更新操作，则失效IoU数值的过滤过程包括：对于第k帧视频，已知当前帧的检测器和追踪器交并比度量值iouk和第k-1帧的EMA参考值θk-1；当iouk≧θk-1时，记录当前的IoU为有效数据，并利用io...

【专利技术属性】
技术研发人员：盛健，张美玲，刘畅，韩娟，石晶林，
申请(专利权)人：北京中科晶上科技股份有限公司，
类型：发明
国别省市：北京,11