一种动态场景下显著性目标检测方法技术

本发明专利技术提供一种动态场景下显著性目标检测方法，动态场景下显著性目标检测是通过对运动视频中的目标进行运动变化状态分析进行的显著性检测过程。方法主要包括三个步骤：首先，在动态场景中进行运动目标检测，得到场景中所有的运动目标区域。然后，在动态场景中提取图像特征并进行特征级融合，得到图像融合特征向量，基于贝叶斯推理进行视觉注视点检测。最后，结合注视点检测，对检测到的运动目标的显著程度进行估计，生成基于运动目标的动态显著图。本发明专利技术很好的解决了摄像机在运动情况下的显著性目标检测问题，能够满足机器视觉系统在动态场景中检测显著性目标的需求，且该方法对环境变化具有较强的适应性。

A saliency target detection method in dynamic scene

The invention provides a saliency target detection method in dynamic scene, which is a saliency detection process by analyzing the moving state of the target in the moving video. The method consists of three steps: Firstly, moving object detection is carried out in dynamic scene, and all moving object regions in scene are obtained. Then, image features are extracted from dynamic scenes and fused at the feature level to obtain image fusion feature vectors, and visual gaze detection is performed based on Bayesian reasoning. Finally, combined with gaze detection, the saliency degree of the detected moving target is estimated, and the dynamic saliency map based on the moving target is generated. The invention solves the problem of salient target detection of camera in motion, meets the requirement of machine vision system to detect salient target in dynamic scene, and the method has strong adaptability to environmental changes.

【技术实现步骤摘要】
一种动态场景下显著性目标检测方法
本专利技术属于数字图像处理领域，具体涉及一种动态场景下显著性目标检测方法。
技术介绍
在生命科学领域，对人类视觉系统的研究发现，人类具有从复杂场景中选择性的关注重点信息的能力，能够帮助人类快速、准确的处理信息并做出判断。这种人类视觉系统的选择性机制被定义为视觉注意机制，而能够支撑视觉注意机制对场景中信息进行选择的依据被定义为视觉显著性；机器视觉领域的研究者们认为，视觉显著性检测能够有利于提高对海量复杂信息的快速处理能力。据此，基于数字图像的显著性检测研究得以萌芽和发展。目前显著性检测研究已经成为机器视觉领域一个重要的研究方向，从应用的层面来说，显著性检测可以分为两大方向。第一，图像中视觉注视点的检测；第二，图像中显著性目标区域的检测。视觉注视点的检测是预测图像中能够引起人类视觉关注的点，主要应用于主动视觉、目标跟踪、人机交互、图像设计等领域。显著性目标区域的检测是对图像中区域的显著性估计，能够实现对目标的像素级检测，可以直接应用于目标检测、图像分割，物体识别、图像压缩、目标检索等高级机器视觉任务中；基于图像的显著目标检测在过去的十年中得到了广泛的研究，但是基于视频的显著目标检测的探索较少。尤其是动态场景中，显著性目标检测的性能受到对象或摄像机运动和视频中的外观对比的显著变化的影响。连续帧之间的显著目标的视觉连续性和时间相关性急剧恶化，给显著性目标的完整检测带来了极大挑战；目前主流的动态场景下显著性目标检测方法可以分为三大类：基于统计模型的方法，基于图模型的方法和基于深度神经网络模型的方法。基于统计模型的是比较经典的方法，如背景差分、光流法等。基于图模型的方法一般采用生成框架，首先从帧内外观对比信息或帧间梯度信息中推断出初始显著图，然后进一步结合一些启发式时空模型的能量函数，最终形成显著性图的跨帧一致性约束。近年来，随着深度神经网络模型在静态图像显著目标检测中的应用日益广泛，基于深度神经网络的模型扩展到了视频显著目标检测应用中。其主要思想是通过级联连续帧图像和馈送卷积神经网络的时间连贯性建模。然而，前两类方法，受限于低级设计特征的使用和能量约束函数的设计，深度神经网络不具有记忆功能，不能很好地表征视频帧在时域中的连续动态演化。现有的动态场景下显著性目标检测方法，对目标的运动和相对运动缺乏明确的补偿，使得难以在保持时间一致性的情况下检测完整的显著性目标。
技术实现思路
本专利技术的目的是提供一种动态场景下显著性目标检测方法，本专利技术很好的解决了摄像机在运动情况下的显著性目标检测问题，能够满足机器视觉系统在动态场景中检测显著性目标的需求，且该方法对环境变化具有较强的适应性。为了达到上述目的，本专利技术所采用的技术方案是：一种动态场景下显著性目标检测方法，包括以下步骤：S1：在动态场景中进行运动目标检测，得到动态场景中所有的运动目标区域的前景图像集合；S2：在动态场景中提取图像特征并进行特征级融合，得到图像融合特征向量，基于贝叶斯推理进行视觉注视点检测；S3：结合前景图像集合和融合后得到的视觉注视点对检测到的运动目标区域的显著程度进行度量并生成基于运动目标的动态显著图。进一步的，所述的步骤S1包括以下步骤：S11：构造运动模型，首先给出定义，Ij∈IRm表示动态场景即视频中的第j帧，Ij是含有m个元素的列向量，每一个元素均与图像中的像素点一一对应；D＝[I1,...,Ij,....,In]∈IRm×n表示帧序列的表征矩阵，n代表帧的个数；转换矩阵表示为τ＝{τ1,...,τj,....,τn}；B∈IRm×n表示图像的背景矩阵，尺度与D相同；S∈{0,1}m×n表示图像的前景矩阵，是一个二值图像，用Ps(X)表示X到S的正交投影：表示互补投影，即：S12：构造能量函数，基于拉普拉斯矩阵的约束方法，针对视频中的每一帧图像的前景矩阵增加约束项，构造如下目标能量函数：其中，D°τ＝{D1°τ1,...,Dj°τj,....,Dn°τn}，||X||0表示l0范数，||X||*表示核范数，||X||F表示Frobenius范数；LSi＝Ei-Wi,；(4)其中，Ei是对角矩阵，Fi＝reshape(Si),(6)Wi是关系矩阵，Fi表示第i帧图像的矩形结构，Fi＝[v1,...,vm,....,vQ]，Q是图像中像素点个数；Cm表示像素点m的邻域；LSi表示视频中第i帧图像的前景矩阵所对应的拉普拉斯矩阵；S13：模型求解，目标能量函数是非凸的且包含三个变量τ、B和S，采用交替算法分别对三个变量进行优化，在进入循环之前，首先初始化以下为目标能量函数的迭代求解过程，(1)首先，固定此时，目标能量函数为如下形式：在每次迭代中，采用一个小的增量Δτ更新τ，线性化为其中表示雅可比矩阵因此，有下列形式：然后采用加权最小二乘法求解(2)固定此时，目标能量函数转化为如下形式：然后采用SOFT-IMPUTE算法求解(3)固定此时，目标能量函数转化为如下形式：然后采用图割模型法求解经过三个变量优化过程的交替执行，即可获得前景矩阵S＝[S1,...,Si,...,Sn]，n代表视频的总帧数，从而得到前景图像集合F＝{F1,...,Fi,...,Fn}。进一步的，所述的步骤S2包括以下步骤，S21：特征提取和融合，首先，采用高斯滤波对原始图像进行采样，获取不同尺度的图像，然后在Lab颜色空间，提取所获取图像的颜色特征向量，对于每个像素点可以表示为：v＝[L,a,b]；原始图像中的像素点i对应的不同尺度上的特征可以表示为其中c表示尺度，表示在所有尺度上的特征，k代表尺度总层数；所获取图像的颜色特征可以表示为：I＝[I1,...,Ii,...,IN]，N代表像素点的个数；采用主成分分析算法对所获取图像的特征向量进行降维处理，降维后图像的颜色特征向量为I*＝[I1*,...,Ii*,...,IN*]；以颜色特征向量为基础，采用局部操作核描述图像的方向特征，则针对不同尺度上像素点i的对应特征为：IDic＝[IDLic,IDaic,IDbic]，c表示图像所在尺度，因此，基于多个尺度的图像像素点i的方向特征表示为：多个尺度下图像的方向特征可以表示为：ID＝[ID1,...,IDi,...,IDN]；对多尺度图像的颜色特征向量进行降维处理，降维后图像的颜色特征向量表示为ID*＝[ID1*,...,IDi*,...,IDN*]；组合图像的颜色和方向特征向量，最终得到图像融合特征向量，对于像素点i，其融合特征为整个图像为F＝[F1,...,Fi,....,FN]；S22：基于贝叶斯推理的视觉注视点显著图提取，构造显著性的后验概率表示为：Pr(yi＝1|Fi,Li)，Li表示像素的位置信息，yi＝1表示此点是显著的，根据贝叶斯准则有如下推导：Pr(yi＝1|Li)在对于所有像素点的值一样，可以忽略，即有：公式13中的第一项采用核密度估计计算公式如下：表示图像中拥有稀少特征的像素点为显著点，越少越显著，N代表图像像素总个数，κ表示核密度估计采用高斯核函数，表示如下：公式13中的第二项P(Fi|yi＝1)，采用核密度估计的方法计算：其中核密度估计采用余弦相似度函数：公式13可以重写为：Si即为像素点i处的显著值，显著图可以表示为：S本文档来自技高网...

【技术保护点】
1.一种动态场景下显著性目标检测方法，其特征在于，包括以下步骤：S1：在动态场景中进行运动目标检测，得到动态场景中所有的运动目标区域的前景图像集合；S2：在动态场景中提取图像特征并进行特征级融合，得到图像融合特征向量，基于贝叶斯推理进行视觉注视点检测；S3：结合前景图像集合和融合后得到的视觉注视点对检测到的运动目标区域的显著程度进行度量并生成基于运动目标的动态显著图。

【技术特征摘要】
1.一种动态场景下显著性目标检测方法，其特征在于，包括以下步骤：S1：在动态场景中进行运动目标检测，得到动态场景中所有的运动目标区域的前景图像集合；S2：在动态场景中提取图像特征并进行特征级融合，得到图像融合特征向量，基于贝叶斯推理进行视觉注视点检测；S3：结合前景图像集合和融合后得到的视觉注视点对检测到的运动目标区域的显著程度进行度量并生成基于运动目标的动态显著图。2.根据权利要求1所述的一种动态场景下显著性目标检测方法，其特征在于，所述的步骤S1包括以下步骤：S11：构造运动模型，首先给出定义，Ij∈IRm表示动态场景即视频中的第j帧，Ij是含有m个元素的列向量，每一个元素均与图像中的像素点一一对应；D＝[I1,...,Ij,....,In]∈IRm×n表示帧序列的表征矩阵，n代表帧的个数；转换矩阵表示为τ＝{τ1,...,τj,....,τn}；B∈IRm×n表示图像的背景矩阵，尺度与D相同；S∈{0,1}m×n表示图像的前景矩阵，是一个二值图像，用Ps(X)表示X到S的正交投影：表示互补投影，即：S12：构造能量函数，基于拉普拉斯矩阵的约束方法，针对视频中的每一帧图像的前景矩阵增加约束项，构造如下目标能量函数：其中，D°τ＝{D1°τ1,...,Dj°τj,....,Dn°τn}，||X||0表示l0范数，||X||*表示核范数，||X||F表示Frobenius范数；LSi＝Ei-Wi,；(4)其中，Ei是对角矩阵，Fi＝reshape(Si),(6)Wi是关系矩阵，Fi表示第i帧图像的矩形结构，Fi＝[v1,...,vm,....,vQ]，Q是图像中像素点个数；Cm表示像素点m的邻域；LSi表示视频中第i帧图像的前景矩阵所对应的拉普拉斯矩阵；S13：模型求解，目标能量函数是非凸的且包含三个变量τ、B和S，采用交替算法分别对三个变量进行优化，在进入循环之前，首先初始化以下为目标能量函数的迭代求解过程，(1)首先，固定此时，目标能量函数为如下形式：在每次迭代中，采用一个小的增量Δτ更新τ，线性化为其中表示雅可比矩阵因此，有下列形式：然后采用加权最小二乘法求解(2)固定此时，目标能量函数转化为如下形式：然后采用SOFT-IMPUTE算法求解(3)固定此时，目标能量函数转化为如下形式：然后采用图割模型法求解经过三个变量优化过程的交替执行，即可获得前景矩阵S＝[S1,...,Si,...,Sn]，n代表视频的总帧数，从而得到前景图像集合F＝{F1,...,Fi,...,Fn}。3.根据权利要求1所述的一种动态场景下显著性目标检测方法，其特征在于，所述的步骤S2包括以下步骤，S21：特征提取和融合，首先，采用高斯滤波对原始图像进行采样，获取不同尺度的图像，然后在Lab颜色空间，提取所...

【专利技术属性】
技术研发人员：赵雪专，裴利沈，李玲玲，赵中堂，邵晓艳，薄树奎，程秋云，张少彤，代占起，
申请(专利权)人：郑州航空工业管理学院，
类型：发明
国别省市：河南,41