基于多目立体视觉场景流的剧烈运动检测方法技术

本发明专利技术提供的是一种基于多目立体视觉场景流的剧烈运动检测方法。一：利用标定好的多目相机获取多组图像序列；二：对图像序列进行预处理；三：场景流能量泛函数据项的设计；四：场景流能量泛函平滑项的设计；五：能量泛函地优化求解；从步骤二中得到的图像金字塔最低分辨率图像开始使用计算模型计算；六：场景流运动区域的聚类；七：构建运动方向离散程度评估模型，判断是否是剧烈运动；八：构建运动区域动能大小评估模型；九：设定阈值，且连续n帧满足评估条件时则引发报警。本发明专利技术采用的是基于多目立体视觉的场景流估计，通过已经标定好的多目相机获取来自同一场景的多组图像序列。利用3维场景流可以有效地进行剧烈运动检测。

Detection method of severe motion based on multi view stereo vision scene flow

The present invention provides a motion detection method based on multi view stereo vision scene flow. A: the use of multi camera calibration good access to multiple sets of image sequences; two: the preprocessing of the image sequence; three: Design of energy functional data item scene flow; four: Design of energy functional smoothing one scene flow; five: energy functional to optimize the solution; the lowest resolution image Pyramid image obtained from step 2 start using the computing model; six: flow scene clustering area; seven: Construction of the direction of movement of discrete degree evaluation model, to determine whether the strenuous exercise; eight: Construction of regional motion kinetic energy evaluation model; nine: set the threshold, and continuously meet the N frame when evaluating the condition triggered alarm. The invention adopts the scene flow estimation based on multi view stereo vision, camera calibration has been through many good access to multiple sets of image sequences from the same scene. The 3 dimensional scene flow can be used to detect the strong motion effectively.

【技术实现步骤摘要】
基于多目立体视觉场景流的剧烈运动检测方法
本专利技术涉及的是一种剧烈运动的检测方法，具体地说是一种基于多目立体视觉场景流的剧烈运动检测方法。
技术介绍
随着当今科技信息技术的高度发展，尤其是人类在计算机视觉和人工智能上取得了突破性进展，使得很多本应该由人力完成的工作可以由计算机完成。比如视频监控，最普遍的操作方法是由人来观察监控显示器，然后对于发生的异常事件做出相应反应。由于人不能长时间集中注意力来监视视频中发生的所有事件，不可避免地产生漏警现象。因此使用计算机对视频帧进行处理并判断是否发生异常事件则显得尤为重要。一般情况下视频监控的摄像头是位置固定的，即静态背景下的目标检测。对于大多数的静态背景下的目标检测经典方法有如下几种：背景差分法，帧间差分法和光流法。背景差分法的优点是计算量小，而且可以根据动态背景地变化更新背景模型，但是受到背景变化地影响较大。帧间差分法运算量也很小，但是在稳定性和鲁棒性上表现不是很好。以上两种方法对于剧烈运动检测难以达到理想的效果。光流法是通过相邻的两帧图像计算光流场，计算出的流场是2维的，即只有平面运动信息却丢失了深度信息。在没有深度信息的情况下，对于剧本文档来自技高网...

【技术保护点】
一种基于多目立体视觉场景流的剧烈运动检测方法，其特征是包括如下步骤：步骤一：利用标定好的多目相机获取多组图像序列；步骤二：对图像序列进行预处理，采用图像金字塔对图像序列进行多分辨率下采样，根据相机内外参数进行坐标系转换，建立图像坐标系与摄像机坐标系之间的关系；步骤三：场景流能量泛函数据项的设计，采用直接融合3维场景流信息与3维表面深度信息，数据项的设计采用基于结构张量恒常假设，同时引入鲁棒惩罚函数；步骤四：场景流能量泛函平滑项的设计，平滑项采用对3维流场V(u，v，w)与3维表面深度Z同时约束的流驱动各向异性平滑，平滑项同时引入鲁棒惩罚函数；步骤五：能量泛函地优化求解，极小化能量泛函，得到欧拉...

【技术特征摘要】
1.一种基于多目立体视觉场景流的剧烈运动检测方法，其特征是包括如下步骤：步骤一：利用标定好的多目相机获取多组图像序列；步骤二：对图像序列进行预处理，采用图像金字塔对图像序列进行多分辨率下采样，根据相机内外参数进行坐标系转换，建立图像坐标系与摄像机坐标系之间的关系；步骤三：场景流能量泛函数据项的设计，采用直接融合3维场景流信息与3维表面深度信息，数据项的设计采用基于结构张量恒常假设，同时引入鲁棒惩罚函数；步骤四：场景流能量泛函平滑项的设计，平滑项采用对3维流场V(u，v，w)与3维表面深度Z同时约束的流驱动各向异性平滑，平滑项同时引入鲁棒惩罚函数；步骤五：能量泛函地优化求解，极小化能量泛函，得到欧拉-拉格朗日方程，然后对方程求解；从步骤二中得到的图像金字塔最低分辨率图像开始使用计算模型计算，直到达到满分辨率图像；步骤六：场景流运动区域的聚类，使用聚类算法将运动区域聚类，分离运动区域与背景区域，排除掉背景区域；步骤七：构建运动方向离散程度评估模型，判断是否是剧烈运动；步骤八：构建运动区域动能大小评估模型；步骤九：设定阈值，且连续n帧满足评估条件时则引发报警。2.根据权利要求1所述的基于多目立体视觉场景流的剧烈运动检测方法，其特征是：步骤二所述建立图像坐标系与摄像机坐标系之间的关系中，建立2维光流与3维场景流的关系为其中(u，v)是2维光流，(u0，v0)是光心坐标。3.根据权利要求1所述的基于多目立体视觉场景流的剧烈运动检测方法，其特征是：步骤三中所述的数据项的设计采用基于结构张量恒常假设具体包括，N个相机在t与t+1时刻结构张量恒常假设定义为：参考相机C0与其它N-1个相机在t时刻结构张量恒常假设定义为：参考相机C0与其它N-1个相机在t+1时刻结构恒常假设定义为：上述数据项公式中为惩罚函数，使得平滑近似于L1范数，是二值遮挡掩膜，通过立体图像的遮挡边界区域检测技术求取，当像素是遮挡点非遮挡占IT是2维图像的局部张量如公式所示。4.根据权利要求1所述的基于多目立体视觉场景流的剧烈运动检测方法，其特征是：步骤四中所述的场景流能量泛函平滑项的设计具体包括，直接对3维流场和深度信息进行正则化，设计一种流驱动各向异性平滑假设，Sm(V)和Sd(Z)分别是对3维流场和深度信息进行约束，平滑项设计公式如下：

【专利技术属性】
技术研发人员：项学智，肖德广，宋凯，翟明亮，吕宁，尹力，郭鑫立，王帅，张荣芳，于泽婷，张玉琦，
申请(专利权)人：哈尔滨工程大学，
类型：发明
国别省市：黑龙江,23