一种基于运动约束光流法的复杂动态场景的运动物体检测方法技术

本发明专利技术公开了一种基于运动约束光流法的复杂动态场景的运动物体检测方法。本方法为：1)视频输入；2)提取ORB特征；3)将提取特征与运动物体特征库中的特征进行相似度比较；4)获取当前机器人的运动矢量；5)计算局部光流；6)筛选并建立运动物体特征点库，进而可建立环境点云图。本发明专利技术通过机器人的运动方向提高光流法对特征点梯度变化的检测速度；将运动物体的特征以一定的时效性保存在库中，并对时效值及时更新，避免对该特征点的重复计算；本发明专利技术比较当前提取的特征和运动物体特征库中的特征的欧式距离，从而减少光流跟踪特征的计算；本发明专利技术能减少运动物体对环境的影响，增加机器人对环境建模的可靠性。

【技术实现步骤摘要】
一种基于运动约束光流法的复杂动态场景的运动物体检测方法
本专利技术涉及一种基于运动约束光流法的复杂动态场景的运动物体检测方法；通过光流法对动态场景中的运动物体进行检测，通过机器人本身的运动向量加快光流法检测的速度，将提取的ORB(ORientedBrief)特征向量与运动物体特征库中的特征计算欧氏距离比较相似度避免重复检测，排除机器人对实时环境建模时运动物体的特征点。
技术介绍
传统运动物件检测都是应用于监控等静态环境。目前机器人普及，特别是智能扫地机器人已经慢慢进入市场，能实现初步的对环境的建图和自身的定位，并通过运动规划完成一些简单的任务，同时也渐渐被大众所接受。但是目前运动物体的存在会干扰机器人对环境的建模从而影响后期机器人自身的定位和路径规划。已有的方案是机器人带有昂贵的激光传感器，能够实现精度范围内的运动物体检测，但是激光雷达的价格随着侦测范围的增长而增长，远远高出了机器人本身的价格，并且使机器人体积难以控制；另外一种方式是通过超声波传感器在近距离检测物体，但是这种方式的检测范围较小，不能及时做好应对措施。
技术实现思路
本专利技术针对上述现有的技术中的不足，为了能实现使用廉价的传感器实现态环境中的运动检测，提出了一种基于运动约束光流法的复杂动态场景的运动物体检测方法，解决服务机器人动态环境中的运动物体检测，并应用于智能扫地机器人的实时建模。本专利技术提出的一种基于运动约束光流法的复杂动态场景的运动物体检测方法，包括以下步骤：(1)输入具有真实环境运动物体移动的场景视频流；(2)对输入的视频流提取ORB特征，作为光流法的局部特征；(3)比较所有提取的ORB特征点与运动物体特征点库中的特征的相似性(可以通过欧式距离计算相似性)；(4)获取当前机器人的运动矢量；(5)用光流法计算当前帧与下一帧的灰度变化，通过获取的机器人的运动矢量来减小光流法在特征点搜索时的范围，以此来提高光流法的效率；(6)筛选并建立运动物体特征点库，从而实现动态场景中运动物体的检测。进一步地，还包括(7)建立环境模型，即运动物体特征库排除运动物体的特征点，建立环境点云图，进而通过环境点云图进行机器人的定位和导航。本专利技术的有益效果是：本专利技术通过机器人的运动方向提高光流法对特征点梯度变化的检测速度，将运动物体的特征以一定的时效性保存在库中，避免以后重复对该特征点进行计算，同时也能避免不能及时更新运动物体的库，减少了运动物体对环境的影响，从而增加机器人对环境建模的可靠性。本专利技术使用欧式距离比较当前提取的特征和运动物体特征库中的特征，从而减少需要计算的光流跟踪的特征。附图说明图1.本专利技术方法的流程图；图2.运动约束提升光流法计算效率示意图。具体实施方式下面通过具体实施例和附图，对本专利技术做进一步说明。参考图1，是本专利技术方法的流程图，具体步骤如下：步骤1，视频输入。通过移动机器人录制具有运动物体移动的场景，逐帧读取视频图像，得到图像信息。步骤2，提取ORB特征。ORB(ORientedBrief)见参考文献[1]：E.Rublee,V.Rabaud,K.Konolige,andG.Bradski,“ORB:anefficientalternativetoSIFTorSURF,”inIEEEInternationalConferenceonComputerVision(ICCV),Barcelona,Spain,November2011,pp.2564–2571.第1步，从图像中提取FAST角点，并使用centroidmoment计算每个角点的方向。其中FAST即FeaturesfromAcceleratedSegmentTest，见参考文献[2]：E.RostenandT.Drummond.Machinelearningforhighspeedcornerdetection.InEuropeanConferenceonComputerVision,volume1,2006.1。其中centroidmoment见参考文献[3]：P.L.Rosin.Measuringcornerproperties.ComputerVisionandImageUnderstanding,73(2):291–307,1999.2。第2步，使用centroidmoment计算FAST角点的方向，并产生orientation-FAST(见上述参考文献[1])。第3步，对以上角点用BRIEF(Binaryrobustindependentelementaryfeatures，见参考文献[4]：M.Calonder,V.Lepetit,C.Strecha,andP.Fua,“BRIEF:BinaryRobustIndependentElementaryFeatures,”inEuropeanConferenceonComputerVision(ECCV),Hersonissos,Greece,September2010,pp.778–792.)算子描述：其中，x,y分别表示两个不同的像素点，p(x)和p(y)分别表示两个像素点的灰度值，τ(p；x,y)表示p(x)大于或等于p(y)时取0，p(x)小于p(y)时取1。第4步，计算多个旋转角度的BRIEF，组成steeredBRIEF(见上述参考文献[1])。第5步，优化steeredBRIEF得到rBRIEF(见上述参考文献[1])。步骤3，将提取的ORB特征与运动物体特征库中的特征的相似度进行比较。采用欧氏距离对以上获得的rBRIEF特征与运动物体特征库中的所有特征进行相似度比较，利用已经保存的运动物体特征库中的特征对所提取的ORB特征进行筛选。如果是特征库中的特征，同时其时效值不等于零，则不进行步骤3以下的操作，并将该特征对应的时效值减1；如果时效值N为零，则将该比较的特征移出运动物体特征库，并进行步骤3以下操作；如果没有在运动物体特征库中找到对应的特征，则直接进行步骤3以下操作。步骤4，获取当前机器人的运动矢量。通过ORB_SLAM[5]算法获得机器人当下的运动矢量信息。其中ORB_SLAM算法见参考文献[5]：Mur-Artal,R.,Montiel,J.M.M.,&Tardos,J.D.(2015).Orb-slam:aversatileandaccuratemonocularslamsystem.IEEETransactionsonRobotics,31(5),1147-1163.步骤5，计算局部光流。通过已经获得的运动信息对使用局部光流法处理步骤3筛选后的特征进行加速。可以将室内服务机器人的运动大致分为以下三类：第一类，前后移动，每帧获取的图像中的特征点以视频中心点为中心发散式移动，不同区域有不同的移动方式，例如当机器人向前移动时，左上角区域特征点向左上方移动，反之向右下方移动；第二类，旋转，获得的图像中的特征点均向机器人旋转的反方向运动，如机器人向右旋转，则获得的图像中的特征点向左运动；第三类，复合运动，将第一类和第二类的运动方向矢量相加即可获得。机器人的运动矢量转化为摄像头获取图像的特征点的运动矢量，可以去掉一部分光流法需要检测的区域。光流法需要通过梯度下降法估计下一帧特征点所在位置，通过机器本文档来自技高网...

【技术保护点】
一种基于运动约束光流法的复杂动态场景的运动物体检测方法，包括以下步骤：1)输入具有真实环境运动物体移动的场景视频；2)对输入的视频提取ORB特征，作为光流法的局部特征；3)将提取的ORB特征与运动物体特征点库中的特征的相似度进行比较，以对所提取的ORB特征进行筛选；4)获取当前机器人的运动矢量；5)通过光流法对步骤3)筛选后的ORB特征进行处理，并将步骤4)得到的当前机器人的运动矢量作为辅助信息加快光流法的处理速度；6)根据光流法的处理结果更新运动物体特征点库，从而实现动态场景中运动物体的检测。

【技术特征摘要】
1.一种基于运动约束光流法的复杂动态场景的运动物体检测方法，包括以下步骤：1)输入具有真实环境运动物体移动的场景视频；2)对输入的视频提取ORB特征，作为光流法的局部特征；3)将提取的ORB特征与运动物体特征点库中的特征的相似度进行比较，以对所提取的ORB特征进行筛选；4)获取当前机器人的运动矢量；5)通过光流法对步骤3)筛选后的ORB特征进行处理，并将步骤4)得到的当前机器人的运动矢量作为辅助信息加快光流法的处理速度；6)根据光流法的处理结果更新运动物体特征点库，从而实现动态场景中运动物体的检测。2.如权利要求1所述的方法，其特征在于，根据步骤6)建立的运动物体特征点库排除运动物体的特征点，建立环境点云图，进而通过环境点云图进行机器人的定位和导航。3.如权利要求1所述的方法，其特征在于，步骤1)通过室内机器人录制具有真实环境运动物体移动的场景视频。4.如权利要求1所述的方法，其特征在于，步骤2)利用已经保存的运动物体特征库中的特征对所提取的ORB特征进行筛选；同时设定时效值记录运动特征点库中的所有特征的有效性，设定的时效值为N，时效值随着比较次...

【专利技术属性】
技术研发人员：刘宏，金永庆，宋章军，张国栋，董耀凤，吴观明，
申请(专利权)人：北京大学深圳研究生院，深圳市银星智能科技股份有限公司，
类型：发明
国别省市：广东,44