对象跟踪方法和装置、对象识别方法和装置制造方法及图纸

提供了对象跟踪方法和装置以及对象识别方法和装置。该对象跟踪方法可以包括：接收图像；利用第一跟踪方法跟踪第一图像中的对象；检测对象的朝向；评估对象跟踪结果的可信度；如果跟踪结果的可信度较高，则提取对象的特征，以及建立或更新该第一对象的与该朝向相关联的朝向对应特征模型，对象的朝向对应特征模型基于在不同朝向下的对象的各个特征的取值来表征对象；以及如果对象的跟踪结果的可信度低，则基于检测到的该第一对象的朝向，获取与朝向对应的各个候选对象的朝向对应特征模型，基于各个候选对象的朝向对应特征模型和该第一对象的特征来识别该第一对象。本发明专利技术很好地将对象跟踪和对象识别融合在一起，维持较高的跟踪质量。

【技术实现步骤摘要】
对象跟踪方法和装置、对象识别方法和装置
本专利技术总体地涉及图像处理，具体地，涉及对象跟踪方法和装置，以及对象识别方法和装置。
技术介绍
可视对象的实时跟踪可以用于很多计算机视觉应用中，例如远程感测、监控、安全领域、医护领域等。目前已知一些通过对摄像机拍摄的图像或者视频流进行图像处理，来对物体进行定位或跟踪的方法。其中一类方法是基于颜色图像的跟踪方法，例如，trackingbydetection（通过检测来跟踪）的方法使用训练的方法，学习目标和背景之间具有区别性的特征，分类器在跟踪中匹配目标。该方法对于复杂的场景具有鲁棒性，但是缺点是外观模型对目标的朝向敏感，如果朝向改变，分类器常常会失效。有关介绍可参考Z.Kalal等人在PAMI2011年发表的题为“Tracking-Learning-Detection”的文章,IEEETRANSACTIONSONPATTERNANALYSISANDMACHINEINTELLIGENCE,VOL.6,NO.1,JANUARY2010。另一类方法是随着立体相机的普及而提出的基于深度图像的跟踪方法。MichaelHarville在2003发表的文章"StereoPersonTrackingwithAdaptivePlan-ViewTemplatesofHeightandOccupancyStatistics"中提出了如何使用双目相机进行人的检测和定位，在投影图上使用了Kalman滤波的跟踪方法。该方法计算速度快，不过在严重遮挡下容易跟踪失败，这是因为不同的人在投影图上的外观是很相似的。专利文献US7536030B2提出了一种实时的基于贝叶斯的3D姿势的跟踪系统。该系统包括：采集的视频作为输入，图像处理单元对视频进行实时的3D姿势跟踪；同时在帧和帧之间利用贝叶斯的方法进行在线的点的匹配和姿势估计；然后在线的贝叶斯融合方法根据历史数据判断当前的姿势，从而提供稳定的跟踪质量并可在姿势改变过程中保持跟踪。专利文献US8315432提出了一种虚拟现实的方法和设备，该方法实时的自动的在视频中跟踪一个立体的对象，不需要在对象表面打标记。该方法主要包括：视频的第一帧含有需要跟踪的对象，利用该帧中指定的图像块确定对象的位置和朝向，指定的图像块由先验知识获得。图像块与被跟踪对象的曝光值相关。专利文献US8335348B2提出了一种对尺度和方向自适应的机器视觉的跟踪方法。该专利技术提出的方法描述了如何在多帧图像中跟踪一个对象，包括：1）将识别出的对象分成多个小的对象区域；2）对每一块小的对象区域进行跟踪；3）使用每一块对象区域的位置估计整个对象的尺度和方向；4）根据估计的尺度和方向计算对象的位置。
技术实现思路
本专利技术的一个目的在于减少对象朝向对跟踪的影响，及时发现和预警跟踪失败，提高跟踪的质量。根据本专利技术的一个方面，提供了一种在至少一个视频流的图像中跟踪对象的对象跟踪方法，可以包括：图像接收步骤，从该至少一个视频流接收第一图像，第一图像中包括要跟踪的至少一个对象；第一跟踪方法跟踪步骤，利用第一跟踪方法跟踪第一图像中的、要跟踪的至少一个对象中的第一对象，并得到初始跟踪结果，该初始跟踪结果包括该第一对象与已被赋予标识符的对象之间的匹配程度或该第一对象是已被赋予标识符的对象的概率；朝向检测步骤，检测该第一对象的朝向；跟踪结果可信度评估步骤，评估该第一对象的初始跟踪结果的可信度；可信分支模型建立或更新步骤，如果该第一对象的初始跟踪结果的可信度不低于预定阈值，则基于检测到的该第一对象的朝向，提取跟踪到的第一图像中的该第一对象的特征，以及建立或更新该第一对象的与该朝向相关联的朝向对应特征模型，对象的朝向对应特征模型基于在不同朝向下的对象的各个特征的取值来表征对象，在对象的朝向不同的情况下，对象的各个特征中的至少一个取值会不同；以及不可信分支对象识别和模型建立更新步骤，如果该第一对象的初始跟踪结果的可信度低于预定阈值，则基于检测到的该第一对象的朝向，获取与该第一对象的朝向对应的各个候选对象的朝向对应特征模型，基于如此获取到的与该第一对象的朝向对应的各个候选对象的朝向对应特征模型和该第一对象的特征来识别该第一对象，并根据识别结果来更新或建立第一对象的第一跟踪方法的模型，以及更新或建立第一对象的朝向对应特征模型。根据本专利技术的另一方面，提供了一种在至少一个视频流的图像中跟踪对象的对象跟踪装置，可以包括：图像接收部件，从该至少一个视频流接收第一图像，第一图像中包括要跟踪的至少一个对象；第一跟踪方法跟踪部件，利用第一跟踪方法跟踪第一图像中的、要跟踪的至少一个对象中的第一对象，并得到初始跟踪结果，该初始跟踪结果包括该第一对象与已被赋予标识符的对象之间的匹配程度或该第一对象是已被赋予标识符的对象的概率；朝向检测部件，检测该第一对象的朝向；跟踪结果可信度评估部件，评估该第一对象的初始跟踪结果的可信度；可信分支模型建立或更新部件，如果该第一对象的初始跟踪结果的可信度不低于预定阈值，则基于检测到的该第一对象的朝向，提取跟踪到的第一图像中的该第一对象的特征，以及建立或更新该第一对象的与该朝向相关联的朝向对应特征模型，其中对象的朝向对应特征模型基于在不同朝向下的对象的各个特征的取值来表征对象，在对象的朝向不同的情况下，对象的各个特征中的至少一个取值不同；以及不可信分支对象识别和模型建立更新部件，如果该第一对象的初始跟踪结果的可信度低于预定阈值，则基于检测到的该第一对象的朝向，获取与该第一对象的朝向对应的各个候选对象的朝向对应特征模型，基于如此获取到的与该第一对象的朝向对应的各个候选对象的朝向对应特征模型和该第一对象的特征来识别该第一对象，并根据识别结果来更新或建立第一对象的第一跟踪方法的模型，以及更新或建立第一对象的朝向对应特征模型。利用本专利技术实施例的对象跟踪方法和对象跟踪装置，在对象跟踪过程中，检测对象的朝向，将对象的模型应该与对象的朝向相关联；并随时评估跟踪质量，并在跟踪质量较高时维护与朝向对应的对象的朝向对应特征模型，而在发现跟踪质量不高时，基于在先前跟踪质量较高的情况下所维护的对象的朝向对应特征模型，而启动更复杂和精确的对象识别方法来进行对象识别，从而能够及时发现甚至提前预测跟踪失败的发生，很好地将对象跟踪和对象识别融合在一起，维持较高的跟踪质量。根据本专利技术的再一方面，提供了一种识别图像中的对象的对象识别方法，可以包括：图像接收步骤，接收第一图像，该第一图像包括至少一个待识别对象；朝向检测步骤，检测待识别对象的朝向；特征值提取步骤，对于预定的各个特征，提取待识别对象的特征值；朝向对应特征模型获得步骤，基于检测到的待识别对象的朝向，获得与该朝向对应的候选对象的朝向对应特征模型，其中对象的朝向对应特征模型基于在不同朝向下的对象的各个特征的取值来表征对象，在对象的朝向不同的情况下，对象的各个特征中的至少一个取值会不同；以及对象识别步骤，基于提取的待识别对象的特征和所获得的与对象的朝向对应的朝向对应特征模型，识别对象。根据本专利技术的再一方面，提供了一种识别图像中的对象的对象识别装置，可以包括：图像接收部件，接收第一图像，该第一图像包括至少一个待识别对象；朝向检测部件，检测待识别对象的朝向；特征值提取部件，对于预定的各个特征，本文档来自技高网...

【技术保护点】
一种在至少一个视频流的图像中跟踪对象的对象跟踪方法，包括：图像接收步骤，从该至少一个视频流接收第一图像，第一图像中包括要跟踪的至少一个对象；第一跟踪方法跟踪步骤，利用第一跟踪方法跟踪第一图像中的、要跟踪的至少一个对象中的第一对象，并得到初始跟踪结果，该初始跟踪结果包括该第一对象与已被赋予标识符的对象之间的匹配程度或该第一对象是已被赋予标识符的对象的概率；朝向检测步骤，检测该第一对象的朝向；跟踪结果可信度评估步骤，评估该第一对象的初始跟踪结果的可信度；可信分支模型建立或更新步骤，如果该第一对象的初始跟踪结果的可信度不低于预定阈值，则基于检测到的该第一对象的朝向，提取跟踪到的第一图像中的该第一对象的特征，以及建立或更新该第一对象的与该朝向相关联的朝向对应特征模型，对象的朝向对应特征模型基于在不同朝向下的对象的各个特征的取值来表征对象，在对象的朝向不同的情况下，对象的各个特征中的至少一个取值不同；以及不可信分支对象识别和模型建立更新步骤，如果该第一对象的初始跟踪结果的可信度低于预定阈值，则基于检测到的该第一对象的朝向，获取与该第一对象的朝向对应的各个候选对象的朝向对应特征模型，基于如此获取到的与该第一对象的朝向对应的各个候选对象的朝向对应特征模型和该第一对象的特征来识别该第一对象，并根据识别结果来更新或建立第一对象的第一跟踪方法的模型，以及更新或建立第一对象的朝向对应特征模型。...

【技术特征摘要】
1.一种在至少一个视频流的图像中跟踪对象的对象跟踪方法，包括：图像接收步骤，从该至少一个视频流接收第一图像，第一图像中包括要跟踪的至少一个对象；第一跟踪方法跟踪步骤，利用第一跟踪方法跟踪第一图像中的、要跟踪的至少一个对象中的第一对象，并得到初始跟踪结果，该初始跟踪结果包括该第一对象与已被赋予标识符的对象之间的匹配程度或该第一对象是已被赋予标识符的对象的概率，其中，所述第一跟踪方法包括利用所述第一对象的模型对所述第一对象进行跟踪；朝向检测步骤，检测该第一对象的朝向；跟踪结果可信度评估步骤，评估该第一对象的初始跟踪结果的可信度；可信分支模型建立或更新步骤，如果该第一对象的初始跟踪结果的可信度不低于预定阈值，则基于检测到的该第一对象的朝向，提取跟踪到的第一图像中的该第一对象的特征，以及建立或更新该第一对象的与该朝向相关联的朝向对应特征模型，对象的朝向对应特征模型基于在不同朝向下的对象的各个特征的取值来表征对象，在对象的朝向不同的情况下，对象的各个特征中的至少一个取值不同；以及不可信分支对象识别和模型建立更新步骤，如果该第一对象的初始跟踪结果的可信度低于预定阈值，则基于检测到的该第一对象的朝向，获取与该第一对象的朝向对应的各个候选对象的朝向对应特征模型，基于如此获取到的与该第一对象的朝向对应的各个候选对象的朝向对应特征模型和该第一对象的特征来识别该第一对象，并根据识别结果来更新或建立第一跟踪方法中所述第一对象的模型，以及更新或建立第一对象的朝向对应特征模型。2.根据权利要求1的对象跟踪方法，在可信分支模型建立或更新步骤中，在更新该第一对象的与该朝向相关联的朝向对应特征模型中，判定提取的跟踪到的第一图像中的该第一对象的特征与朝向对应特征模型中对应特征之间的一致性，并且仅在一致性达到预定标准时，才基于提取的跟踪到的第一图像中的该第一对象的特征来更新朝向对应特征模型中的对应已有特征。3.根据权利要求1的对象跟踪方法，所述可信分支模型建立或更新步骤中的提取跟踪到的第一图像中的该第一对象的特征包括：提取将该第一对象与其它对象区分开的能力最强的特征。4.根据权利要求1的对象跟踪方法，在跟踪结果可信度评估步骤中，如果两个要跟踪的对象之间存在遮挡，或者两个要跟踪的对象之间在各帧之间不断靠近，则将可信度设置为低于预定阈值。5.根据权利要求1的对象跟踪方法，所述朝向对应特征模型所涉及的特征包括：描述对象的物理尺寸的特征；以及描述颜色的特征、描述纹理的特征和描述步态的特征中的至少一种。6.一种识别图像中的对象的对象识别方法，包括：图像接收步骤，接收第一图像，该第一图像包括至少一个待识别对象；朝向检测步骤，检测待识别对象的朝向；特征值提取步骤，对于预定的各个特征，提取待识别对象的特征值；朝向对应特征模型获得步骤，基于检测到的待识别对象的朝向，获得与该朝向...

【专利技术属性】
技术研发人员：王鑫，范圣印，王千，乔刚，诸加丹，
申请(专利权)人：株式会社理光，
类型：发明
国别省市：日本;JP