人手检测跟踪方法及装置制造方法及图纸

本申请提供了一种人手检测跟踪方法及装置，包括：逐帧图像进行人手检测；当在某一帧图像中检测到人手时，对检测到的人手进行位置跟踪，得到跟踪结果；验证所述跟踪结果是否有效，以对人手进行下一帧跟踪，或者根据所述跟踪结果对人手进行当前帧的局部检测。本申请通过在跟踪时加入验证环节，可以对跟踪结果进行实时修正，保证了快速准确的进行人手检测。

Hand detection and tracking method and device

The invention provides a hand detection and tracking method and device, including: frame image detection of manpower; when the hand detection in a frame image, the detected hand position tracking, the tracking results; the results show the effectiveness of tracking, as for hand tracking in the next frame. According to the local detection or tracking results for staff of the current frame. This application can make real-time correction of the tracking results by adding verification links when tracking, which ensures fast and accurate hand detection.

【技术实现步骤摘要】
人手检测跟踪方法及装置
本专利技术涉及视觉目标检测跟踪及人机交互
，具体涉及一种人手检测跟踪方法及装置。
技术介绍
人手可以作为一种人机交互的工具，应用时需要对人手进行实时检测和跟踪，获取视频中每一帧中人手的位置。具体可以采取每帧都做检测的策略，这个策略的问题是检测比较耗时，不能达到实时检测的目的。而且偶尔出现的误检问题，会导致人手位置的跳动，影响后续的互动效果。为了解决上述问题，现有技术中引入跟踪的机制，通过跟踪达到实时的效果。然而，跟踪经常会出现跟丢的问题，为了解决跟踪丢失问题，现有技术中常用的方法是引入肤色信息，利用肤色虽然可以避免一些错误的跟踪，但如果背景颜色与肤色相差不多时，仍然会导致跟踪错误的问题。
技术实现思路
本申请实施例提供一种人手检测跟踪方法，包括：逐帧图像进行人手检测；当在某一帧图像中检测到人手时，对检测到的人手进行位置跟踪，得到跟踪结果；验证所述跟踪结果是否有效，以对人手进行下一帧跟踪，或者根据所述跟踪结果对人手进行当前帧的局部检测。本申请实施例还提供一种人手检测跟踪装置，包括：人手检测单元，用于逐帧图像进行人手检测；位置跟踪单元，用于当在某一帧图像中检测到人手时，对检测到的人手进行位置跟踪，得到跟踪结果；跟踪结果处理单元，用于验证所述跟踪结果是否有效，以对人手进行下一帧跟踪，或者根据所述跟踪结果对人手进行当前帧的局部检测。本申请实施例中，通过在跟踪时加入验证环节，可以对跟踪结果进行实时修正，保证了快速准确的进行人手检测。当然实施本申请的任一产品或者方法必不一定需要同时达到以上所述的所有优点。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本申请实施例的人手检测跟踪方法的一种实施例的方法流程图；图2为本申请实施例进行人手检测的不同尺度下示意图；图3为本申请实施例验证跟踪结果的方法流程图；图4为本申请实施例验证跟踪结果是否有效的示意图；图5为本申请实施例验根据跟踪结果对人手进行当前帧的局部检测方法流程图；图6为本申请一实施例中块的合并示意图；图7为本申请另一实施例中块的合并示意图；图8为本申请实施例的人手检测跟踪装置的结构示意图；图9为本申请一实施例的跟踪结果处理单元的结构示意图；图10为本申请另一实施例的跟踪结果处理单元的结构示意图；图11为本申请又一实施例的跟踪结果处理单元的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。下面结合附图对本申请所述的人手检测跟踪方法及装置进行详细的说明。图1是本申请提出的人手检测跟踪方法的一种实施例的方法流程图。虽然本申请提供了如下述实施例或附图所示的方法操作步骤或装置结构，但基于常规或者无需创造性的劳动在所述方法或装置中可以包括更多或者更少的操作步骤或模块结构。在逻辑性上不存在必要因果关系的步骤或结构中，这些步骤的执行顺序或装置的模块结构不限于本申请实施例提供的执行顺序或模块结构。所述的方法或模块结构的在实际中的装置或终端产品执行时，可以按照实施例或者附图所示的方法或模块结构连接进行顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。基于现有技术中对检测到的人手进行跟踪时经常会出现跟丢的问题，本申请通过引入了跟踪验证机制，可以对跟踪结果进行实时修正，保证了快速准确的进行人手检测。具体如图1所示，本申请的人手检测跟踪方法可以包括：S101：逐帧图像进行人手检测；S102：当在某一帧图像中检测到人手时，对检测到的人手进行位置跟踪，得到跟踪结果；S103：验证所述跟踪结果是否有效，以对人手进行下一帧跟踪，或者根据所述跟踪结果对人手进行当前帧的局部检测。由图1所示的流程可知，本申请首先进行人手检测，在检测到人手时进行位置跟踪，并对跟踪结果进行有效性验证，可以对无效跟踪结果进行修正处理，以防止误判，可以快速准确的进行人手检测，减少计算量。S101中，一般需要从第一帧图像开始进行人手检测，具体检测方法可以为，遍历每帧图像当全图，利用HOG+SVM方法在进行人手检测，HOG+SVM方法为现有技术中常用的人体检测方法，不再赘述。另外，本申请中，需要在不同尺度下进行人手检测，以与帧图像中的人手进行良好匹配，准确快速的检测到人手，不同尺度请参见图2所示。人手检测成功(即在某一帧图像中检测到人手)后，就可以对检测到人手进行位置跟踪，一实施例中，可以利用模板匹配策略对检测到的人手进行位置跟踪，得到跟踪结果。上述该跟踪结果为初步的跟踪结果，根据该初步的跟踪结果还不能确定跟踪是否有效，就需要对跟踪结果进行验证。跟踪结果一般对应帧图像中定位块(bolock)，验证跟踪结果是否有效即为根据判断该block是否为人手，如图3所示，验证跟踪结果是否有效的方法包括如下步骤：S301：将所述定位块调整为人手训练时确定的尺寸。分类器在分类前需要训练，由于训练时分类器是固定大小的，进行分类前需要将视频中的人手块调整为人手训练时确定的尺寸。S302：将尺寸调整后的所述定位块送入分类器，判断该定位块是否为人手，如果该定位块为人手，则所述跟踪结果有效，否则所述跟踪结果无效。图4为本申请实施例验证跟踪结果是否有效的示意图，如图4所示，首先需要将视频中的人手框(定位块S1)调整(resize)为人手训练时确定的尺寸，得到块S2，然后将块S2送入分类器中，分类器可以输出判断结果，根据该判断结果可以判断块S2是不是人手，如果块S2为人手，则所述跟踪结果有效，否则所述跟踪结果无效。上述分类器可以为SVM、ANN、BOOST等，本申请不以此为限。对于跟踪结果为有效的情况，可以继续下一帧的跟踪，即重复进行图1的S102及S103，无需进行S101进行人手检测，相比现有技术中对每一帧图像进行人手检测，减小了工作量。而对于跟踪结果为有效的情况，可能是由于跟踪结果与图像中人手的位置及大小有所偏差，如果直接转到S101继续进行人手检测，可能会造成误判。为了解决该问题，如图5所示，可以根据跟踪结果对人手进行当前帧的局部检测，具体包括：S501：确定上述block的中心，以设定步长及设定块尺度定义多个邻域块。S502：将所述多个邻域块分别调整为人手训练时确定的尺寸。分类器在分类前需要训练，由于分类器训练时是固定大小的，进行分类前需要将视频中的人手块调整为人手训练时确定的尺寸。S503：将调整尺寸后的所述多个邻域块分别送入分类器，判断所述多个邻域块中为人手的邻域块的数量。具体地，可以定义当前跟踪结果的block中心为(x，y)，block的框高为(w，h)。根据上述描述，该block被判不是人手，可能的原因是跟踪结果与真实的位置有些偏差，或者人手因为拍摄距离远近导致了人手成像时的缩放。因此，本申请采用了如下策略来解决这个问题，为了清楚的说明，下述策略本文档来自技高网...

【技术保护点】
一种人手检测跟踪方法，其特征在于，包括：逐帧图像进行人手检测；当在某一帧图像中检测到人手时，对检测到的人手进行位置跟踪，得到跟踪结果；验证所述跟踪结果是否有效，以对人手进行下一帧跟踪，或者根据所述跟踪结果对人手进行当前帧的局部检测。

【技术特征摘要】
1.一种人手检测跟踪方法，其特征在于，包括：逐帧图像进行人手检测；当在某一帧图像中检测到人手时，对检测到的人手进行位置跟踪，得到跟踪结果；验证所述跟踪结果是否有效，以对人手进行下一帧跟踪，或者根据所述跟踪结果对人手进行当前帧的局部检测。2.根据权利要求1所述的人手检测跟踪方法，其特征在于，逐帧图像进行人手检测，包括：遍历帧图像全图，利用HOG+SVM方法在不同尺度下进行人手检测。3.根据权利要求1所述的人手检测跟踪方法，其特征在于，对检测到的人手进行位置跟踪，得到跟踪结果，包括：利用模板匹配策略对检测到的人手进行位置跟踪，得到跟踪结果。4.根据权利要求1所述的人手检测跟踪方法，其特征在于，所述跟踪结果为帧图像中用于标识人手位置的定位块的坐标，验证所述跟踪结果是否有效，包括：将所定位块调整为人手训练时确定的尺寸；将尺寸调整后的所述定位块送入分类器，判断该定位块是否为人手，如果该定位块为人手，则所述跟踪结果有效，否则所述跟踪结果无效。5.根据权利要求4所述的人手检测跟踪方法，其特征在于，如果所述跟踪结果有效，对人手进行下一帧跟踪。6.根据权利要求4所述的人手检测跟踪方法，其特征在于，如果所述跟踪结果无效，根据所述跟踪结果对人手进行当前帧的局部检测，包括：确定所述定位块的中心，以设定步长及设定块尺度定义多个邻域块；将所述多个邻域块分别调整为人手训练时确定的尺寸；将调整尺寸后的所述多个邻域块分别送入分类器，判断所述多个邻域块中为人手的邻域块的数量。7.根据权利要求6所述的人手检测跟踪方法，其特征在于，如果多个邻域块中为人手的邻域块的数量大于或等于2，将所有为人手的邻域块合并后作为最终跟踪结果输出，然后进行下一帧跟踪。8.根据权利要求6所述的人手检测跟踪方法，其特征在于，如果多个邻域块中为人手的邻域块的数量为1，将为人手的邻域块与所述定位块合并后作为最终跟踪结果输出，然后进行下一帧跟踪。9.根据权利要求6所述的人手检测跟踪方法，其特征在于，如果多个邻域块中不存在为人手的邻域块，重新逐帧图像进行人手检测。10.一种人手检测跟踪装置，其特征在于，包括：人手检测单元，用于逐帧图像进行人手检测；位置跟踪单元，...

【专利技术属性】
技术研发人员：杜志军，王楠，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY