一种基于动作时序特征的人手检测方法及装置制造方法及图纸

本发明专利技术提出了一种基于动作时序特征的人手检测方法及装置，属于视觉检测技术领域。该方法在传统人手检测的基础上，通过检测人手特定动作序列的时序特征，提高检测准确率。该方法解决了复杂场景及存在相似目标干扰下误检率较高的问题，适用于单目视频信号或图像序列中的人手检测。

【技术实现步骤摘要】
一种基于动作时序特征的人手检测方法及装置
本专利技术涉及一种基于动作时序特征的人手检测方法及装置，属于视觉检测

技术介绍
随着机器视觉技术的迅速发展，基于机器视觉的手势控制已成为人机交互方式中重要的研究方向，而精确、快速的人手检测则是实现手势控制的核心技术之一。目前，基于机器视觉的人手检测方法可分为基于手部物理标记、基于单目二维图像及基于深度图像三类。基于手部物理标记的检测方法依赖于具有特殊颜色、形状标记的可穿戴设备，如手套、腕带等，通过对设备物理标记的检测直接确定人手位置，或在基本检测的基础上进一步提高检测精度。基于单目二维图像的检测方法利用单目摄像头所捕获的二维图像中手部肤色、形状、运动和边缘纹理特征，从场景中对人手进行辨识。基于深度图像的检测方法需要利用结构光、光飞时间及多角度成像等深度成像方式，获取场景中的距离信息，并要求结合二维图像相关算法从场景中分离出人手，这种检测方法的过程复杂，数据处理量较大，同时实现该方法的装置通常较为复杂。现有人手检测技术中，基于手部物理标记的检测方法依赖于手环、手套等设备，为使用者额外增加负担；而基于深度图像的检测方法，需采用特殊的深度摄像头，价格昂贵，搭建及维护较为困难。而现有的基于单目二维图像的检测方法中：基于肤色的检测方法仅能用于彩色图像中的人手识别，易受光照影响，无法区分场景中近肤色物体；基于形状和基于边缘纹理特征的检测方法均易受物体形变影响，无法区分场景中形状相似物体；而基于运动的检测方法易受光照变化及系统噪声影响。目前在实际应用中通常采用以上几种技术的组合以改善检测效果，但在复杂光照条件及场景下，实现快速、准确、稳定的人手检测仍较为困难。
技术实现思路
本专利技术针对复杂场景及存在相似目标干扰下误检率较高的问题，提出一种基于动作时序特征的人手检测方法，适用于单目视频信号或图像序列中的人手检测。该方法在传统人手检测的基础上，通过检测人手特定动作序列的时序特征，提高检测准确率。所采取的技术方案如下：一种基于动作时序特征的人手检测方法，所述检测方法的具体步骤为：步骤一：从视频或图像序列中读取相应的视频或图像数据；步骤二：如进行初次检测，那么此时，对时序特征数据进行初始化，得到初始化候选目标以及初始化候选目标相应的特征，如不进行初次检测，则直接对候选目标的时序特征检测；步骤三：利用后续输入图像信息对步骤二获得的所述候选目标进行时序特征检测，并更新时序特征数据；步骤四：重复步骤一至步骤四直至检测到人手目标并获得目标ROI；步骤五：利用HOG、Haar或LBP在步骤四所述目标ROI内进行二次人手检测，得到目标框；步骤六：输出步骤五所述二次人手检测的检测结果。进一步地，步骤二所述的时序特征数据的初始化过程包括载入预设数据、单帧检测和新增时序特征数据三个过程，具体为：首先载入预设数据，然后对载入的预设数据进行单帧检测，最后根据单帧检测结果的需求进行新增时序特征数据处理。进一步地，所述单帧检测的具体步骤为：第一步：通过载入的预设数据或相邻帧图像差分对图像或视频数据进行背景移除，去除全部或部分背景干扰，并获得去除背景干扰的图像或视频数据；第二步：利用Otsu阈值分割法提取第一步所述去除背景干扰的图像或视频数据的前景信息；第三步：根据第一步和第二步所获得的数据设置候选ROI，或者，根据视频或图像数据的实际应用场景，当成像视场较小、背景及光照干扰较小、手部目标较为明显时，跳过第一步和第二步的处理步骤，直接设置全图范围为候选ROI或读取所述预设数据指定候选ROI；第四步：利用HOG、Haar或LBP在第三步所述候选ROI内进行人手检测，并获得单帧检测结果；第五步：输出第四步所述单帧检测结果；所述单帧检测不仅在初始化过程中执行，也作为步骤三所述时序特征检测及更新时序特征数据的子流程迭代执行。进一步地，所述新增时序特征数据的具体步骤为：第1步：载入所述单帧检测结果：第2步：当单帧检测到手状物体时，对所述物体位置是否与现有候选ROI重叠；如单帧检测没有检测到手状物体时，结束新增时序特征数据处理；第3步：当物体位置不与现有候选ROI重叠时，以所述物体位置为中心，物体尺寸的选定倍数为尺寸，设定新候选ROI，并将所述新候选ROI加入候选ROI列表；当物体位置与现有候选ROI重叠时，对应所述候选ROI对应新增候选目标及所述新增候选目标对应的检测状态，并且将检测成功次数为1；所述新增时序特征数据除了在初始化过程中执行，也作为步骤三所述时序特征检测及更新时序特征数据的子流程迭代执行。进一步地，步骤三所述时序特征检测并更新时序特征数据的具体步骤为：步骤1：后续输入图像信息，并判断候选ROI列表是否为空：步骤2：当所述候选ROI列表非空时，利用HOG、Haar或LBP特征进行候选ROI内人手检测；当所述候选ROI列表为空时，全图范围内执行单帧检测，并根据单帧检测结果新增时序特征数据；步骤3：对当前候选ROI对应候选目标的时序特征进行候选目标时序特征更新，并删除不符合要求的候选目标；步骤4：当存在候选目标的特征时间序列符合完整的手状动作时，将当前候选ROI输出为目标ROI，结束检测；步骤5：迭代执行步骤3和步骤4，直到遍历当前候选ROI对应的所有候选目标：步骤6：如果执行步骤5后，当前候选ROI对应候选目标已全部删除，则删除当前的候选ROI；步骤7：迭代执行步骤1至步骤6，直到遍历候选ROI列表中的所有候选ROI，完成候选ROI的全部检测；步骤8：完成候选ROI的全部检测后，对全图范围内执行单帧检测，并获得单帧检测结果；步骤9：根据步骤8所述单帧检测结果新增时序特征数据。进一步地，步骤3中所述候选目标时序特征更新过程中，对于人手动作，每个候选目标依次经过1阶段手部形态1检测，2阶段手部形态2检测和3阶段手部形态3检测三个检测阶段，所述候选目标时序特征更新的具体过程为：Step1：对候选目标检测状态进行判断；Step2：当候选目标检测状态为1阶段手部形态1检测时，如果当前所述候选目标的检测结果为手部形态1，则检测成功次数加1；如果当前所述候选目标的检测结果非手部形态1，则删除当前候选目标，并结束更新；当候选目标检测状态为2阶段手部形态2检测时，如果当前检测结果为手部形态2，则检测成功次数加1；如果当前所述候选目标的检测结果非手部形态2，则删除当前候选目标，并结束更新；Step3：当候选目标检测状态为1阶段手部形态1检测时，判断Step2所述检测成功次数是否达到次数设定阈值；如果所述检测成功次数达到设定阈值，更改检测状态为2阶段手部形态2检测，将检测成功次数重设为1并结束更新；如果检测成功次数没有达到设定阈值，则直接结束更新；Step4：当候选目标检测状态为2阶段手部形态2检测时，判断Step2所述检测成功次数是否达到次数设定阈值；如果所述检测成功次数达到设定阈值，更改检测状态为3阶段手部形态3检测，将检测成功次数重设为1并结束更新；如果检测成功次数没有达到设定阈值，则直接结束更新；Step5：累计检测帧数加1，并且，如果当前检测结果为手部形态3，则检测成功次数加1；Step6：判断Step5所述检测成功次数是否达到次数设定阈值，如果所述检测成功次数达到设定阈值，则确定当前候选目标为人手目标，本文档来自技高网...

【技术保护点】
一种基于动作时序特征的人手检测方法，其特征在于，所述检测方法的具体步骤为：步骤一：从视频或图像序列中读取相应的视频或图像数据；步骤二：如进行初次检测，那么此时，对时序特征数据进行初始化，得到初始化候选目标以及初始化候选目标相应的特征，如不进行初次检测，则直接对候选目标的时序特征检测；步骤三：利用后续输入图像信息对步骤二获得的所述候选目标进行时序特征检测，并更新时序特征数据；步骤四：重复步骤一至步骤四直至检测到人手目标并获得目标ROI；步骤五：利用HOG、Haar或LBP在步骤四所述目标ROI内进行二次人手检测，得到目标框；步骤六：输出步骤五所述二次人手检测的检测结果。

【技术特征摘要】
1.一种基于动作时序特征的人手检测方法，其特征在于，所述检测方法的具体步骤为：步骤一：从视频或图像序列中读取相应的视频或图像数据；步骤二：如进行初次检测，那么此时，对时序特征数据进行初始化，得到初始化候选目标以及初始化候选目标相应的特征，如不进行初次检测，则直接对候选目标的时序特征检测；步骤三：利用后续输入图像信息对步骤二获得的所述候选目标进行时序特征检测，并更新时序特征数据；步骤四：重复步骤一至步骤四直至检测到人手目标并获得目标ROI；步骤五：利用HOG、Haar或LBP在步骤四所述目标ROI内进行二次人手检测，得到目标框；步骤六：输出步骤五所述二次人手检测的检测结果。2.根据权利要求1所述基于动作时序特征的人手检测方法，其特征在于，步骤二所述的时序特征数据的初始化过程包括载入预设数据、单帧检测和新增时序特征数据三个过程，具体为：首先载入预设数据，然后对载入的预设数据进行单帧检测，最后根据单帧检测结果的需求进行新增时序特征数据处理。3.根据权利要求2所述基于动作时序特征的人手检测方法，其特征在于，所述单帧检测的具体步骤为：第一步：通过载入的预设数据或相邻帧图像差分对图像或视频数据进行背景移除，去除全部或部分背景干扰，并获得去除背景干扰的图像或视频数据；第二步：利用Otsu阈值分割法提取第一步所述去除背景干扰的图像或视频数据的前景信息；第三步：根据第一步和第二步所获得的数据设置候选ROI，或者，根据视频或图像数据的实际应用场景，跳过第一步和第二步的处理步骤，直接设置全图范围为候选ROI或读取所述预设数据指定候选ROI；第四步：利用HOG、Haar或LBP在第三步所述候选ROI内进行人手检测，并获得单帧检测结果；第五步：输出第四步所述单帧检测结果；所述单帧检测不仅在初始化过程中执行，也作为步骤三所述时序特征检测及更新时序特征数据的子流程迭代执行。4.根据权利要求2所述基于动作时序特征的人手检测方法，其特征在于，所述新增时序特征数据的具体步骤为：第1步：载入所述单帧检测结果：第2步：当单帧检测到手状物体时，对所述物体位置是否与现有候选ROI重叠；如单帧检测没有检测到手状物体时，结束新增时序特征数据处理；第3步：当物体位置不与现有候选ROI重叠时，以所述物体位置为中心，物体尺寸的选定倍数为尺寸，设定新候选ROI，并将所述新候选ROI加入候选ROI列表；当物体位置与现有候选ROI重叠时，对应所述候选ROI对应新增候选目标及所述新增候选目标对应的检测状态，并且将检测成功次数为1；所述新增时序特征数据除了在初始化过程中执行，也作为步骤三所述时序特征检测及更新时序特征数据的子流程迭代执行。5.根据权利要求1所述基于动作时序特征的人手检测方法，其特征在于，步骤三所述时序特征检测并更新时序特征数据的具体步骤为：步骤1：后续输入图像信息，并判断候选ROI列表是否为空：步骤2：当所述候选ROI列表非空时，利用HOG、Haar或LBP特征进行候选ROI内人手检测；当所述候选ROI列表为空时，全图范围内执行单帧检测，并根据单帧检测结果新增时序特征数据；步骤3：对当前候选ROI对应候选目标的时序特征进...

【专利技术属性】
技术研发人员：孙晅，张建峰，冯大志，杜国铭，金钊，
申请(专利权)人：哈尔滨拓讯科技有限公司，
类型：发明
国别省市：黑龙江,23