一种非配合手部检测方法技术

本发明专利技术公开了一种非配合手部检测方法，包括四个过程：输入图像经过深度神经网络提取特征，接着经过上下文信息注意模块进行特征增强，再输入区域建议网络提取建议框，最后进行建议框的分类与回归。最终训练出一个手部检测的端到端深度神经网络，该网络就具备检测手的功能，只要对网络输入图像就可以得到检测结果。

A Non-Cooperative Hand Detection Method

The invention discloses a non-cooperative hand detection method, which includes four processes: the input image is extracted by depth neural network, then enhanced by context information attention module, then input area recommendation network to extract recommendation box, and finally classify and regress the recommendation box. Finally, an end-to-end depth neural network for hand detection is trained. The network has the function of hand detection. As long as the input image of the network is used, the detection results can be obtained.

【技术实现步骤摘要】
一种非配合手部检测方法
本专利技术涉及人机交互
中的手部检测，具体涉及一种增强检测性能的非配合手部检测方法。
技术介绍
手部检测是计算机视觉领域的一个重要问题，在生活中有着广泛的应用，例如手语识别、人机交互、虚拟现实以及安全驾驶监控等等。早期的手部检测的方法建立在约束场景或者约束位置的条件下，不适合推广到非配合非约束场景的情况中。随着深度学习技术的迅速发展，基于目标检测框架例如faster-rcnn或者yolo的方法逐步减少这个前提限制，效果越来越鲁棒。但目前的检测方法仍存在不少问题，手是一种非刚体结构，具有姿态多变的特点，而且手局部信息少，尺度多变，还存在目标小的问题，使得检测起来存在不少挑战。目前已有的方法例如基于区域的多尺度全卷积网络(MS-RFCN)融合不同尺度的特征层信息，减少对小目标的漏检，取得较好的效果，但是只关注全局信息忽略了对上下文信息利用。
技术实现思路
本专利技术的目的在于提出一种手部检测方法，弥补其他方法的不足。在提升检测精度的同时保持速度，促进手部检测的应用。本专利技术提供的技术方案如下：一种非配合手部检测方法，其特征在于包含以下步骤：S1.输入图像经过主干网络提取特征，从高层向底层传递语义信息，得到不同尺度的特征层的特征图谱；S2、接着在其中一层经过上下文信息注意模块进行特征增强；S3、再输入区域建议网络提取建议框；S4、最后进行建议框的分类与回归。在一些实施例中，还包括如下特征：进行特征提取的主干网络为resnet101或者vggnet19等，其采用特征金字塔网络或者如下框架之一进行手部检测：FasterR-CNN、R-FCN、SSD等。在特征输入区域建议网络之前或者主干网络中采用上下文信息模块进行上下文信息的选择性获取，以增强有效特征，减弱无关特征，提取上下文信息后达到特征增强的效果，输送到下一个卷积层或者区域建议网络中。所述特征金字塔网络采用自底向上、自顶向下线路传递特征，自底向上是网络的前向过程，而自顶向下则把高层的语义信息传递到底层。其中上下文信息的选择性获取方法采用空洞卷积扩大感受野，从而获得上下文信息，然后对不同感受野的特征图谱上的特征点进行相似性计算。采用遍历的方式，原始特征图谱上一个特征点与空洞卷积特征图谱的所有特征点进行相似性计算，获取空间上的所有联系，然后通过权重进行加权和，最后使用批标准化进行归一化。上下文信息注意模块采用拼接的方法对原始特征图谱与归一化后的结果进行拼接，然后采用卷积层降维恢复为原始维度。在不同尺度的特征层进行预测分类，在特征层上生成一定数目区域建议框，然后把建议框映射到网络的最后一层卷积特征层上，通过感兴趣区域池化层使每个建议框生成固定尺寸的特征，利用探测分类概率和探测边框回归对分类概率和边框回归联合训练。上下文信息注意模块对原始特征图谱与新特征图谱进行相似性计算获取到相似性权重，由该权重来决定该上下文信息是否属于手的一部分。本专利技术的有益效果是：提出一种上下文信息注意的非配合手部检测方法，引入一个上下文信息注意模块，带来额外少量的参数，可以有效地提升检测的精度，并且保持速度。这种方法对于手的检测或者与手相关的任务有着重要的价值。本专利技术基于上下文信息注意机制的手部检测方法，兼收了目前多种方法的优点，并在局部上下文信息上进行选择性利用，得到较好的效果，形成一种非配合且性能鲁棒的手部检测方法，将对与手相关的任务奠定良好的基础，辅助其他任务。而且检测速度能够达到实时的效果，提升其应用价值。附图说明图1是本专利技术实施例上下文信息注意模块的示意图。图2是本专利技术实施例上下文信息模块接入网络结构的示意图。图3是本专利技术实施例的主要流程图。具体实现方式本专利技术下述实施例提出一种基于上下文信息注意机制的非配合手部检测方法，包括四个过程，如图3所示：输入图像经过主干网络——深度神经网络提取特征，从高层向底层传递语义信息，得到不同尺寸层的特征图谱，接着在某一层经过上下文信息注意模块进行特征增强，再输入区域建议网络提取建议框(区域建议网络是目标检测常用的一种生成建议框的方法，本申请不再详述)，最后进行建议框的分类与回归。最终训练出一个手部检测的端到端深度神经网络，该网络就具备检测手的功能，只要对网络输入图像就可以得到检测结果。其中，训练样本通过操作图像像素来镜像翻转，扩增样本后分批次多次输入到网络(指上述整个框架)，训练中学习率随批次增加逐渐降低(经过若干次迭代后学习率降低10倍。学习率是深度学习里边一个通用的技巧，用来更新损失用，在此不再详细描述)，以提升训练速度。上下文信息注意模块的示意图如图1所示，上下文信息模块接入网络结构的示意图如图2所示，即图2表示了如何在FPN框架中接入上下文信息注意模块。先经过主干网络即resnet101或者vggnet19等进行特征提取，特征提取网络对输入图像提取特征时优先采用特征金字塔网络，但不局限于该框架，还可以是其他类似的框架，例如FasterRcnn(TowardsReal-TimeObjectDetectionwithRegionProposalNetworks)，R-FCN(ObjectDetectionviaRegion-basedFullyConvolutionalNetworks)，YOLO(Real-TimeObjectDetection)，SSD(SingleShotMultiBoxDetector)等。主干网络采用resnet101、vgg19、darknet53等，resnet101有较强的特征提取能力，使得对手的特征提取更为有效。特征金字塔网络采用自底向上、自顶向下线路传递特征，自底向上是网络的前向过程，而自顶向下则把高层的语义信息传递到底层。在图2中，c1、2、3、4、5为一个卷积层，根据特征金字塔网络中resnet101的网络结构划分，输入图像经过c1向c5传递，不断提取特征，这是从低层向高层传递过程，而P5是对应于c5特征层，从P5向P2不断传递特征的过程称为从高到低传递。因为高层特征层具备较强的语义信息，因此从P5向p2底层逐层传递语义信息。有助于底层分辨率高的特征图谱获取到高层的语义信息。同时，在不同尺度的特征层进行预测分类，可以兼顾不同尺度手的检测。预测与分类都是由区域建议网络来实现，在P2、P3、P4、P5特征层上生成一定数目区域建议框。然后把建议框映射到网络的最后一层卷积特征层上，通过感兴趣区域池化层使每个建议框生成固定尺寸的特征，利用SoftmaxLoss(探测分类概率)和SmoothL1Loss(探测边框回归)对分类概率和边框回归联合训练。训练完测试过程则是去掉损失函数，直接由区域建议网络生成的带有分类得分的建议框，进行非极大值抑制得到检测结果。本实施例为了提高检测性能，在特征金字塔网络的区域建议网络前采用上下文信息注意模块进行特征增强。利用上下文信息注意模块进行特征增强可以是在P2，P3，P4，P5任意一个层或者多个层，即特征输入区域建议网络之前，或者主干网络中采用上下文信息模块进行上下文信息的获取，以增强有效特征，减弱无关特征，提取上下文信息后达到特征增强的效果，然后输送到下一个卷积层或者区域建议网络中。为了简单示例，图2中展示如何在P4接入上下文信息注意模块。上下文信息注意本文档来自技高网...

【技术保护点】
1.一种非配合手部检测方法，其特征在于包含以下步骤：S1.输入图像经过主干网络提取特征，从高层向底层传递语义信息，得到不同尺度的特征层的特征图谱；S2、接着在其中一层经过上下文信息注意模块进行特征增强；S3、再输入区域建议网络提取建议框；S4、最后进行建议框的分类与回归。

【技术特征摘要】
1.一种非配合手部检测方法，其特征在于包含以下步骤：S1.输入图像经过主干网络提取特征，从高层向底层传递语义信息，得到不同尺度的特征层的特征图谱；S2、接着在其中一层经过上下文信息注意模块进行特征增强；S3、再输入区域建议网络提取建议框；S4、最后进行建议框的分类与回归。2.如权利要求1所述的非配合手部检测方法，其特征在于：进行特征提取的主干网络为resnet101或者vggnet19，其采用特征金字塔网络或者如下框架之一进行手部检测：FasterR-CNN、R-FCN、SSD。3.如权利要求1所述的非配合手部检测方法，其特征在于：在特征输入区域建议网络之前或者主干网络中采用上下文信息模块进行上下文信息的选择性获取，以增强有效特征，减弱无关特征，提取上下文信息后达到特征增强的效果，输送到下一个卷积层或者区域建议网络中。4.如权利要求2所述的非配合手部检测方法，其特征在于：所述特征金字塔网络采用自底向上、自顶向下线路传递特征，自底向上是网络的前向过程，而自顶向下则把高层的语义信息传递到底层。5.如权利要求3所述的非配合手部检测方法，其特征在于：其中上下文信息的选择性获取方法采用空洞卷积扩大感受野，从而获...

【专利技术属性】
技术研发人员：郭振华，谢植淮，
申请(专利权)人：清华大学深圳研究生院，
类型：发明
国别省市：广东,44