手势检测网络训练、手势检测及控制方法、系统及终端技术方案

本发明专利技术实施例提供了一种手势检测网络训练、手势检测及控制方法、系统及终端，其中，手势检测网络训练方法包括：根据含有人手标注信息的样本图像训练第一卷积神经网络，得到第一卷积神经网络针对样本图像的人手候选区域的预测信息；修正人手候选区域的预测信息；根据修正后的人手候选区域的预测信息和样本图像训练第二卷积神经网络，第二卷积神经网络和第一卷积神经网络共享特征提取层，在第二卷积神经网络训练过程中保持特征提取层的参数不变。本发明专利技术实施例提高了训练第二卷积神经网络的准确率，进一步降低利用第二卷积神经网络进行手势检测的误检率。而且，为训练第二卷积神经网络提供了便利，减少了训练第二卷积神经网络的计算量。

Gesture detection network training, gesture detection and control method, system and terminal

The embodiment of the invention provides a hand gesture detection network training, detection and control methods, the gesture system and a terminal which includes gesture detection network training method: according to the label information of the sample image containing the staff training of the first convolutional neural network, prediction information convolution neural network for the first sample image hand candidate regions; prediction hand information to modify the candidate region; according to the staff candidate region of the revised forecast information and training sample images of second convolutional neural network, neural network and the first second convolution convolution neural network sharing feature extraction, feature extraction parameters keep unchanged in the second layers of the convolutional neural network training process. The embodiment of the invention improves the accuracy of training the second convolutional neural network, and further reduces the false detection rate of the gesture detection by using the second convolutional neural network. Moreover, it is convenient for training second convolutional neural networks, and reduces the amount of computation of training second convolutional neural networks.

【技术实现步骤摘要】
手势检测网络训练、手势检测及控制方法、系统及终端
本专利技术实施例涉及人工智能
，尤其涉及一种手势检测网络训练、手势检测及控制方法、系统及终端。
技术介绍
近年来，随着人工智能技术的普及与发展，利用计算机对图像进行识别被应用到越来越多的场景当中。图像识别能够为用户提供很多方便，例如从图像中识别得到人脸，进而利用人脸进行安全验证；从图像中识别得到车牌，进而对车牌进行筛选。但是，目前并没有有效的从图像中识别得到手势的技术手段。
技术实现思路
本专利技术实施例提供了手势检测网络训练、手势检测及控制方法、系统及终端技术方案。根据本专利技术实施例的一方面，提供了一种手势检测网络训练方法，包括：根据含有人手标注信息的样本图像训练第一卷积神经网络，得到所述第一卷积神经网络针对所述样本图像的人手候选区域的预测信息；修正所述人手候选区域的预测信息；根据修正后的所述人手候选区域的预测信息和所述样本图像训练第二卷积神经网络，其中，所述第二卷积神经网络和所述第一卷积神经网络共享特征提取层，并在所述第二卷积神经网络训练过程中保持所述特征提取层的参数不变。可选地，结合本专利技术实施例提供的任一种手势检测网络训练方法，所述人手标注信息包括人手区域的标注信息。可选地，结合本专利技术实施例提供的任一种手势检测网络训练方法，所述人手标注信息包括手势的标注信息。可选地，结合本专利技术实施例提供的任一种手势检测网络训练方法，所述第一卷积神经网络用于预测所述样本图像划分的多个候选区域是否为人手候选区域。可选地，结合本专利技术实施例提供的任一种手势检测网络训练方法，所述第二卷积神经网络用于输出所述样本图像的手势预测结果。可选地，结合本专利技术实施例提供的任一种手势检测网络训练方法，所述手势预测结果包括：预定手势类型。可选地，结合本专利技术实施例提供的任一种手势检测网络训练方法，所述预定手势类型包括以下至少之一：挥手、剪刀手、握拳、托手、竖大拇指、手枪手、OK手、桃心手、张开、闭合。可选地，结合本专利技术实施例提供的任一种手势检测网络训练方法，所述手势预测结果还包括：其他手势类型。可选地，结合本专利技术实施例提供的任一种手势检测网络训练方法，将多个补充负样本图像和所述人手候选区域的预测信息输入第三卷积神经网络以进行分类，以过滤所述人手候选区域中的负样本，得到修正后的所述人手候选区域的预测信息。可选地，结合本专利技术实施例提供的任一种手势检测网络训练方法，所述人手候选区域的预测信息中人手候选区域数量与所述补充负样本图像的数量的差异落入预定容许范围。可选地，结合本专利技术实施例提供的任一种手势检测网络训练方法，所述人手候选区域的预测信息中人手候选区域数量与所述补充负样本图像的数量相等。可选地，结合本专利技术实施例提供的任一种手势检测网络训练方法，所述第一卷积神经网络为RPN，和/或，所述第二卷积神经网络为FRCNN。可选地，结合本专利技术实施例提供的任一种手势检测网络训练方法，所述第三卷积神经网络为FRCNN。根据本专利技术实施例的另一方面，还提供了一种手势检测方法，包括：采用第四卷积神经网络检测图像，获得所述图像的第一特征信息和人手候选区域的预测信息，所述图像包括静态图像或视频中的图像，所述第一特征信息包括手部特征信息；将所述第一特征信息和所述人手候选区域的预测信息作为第五卷积神经网络的第二特征信息，并采用所述第五卷积神经网络根据所述第二特征信息进行所述图像的手势检测，得到所述图像的手势检测结果；其中，所述第五卷积神经网络和所述第四卷积神经网络共享特征提取层。可选地，结合本专利技术实施例提供的任一种手势检测方法，所述第四卷积神经网络用于检测所述图像划分的多个候选区域是否为人手候选区域。可选地，结合本专利技术实施例提供的任一种手势检测方法，所述第五卷积神经网络用于输出所述图像的手势检测结果。可选地，结合本专利技术实施例提供的任一种手势检测方法，所述手势检测结果包括：预定手势类型。可选地，结合本专利技术实施例提供的任一种手势检测方法，所述预定手势类型包括以下至少之一：挥手、剪刀手、握拳、托手、竖大拇指、手枪手、OK手、桃心手、张开、闭合。可选地，结合本专利技术实施例提供的任一种手势检测方法，所述手势预测结果还包括：其他手势类型。根据本专利技术实施例的另一方面，还提供了一种手势控制方法，包括：采用如上任一所述的手势检测网络训练方法训练而得的手势检测网络检测视频图像，或者，采用如上任一所述的手势检测方法检测视频图像，得到所述手势检测结果；根据所述手势检测结果在所述视频图像上展示业务对象。可选地，结合本专利技术实施例提供的任一种手势控制方法，将所述手势检测结果与预定触发手势进行比较；响应于所述手势检测结果与预定触发手势匹配，确定所述业务对象在所述视频图像中的展示位置；在所述展示位置采用计算机绘图方式绘制所述业务对象。可选地，结合本专利技术实施例提供的任一种手势控制方法，所述展示位置包括以下至少之一：视频图像中人物的头发区域、额头区域、脸颊区域、下巴区域、头部以外的身体区域、视频图像中的背景区域、视频图像中以手部所在的区域为中心的设定范围内的区域、视频图像中预先设定的区域。可选地，结合本专利技术实施例提供的任一种手势控制方法，所述预定触发手势包括以下至少之一：挥手、剪刀手、握拳、托手、竖大拇指、手枪手、OK手、桃心手、张开、闭合。可选地，结合本专利技术实施例提供的任一种手势控制方法，所述业务对象的类型包括以下至少之一：额头贴片类型、脸颊贴片类型、下巴贴片类型、虚拟帽子类型、虚拟服装类型、虚拟妆容类型、虚拟头饰类型、虚拟发饰类型、虚拟首饰类型。可选地，结合本专利技术实施例提供的任一种手势控制方法，所述业务对象为包含有语义信息的特效；所述视频图像为直播类视频图像。可选地，结合本专利技术实施例提供的任一种手势控制方法，所述业务对象包括包含广告信息的以下至少一种形式的特效：二维贴纸特效、三维特效、粒子特效。根据本专利技术实施例的另一方面，还提供了一种手势检测网络训练系统，包括：第一训练模块，用于根据含有人手标注信息的样本图像训练第一卷积神经网络，得到所述第一卷积神经网络针对所述样本图像的人手候选区域的预测信息；修正模块，用于修正所述人手候选区域的预测信息；第二训练模块，用于根据修正后的所述人手候选区域的预测信息和所述样本图像训练第二卷积神经网络，其中，所述第二卷积神经网络和所述第一卷积神经网络共享特征提取层，并在所述第二卷积神经网络训练过程中保持所述特征提取层的参数不变。可选地，结合本专利技术实施例提供的任一种手势检测网络训练系统，所述人手标注信息包括人手区域的标注信息。可选地，结合本专利技术实施例提供的任一种手势检测网络训练系统，所述人手标注信息包括手势的标注信息。可选地，结合本专利技术实施例提供的任一种手势检测网络训练系统，所述第一卷积神经网络用于预测所述样本图像划分的多个候选区域是否为人手候选区域。可选地，结合本专利技术实施例提供的任一种手势检测网络训练系统，所述第二卷积神经网络用于输出所述样本图像的手势预测结果。可选地，结合本专利技术实施例提供的任一种手势检测网络训练系统，所述手势预测结果包括：预定手势类型。可选地，结合本专利技术实施例提供的任一种手势检测网络训练系统，所述预定手势类型包括以下至少之一：挥手、剪刀手、握拳、托手、竖大拇指、手枪手、OK手、桃心手、张开、闭合。可选地，本文档来自技高网...

【技术保护点】
一种手势检测网络训练方法，其特征在于，包括：根据含有人手标注信息的样本图像训练第一卷积神经网络，得到所述第一卷积神经网络针对所述样本图像的人手候选区域的预测信息；修正所述人手候选区域的预测信息；根据修正后的所述人手候选区域的预测信息和所述样本图像训练第二卷积神经网络，其中，所述第二卷积神经网络和所述第一卷积神经网络共享特征提取层，并在所述第二卷积神经网络训练过程中保持所述特征提取层的参数不变。

【技术特征摘要】
1.一种手势检测网络训练方法，其特征在于，包括：根据含有人手标注信息的样本图像训练第一卷积神经网络，得到所述第一卷积神经网络针对所述样本图像的人手候选区域的预测信息；修正所述人手候选区域的预测信息；根据修正后的所述人手候选区域的预测信息和所述样本图像训练第二卷积神经网络，其中，所述第二卷积神经网络和所述第一卷积神经网络共享特征提取层，并在所述第二卷积神经网络训练过程中保持所述特征提取层的参数不变。2.根据权利要求1所述的方法，其特征在于，所述人手标注信息包括人手区域的标注信息。3.一种手势检测方法，其特征在于，包括：采用第四卷积神经网络检测图像，获得所述图像的第一特征信息和人手候选区域的预测信息，所述图像包括静态图像或视频中的图像，所述第一特征信息包括手部特征信息；将所述第一特征信息和所述人手候选区域的预测信息作为第五卷积神经网络的第二特征信息，并采用所述第五卷积神经网络根据所述第二特征信息进行所述图像的手势检测，得到所述图像的手势检测结果；其中，所述第五卷积神经网络和所述第四卷积神经网络共享特征提取层。4.一种手势控制方法，其特征在于，包括：采用如权利要求1或2所述的方法训练而得的手势检测网络检测视频图像，或者，采用如权利要求3所述的方法检测视频图像，得到手势检测结果；根据所述手势检测结果在所述视频图像上展示业务对象。5.一种手势检测网络训练系统，其特征在于，包括：第一训练模块，用于根据含有人手标注信息的样本图像训练第一卷积神经网络，得到所述第一卷积神经网络针对所述样本图像的人手候选区域的预测信息；修正模块，用于修正所述人手候选区域的预测信息；第二训练模块，用于根据修正后的所述人手候选区域的预测信息和所述样本图像训练第二卷积神经网络，其中，所述第二卷积神经网络和所述第一卷积神经网络共享特征提取层，并在...

【专利技术属性】
技术研发人员：钱晨，栾青，刘文韬，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京,11