基于目标检测的图像识别方法、系统和电子设备技术方案

本申请是关于一种基于目标检测的图像识别方法，其特征在于，包括：获取待处理的图像；根据预先构造并进行训练获得的目标卷积神经网络，识别图像中的手势；获得所述手势的类别及所述手势的关键点的位置信息。该图像识别方法对图像进行了更深层次的解析，以实现更便捷丰富的应用图像信息，实现更灵活多样的人机互动方式。

Image Recognition Method, System and Electronic Equipment Based on Target Detection

This application is concerned with an image recognition method based on target detection, which is characterized by acquiring the image to be processed, recognizing gestures in the image according to the target convolution neural network constructed and trained beforehand, and obtaining the category of the gestures and the position information of the key points of the gestures. The image recognition method has a deeper analysis of the image, in order to achieve more convenient and rich application of image information, and achieve more flexible and diverse ways of human-computer interaction.

【技术实现步骤摘要】
基于目标检测的图像识别方法、系统和电子设备
本申请涉及图像处理
，尤其涉及一种基于目标检测的图像识别方法和系统。
技术介绍
近年来，深度学习在视频图像处理、语音识别、自然语言处理等相关领域得到了广泛应用，尤其是图像处理方面，图像识别的技术发展迅速。在图像处理中，目标检测(objectdetection)是指关注图片中特定的物体目标，当输入一张图片，该检测方法识别并输出该图片中目标的位置信息(boundingbox)以及类别信息。现有的目标检测方法主要分为两类，一类是两阶段的目标检测模型，也是基于区域的识别方法，包括R-CNN，FastR-CNN，FasterR-CNN等。检测过程分为两个阶段，首先针对输入图提取多个可能包括目标的备选框(regionproposals)，然后再计算多个备选框的卷积神经网络(CNN)特征，对每个备选框进行分类。另外一类方法，是单阶段的目标检测模型，该方法旨在对一张输入图片，直接获取预测结果，而没有基于区域方法中的备选框提取过程，该方法也称为无区域识别方法，包括SSD，yolo方法等。SSD全称SingleShotMultiboxDetector。Singleshot是指单阶段目标检测方法，multiboxdetectior是指可以多框检测。针对一张图片，SSD可输出目标的检测框，以及目标的类别。现有的SSD方案通过输入一张图片，直接回归出图片目标的位置，以及对该目标进行分类。例如在检测手势目标的应用场景，SSD只能检测出手势的位置框以及手势的类别(比如victory)，但是并不能回归出手势关键点的位置(例如手势食指指尖的位置)。无法获取手势关键点(例如为食指指尖)，从而根据关键点进行更深层次的解析和应用，实现更灵活多样的人机互动方式。
技术实现思路
本申请的专利技术在研究过程中发现现有的图像识别获取的信息有限，一定程度上限制了其应用范围，实用价值低，无法更便捷更深层次的实现人机交互，因此，为克服相关技术中存在的问题，本申请公开一种基于目标检测的图像识别方法、系统、电子设备及存储介质。根据本申请实施例的第一方面，提供一种基于目标检测的图像识别方法，其特征在于，包括：获取待处理的图像；根据预先构造并进行训练获得的目标卷积神经网络，识别图像中的手；获得所述手势的类别及所述手势的关键点的位置信息。优选地，通过以下步骤获所述目标卷积神经网络：获取训练图像；对所述训练图像进行标注；构造针对输入信息，输出图像的标签信息的初始卷积神经网络；将训练图像作为输入，结合训练图像的标注，对初始卷积神级网络进行训练优化，得到所述目标卷积神经网络。优选地，所述标注包括手势的类别和手势的关键点的位置信息。优选地，所述标注还包括手势的个数。优选地，所述手势的关键点包括手指指尖、掌心中的至少一点。优选地，所述关键点的位置信息通过所述关键点在图像中的坐标表示。优选地，所述图像中包括多个手势。优选地，所述目标卷积神经网络采用多尺度特征进行检测。优选地，所述图像识别方法包括单阶段目标检测方法。根据本申请实施例的第二方面，提供一种图像识别系统，其特征在于，包括：获取模块，用于获取待处理的图像；处理模块，用于将所述待处理的图像输入到预先构造并进行训练获得的目标卷积神经网络，识别图像中的手势，并获得所述手势的类别及所述手势的关键点的位置信息；输出模块，用于输出所述图像中的手势类别及所述手势的关键点的位置信息。优选地，所述处理模块处理在时间上连续的多张图像，从而获得所述关键点的运动路径。优选地，所述图像识别装置根据图像识别的结果，为所述图像增加特效。根据本申请实施例的第三方面，提供一种电子设备，其特征在于，包括：一个或多个处理器；存储器；一个或多个应用程序，其中，所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述任意一项所述的图像识别方法。根据本申请实施例的第四方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行一种图像识别方法，所述方法包括上述任意一项所述的图像识别方法。本申请的实施例提供的技术方案可以包括以下有益效果：1)本申请提出了一种基于目标检测的图像识别方法，通过在训练阶段增加并标注更多的有用信息，来预测并得出希望得到的图像中手势的关键点位置信息，从而可以利用该信息拓展更多的应用场景，进一步地，还可根据该关键点的位置信息，跟踪目标的位置移动，获取关键点的运动轨迹等，以便为各种应用提供更为有利的信息，例如录制小视频时，本方案不仅可以获得手势位置，以及类别，与此同时还能通过回归食指关键点位置来跟踪食指运动情况，从而针对性的添加一些特效。2)本申请的图像识别方法易于实现，且采用了单阶段的目标检测模型，简化了识别步骤，且通过多尺度特征图进行检测，大尺度特征图可以划分更多的小单元，每个单元的先验框比较小，用来检测小目标。小尺度的特征图可以划分更大的单元，每个单元先验框的尺度比较大，用来检测大目标。可以通过输入一张图片，直接获得图片中目标的位置，确定目标数量并对该目标进行分类。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。图1是根据一示例性实施例示出的基于目标检测的图像识别方法的流程图；图2是根据一示例性实施例示出的获得目标卷积神经网络的步骤示意图；图3是根据一示例性实施例示出的获取图像中手势关键点的位置信息的示意图；图4是根据一示例性实施例示出的初始卷积神经网络的网络结构示意图；图5是根据一示例性实施例示出的基于目标检测的图像识别系统示意图；图6是根据一示例性实施例示出的图像识别设备的示意图。具体实施方式这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。图1是根据示例性实施例示出的基于目标检测的图像识别方法的流程图，具体包括以下步骤：在步骤S101中，获取待处理的图像；在步骤S102中，根据预先构造并进行训练获得的目标卷积神经网络，识别待处理的图像中的手势；在步骤S103中，获得所述手势的类别以及所述手势的关键点的位置信息。在本专利技术的一个实施例中，首先，获取待处理的图像；然后，根据预先构造并进行训练获得的目标卷积神经网络，识别图像中是否包含手势；最后获取图像中所含手势的数量以及各手势所属的类别，并获取各手势的关键点(例如为手势中食指的指尖)在所述图像中的位置信息等。本专利技术的目标卷积神经网络基于一种目标检测方法，该检测方法采用了单阶段的目标检测模型，且通过多尺度特征图对图像进行检测。可实现在识别图像中是否包含手势及手势类别的同时，获取手势的关键点在所述图像中的位置信息。当然地，如进行识别的图像中不包含手势，则得出无手势的信息。具体地，本专利技术中采用了SSD目标检测方法，SSD全称为SingleShot本文档来自技高网...

【技术保护点】
1.一种基于目标检测的图像识别方法，其特征在于，包括：获取待处理的图像；根据预先构造并进行训练获得的目标卷积神经网络，识别图像中的手势；获得所述手势的类别及所述手势的关键点的位置信息。

【技术特征摘要】
1.一种基于目标检测的图像识别方法，其特征在于，包括：获取待处理的图像；根据预先构造并进行训练获得的目标卷积神经网络，识别图像中的手势；获得所述手势的类别及所述手势的关键点的位置信息。2.根据权利要求1所述的基于目标检测的图像识别方法，其特征在于，通过以下步骤获所述目标卷积神经网络：获取训练图像；对所述训练图像进行标注；构造针对输入信息，输出图像的标签信息的初始卷积神经网络；将训练图像作为输入，结合训练图像的标注，对初始卷积神级网络进行训练优化，得到所述目标卷积神经网络。3.根据权利要求2所述的基于目标检测的图像识别方法，其特征在于，所述标注包括手势的类别和手势的关键点的位置信息。4.根据权利要求3所述的基于目标检测的图像识别方法，其特征在于，所述标注还包括手势的个数。5.根据权利要求1所述的基于目标检测的图像识别方法，其特征在于，所述手势的关键点包括手指指尖、掌心中的至少一点。6.根据权利要求1所述的基于目标检测的图像识别方法，其特征在于，所述关键点的位置信息通过所述关键点在图像中的坐标表示。7.根据权利要求1所述的基于目标检测的图像识别方法，其特征在于，所述图像中包括多个手势。8.根据权利要求1所述的基于目标检测的图像识别方法，其特征在于，所述目标卷积神经网络采用多尺...

【专利技术属性】
技术研发人员：宋丛礼，于永航，郑文，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：北京,11