一种举手行为识别方法及装置、电子设备制造方法及图纸

本发明专利技术公开了一种举手行为识别方法及装置、电子设备，包括：输入待识别图像；利用举手训练模型对待识别图像进行识别，得到目标举手预测结果集；举手行为跟踪器根据目标举手预测结果集，对至少一个举手的人体对象分别进行标注，生成每个人体对象的标注信息；利用人脸训练模型对待识别图像进行识别，得到目标人脸预测结果集；人脸根据器根据目标人脸预测结果集，对至少一个人脸对象分别进行标注，生成每个人脸对象的标注信息；根据目标举手预测结果集和目标人脸预测结果集，按照匹配条件进行匹配；对于满足匹配条件的目标举手预测结果与目标人脸预测结果，输出举手行为识别结果。本发明专利技术能够提高举手行为识别的准确率。

【技术实现步骤摘要】
一种举手行为识别方法及装置、电子设备
本专利技术涉及智能识别
，特别是指一种举手行为识别方法及装置、电子设备。
技术介绍
目前，利用人工智能技术识别举手行为，可根据举手动作创建举手行为跟踪器，利用举手行为跟踪器跟踪手部动作，实现举手行为的快速定位和识别。但是，上述举手行为跟踪器仅适用于个体举手行为的识别，在人员密集、且举手人员较多的场景中，上述举手行为跟踪器会出现误判、漏判，降低举手行为的识别准确率。
技术实现思路
有鉴于此，本专利技术的目的在于提出一种举手行为识别方法及装置、电子设备，能够提高举手行为识别准确率。基于上述目的，本专利技术提供了一种举手行为识别方法，包括：输入待识别图像；利用举手训练模型对所述待识别图像进行识别，得到包括至少一组目标举手预测结果的目标举手预测结果集；将所述目标举手预测结果集输入举手行为跟踪器，所述举手行为跟踪器根据所述目标举手预测结果集，对至少一个举手的人体对象分别进行标注，生成每个人体对象的标注信息；利用人脸训练模型对所述待识别图像进行识别，得到包括至少一组目标人脸预测结果的目标人脸预测结果集；将所述目标人脸预测结果集输入人脸跟踪器，所述人脸跟踪器根据所述目标人脸预测结果集，对至少一个人脸对象分别进行标注，生成每个人脸对象的标注信息；根据所述目标举手预测结果集和所述目标人脸预测结果集，按照匹配条件进行匹配；对于满足所述匹配条件的目标举手预测结果与相应的目标人脸预测结果，输出举手行为识别结果。r>可选的，所述目标举手预测结果集包括至少一个人体对象的目标举手预测结果，所述目标举手预测结果包括人体对象的基准点坐标、高度、宽度、识别置信度。可选的，所述每个人体对象的标注信息包括每个人体对象的人体框，每个人体对象的人体追踪标识，所述人体追踪标识与所述人体对象一一对应。可选的，所述目标人脸预测结果集包括至少一个人脸对象的目标人脸预测结果，所述目标人脸预测结果包括人脸对象的基准点坐标、高度、宽度、识别置信度。可选的，所述每个人脸的标注信息包括每个人脸对象的人脸框，每个人脸对象的人脸追踪标识，所述人脸追踪标识与所述人脸对象一一对应。可选的，所述匹配条件为所述人脸对象在所述人体对象范围之内。可选的，所述方法还包括：对于满足所述匹配条件的目标举手预测结果与相应的目标人脸预测结果，记录分别对应的人体对象的标注信息和人脸对象的标注信息，对预定时间内连续输入的多张待识别图像，根据所述记录的人体对象的标注信息和人脸对象的标注信息，判断所述多张待识别图像是否均满足所述匹配条件，若满足则输入举手行为识别结果。本专利技术实施例还提供一种举手行为识别装置，包括：举手训练模块，用于对待识别图像进行识别，得到包括至少一组目标举手预测结果的目标举手预测结果集；举手行为跟踪模块，用于根据输入的所述目标举手预测结果集，对至少一个举手的人体对象分别进行标注，生成每个人体对象的标注信息；人脸训练模块，用于对所述待识别图像进行识别，得到包括至少一组目标人脸预测结果的目标人脸预测结果集；人脸跟踪模块，用于根据输入的所述目标人脸预测结果集，对至少一个人脸对象分别进行标注，生成每个人脸对象的标注信息；匹配模块，用于根据所述目标举手预测结果集和目标人脸预测结果集，按照匹配条件进行匹配；输出模块，用于对于满足所述匹配条件的目标举手预测结果与相应的目标人脸预测结果，输出举手行为识别结果。可选的，所述目标举手预测结果集包括至少一个人体对象的目标举手预测结果，所述目标举手预测结果包括人体对象的基准点坐标、高度、宽度、识别置信度。可选的，所述每个人体对象的标注信息包括每个人体对象的人体框，每个人体对象的人体追踪标识，所述人体追踪标识与所述人体对象一一对应。可选的，所述目标人脸预测结果集包括至少一个人脸对象的目标人脸预测结果，所述目标人脸预测结果包括人脸对象的基准点坐标、高度、宽度、识别置信度。可选的，所述每个人脸对象的标注信息包括每个人脸对象的人脸框，每个人脸对象的人脸追踪标识，所述人脸追踪标识与所述人脸对象一一对应。可选的，所述匹配条件为所述人脸对象在所述人体对象范围之内。可选的，所述装置还包括：记录模块，用于记录满足所述匹配条件的目标举手预测结果对应的人体对象的标注信息与目标人脸预测结果对应的人脸对象的标注信息；输出模块，用于对于连续输入的多张待识别图像，根据记录的人体对象的标注信息与人脸对象的标注信息，判断各张待识别图像均满足匹配条件时，输出举手行为识别结果。本专利技术实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述举手行为识别方法。从上面所述可以看出，本专利技术提供的举手行为识别方法及装置、电子设备，分别利用举手训练模型和人脸训练模型对待识别图像进行识别，分别得到目标举手预测结果集和目标人脸预测结果集，将目标举手预测结果集和目标人脸预测结果集分别输入举手行为跟踪器和人脸跟踪器，利用两个跟踪器分别对至少一个人体对象和至少一个人脸对象进行跟踪和标注，根据目标举手预测结果集和目标人脸预测结果集，按照匹配条件匹配至少一个人体对象，对于满足匹配条件的目标举手预测结果与相应的目标人脸预测结果，输出包括至少一个举手的人体对象的举手行为识别结果。本专利技术能够实现至少一个举手的人体对象的举手行为的识别，且识别准确率较高。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例的方法流程示意图；图2为本专利技术实施例的人体框与人脸框的示意图；图3为本专利技术实施例的装置结构示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术进一步详细说明。需要说明的是，本专利技术实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本专利技术实施例的限定，后续实施例对此不再一一说明。本专利技术实施例提供一种举手行为识别方法，能够实现个体举手行为的识别，也能够实现在人员密集且举手人员较多的场景下，各举手人员的举手行为的识别。所述举手行为识别方法包括：输入待识别图像；利用举手训练模型对待识别图像进行识别，得到包括至少一组目标举手预测结果的目标举手预测结果集；将目标举手预测结果集输入举手行为跟踪器，举手行为跟踪器根据目标举手预测结果集，对至少一个举手的人体对象分别进行标注，生成每个人体对象的标注信息；利用人脸训练模型对待识别图像进行识别，得到本文档来自技高网...

【技术保护点】
1.一种举手行为识别方法，其特征在于，包括：/n输入待识别图像；/n利用举手训练模型对所述待识别图像进行识别，得到包括至少一组目标举手预测结果的目标举手预测结果集；/n将所述目标举手预测结果集输入举手行为跟踪器，所述举手行为跟踪器根据所述目标举手预测结果集，对至少一个举手的人体对象分别进行标注，生成每个人体对象的标注信息；/n利用人脸训练模型对所述待识别图像进行识别，得到包括至少一组目标人脸预测结果的目标人脸预测结果集；/n将所述目标人脸预测结果集输入人脸跟踪器，所述人脸跟踪器根据所述目标人脸预测结果集，对至少一个人脸对象分别进行标注，生成每个人脸对象的标注信息；/n根据所述目标举手预测结果集和所述目标人脸预测结果集，按照匹配条件进行匹配；/n对于满足所述匹配条件的目标举手预测结果与相应的目标人脸预测结果，输出举手行为识别结果。/n

【技术特征摘要】
1.一种举手行为识别方法，其特征在于，包括：
输入待识别图像；
利用举手训练模型对所述待识别图像进行识别，得到包括至少一组目标举手预测结果的目标举手预测结果集；
将所述目标举手预测结果集输入举手行为跟踪器，所述举手行为跟踪器根据所述目标举手预测结果集，对至少一个举手的人体对象分别进行标注，生成每个人体对象的标注信息；
利用人脸训练模型对所述待识别图像进行识别，得到包括至少一组目标人脸预测结果的目标人脸预测结果集；
将所述目标人脸预测结果集输入人脸跟踪器，所述人脸跟踪器根据所述目标人脸预测结果集，对至少一个人脸对象分别进行标注，生成每个人脸对象的标注信息；
根据所述目标举手预测结果集和所述目标人脸预测结果集，按照匹配条件进行匹配；
对于满足所述匹配条件的目标举手预测结果与相应的目标人脸预测结果，输出举手行为识别结果。


2.根据权利要求1所述的方法，其特征在于，所述目标举手预测结果集包括至少一个人体对象的目标举手预测结果，所述目标举手预测结果包括人体对象的基准点坐标、高度、宽度、识别置信度。


3.根据权利要求1所述的方法，其特征在于，所述每个人体对象的标注信息包括每个人体对象的人体框，每个人体对象的人体追踪标识，所述人体追踪标识与所述人体对象一一对应。


4.根据权利要求1所述的方法，其特征在于，所述目标人脸预测结果集包括至少一个人脸对象的目标人脸预测结果，所述目标人脸预测结果包括人脸对象的基准点坐标、高度、宽度、识别置信度。


5.根据权利要求1所述的方法，其特征在于，所述每个人脸的标注信息包括每个人脸对象的人脸框，每个人脸对象的人脸追踪标识，所述人脸追踪标识与所述人脸对象一一对应。


6.根据权利要求1所述的方法，其特征在于，所述匹配条件为所述人脸对象在所述人体对象范围之内。


7.根据权利要求1所述的方法，其特征在于，还包括：对于满足所述匹配条件的目标举手预测结果与相应的目标人脸预测结果，记录分别对应的人体对象的标注信息和人脸对象的标注信息，对预定时间内连续输入的多张待识别图像，根据所述记录的人体对象的标注信息和人脸对象的标注信息，判断所述多张待识别图像是否均满足所述匹配条件，若满足则输入举手行为识别结果。


8.一种举手行为识别装置，其特征在于，包括：
举手...

【专利技术属性】
技术研发人员：高海超，
申请(专利权)人：深圳市鸿合创新信息技术有限责任公司，
类型：发明
国别省市：广东;44