人体动作识别装置及方法、电子设备制造方法及图纸

本发明专利技术实施例提供一种人体动作识别装置及方法、电子设备。首先在输入图像中检测人体的边界框，并在检测出的边界框中有选择的基于人体的关键点来检测人体的动作和/或基于卷积神经网络来检测人体的动作，这样，通过分级的检测方式，处理速度较快且识别精度较高，并且，通过将两种检测方式相结合，可以根据不同的情况来选择不同的检测方式，能够灵活的应对各种场景和需求。

【技术实现步骤摘要】
人体动作识别装置及方法、电子设备
本专利技术涉及信息

技术介绍
近年来，在深度学习的帮助下，计算机视觉领域的研究取得了很大的进步。深度学习是指在分层神经网络上运用各种机器学习算法解决图像、文本等各种问题的算法集合。深度学习的核心是特征学习，旨在通过分层神经网络获取分层次的特征信息，从而解决以往需要人工设计特征的重要难题。安全监控是深度学习的重要应用之一，而人体动作和行为识别是安全监控的重要组成部分。应该注意，上面对技术背景的介绍只是为了方便对本专利技术的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本专利技术的
技术介绍
部分进行了阐述而认为上述技术方案为本领域技术人员所公知。
技术实现思路
但是，由于人体的动作比较复杂，应用的场景也多变，现有的动作识别方法处理速度较慢，且识别精度不高，另外，无法灵活的应对各种不同的场景和需求。本专利技术实施例提供一种人体动作识别装置及方法、电子设备，首先在输入图像中检测人体的边界框，并在检测出的边界框中有选择的基于人体的关键点来检测人体的动作和/或基于卷积神经网络来检测人体的动作，这样，通过分级的检测方式，处理速度较快且识别精度较高，并且，通过将两种检测方式相结合，可以根据不同的情况来选择不同的检测方式，能够灵活的应对各种场景和需求。根据本专利技术实施例的第一方面，提供一种人体动作识别装置，所述装置包括：目标检测单元，其用于检测输入图像中的人体的边界框；第一检测单元，其用于在检测出的人体的边界框中，基于所述人体的关键点计算所述人体的特征，并根据所述人体的特征来检测所述人体的动作，得到第一识别结果；第二检测单元，其用于在检测出的人体的边界框中，基于卷积神经网络来检测所述人体的动作，得到第二识别结果；以及选择单元，其用于选择所述第一检测单元和所述第二检测单元中的至少一个来检测人体的动作，以得到所述第一识别结果和所述第二识别结果中的至少一个。根据本专利技术实施例的第二方面，提供一种电子设备，所述电子设备包括根据本专利技术实施例的第一方面所述的装置。根据本专利技术实施例的第三方面，提供一种人体动作识别方法，所述方法包括：检测输入图像中的人体的边界框；选择并进行以下的至少一种检测：在检测出的人体的边界框中，基于所述人体的关键点计算所述人体的特征，并根据所述人体的特征来检测所述人体的动作，得到第一识别结果；以及在检测出的人体的边界框中，基于卷积神经网络来检测所述人体的动作，得到第二识别结果。本专利技术的有益效果在于：首先在输入图像中检测人体的边界框，并在检测出的边界框中有选择的基于人体的关键点来检测人体的动作和/或基于卷积神经网络来检测人体的动作，这样，通过分级的检测方式，处理速度较快且识别精度较高，并且，通过将两种检测方式相结合，可以根据不同的情况来选择不同的检测方式，能够灵活的应对各种场景和需求。参照后文的说明和附图，详细公开了本专利技术的特定实施方式，指明了本专利技术的原理可以被采用的方式。应该理解，本专利技术的实施方式在范围上并不因而受到限制。在所附权利要求的精神和条款的范围内，本专利技术的实施方式包括许多改变、修改和等同。针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。应该强调，术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在，但并不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。附图说明所包括的附图用来提供对本专利技术实施例的进一步的理解，其构成了说明书的一部分，用于例示本专利技术的实施方式，并与文字描述一起来阐释本专利技术的原理。显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。在附图中：图1是本专利技术实施例1的人体动作识别装置的一示意图；图2是本专利技术实施例1的第一检测单元102的一示意图；图3是本专利技术实施例1的人体的关键点的检测结果的一示意图；图4是本专利技术实施例1的基于关键点得到人体的特征的一示意图；图5是本专利技术实施例1的利用人体动作识别装置100进行人体动作识别的一示意图；图6是本专利技术实施例2的电子设备的一示意图；图7是本专利技术实施例2的电子设备的系统构成的一示意框图；图8是本专利技术实施例3的人体动作识别方法的一示意图。具体实施方式参照附图，通过下面的说明书，本专利技术的前述以及其它特征将变得明显。在说明书和附图中，具体公开了本专利技术的特定实施方式，其表明了其中可以采用本专利技术的原则的部分实施方式，应了解的是，本专利技术不限于所描述的实施方式，相反，本专利技术包括落入所附权利要求的范围内的全部修改、变型以及等同物。实施例1本专利技术实施例提供一种人体动作识别装置。图1是本专利技术实施例1的人体动作识别装置的一示意图。如图1所示，人体动作识别装置100包括：目标检测单元101，其用于检测输入图像中的人体的边界框；第一检测单元102，其用于在检测出的人体的边界框中，基于人体的关键点计算人体的特征并根据人体的特征来检测人体的动作，得到第一识别结果；第二检测单元103，其用于在检测出的人体的边界框中，基于卷积神经网络来检测人体的动作，得到第二识别结果；以及选择单元104，其用于选择第一检测单元102和第二检测单元103中的至少一个来检测人体的动作，以得到第一识别结果和第二识别结果中的至少一个。由上述实施例可知，首先在输入图像中检测人体的边界框，并在检测出的边界框中有选择的基于人体的关键点来检测人体的动作和/或基于卷积神经网络来检测人体的动作，这样，通过分级的检测方式，处理速度较快且识别精度较高，并且，通过将两种检测方式相结合，可以根据不同的情况来选择不同的检测方式，能够灵活的应对各种场景和需求。在本实施例中，该输入图像可以是实时获得或预先获得的图像。例如，该输入图像是监控设备拍摄得到的视频图像，每一个输入图像对应于该视频图像的一帧。在本实施例中，目标检测单元101用于检测输入图像中的人体的边界框。目标检测单元101可以基于各种目标检测方法进行检测，例如，FasterR-CNN，FPN，Yolo网络等。在本实施例中，可以根据不同的需求使用不同的网络进行检测，例如，对处理速度要求较高时可以使用Yolo网络，对识别精度要求较高时可以使用FasterR-CNN网络。通过目标检测单元101，当输入图像中存在至少一个人体时，检测出至少一个人体的边界框。在检测出人体的边界框之后，选择单元104选择第一检测单元102和第二检测单元103中的至少一个来检测人体的动作，以得到第一识别结果和第二识别结果中的至少一个。在本实施例中，选择单元104可以根据实际的需要或应用场景来选择第一检测单元102和第二检测单元103中的至少一个来检测人体的动作，以得到本文档来自技高网...

【技术保护点】
1.一种人体动作识别装置，所述装置包括：/n目标检测单元，其用于检测输入图像中的人体的边界框；/n第一检测单元，其用于在检测出的人体的边界框中，基于所述人体的关键点计算所述人体的特征，并根据所述人体的特征来检测所述人体的动作，得到第一识别结果；/n第二检测单元，其用于在检测出的人体的边界框中，基于卷积神经网络来检测所述人体的动作，得到第二识别结果；以及/n选择单元，其用于选择所述第一检测单元和所述第二检测单元中的至少一个来检测人体的动作，以得到所述第一识别结果和所述第二识别结果中的至少一个。/n

【技术特征摘要】
1.一种人体动作识别装置，所述装置包括：
目标检测单元，其用于检测输入图像中的人体的边界框；
第一检测单元，其用于在检测出的人体的边界框中，基于所述人体的关键点计算所述人体的特征，并根据所述人体的特征来检测所述人体的动作，得到第一识别结果；
第二检测单元，其用于在检测出的人体的边界框中，基于卷积神经网络来检测所述人体的动作，得到第二识别结果；以及
选择单元，其用于选择所述第一检测单元和所述第二检测单元中的至少一个来检测人体的动作，以得到所述第一识别结果和所述第二识别结果中的至少一个。


2.根据权利要求1所述的装置，其中，所述第一检测单元包括：
第一检测模块，其用于在检测出的人体的边界框中检测所述人体的关键点；
计算模块，其用于根据检测出的所述人体的关键点计算所述人体的特征；以及
第二检测模块，其用于根据计算出的所述人体的特征，基于分类器和/或预设的规则检测所述人体的动作，得到第一识别结果。


3.根据权利要求2所述的装置，其中，
所述人体的关键点包括分别表示所述人体的多个部位所在位置的多个点。


4.根据权利要求2所述的装置，其中，
所述人体的特征包括：
分别表示所述人体的多个部位所在位置的多个点的二维坐标；以及
所述多个点的连线之间的至少一个角度。


5.根据权利要求2所述的装...

【专利技术属性】
技术研发人员：尹汭，谭志明，张宗艳，丁蓝，
申请(专利权)人：富士通株式会社，
类型：发明
国别省市：日本;JP