关键点检测方法、装置和电子设备制造方法及图纸

本申请实施例提供一种针对小目标的关键点检测方法、装置和电子设备。所述方法包括：通过卷积神经网络对输入图像进行特征提取，得到输入图像的多个通道的特征图；对多个通道的特征图进行第一上采样处理，得到第一组特征图，对第一组特征图进行关键点预测，得到第一组关键点；对多个通道的特征图进行第二上采样处理，得到第二组特征图，该第二组特征图的分辨率高于第一组特征图的分辨率，对第二组特征图进行关键点预测，得到第二组关键点，该第二组关键点的分辨率高于第一组关键点的分辨率；对第一组关键点和第二组关键点进行融合，得到第三组关键点作为输入图像上的目标的关键点。由此，能够提高TRT姿势识别方法在检测小目标时的性能。的性能。的性能。

【技术实现步骤摘要】
关键点检测方法、装置和电子设备


[0001]本申请实施例涉及图像检测


技术介绍

[0002]人体姿势识别(human pose recognition)有着广阔的市场。例如，姿势识别软件可以用于检测超市中需要提供帮助的顾客。例如，一个正在寻找某个项目并停留在那里的人可能对某个项目“感兴趣”。由此，一种嵌入式姿势识别软件，即TRT
‑
pose被提出。
[0003]TRT
‑
pose的姿势识别过程包括两步，第一步，从图像中检测关键点；第二步，基于轻量型分类器和规则从关键点和特征中估计姿势。
[0004]应该注意，上面对技术背景的介绍只是为了方便对本申请的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述，不能仅仅因为这些方案在本申请的
技术介绍
部分进行了阐述而认为上述技术方案为本领域技术人员所公知。

技术实现思路

[0005]专利技术人发现，TRT
‑
pose采用了自下而上(bottom
‑
up)的关键点检测方法(同时获得所有目标的关键点)，具有速度快、占用内存小的特点，这一点，对于在嵌入式平台上运行至关重要。然而，TRT
‑
pose的性能不如自上而下(top
‑
down)的方法(逐个目标获得关键点)，尤其是在检测小目标的场景下。
[0006]下面的表1示出了自上而下的关键点检测方法(例如YOLO+CPN)和自下而上的关键点检测方法(例如TRT
‑
pose)的性能对比。其中，F(行为姿态识别率)测量是基本动作识别(action recognition)的测量，AP(平均查准率，Average Precision)和AR(平均查全率，Average Recall)是关键点检测的测量。
[0007]方法APARF测量(F
‑
measure)自上而下(YOLO+CPN)0.6130.6580.87自下而上(TRT
‑
pose)0.3590.4310.76
[0008]表1
[0009]从上表可以看出，与自上而下的关键点检测方法相比，自下而上的关键点检测方法的各项指标均低于自上而下的关键点检测方法。
[0010]针对上述技术问题的至少之一，本申请实施例提供一种关键点检测方法、装置和电子设备，期待提高使用TRT姿势识别方法在检测小目标时的性能。
[0011]根据本申请实施例的一个方面，提供一种针对小目标的关键点检测装置，其中，所述装置包括：
[0012]特征提取单元，其通过卷积神经网络对输入图像进行特征提取，得到所述输入图像的多个通道的特征图；
[0013]第一处理单元，其对所述多个通道的特征图进行第一上采样处理，得到第一组特征图，对所述第一组特征图进行关键点预测，得到第一组关键点；
[0014]第二处理单元，其对所述多个通道的特征图进行第二上采样处理，得到第二组特征图，所述第二组特征图的分辨率高于所述第一组特征图的分辨率，对所述第二组特征图进行关键点预测，得到第二组关键点，所述第二组关键点的分辨率高于所述第一组关键点的分辨率；
[0015]融合单元，其对所述第一组关键点和所述第二组关键点进行融合，得到第三组关键点作为所述输入图像上的目标的关键点。
[0016]根据本申请实施例的另一个方面，提供一种姿势识别装置，所述装置包括：
[0017]检测单元，其利用第一方面的实施例所述的装置对输入图像上的目标进行关键点检测；
[0018]识别单元，其利用检测出的关键点识别所述目标的姿势或动作。
[0019]根据本申请实施例的另一个方面，提供一种电子设备，包括第一方面的实施例或第二方面的实施例所述的装置。
[0020]本申请实施例的有益效果之一在于：根据本申请实施例，在原有的网络架构的基础上，增加一个分支，利用增加的这个分支生成高分辨率的特征图(热图)，通过对原分辨率的特征图(也即通过原有的网络结构生成的特征图，称为低分辨率的特征图)和该高分辨率的特征图分别进行关键点检测，再进行两个关键点集合的融合，得到最终的关键点集合，由此，提高了TRT姿势识别方法在检测小目标时的性能。
[0021]参照后文的说明和附图，详细公开了本申请实施例的特定实施方式，指明了本申请实施例的原理可以被采用的方式。应该理解，本申请的实施方式在范围上并不因而受到限制。在所附权利要求的精神和条款的范围内，本申请的实施方式包括许多改变、修改和等同。
附图说明
[0022]所包括的附图用来提供对本申请实施例的进一步的理解，其构成了说明书的一部分，用于例示本申请的实施方式，并与文字描述一起来阐释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施方式。在附图中：
[0023]图1是本申请实施例的关键点检测方法的一示意图；
[0024]图2是根据本申请实施例的方法对输入图像上的目标进行关键点检测的一个示例的示意图；
[0025]图3是采用现有技术的方法进行关键点检测进而进行目标检测的示意图；
[0026]图4是采用本申请实施例的方法进行关键点检测进而进行目标检测的示意图；
[0027]图5是对第一组关键点和第二组关键点进行融合的一个示意图；
[0028]图6是上采样处理的一个方法的示意图；
[0029]图7是根据本申请实施例的关键点检测方法进行上采样处理的一个示例的示意图；
[0030]图8是第二上采样处理的网络结构的一个示例的示意图；
[0031]图9是本申请实施例的关键点检测装置的一示意图；
[0032]图10是本申请实施例的姿势识别装置的一示意图；
[0033]图11是本申请实施例的电子设备的示意图。
具体实施方式
[0034]参照附图，通过下面的说明书，本申请实施例的前述以及其它特征将变得明显。在说明书和附图中，具体公开了本申请的特定实施方式，其表明了其中可以采用本申请实施例的原则的部分实施方式，应了解的是，本申请不限于所描述的实施方式，相反，本申请实施例包括落入所附权利要求的范围内的全部修改、变型以及等同物。
[0035]在本申请实施例中，术语“第一”、“第二”等用于对不同元素从称谓上进行区分，但并不表示这些元素的空间排列或时间顺序等，这些元素不应被这些术语所限制。术语“和/或”包括相关联列出的术语的一种或多个中的任何一个和所有组合。术语“包含”、“包括”、“具有”等是指所陈述的特征、元素、元件或组件的存在，但并不排除存在或添加一个或多个其他特征、元素、元件或组件。
[0036]在本申请实施例中，单数形式“一”、“该”等包括复数形式，应广义地理解为“一种”或“一类”而并不是限定为“一个”的含义；此外术语“所述”应理解为既包括单数形式也包本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种针对小目标的关键点检测装置，其中，所述装置包括：特征提取单元，其通过卷积神经网络对输入图像进行特征提取，得到所述输入图像的多个通道的特征图；第一处理单元，其对所述多个通道的特征图进行第一上采样处理，得到第一组特征图，对所述第一组特征图进行关键点预测，得到第一组关键点；第二处理单元，对所述多个通道的特征图进行第二上采样处理，得到第二组特征图，所述第二组特征图的分辨率高于所述第一组特征图的分辨率，对所述第二组特征图进行关键点预测，得到第二组关键点，所述第二组关键点的分辨率高于所述第一组关键点的分辨率；融合单元，其对所述第一组关键点和所述第二组关键点进行融合，得到第三组关键点作为所述输入图像上的目标的关键点。2.根据权利要求1所述的装置，其中，所述融合单元对所述第一组关键点和所述第二组关键点进行融合，包括：将所述第二组关键点添加到所述第三组关键点的集合中；将所述第一组关键点中的每个关键点与所述第二组关键点的所有关键点进行比较，将所述第一组关键点中满足预定条件的关键点添加到所述第三组关键点的集合中，得到所述第三组关键点。3.根据权利要求2所述的装置，其中，如果所述第一组关键点中的一个关键点与所述第二组关键点的所有关键点的距离都大于预定阈值，则认为所述关键点满足预定条件。4.根据权利要求1所述的装置，其中，所...

【专利技术属性】
技术研发人员：姚杰，朱建清，
申请(专利权)人：富士通株式会社，
类型：发明
国别省市：