一种人体姿态估计方法及终端设备技术

本申请适用于计算机技术领域，提供了一种人体姿态估计方法及终端设备，包括：根据输入图像获取第一热力图；将所述第一热力图输入至预设特征融合模型中进行处理，得到第二热力图；基于所述第二热力图进行人体姿态估计，得到人体关键点坐标，能够对获取到的热力图进一步进行特征融合，得到质量更佳的热力图，在基于特征融合后的热力图进行人体姿态估计，能够有效地提高人体关键点的识别精度。

【技术实现步骤摘要】
一种人体姿态估计方法及终端设备
本申请属于机器人
，尤其涉及一种人体姿态估计方法及终端设备。
技术介绍
人体姿态估计是指从给定的一幅图像或者一段视频中，恢复出人体关键点的过程。一般的人体关键点确定是直接根据标签的坐标值去回归每个关键点的坐标值，这种方式有着简单直接、速度快等优势，但是会由于缺少一些图像语义信息，会导致较大的估计误差。为了提高精度，可以基于图像的热力图来进行人体姿态估计，然而现有的人体姿态估计模型生成的热力图通常质量较差，容易导致人体关键点的识别出现误差。
技术实现思路
本申请实施例提供了一种人体姿态估计方法及终端设备，可以解决现有的人体姿态估计模型生成的热力图通常质量较差，容易导致人体关键点的识别出现误差的问题。第一方面，本申请实施例提供了一种人体姿态估计方法，包括：根据输入图像获取第一热力图；将所述第一热力图输入至预设特征融合模型中进行处理，得到第二热力图；基于所述第二热力图进行人体姿态估计，得到人体关键点坐标。在第一方面的一种可能的实现方式中，所述预设特征融合模型包括下采样模块、上采样模块以及横向连接模块；相应地，所述将所述第一热力图输入至特征融合模型中进行处理，得到第二热力图，包括：基于所述下采样模块对所述第一热力图进行下采样处理，获取多尺度图像；基于所述上采样模块对所述下采样模块的输出进行上采样处理；并通过横向连接模块，将所述多尺度图像与所述下采样模块的输出进行特征融合，得到所述第二热力图。>在第一方面的一种可能的实现方式中，所述下采样模块包括第一卷积单元、第二卷积单元、第三卷积单元以及第四卷积单元；相应的，所述基于所述下采样模块对所述第一热力图进行下采样处理，获取多尺度图像，包括：所述第一卷积单元对所述第一热力图进行下采样处理，得到第一尺度图像；所述第二卷积单元对所述第一尺度图像进行下采样处理，得到第二尺度图像；所述第三卷积单元对所述第二尺度图像进行下采样处理，得到第三尺度图像。在第一方面的一种可能的实现方式中，所述上采样模块包括第五卷积单元、第六卷积单元以及第七卷积单元，所述横向连接模块包括第一横向连接单元、第二横向连接单元以及第三横向连接单元，所述第一卷积单元的输出分别与所述第二卷积单元的输入和所述第三横向连接单元的第一输入连接，所述第二卷积单元的输出分别与所述第三卷积单元的输入和所述第二横向连接单元的第一输入连接，所述第三卷积单元的输出分别与所述第四卷积单元的输入和所述第一横向连接单元的第一输入连接，所述第四卷积单元的输出与所述第一横向连接单元的第二输入连接，所述第一横向连接单元的输出与所述第五卷积单元的输入连接，所述第五卷积单元的输出于所述第二横向连接单元的第二输入连接，所述第二横向连接单元的输出与所述第六卷积单元的输入连接，所述第六卷积单元的输出与所述第三横向连接单元的第二输入连接，所述第三横向连接单元的输出与所述第七卷积单元的输入连接。在第一方面的一种可能的实现方式中，所述第一横向连接单元包括第一横向卷积单元和第一放大单元，所述第二横向连接单元包括第二横向卷积单元和第二放大单元，所述第三横向连接单元包括第三横向卷积单元和第三方大单元。在第一方面的一种可能的实现方式中，上述方法还包括：构建特征融合模型；基于训练数据对所述特征融合模型进行训练，得到所述预设特征融合模型。在第一方面的一种可能的实现方式中，所述训练数据包括训练图像和所述训练图像对应的真实标签；所述基于训练数据对所述特征融合模型进行训练，得到所述预设特征融合模型，包括：将训练图像输入至所述预设特征融合模型中进行处理，得到所述训练图像对应的热力图；基于所述训练图像对应的热力图与所述训练对应的真实标签确定模型损失；基于所述模型损失调整所述预设特征融合模型的模型参数，直至所述特征融合模型的损失函数收敛，得到训练完成的预设特征融合模型。第二方面，本申请实施例提供了一种终端设备，包括：获取模块，用于根据输入图像获取第一热力图；特征融合模块，用于将所述第一热力图输入至预设特征融合模型中进行处理，得到第二热力图；姿态估计模块，用于基于所述第二热力图进行人体姿态估计，得到人体关键点坐标。第三方面，本申请实施例提供了一种终端设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的方法。第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的方法。第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面所述的方法。可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。本申请实施例与现有技术相比存在的有益效果是：能够对获取到的热力图进一步进行特征融合，得到质量更佳的热力图，在基于特征融合后的热力图进行人体姿态估计，能够有效地提高人体关键点的识别精度。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本申请实施例提供的人体姿态估计方法的实现流程示意图；图2是本申请一实施例提供的预设特征融合模型的结构示意图；图3是本申请实施例提供的第一横向连接单元的结构示意图；图4是本申请实施例提供的终端设备的结构示意图；图5是本申请另一实施例提供的终端设备的结构示意图。具体实施方式以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确本文档来自技高网...

【技术保护点】
1.一种人体姿态估计方法，其特征在于，包括：/n根据输入图像获取第一热力图；/n将所述第一热力图输入至预设特征融合模型中进行处理，得到第二热力图；/n基于所述第二热力图进行人体姿态估计，得到人体关键点坐标。/n

【技术特征摘要】
1.一种人体姿态估计方法，其特征在于，包括：
根据输入图像获取第一热力图；
将所述第一热力图输入至预设特征融合模型中进行处理，得到第二热力图；
基于所述第二热力图进行人体姿态估计，得到人体关键点坐标。


2.如权利要求1所述的人体姿态估计方法，其特征在于，所述预设特征融合模型包括下采样模块、上采样模块以及横向连接模块；
相应地，所述将所述第一热力图输入至特征融合模型中进行处理，得到第二热力图，包括：
基于所述下采样模块对所述第一热力图进行下采样处理，获取多尺度图像；
基于所述上采样模块对所述下采样模块的输出进行上采样处理；
并通过横向连接模块，将所述多尺度图像与所述下采样模块的输出进行特征融合，得到所述第二热力图。


3.如权利要求2所述的人体姿态估计方法，其特征在于，所述下采样模块包括第一卷积单元、第二卷积单元、第三卷积单元以及第四卷积单元；
相应的，所述基于所述下采样模块对所述第一热力图进行下采样处理，获取多尺度图像，包括：
所述第一卷积单元对所述第一热力图进行下采样处理，得到第一尺度图像；
所述第二卷积单元对所述第一尺度图像进行下采样处理，得到第二尺度图像；
所述第三卷积单元对所述第二尺度图像进行下采样处理，得到第三尺度图像。


4.如权利要求3所述的人体姿态估计方法，其特征在于，所述上采样模块包括第五卷积单元、第六卷积单元以及第七卷积单元，所述横向连接模块包括第一横向连接单元、第二横向连接单元以及第三横向连接单元，所述第一卷积单元的输出分别与所述第二卷积单元的输入和所述第三横向连接单元的第一输入连接，所述第二卷积单元的输出分别与所述第三卷积单元的输入和所述第二横向连接单元的第一输入连接，所述第三卷积单元的输出分别与所述第四卷积单元的输入和所述第一横向连接单元的第一输入连接，所述第四卷积单元的输出与所述第一横向连接单元的第二输入连接，所述第一横向连接单元的输出与所述第五卷积单元的输入连接，所述第五卷积单元的输出于所述第...

【专利技术属性】
技术研发人员：林灿然，程骏，郭渺辰，邵池，庞建新，
申请(专利权)人：深圳市优必选科技股份有限公司，
类型：发明
国别省市：广东;44