姿态估计方法、装置和电子设备制造方法及图纸

本发明专利技术提供一种姿态估计方法、装置和电子设备，通过根据待识别图像和物体规范姿态点云数据提取人体图像特征和物体图像特征，根据人体图像特征和物体图像特征进行姿态信息提取，得到人体姿态特征和物体姿态特征，其中，人体姿态特征和物体姿态特征中含有人体和物体的交互信息，将人体姿态特征和物体姿态特征输入多层感知机，得到预测姿态信息。通过人体姿态特征和物体姿态特征中含有人体和物体的交互信息的方式，利用交互信息来弥补物体或人体在被遮挡时导致的姿态信息不完整的缺陷，进而估计物体和人体的姿态，实现无论是否在被遮挡的情况下，均能准确估计物体和人体的姿态的效果。果。果。

【技术实现步骤摘要】
姿态估计方法、装置和电子设备


[0001]本专利技术涉及数据处理
，尤其涉及一种姿态估计方法、装置和电子设备。

技术介绍

[0002]物体姿态估计的主要方法是基于观察到的物体点云数据，算法通过匹配点云数据上有显著几何特征的特征点来计算其姿态，以及通过使用神经网络根据观察到的点云或图像直接预测物体的姿态。
[0003]然而现有技术中，例如抱枕、椅子、柜门或抽屉等物体的姿态发生变化时通常是人与之发生交互导致的。在这种情况下，人通常会对物体产生严重的遮挡，使得获取的物体的点云数据不完整，导致对物体的姿态估计不准确。
[0004]因此提出一种姿态估计方法，以实现无论物体或人体是否在被遮挡的情况下，均能准确估计物体和人体的姿态的效果。

技术实现思路

[0005]本专利技术提供一种姿态估计方法，用以解决现有技术中物体或人体在被遮挡时导致的姿态信息不完整从而无法准确估计物体姿态的缺陷，实现无论是否在被遮挡的情况下，均能准确估计物体和人体的姿态的效果。
[0006]本专利技术提供一种姿态估计方法，包括：
[0007]获取待识别图像和物体规范姿态点云数据；
[0008]对所述待识别图像提取人体图像特征和物体图像特征；
[0009]根据所述人体图像特征和所述物体图像特征进行姿态信息提取，得到人体姿态特征和物体姿态特征，其中，所述人体姿态特征和所述物体姿态特征中含有人体和物体的交互信息；
[0010]将所述人体姿态特征和所述物体姿态特征输入多层感知机，得到预测姿态信息。
[0011]根据本专利技术提供的一种姿态估计方法，根据所述待识别图像和物体规范姿态点云数据提取人体图像特征和物体图像特征，包括：
[0012]将所述待识别图像输入第一神经网络，输出人体图像特征；
[0013]将所述物体规范姿态点云数据输入第二神经网络，输出物体几何特征；
[0014]将所述待识别图像输入第三神经网络，输出物体初始图像特征；
[0015]根据所述物体几何特征和所述物体初始图像特征进行基于交叉注意力特征融合，得到物体图像特征。
[0016]根据本专利技术提供的一种姿态估计方法，对所述待识别图像提取人体图像特征和物体图像特征，包括：
[0017]根据所述人体图像特征和所述物体图像特征进行姿态信息提取，得到人体姿态特征和物体姿态特征，包括：
[0018]根据所述人体图像特征和所述物体图像特征进行基于互注意力的特征交互学习，
得到交互物体图像特征和交互人体图像特征；
[0019]对所述交互人体图像特征和所述交互物体图像特征进行基于自注意力的特征强化学习，得到人体姿态特征和物体姿态特征。
[0020]根据本专利技术提供的一种姿态估计方法，将所述人体姿态特征和所述物体姿态特征输入多层感知机，得到预测姿态信息，包括：
[0021]将所述人体姿态特征和所述物体姿态特征分别输入多层感知机，输出对应的人体预测姿态信息和物体预测姿态信息。
[0022]本专利技术还提供一种姿态估计装置，包括：
[0023]获取单元，用于获取待识别图像和物体规范姿态点云数据；
[0024]图像特征单元，用于根据所述待识别图像和物体规范姿态点云数据提取人体图像特征和物体图像特征；
[0025]姿态特征单元，用于根据所述人体图像特征和所述物体图像特征进行姿态信息提取，得到人体姿态特征和物体姿态特征，其中，所述人体姿态特征和所述物体姿态特征中含有人体和物体的交互信息；
[0026]感知单元，用于将所述人体姿态特征和所述物体姿态特征输入多层感知机，得到预测姿态信息。
[0027]根据本专利技术提供的一种姿态估计装置，所述图像特征单元，具体用于：
[0028]将所述待识别图像输入第一神经网络，输出人体图像特征；
[0029]将所述物体规范姿态点云数据输入第二神经网络，输出物体几何特征；
[0030]将所述待识别图像输入第三神经网络，输出物体初始图像特征；
[0031]根据所述物体几何特征和所述物体初始图像特征进行基于交叉注意力特征融合，得到物体图像特征。
[0032]根据本专利技术提供的一种姿态估计装置，所述姿态特征单元，具体用于：
[0033]根据所述人体图像特征和所述物体图像特征进行基于互注意力的特征交互学习，得到交互物体图像特征和交互人体图像特征；
[0034]对所述交互人体图像特征和所述交互物体图像特征进行基于自注意力的特征强化学习，得到人体姿态特征和物体姿态特征。
[0035]根据本专利技术提供的一种姿态估计装置，所述感知单元，具体用于：
[0036]将所述人体姿态特征和所述物体姿态特征分别输入多层感知机，输出对应的人体预测姿态信息和物体预测姿态信息。
[0037]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述姿态估计方法的步骤。
[0038]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述姿态估计方法的步骤。
[0039]本专利技术提供的姿态估计方法、装置和电子设备，通过根据待识别图像和物体规范姿态点云数据提取人体图像特征和物体图像特征，根据人体图像特征和物体图像特征进行姿态信息提取，得到人体姿态特征和物体姿态特征，其中，人体姿态特征和物体姿态特征中含有人体和物体的交互信息，将人体姿态特征和物体姿态特征输入多层感知机，得到预测
姿态信息。通过人体姿态特征和物体姿态特征中含有人体和物体的交互信息的这种方式，利用交互信息来弥补物体或人体在被遮挡时导致的姿态信息不完整的缺陷，进而估计物体和人体的姿态，实现无论是否在被遮挡的情况下，均能准确估计物体和人体的姿态的效果。
附图说明
[0040]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0041]图1是本专利技术提供的姿态估计方法的流程示意图；
[0042]图2是本专利技术提供的姿态估计装置的结构示意图；
[0043]图3是本专利技术提供的电子设备的结构示意图。
具体实施方式
[0044]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合本专利技术中的附图，对本专利技术中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0045]本专利技术提供一种姿态估计方法，如图1所示，包括：
[0046]S11、获取待识别图像和物体规范姿态点云数据。
...

【技术保护点】

【技术特征摘要】
1.一种姿态估计方法，其特征在于，包括：获取待识别图像和物体规范姿态点云数据；根据所述待识别图像和物体规范姿态点云数据提取人体图像特征和物体图像特征；根据所述人体图像特征和所述物体图像特征进行姿态信息提取，得到人体姿态特征和物体姿态特征，其中，所述人体姿态特征和所述物体姿态特征中含有人体和物体的交互信息；将所述人体姿态特征和所述物体姿态特征输入多层感知机，得到预测姿态信息。2.根据权利要求1所述的姿态估计方法，其特征在于，根据所述待识别图像和物体规范姿态点云数据提取人体图像特征和物体图像特征，包括：将所述待识别图像输入第一神经网络，输出人体图像特征；将所述物体规范姿态点云数据输入第二神经网络，输出物体几何特征；将所述待识别图像输入第三神经网络，输出物体初始图像特征；根据所述物体几何特征和所述物体初始图像特征进行基于交叉注意力特征融合，得到物体图像特征。3.根据权利要求1所述的姿态估计方法，其特征在于，根据所述人体图像特征和所述物体图像特征进行姿态信息提取，得到人体姿态特征和物体姿态特征，包括：根据所述人体图像特征和所述物体图像特征进行基于互注意力的特征交互学习，得到交互物体图像特征和交互人体图像特征；对所述交互人体图像特征和所述交互物体图像特征进行基于自注意力的特征强化学习，得到人体姿态特征和物体姿态特征。4.根据权利要求1所述的姿态估计方法，其特征在于，将所述人体姿态特征和所述物体姿态特征输入多层感知机，得到预测姿态信息，包括：将所述人体姿态特征和所述物体姿态特征分别输入多层感知机，输出对应的人体预测姿态信息和物体预测姿态信息。5.一种姿态估计装置，其特征在于，包括：获取单元，用于获取待识别图像和物体规范姿态点云数据；图像特征单元，用于根据所述待识别图像...

【专利技术属性】
技术研发人员：刘腾宇，蒋楠，曹哲暄，崔洁茗，王鹤，黄思远，朱毅鑫，
申请(专利权)人：北京通用人工智能研究院，
类型：发明
国别省市：