本发明专利技术提出一种单视角三维人体骨骼关键点检测方法、装置、设备及介质，包括：获取单视角人体图像序列，单视角人体图像序列包括目标图像和相关图像；分别获取所述目标图像的第一骨骼关键点和相关图像的第二骨骼关键点，对第一骨骼关键点进行空间特征提取得到空间语义特征，并对第一骨骼关键点和第二骨骼关键点进行时序特征提取得到时序特征；将监督特征与空间语义特征、时序特征进行融合，得到三维人体骨骼关键点特征信息。本发明专利技术中，提取空间语义特征和时序特征，获得骨骼关键点的平面信息与深度信息；将监督特征与空间语义特征、时序特征进行融合，可有效减轻单视角图像二维人体骨骼关键点映射三维人体骨骼关键点的深度模糊性和不适定性。性和不适定性。性和不适定性。
【技术实现步骤摘要】
单视角三维人体骨骼关键点检测方法、装置、设备及介质
[0001]本专利技术涉及计算机视觉领域，尤其涉及一种单视角三维人体骨骼关键点检测方法、装置、设备及介质。
技术介绍
[0002]三维人体骨骼关键点检测是计算机视觉领域的基本问题和研究热点之一，其任务是获取目标视频帧中人体骨骼关键点在三维立体空间中的位置和连接信息，是众多视觉任务如场景理解、行为识别、行人重识别等的基础技术，被广泛应用于视频监控、行为识别、在线教学、动作捕捉、虚拟现实、医疗辅助等领域。
[0003]在单视角图像三维人体骨骼关键点检测中，由于图像视角的单一性，图像从三维空间投影到二维平面时会丢失深度信息，可能导致多个不同的三维人体骨骼关键点投影到同一个二维关键点。因此单视角图像中，人体骨骼信息从二维空间到三维空间的映射存在深度模糊性和不适定性，二维关键点的微小定位误差也可能导致在三维空间中产生较大的姿态畸变。
[0004]现有的单视角三维人体骨骼关键点检测方法主要包括直接估计法和二维到三维提升方法。
[0005]直接估计法一般是设计一个端到端网络直接从输入的二维图像中推断出三维人体骨骼关键点，不需要对二维人体信息表示进行中间估计。该方法虽然能从图像中获取到丰富的信息，但缺乏二维人体骨骼信息到三维人体骨骼信息的中间监督过程，需要较大数量的三维标注数据来训练性能优越的模型。
[0006]二维到三维提升方法首先采用二维人体骨骼关键点检测模型来估计二维骨骼关键点信息，然后利用二维骨骼信息与三维图像特征融合、三维空间重投影等二维到三维提升方法来获得三维人体骨骼关键点。该方法通常优于直接估计方法，减少了模型在二维骨骼关键点上的学习压力，但由于是直接基于已有的二维信息估计出三维信息，受二维人体骨骼关键点检测器性能的影响较大，且缺乏原始图像特征的监督。
技术实现思路
[0007]鉴于以上现有技术存在的问题，本专利技术提出一种单视角三维人体骨骼关键点检测方法、装置、设备及介质，主要解决现有技术中单视角图像三维人体骨骼关键点检测存在的无中间监督、缺乏原始图像特征监督的问题。
[0008]为了实现上述目的及其他目的，本专利技术采用的技术方案如下。
[0009]可选地，提供了一种单视角三维人体骨骼关键点检测方法，包括：
[0010]获取单视角人体图像序列，所述单视角人体图像序列包括预设时间段内同一目标对象在不同姿态下的多帧图像，其中一帧图像作为目标图像，其余图像作为所述目标图像的相关图像；
[0011]分别获取所述目标图像的第一骨骼关键点和所述相关图像的第二骨骼关键点，对
所述第一骨骼关键点进行空间特征提取得到空间语义特征，并对所述第一骨骼关键点和第二骨骼关键点进行时序特征提取得到时序特征，所述空间语义特征包括全局语义特征和局部语义特征；
[0012]将监督特征与所述空间语义特征、时序特征进行融合，得到三维人体骨骼关键点特征信息，所述监督特征通过特征提取网络提取所述目标图像中的信息得到，所述监督特征包括所述目标图像的深层语义信息、纹理信息和边缘信息。
[0013]可选地，对所述第一骨骼关键点进行空间特征提取得到空间语义特征，包括：
[0014]根据所述第一骨骼关键点构建全局空间图和全局邻接矩阵；
[0015]通过多头注意力机制挖掘所述全局空间图的权重矩阵，并利用空洞卷积网络得到所述全局空间图中多个感受野的多维特征；
[0016]利用图卷积网络更新所述全局邻接矩阵，得到第一矩阵；
[0017]结合所述权重矩阵、多维特征和第一矩阵构建多头注意力全局空间图；
[0018]对所述多头注意力全局空间图进行特征表示，得到所述全局语义特征。
[0019]可选地，对所述第一骨骼关键点进行空间特征提取得到空间语义特征，包括：
[0020]根据所述第一骨骼关键点的局部连接关系构建多个局部邻接矩阵，通过图卷积网络更新所述多个局部邻接矩阵，得到多个第二矩阵；
[0021]根据所述多个第二矩阵构建多个局部空间图，对所述多个局部空间图进行特征表示得到所述局部语义特征。
[0022]可选地，对所述第一骨骼关键点和第二骨骼关键点进行时序特征提取得到时序特征，包括：
[0023]构建所述第一骨骼关键点和第二骨骼关键点的时序邻接矩阵，通过图卷积网络更新所述时序邻接矩阵，得到第三矩阵；
[0024]通过所述第三矩阵构建时序图，对所述时序图进行特征表示，得到所述时序特征。
[0025]可选地，将监督特征与所述空间语义特征、时序特征进行融合，得到三维人体骨骼关键点特征信息，包括：
[0026]将所述全局语义特征和局部语义特征作为所述监督特征的注意力因子，联结所述全局语义特征和局部语义特征形成目标图像的第一空间结构特征，利用空间特征调节器对所述第一空间结构特征进行调节，得到第二空间结构特征；
[0027]将所述时序特征与所述监督特征进行融合，得到融合后的第一时序结构特征，利用时序特征调节器对所述第一时序结构特征进行调节，得到第二时序特征；
[0028]将第二时序特征作为第二空间结构特征的注意力因子，得到三维人体骨骼关键点特征信息。
[0029]可选地，获取单视角人体图像序列之前，包括步骤：
[0030]构建初始网络模型，获取单视角人体图像训练样本；
[0031]将所述单视角人体图像训练样本输入所述初始网络模型中，根据预设的目标函数对所述初始网络模型的参数进行优化，得到训练后的网络模型，将所述单视角人体图像序列输入所述训练后的网络模型。
[0032]可选地，分别获取所述目标图像的第一骨骼关键点和所述相关图像的第二骨骼关键点，包括：
[0033]利用二维骨骼关键点检测器分别检测所述目标图像和所述相关图像中的目标对象，得到目标图像的第一骨骼关键点和相关图像的第二骨骼关键点。
[0034]可选地，提供了一种单视角三维人体骨骼关键点检测装置，包括：
[0035]图像获取模块，用于获取单视角人体图像序列，所述单视角人体图像序列包括预设时间段内同一目标对象在不同姿态下的多帧图像，其中一帧图像作为目标图像，其余图像作为所述目标图像的相关图像；
[0036]特征获取模块，用于分别获取所述目标图像的第一骨骼关键点和所述相关图像的第二骨骼关键点，对所述第一骨骼关键点进行空间特征提取得到空间语义特征，并对所述第一骨骼关键点和第二骨骼关键点进行时序特征提取得到时序特征，所述空间语义特征包括全局语义特征和局部语义特征；
[0037]特征融合模块，用于将监督特征与所述空间语义特征、时序特征进行融合，得到三维人体骨骼关键点特征信息，所述监督特征通过特征提取网络提取所述目标图像中的信息得到，所述监督特征包括所述目标图像的深层语义信息、纹理信息和边缘信息。
[0038]可选地，提供了一种计算机装备，包括存储器、处理器以及存储在所述存储器并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种单视角三维人体骨骼关键点检测方法，其特征在于，包括：获取单视角人体图像序列，所述单视角人体图像序列包括预设时间段内同一目标对象在不同姿态下的多帧图像，其中一帧图像作为目标图像，其余图像作为所述目标图像的相关图像；分别获取所述目标图像的第一骨骼关键点和所述相关图像的第二骨骼关键点，对所述第一骨骼关键点进行空间特征提取得到空间语义特征，并对所述第一骨骼关键点和第二骨骼关键点进行时序特征提取得到时序特征，所述空间语义特征包括全局语义特征和局部语义特征；将监督特征与所述空间语义特征、时序特征进行融合，得到三维人体骨骼关键点特征信息，所述监督特征通过特征提取网络提取所述目标图像中的信息得到，所述监督特征包括所述目标图像的深层语义信息、纹理信息和边缘信息。2.根据权利要求1所述的单视角三维人体骨骼关键点检测方法，其特征在于，对所述第一骨骼关键点进行空间特征提取得到空间语义特征，包括：根据所述第一骨骼关键点构建全局空间图和全局邻接矩阵；通过多头注意力机制挖掘所述全局空间图的权重矩阵，并利用空洞卷积网络得到所述全局空间图中多个感受野的多维特征；利用图卷积网络更新所述全局邻接矩阵，得到第一矩阵；结合所述权重矩阵、多维特征和第一矩阵构建多头注意力全局空间图；对所述多头注意力全局空间图进行特征表示，得到所述全局语义特征。3.根据权利要求1所述的单视角三维人体骨骼关键点检测方法，其特征在于，对所述第一骨骼关键点进行空间特征提取得到空间语义特征，包括：根据所述第一骨骼关键点的局部连接关系构建多个局部邻接矩阵，通过图卷积网络更新所述多个局部邻接矩阵，得到多个第二矩阵；根据所述多个第二矩阵构建多个局部空间图，对所述多个局部空间图进行特征表示得到所述局部语义特征。4.根据权利要求1所述的单视角三维人体骨骼关键点检测方法，其特征在于，对所述第一骨骼关键点和第二骨骼关键点进行时序特征提取得到时序特征，包括：构建所述第一骨骼关键点和第二骨骼关键点的时序邻接矩阵，通过图卷积网络更新所述时序邻接矩阵，得到第三矩阵；通过所述第三矩阵构建时序图，对所述时序图进行特征表示，得到所述时序特征。5.根据权利要求1所述的单视角三维人体骨骼关键点检测方法，其特征在于，将监督特征与所述空间语义特征、时序特征进行融合，得到三维人体骨骼关键点特征信息，包括：将所述全局语义特征和局部语义特征作为所述监督特征的注意力因子，联结所述全局语义特征和局部语义特征形成目标图像的第一空间结构特征，利用...
【专利技术属性】
技术研发人员：张丽君，徐卉，周祥东，石宇，罗代建，程俊，
申请(专利权)人：中国科学院重庆绿色智能技术研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。