一种人体姿态生成方法及其系统技术方案

本发明专利技术公开了一种人体姿态生成方法及其系统，包括：获取多信道的同步视频流数据；逐帧抓取同步视频流数据包含的相同帧的行人图像集；通过对行人图像集进行2D骨骼关键点检测并生成行人的2D骨骼关键点坐标及其置信度；基于所述摄像单元的投影矩阵、2D骨骼关键点坐标及其置信度构建坐标转换矩阵，并利用三角测量算法生成人体姿态信息。本发明专利技术通过计算2D骨骼关键点的坐标及其置信度，建立初始坐标转换矩阵的同时基于置信度更新初始坐标转换矩阵中各坐标的权重，避免因多个摄像单元采集的图像的2D骨骼关键点被遮挡程度不同而导致空间3D坐标计算结果严重偏离真实值的问题。

【技术实现步骤摘要】
一种人体姿态生成方法及其系统
本专利技术涉及人体姿态识别
，具体涉及人体姿态生成方法及其系统。
技术介绍
3D人体姿态估计方法可以作为人体姿态识别、行为识别、人体跟踪等任务的基础，同时也在医疗、监控、人机交互等领域具有很高的应用价值。目前3D人体姿态估计方法可以分为基于单摄像头的人体姿态估计方法和基于多摄像头的人体姿态估计方法。基于单摄像头的3D姿态估计方法通过图像的前景背景差异来估计图像中人体的深度，结合2D人体姿态关节点估计算法，还原人体姿态在3D空间中的位置。基于多摄像头的3D姿态估计方法，首先分别在每个摄像头中估计人体的2D关节点坐标，然后通过三角测量的方法计算出关节点的3D空间坐标。随着近几年来以卷积神经网络为核心的深度学习的发展以及计算能力的显著提升，使得基于多摄像头的实时3D人体姿态估计成为了很多应用的最佳选择。基于多摄像头能够通过摄像头之间的外参标定确定摄像头的空间位置，从而使用三角测量的方法获取3D空间位置。但是，传统的基于多摄像头的空间3D坐标计算方法仍存在检测精度低和适应性差的问题。专利技术内本文档来自技高网...

【技术保护点】
1.一种人体姿态生成方法，其特征在于，包括：/nS1：基于多个摄像单元获取多信道的同步视频流数据；/nS2：逐帧抓取所述同步视频流数据包含的相同帧的行人图像集；/nS3：通过对所述行人图像集进行2D骨骼关键点检测并生成行人的2D骨骼关键点坐标及其置信度；/nS4：基于所述摄像单元的投影矩阵、所述2D骨骼关键点坐标及其置信度构建坐标转换矩阵，并利用三角测量算法生成人体姿态信息。/n

【技术特征摘要】
1.一种人体姿态生成方法，其特征在于，包括：
S1：基于多个摄像单元获取多信道的同步视频流数据；
S2：逐帧抓取所述同步视频流数据包含的相同帧的行人图像集；
S3：通过对所述行人图像集进行2D骨骼关键点检测并生成行人的2D骨骼关键点坐标及其置信度；
S4：基于所述摄像单元的投影矩阵、所述2D骨骼关键点坐标及其置信度构建坐标转换矩阵，并利用三角测量算法生成人体姿态信息。


2.根据权利要求1所述的人体姿态生成方法，其特征在于，所述S4包括：
基于所述投影矩阵和所述2D骨骼关键点坐标构建初始转换矩阵；
基于所述2D骨骼关键点坐标对应的置信度更新所述初始转换矩阵中各2D骨骼关键点坐标的权重并生成所述坐标转换矩阵；
利用公式（A*W）×Y=0计算空间3D坐标并生成人体姿态信息，其中，A为所述初始转换矩阵，W为所述2D骨骼关键点坐标对应的置信度，Y为所述空间3D坐标，（A*W）为所述坐标转换矩阵。


3.根据权利要求2所述的人体姿态生成方法，其特征在于，所述S3包括：
构建用于生成所述2D骨骼关键点坐标的神经网络模型；
基于训练样本集和所述神经网络模型构建回归模型，训练所述神经网络模型；
将所述行人图像集中包含的多个行人图像进行尺寸一致化后输入训练后的所述神经网络模型，获取行人的2D骨骼关键点坐标及其置信度。


4.根据权利要求3所述的人体姿态生成方法，其特征在于，所述S1包括：
对多个所述摄像单元进行内参标定获取内参和畸变参数；
选取主摄像头，并对所述主摄像头外的其余多个所述摄像单元进行外参标定获取外参、平移向量，并计算所述投影矩阵；
基于所述内参和畸变参数，利用图像处理函数获取畸变矫正后的多信道的所述同步视频流数据。


5.一种人体姿态生成系统，其特征在于，包括摄像单元和数据处理...

【专利技术属性】
技术研发人员：唐浩，范宇航，
申请(专利权)人：成都市谛视科技有限公司，
类型：发明
国别省市：四川;51