一种结合身份识别的高精度全息人体重建方法技术

本发明专利技术公开了一种结合身份识别的高精度全息人体重建方法，设有视角互不相同的多个深度、彩色相机；对所有相机进行标定；由标定后的相机采集场景中的人体图像数据并提取骨骼关节点数据；将多个彩色、深度相机对应提取的多套骨骼关节点数据，各整合成一套骨骼关节点彩色、深度整合数据；用深度整合数据修正彩色整合数据得到修正后的骨骼关节点数据；建立神经网络模型对彩色相机采集的图像数据进行特征向量的提取及身份识别；身份识别后，对特征向量及骨骼关节点数据标注对应的身份编号；不同身份编号的特征向量数据及对应的修正后的骨骼关节点数据，与人体标准化模型相结合，得到不同身份的全息人体模型。本发明专利技术能结合姿态形貌数据进行全息重建。貌数据进行全息重建。貌数据进行全息重建。

【技术实现步骤摘要】
一种结合身份识别的高精度全息人体重建方法


[0001]本专利技术涉及涉及深度学习、特征向量提取、人体姿态估计、人体姿态重建、增强现实等领域，尤其涉及到一种结合身份识别的高精度全息人体重建方法。

技术介绍

[0002]目前，本专利技术来自于对室内和室外多人场景的全息人体姿态、形貌重建问题。室内和室外多人场景的全息人体姿态、形貌重建以及人员的特异性识别对于远程可视化交互、全息通讯、公共场合的监控预警等工作都具有重要作用。人员特征矩阵的提取、人体姿态估计及重建是远程可视化交互、全息通信、公共场合的监控预警等工作的核心步骤，要获得多人场景内的人物行为状态，对其关节点位置的获取及分析是不可或缺的一部分，也是至关重要的一部分。同样的，对人员提取特征矩阵是进行人员的特异性识别的核心部分。但当前人体姿态分析与估计是没法做到人员特异性识别的，并且仅利用普通的彩色相机进行人体姿态估计，在估计过程中并不能很好的处理遮挡等问题。
[0003]众所周知，重建人体姿态的核心问题是人体的遮挡问题，但目前的人体姿态重建方法基本都是使用单个彩色相机或多个彩色相机。这两种本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种结合身份识别的高精度全息人体重建方法，其特征在于，设置用于采集人体图像数据的多个视角互不相同的深度相机和多个视角互不相同的彩色相机；深度相机和彩色相机均内置人体骨骼关节点提取单元；对每个彩色相机和每个深度相机进行标定；由标定后的彩色相机和深度相机采集场景中的人体图像数据，并从采集的人体图像数据中提取骨骼关节点数据；针对同一时间同一拍摄区域内的同一目标人体，将多个彩色相机对应提取的多套骨骼关节点数据，整合成一套骨骼关节点彩色整合数据；将多个深度相机对应提取的多套骨骼关节点数据，整合成一套骨骼关节点深度整合数据；用骨骼关节点深度整合数据修正对应目标人体的相应骨骼关节点彩色整合数据；得到对应目标人体的修正后的骨骼关节点数据；建立用于提取图像中目标人体的特征向量并进行身份识别的神经网络模型，并对神经网络模型进行训练；将彩色相机采集的对应目标人体的图像数据输入至训练完成的神经网络模型中，进行对应目标人体的特征向量的提取及身份识别；身份识别后，对特征向量及骨骼关节点数据标注对应的身份编号；不同身份编号的特征向量数据及对应的修正后的骨骼关节点数据，与人体标准化模型相结合，得到不同身份的全息人体模型。2.根据权利要求1所述的结合身份识别的高精度全息人体重建方法，其特征在于，对深度相机和彩色相机进行标定的方法包括：每个彩色相机和每个深度相机预先对同一场景的棋盘格进行拍摄；对于彩色相机，采用张正友标定法，利用场景中拍摄的棋盘格照片进行彩色相机内外参矩阵的计算，来得到彩色相机的各项参数；对于深度相机的标定，利用Geomagic软件对深度图像进行配准得到每个深度相机的旋转矩阵。3.根据权利要求1所述的结合身份识别的高精度全息人体重建方法，其特征在于，针对同一时间同一拍摄区域内的同一目标人体的同一个关节点i，将多个视角的彩色相机采集的关节点i数据整合为对应一个坐标系下同一个视角的关节点i彩色整合数据，将多个视角的深度相机采集的关节点i数据整合为对应一个坐标系下同一个视角的关节点i深度整合数据。4.根据权利要求3所述的结合身份识别的高精度全息人体重建方法，其特征在于，将多个视角的彩色相机采集的关节点i数据整合为对应一个坐标系下同一个视角的关节点i彩色整合数据的方法包括：根据多个彩色相机提取的骨骼关节点数据，计算每个彩色相机的关节点i的坐标，并利用下式将多个彩色相机的关节点i的坐标数据整合为一个关节点i彩色整合数据：其中，n为彩色相机编号，i为关节点编号；f
n
(i)为对应第n个彩色相机视角的关节点i的置信度；为对应第n个彩色相机视角的关节点i的坐标；为关节...

【专利技术属性】
技术研发人员：罗韬，徐晓睿，史再峰，
申请(专利权)人：天津大学，
类型：发明
国别省市：