一种基于移动平台的室外大范围人体姿态重建方法技术

本发明专利技术公布了一种基于移动平台上的室外大范围人体姿态重建方法，包括如下步骤：使用多个移动平台的多种传感器数据进行相机位姿计算和相机间标定，其中每个所述移动平台搭载一个绑定惯性测量单元、人工视觉标识和卫星定位系统的相机；移动平台跟随拍摄人体姿态，实时建立人体模型；根据视野内人体位姿，计算合适的拍摄角度，控制移动平台移动到最优拍摄角度进行拍摄。本发明专利技术具有以下有益效果：不需要人工对相机进行标定，操作简单。实时的自标定能够实时解算关节点三维坐标。又因为自标定时，结合了多种传感器的数据，因此标定具有鲁棒性。相机位于移动平台上，使得拍摄灵活。最后，系统控制移动平台移动和更好的拍摄角度进行拍摄，可以得到更优的人体位姿信息。

A large-scale outdoor human posture reconstruction method based on mobile platform

【技术实现步骤摘要】
一种基于移动平台的室外大范围人体姿态重建方法
本专利技术涉及多传感器结合、相机自动标定、人体姿态估计、人体姿态重建等领域，尤其涉及到一种基于移动平台实时相机自动标定的室外大范围人体姿态重建技术。
技术介绍
室外人体姿态重建对于危险行为分析，运动员辅助训练，战场环境分析和未来的全息通信等都有重要作用。人体姿态重建是危险行为分析、运动员辅助训练和战场环境分析的核心步骤，要获得场景内的人物行为状态，对其关节点位置的分析必不可少。但当前人体姿态分析需要复杂的标定程序，仅针对室内小范围固定场景，并且在人员调整相机位置后需要重新标定，使用效率低，场景适应性弱。相机的便捷高精度标定和合理的拍摄方法是重建人体姿态的核心问题，但当前的对人体姿态的重建基本都是使用单个相机或者固定的多个相机。这两种方法主要面临以下困难：单个相机的方法只能获得人体的2d位姿，对3d位姿的估计误差较大，且无法处理一个视角下的遮挡关节点。使用多个固定的相机的方法虽然重建准确率较高，也能处理部分的遮挡问题，但是固定相机的标定费时费力，且一旦标定完成相机就不允许再进行移动。因为固定相机的拍摄范围受限，所以对室外的移动场景基本无能为力。以上两种方式共有的缺陷是相机位置固定，相机经常不是在理想的拍摄角度，不能根据场景内的人体自动调整拍摄角度。
技术实现思路
本专利技术的目的是通过以下技术方案实现的。鉴于对室外场景的人体姿态重建问题，本专利技术的目的在于提供一种基于移动平台上实时相机自动标定的室外大范围人体姿态重建技术。能够结合多种传感器数据自动进行鲁棒的计算相机位姿，完成相机间标定；能够控制多个拍摄平台移动拍摄，实时重建人体模型；能够在人体姿态重建完毕后，根据视野内人体位姿，计算合适的拍摄角度，控制移动平台移动到最优拍摄角度进行拍摄。根据本专利技术的第一个方面，提供了一种基于移动平台的室外大范围人体姿态重建方法，包括：使用多个移动平台的多种传感器数据进行相机位姿计算和相机间标定，其中每个所述移动平台搭载一个绑定惯性测量单元、人工视觉标识和卫星定位系统的相机；移动平台跟随拍摄人体姿态，实时建立人体模型；根据视野内人体位姿，计算合适的拍摄角度，控制移动平台移动到最优拍摄角度进行拍摄。进一步地，所述使用多个移动平台的多种传感器数据进行相机位姿计算和相机间标定，包括：通过卫星定位系统获得相机坐标，与相机固定在一起的惯性测量单元获得每个相机相对初始化位置的旋转角度和位移，每台相机调整角度拍摄其他相机的人工视觉标识，计算相对其他相机的位移和角度，结合多种数据计算相机的外参，完成标定。进一步地，所述使用多个移动平台的多种传感器数据进行相机位姿计算和相机间标定，包括：测定每台相机的内参记录到中央计算机中；为每台相机分配人工视觉标识；所有移动平台从同一位置，相机以同一角度出发，出发时进行惯性测量单元的初始化；将卫星定位系统、惯性测量单元和人工视觉标识的数据无线传输到中央计算机中，根据上述数据实时标定相机。进一步地，通过惯性测量单元和人工视觉标识分别计算出相机对初始化位置的位姿和相对于其他相机的相对位姿，通过卫星定位系统计算出相机的相对位移。进一步地，所述移动平台跟随拍摄人体姿态，实时建立人体模型，包括：利用三角测量得到人关节点的三维坐标，通过动画软件对三维人体位姿进行重建。进一步地，所述移动平台跟随拍摄人体姿态，实时建立人体模型，包括：每台相机拍摄场景图片；对每帧图像使用深度学习方法预测按人区分的关节点2d坐标；每台相机将得到的2d关节点坐标无线传输到中央计算机，标定得到相机之间的转换矩阵；中央计算机由实时计算的相机位姿解算每个视角下关节点的3d位置。进一步地，所述根据视野内人体位姿，计算合适的拍摄角度，控制移动平台移动到最优拍摄角度进行拍摄，包括：根据人体姿态重建结果，判断拍摄角度是否合理，如果拍摄角度合理，则移动平台不移动，如果拍摄角度不合理，则计算合理拍摄位置；控制移动平台到达目标位置。进一步地，所述根据视野内人体位姿，计算合适的拍摄角度，控制移动平台移动到最优拍摄角度进行拍摄，包括：判断重建的人体姿态是否有遮挡或侧身；如果有遮挡或侧身，计算能够减少遮挡或人体的正面位置作为目标位置；控制移动平台到达目标位置。根据本专利技术的第二个方面，还提供了一种基于移动平台的室外大范围人体姿态重建系统，包括：实时自标定模块，用于通过卫星定位、惯性测量单元和人工视觉标识结合的参数求出移动平台上搭载的相机之间的相对位姿，计算转移矩阵，完成相机自标定；实时姿态检测和重建模块，用于通过对每个相机拍摄到的RGB图像分别进行人体姿态检测，得到每个相机拍摄到的人体姿态的二维关节点坐标，使用所述实时自标定模块标定的数据，利用三角测量，解算出检测到的人体关节点的三维坐标，完成姿态重建；移动平台位置自动优化模块，用于根据视野内人体位姿计算合适的拍摄角度，控制移动平台移动到合适的拍摄角度进行拍摄。如上所述，本专利技术公布了一种基于移动平台上实时相机自动标定的室外大范围人体姿态重建技术，具有以下有益效果：不需要人工对相机进行标定，操作简单。实时的自标定能够实时解算关节点三维坐标。又因为自标定时，结合了多种传感器的数据，因此标定具有鲁棒性。相机位于移动平台上，使得拍摄灵活。最后，系统控制移动平台移动和更好的拍摄角度进行拍摄，可以得到更优的人体位姿信息。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1显示为本专利技术实施例中公开的整体基于移动平台上实时相机自动标定的室外大范围人体姿态重建技术处理流程图。图2显示为本专利技术实施例中公开的结合多种传感器的实时鲁棒的相机自标定处理流程图。图3显示为本专利技术实施例中公开的移动实时人体姿态重建处理流程图。图4显示为本专利技术实施例中公开的移动平台位置自动优化流程图。具体实施方式下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。本专利技术公开一种基于移动平台的室外大范围人体姿态重建技术，能够使移动平台上的相机实时自标定，以对室外大范围的人体姿态进行实时重建。无需繁琐的人工标定过程，使得对室外大范围移动的人体进行姿态重建成为可能。移动人体姿态重建系统由实时自标定模块、实时姿态检测和重建模块和移动平台位置自动优化模块构成。首先，多个移动平台，如三架无人机，出发后，自标定模块通过卫星定位、IMU((英文：I本文档来自技高网...

【技术保护点】
1.一种基于移动平台的室外大范围人体姿态重建方法，其特征在于，包括：/n使用多个移动平台的多种传感器数据进行相机位姿计算和相机间标定，其中每个所述移动平台搭载一个绑定惯性测量单元、人工视觉标识和卫星定位系统的相机；/n移动平台跟随拍摄人体姿态，实时建立人体模型；/n根据视野内人体位姿，计算合适的拍摄角度，控制移动平台移动到最优拍摄角度进行拍摄。/n

【技术特征摘要】
1.一种基于移动平台的室外大范围人体姿态重建方法，其特征在于，包括：
使用多个移动平台的多种传感器数据进行相机位姿计算和相机间标定，其中每个所述移动平台搭载一个绑定惯性测量单元、人工视觉标识和卫星定位系统的相机；
移动平台跟随拍摄人体姿态，实时建立人体模型；
根据视野内人体位姿，计算合适的拍摄角度，控制移动平台移动到最优拍摄角度进行拍摄。


2.根据权利要求1所述的一种基于移动平台的室外大范围人体姿态重建方法，其特征在于，
所述使用多个移动平台的多种传感器数据进行相机位姿计算和相机间标定，包括：
通过卫星定位系统获得相机坐标，与相机固定在一起的惯性测量单元获得每个相机相对初始化位置的旋转角度和位移，每台相机调整角度拍摄其他相机的人工视觉标识，计算相对其他相机的位移和角度，结合多种数据计算相机的外参，完成标定。


3.根据权利要求1所述的一种基于移动平台的室外大范围人体姿态重建方法，其特征在于，
所述使用多个移动平台的多种传感器数据进行相机位姿计算和相机间标定，包括：
测定每台相机的内参记录到中央计算机中；
为每台相机分配人工视觉标识；
所有移动平台从同一位置，相机以同一角度出发，出发时进行惯性测量单元的初始化；
将卫星定位系统、惯性测量单元和人工视觉标识的数据无线传输到中央计算机中，根据上述数据实时标定相机。


4.根据权利要求3所述的一种基于移动平台的室外大范围人体姿态重建方法，其特征在于，
通过惯性测量单元和人工视觉标识分别计算出相机对初始化位置的位姿和相对于其他相机的相对位姿，通过卫星定位系统计算出相机的相对位移。


5.根据权利要求1所述的一种基于移动平台的室外大范围人体姿态重建方法，其特征在于，
所述移动平台跟随拍摄人体姿态，实时建立人体模型，包括：
利用三角测量得到人关节点的三维坐标，通过动画软件对三维人体位姿进行重建。
...

【专利技术属性】
技术研发人员：闫野，乔运浩，姜志杰，杜欣未，谢良，邓宝松，印二威，
申请(专利权)人：中国人民解放军军事科学院国防科技创新研究院，天津滨海人工智能军民融合创新中心，
类型：发明
国别省市：北京;11