一种飞行员舱内运动动作数字孪生系统技术方案

本发明专利技术公开了一种飞行员舱内运动动作数字孪生系统，包括运动动作采集系统、飞机通信系统、数字座舱、数字孪生人，运动动作采集系统采集飞机座舱内飞行员上半身的运动动作数据并进行实时数据处理，通过飞机通信系统实时传输至地面数字孪生人，驱动数字孪生人运动，实现对飞行员运动动作的孪生；数字座舱是数字孪生人和动作采集系统的运行边界。该系统可实现对飞行员三维体表形态和运动动作的孪生，从而对飞行员的驾机功效进行验证和评估。对飞行员的驾机功效进行验证和评估。对飞行员的驾机功效进行验证和评估。

【技术实现步骤摘要】
一种飞行员舱内运动动作数字孪生系统


[0001]本专利技术属于航空防护救生
，尤其涉及一种飞行员舱内运动动作数字孪生系统。

技术介绍

[0002]飞行员驾机工效包括驾机动作可达性、动作正确性、动作敏捷性等方面，驾机工效水平的高低，直接关系驾机安全和作战能力。研究表明，60％～90％的飞行事故和事故征候是在飞行员工作负荷强度大，应激水平高的起飞、视野受限等状态下发生的，而且多是由人为差错和工效水平降低引起的。
[0003]对于上述问题，究其原因，主要是局限于现有验证条件，未能对飞行员装备工效学进行充分验证，不能实现针对性的优化设计，造成产品在使用过程中问题频发。现有飞行员驾机工效评估主要依赖于两种方法，一是建立地面模拟驾机环境，进行试验室条件下模拟试验测评；二是进行飞行实验测评。然而，随着飞机性能的提升(高空、高速、高过载、长航时等)，现有评估方法存在的问题凸显，地面环境与空中环境差别很大，无法完全真实验证和评估飞行员驾机功效。

技术实现思路

[0004]专利技术目的
[0005]针对飞行员驾机工效验证和评估问题，本专利技术提供了一种飞行员舱内运动动作数字孪生系统，该系统可实现对飞行员人体形态和运动动作的数字孪生，用于飞行员驾机工效验证和评估。
[0006]专利技术技术解决方案
[0007]一种飞行员舱内运动动作数字孪生系统，包括运动动作采集系统、飞机通信系统、数字座舱、数字孪生人，运动动作采集系统采集飞机座舱内飞行员上半身的运动动作数据并进行实时数据处理，通过飞机通信系统实时传输至地面数字孪生人，驱动数字孪生人运动，实现对飞行员运动动作的孪生；数字座舱是数字孪生人和动作采集系统的运行边界。
[0008]优选的，运动动作采集系统包括红外深度相机和动作采集软件算法模块，红外深度相机能够实现对飞机座舱内飞行员运动动作的实时采集，动作采集软件算法模块通过红外深度相机捕获飞行员外表面的深度图像，对深度图像进行平滑处理，得出每一帧的XYZ空间点云数据，然后生成人体模型的三角形网格数据，计算人体模型的末端特征点信息，实现对飞行员上半身人体骨骼关键特征点的提取，然后计算头部的转动和摆动角度、手臂和手肘关节的转动角度、腰部的转动和摆动角度；最后将坐标和角度信息输出生成接口文件，传输给数字孪生人，实现数字孪生人与飞行员的动作孪生。
[0009]优选的，动作采集软件算法模块采用中值滤波算法对深度图像进行平滑处理，通过双目视觉定位算法、图割算法和立体匹配算法得出每一帧的XYZ空间点云数据，通过曲面重建算法生成人体模型的三角形网格数据，使用最短路径算法和三维拓扑结构算法计算人
体模型的末端特征点信息。
[0010]优选的，飞行员上半身人体骨骼关键特征点包括左右眼、颈部、左右肩、左右肘、左右腕、左右臀。
[0011]优选的，红外深度相机以不小于每秒30帧的采集频率捕获飞行员外表面的深度图像。
[0012]优选的，数字孪生人为数字人基本型根据真实飞行员体表三维扫描模型拟合而成，即为真实飞行员的体表孪生。
[0013]优选的，数字座舱可通过三维工业造型软件建模获取；数字座舱与真实的座舱尺寸一致，即数字座舱是真实座舱物理尺寸结构的数字孪生。
[0014]优选的，数字人基本型主要根据GJB 36A
‑
2008《飞行员人体模板设计和使用要求》、GJB4856
‑
2003《中国男性飞行员人体尺寸》、GJB 6896
‑
2009《男性飞行员人体静态三维尺寸》来构建。
[0015]优选的，数字人基本型基于点云数据储存，点云依照人体不同体段的形态特点设置了多个控制点，控制点的设置方式为：按行设置控制点，每行调整点数目相同，较为均匀的设置在该行的圆周方向。
[0016]本专利技术的优点：该系统可实现对飞行员三维体表形态和运动动作的孪生，从而对飞行员的驾机功效进行验证和评估。有利于提高飞行员驾机功效和作战能力，从而充分发挥战机的作战效能。本专利技术具有较大的军事价值和推广应用价值，可推广至民航等其他领域。
附图说明
[0017]图1是本专利技术实施例中飞行员舱内运动动作数字孪生系统应用示意图。
[0018]图中，1
‑
飞机座舱、2
‑
运动动作采集系统、3
‑
飞行员、4
‑
数字座舱
[0019]5‑
数字人基本型、6飞机通信系统。
具体实施方式
[0020]本专利技术是通过如下技术方案予以实现的。
[0021]一种飞行员舱内运动动作数字孪生系统，包括运动动作采集系统2、飞机通信系统6、数字座舱4、数字孪生人。在图1中，飞行员即为真实飞行员个体，飞机座舱1即为真实的飞机座舱。数字座舱与真实的座舱尺寸一致，即数字座舱是真实座舱物理尺寸结构的数字孪生，可通过三维工业造型软件建模获取，数字座舱是数字孪生人和动作采集系统的运行边界。
[0022]采用三维扫描设备采集飞行员人体三维点云数据，并进行降噪、光顺等处理，得到人体体表三维模型(stl格式)。
[0023]采用数字人基本型5对飞行员体表三维模型进行参数化驱动拟合，得到数字孪生人，实现对真实飞行员体表形态的数字孪生。具体为：数字人基本型主要根据GJB 36A
‑
2008《飞行员人体模板设计和使用要求》、GJB4856
‑
2003《中国男性飞行员人体尺寸》、GJB 6896
‑
2009《男性飞行员人体静态三维尺寸》来构建。数字人基本型基于点云数据储存，为了较完整的复原人体三维体表形态，点云依照人体不同体段的形态特点设置了多个控制点(一般
大于1万个)。控制点的设置方式为：按行设置控制点，每行调整点数目相同，比如30个点，较为均匀的设置在该行的圆周方向。采用数字人基本型对飞行员体表三维模型进行参数化驱动拟合，实现对真实飞行员体表形态的数字孪生。
[0024]运动动作采集系统包括一个红外深度相机和动作采集软件算法模块。安装于座舱1内前侧位置的红外深度相机采集舱内飞行员坐姿状态下的运动动作数据，并经过动作采集软件算法模块进行实时处理，得到上半身动作信息，主要包括头部的转动和摆动；手臂和手肘关节的转动以及腰部的转动和摆动。动作采集软件算法模块主要包括中值滤波算法、双目视觉定位算法、图割算法、立体匹配算法、曲面重建算法、最短路径算法、三维拓扑结构算法等。动作采集运行流程和逻辑如下：动作采集软件算法模块通过红外深度相机，以不小于每秒30帧的采集频率捕获飞行员外表面的深度图像，采用中值滤波算法对深度图像进行平滑处理，然后通过双目视觉定位算法、图割算法和立体匹配算法，得出每一帧的XYZ空间点云数据，然后通过曲面重建算法生成人体模型的三角形网格数据，并使用最短路径算法和三维拓扑结构算法计算人体模型的末端特征点信息，实现对飞行员上半身人体骨骼关键特征点的提取(具体包括左右眼、颈部、左右肩、左右肘、左右腕、左本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种飞行员舱内运动动作数字孪生系统，其特征在于，包括运动动作采集系统、飞机通信系统、数字座舱、数字孪生人，运动动作采集系统采集飞机座舱内飞行员上半身的运动动作数据并进行实时数据处理，通过飞机通信系统实时传输至地面数字孪生人，驱动数字孪生人运动，实现对飞行员运动动作的孪生；数字座舱是数字孪生人和动作采集系统的运行边界。2.如权利要求1所述的一种飞行员舱内运动动作数字孪生系统，其特征在于，运动动作采集系统包括红外深度相机和动作采集软件算法模块，红外深度相机能够实现对飞机座舱内飞行员运动动作的实时采集，动作采集软件算法模块通过红外深度相机捕获飞行员外表面的深度图像，对深度图像进行平滑处理，得出每一帧的XYZ空间点云数据，然后生成人体模型的三角形网格数据，计算人体模型的末端特征点信息，实现对飞行员上半身人体骨骼关键特征点的提取，然后计算头部的转动和摆动角度、手臂和手肘关节的转动角度、腰部的转动和摆动角度；最后将坐标和角度信息输出生成接口文件，传输给数字孪生人，实现数字孪生人与飞行员的动作孪生。3.如权利要求2所述的一种飞行员舱内运动动作数字孪生系统，其特征在于，动作采集软件算法模块采用中值滤波算法对深度图像进行平滑处理，通过双目视觉定位算法、图割算法和立体匹配算法得出每一帧的XYZ空间点云数据，通过曲面重建算法生成人体模型的三角形网格数据，使用最短路径算法和三维拓扑结构算法计算人体模型的末端特征点信息。4.如...

【专利技术属性】
技术研发人员：王定球，韩自强，张海波，
申请(专利权)人：航宇救生装备有限公司，
类型：发明
国别省市：