一种航空器地面指挥信号训练系统及其操作方法技术方案

本发明专利技术公开了一种航空器地面指挥信号训练系统及其操作方法，该系统包括：kinect传感器、数据处理控制系统、显示设备和音响设备。kinect传感器用于获取学员信号手势数据；数据处理控制系统包括信息录入模块、数据处理模块、数据存储模块和输出控制模块，信息录入模块用于录入学员的个人信息，数据处理模块用于对学员信号手势数据进行处理得到信号手势判别结果，数据存储模块用于存储信号手势标准样本库、信号手势教学视频、学员个人信息等数据，输出控制模块用于控制显示设备和音响设备。本发明专利技术训练系统，在一定程度上为航空器地面指挥员/引导员的信号手势培训提供一种有效的方法，提高了训练效率，具有较高的识别率和较强的鲁棒性。

An aircraft ground command signal training system and its operation method

【技术实现步骤摘要】
一种航空器地面指挥信号训练系统及其操作方法
本专利技术属于航空应用领域，具体涉及一种航空器地面指挥信号训练系统及其操作方法。
技术介绍
在飞机的起飞和降落过程中，受环境、设备、工作步骤等因素的影响，有时飞行员与地面机务人员的沟通交流只能通过手势或肢体动作信号。飞机的运营具有国际性，涉及不同的企业和国家，航空器地面指挥信号手势作为一种通用“语言”，是保障飞机安全运营的基础。航空器地面指挥信号手势稍有差错，轻则造成飞机起飞延误，重则造成严重空难事故。众多航空器地面指挥信号手势的“无声”传递，需要机务人员不断练习、形成默契。传统的航空器地面指挥信号手势训练途径单一，通过书面或视频进行初步学习，然后通过教员一对一或一对多的指导来进行训练，缺点明显。教员一对一的指导训练，将花费教员大量的时间与精力，训练效率较低；教员一对多的训练指导，可能导致遗漏某些个体学员存在的问题，训练效果不佳。并且，学员航空器地面指挥信号考核是否合格由教员评价，评价结果较为主观且花费大量时间。
技术实现思路
针对传统的航空器地面指挥信号手势训练途径的不足，本专利技术的目的在于提供一种航空器地面指挥信号训练系统及其操作方法，该系统利用kinect获取人体骨骼关节三维坐标运动轨迹数据，结合动态时间规整算法对训练人员的手势进行实时评价，能够对航空器地面指挥信号手势进行培训。为解决现有技术问题，本专利技术采取的技术方案为：一种航空器地面指挥信号训练系统，包括kinect传感器、数据处理控制系统、显示设备和音响设备，数据处理控制系统与kinect传感器、显示设备和音响设备通信连接；所述kinect传感器用于获取信号手势标准样本初始数据和学员做出信号手势时的身体骨骼运动数据；所述数据处理控制系统包括信息录入模块、数据处理模块、数据存储模块和输出控制模块，信息录入模块用于录入学员的个人信息，数据处理模块用于对kinect传感器获取的学员信号手势数据进行处理得到信号手势判别结果，数据存储模块存储信号手势标准样本库、信号手势教学视频、学员个人信息及相应训练和考核数据；输出控制模块控制显示设备和音响设备播放信号手势教学视频、学员的信号手势识别结果和提示内容，以实现人机交互；所述数据处理模块包括信号手势识别模块、信号手势处理模块和信号手势判别模块，信号手势识别模块从kinect获取学员的各骨骼关节随时间变化的三维坐标运动轨迹数据；信号手势处理模块提取学员信号手势的特征骨骼关节和基准骨骼关节随时间变化的三维坐标运动轨迹，计算基准骨骼关节与每个特征骨骼关节之间的欧式距离，将特征骨骼关节随时间变化的三维坐标运动轨迹转变为一维坐标运动轨迹；信号手势判别模块使用时间动态规整算法衡量学员各特征骨骼节点的一维坐标运动轨迹数据与标准样本库里相同手势各特征骨骼节点的一维坐标运动轨迹数据的相似性，从而对学员信号手势进行评分；所述特征骨骼关节为能够识别出每个信号手势的最少特征骨骼关节；所述基准骨骼关节为颈下脊椎。进一步改进的是，所述特征骨骼关节有8个，包括左拇指、左手指、左腕、左肘、右拇指、右手指、右腕与右肘。作为改进的是，所述信号手势标准样本库建立步骤包括：步骤201，利用Kinect获取不同体型、不同性别的人在不同的环境下做各种标准信号手势的各骨骼关节随时间变化的三维坐标运动轨迹数据；步骤202，提取每个信号手势的特征骨骼关节和基准骨骼关节随时间变化的三维坐标运动轨迹数据；步骤203，计算每个信号手势基准骨骼关节与各特征骨骼关节之间的欧式距离，将特征骨骼关节随时间变化的三维坐标运动轨迹转变为一维坐标运动轨迹，每做一个信号手势动作就生成一组特征骨骼关节随时间变化的一维坐标运动轨迹；步骤204，筛除异常数据，异常数据包括各关节位置随时间变化的时间序列（帧）中相邻两帧之间欧式距离超过0.07m，时间序列欧式距离最大值和最小值相差超过1.1m；步骤205，存储各信号手势的一维特征数据，建立信号手势标准样本库。作为改进的是，所述显示设备为投影仪或显示屏。一种航空器地面指挥信号手势训练系统的操作方法，包括以下步骤：步骤S1，输入学员个人信息，所述个人信息，包括姓名、学号、专业、年龄、性别等；步骤S2，模式选择，根据需求选择训练模式或考核模式，若选择训练模式，则进入步骤S3，若选择考核模式，则进入步骤S10；步骤S3，根据需要选择训练的信号手势内容，并设有全选功能；步骤S4，根据需要选择是否观看信号手势视频，学员通过观看信号手势视频学习信号手势，也可以选择不观看信号手势视频直接做出信号手势；步骤S5，学员做出信号手势；步骤S6，显示设备上显示信号手势识别结果；步骤S7，将学员训练的评分结果进行存储与汇总；步骤S8，判断学员做的信号手势是否达标，若达标则进入步骤S9，若不达标，则回到步骤S4；步骤S9，判断学员选择的训练内容是否全部完成，若完成则结束，否则进入下一个信号手势的训练，进入步骤S4；步骤S10，根据需要选择考核的信号手势内容，并设有全选和随机功能供选择；步骤S11，显示设备和音响设备对需要考核的信号手势进行文字或语音提示；步骤S12，学员根据文字或语音提示做出相应的信号手势；步骤S13，显示设备显示信号手势识别结果；步骤S14，将学员考核的评分结果进行存储与汇总；步骤S15，判断学员选择的考核内容是否全部完成，若完成则结束，否则进入下一个信号手势的考核，进入步骤S11。所述系统无论是训练模式还是考核模式，将学员信号手势的一维特征与其标准样本库里对应的同一手势样本的一维特征进行匹配，降低了信号手势匹配的复杂度，减少了数据处理的时间。有益效果：与现有技术相比，本专利技术的优势在于：（1）改变了航空器地面指挥信号训练主要依靠教员人工指导的现象，在一定程度上为航空器地面指挥员/引导员的信号手势培训提供一种有效的方法，既可以用于训练，又可以用于考核，提高了训练和考核的效率；（2）标准样本库中的各种信号手势数据来自不同体型、不同性别、不同环境，因此系统的训练方法具有较高识别效率和较强的鲁棒性；（3）做信号手势的过程中不需要手持设备，交互自然，使用方便；（4）将学员的信号手势与其标准样本库里对应的同一手势样本的一维特征进行匹配，降低了信号手势判别的复杂度，减少了处理数据的时间。附图说明图1为本专利技术一种航空器地面指挥信号手势训练系统的结构图,其中，101为kinect传感器，102为数据处理控制系统，102-1为信息录入模块，102-2为数据处理模块，102-3为数据存储模块，102-4为输出控制模块，103为显示设备，104为音响设备；图2为本专利技术Kinect选取的特征骨骼关节示意图；图3为本专利技术“正常停止”信号手势的特征骨骼关节随时间变化的一维坐标运动轨迹图；图4为本专利技术标准样本库建本文档来自技高网...

【技术保护点】
1.一种航空器地面指挥信号训练系统，其特征在于，包括kinect传感器、数据处理控制系统、显示设备和音响设备，数据处理控制系统与kinect传感器、显示设备和音响设备通信连接；所述kinect传感器用于获取信号手势标准样本初始数据和学员做出信号手势时的身体骨骼运动数据；所述数据处理控制系统包括信息录入模块、数据处理模块、数据存储模块和输出控制模块，信息录入模块用于录入学员的个人信息，数据处理模块用于对kinect传感器获取的学员信号手势数据进行处理得到信号手势判别结果，数据存储模块存储信号手势标准样本库、信号手势教学视频、学员个人信息及相应训练和考核数据；输出控制模块控制显示设备和音响设备播放信号手势教学视频、学员的信号手势识别结果和提示内容，以实现人机交互；所述数据处理模块包括信号手势识别模块、信号手势处理模块和信号手势判别模块，信号手势识别模块从kinect获取学员的各骨骼关节随时间变化的三维坐标运动轨迹数据；信号手势处理模块提取学员信号手势的特征骨骼关节和基准骨骼关节随时间变化的三维坐标运动轨迹，计算基准骨骼关节与每个特征骨骼关节之间的欧式距离，将特征骨骼关节随时间变化的三维坐标运动轨迹转变为一维坐标运动轨迹；信号手势判别模块使用时间动态规整算法衡量学员各特征骨骼节点的一维坐标运动轨迹数据与标准样本库里相同手势各特征骨骼节点的一维坐标运动轨迹数据的相似性，从而对学员信号手势进行评分；所述特征骨骼关节为能够识别出每个信号手势的最少特征骨骼关节；所述基准骨骼关节为颈下脊椎。/n...

【技术特征摘要】
1.一种航空器地面指挥信号训练系统，其特征在于，包括kinect传感器、数据处理控制系统、显示设备和音响设备，数据处理控制系统与kinect传感器、显示设备和音响设备通信连接；所述kinect传感器用于获取信号手势标准样本初始数据和学员做出信号手势时的身体骨骼运动数据；所述数据处理控制系统包括信息录入模块、数据处理模块、数据存储模块和输出控制模块，信息录入模块用于录入学员的个人信息，数据处理模块用于对kinect传感器获取的学员信号手势数据进行处理得到信号手势判别结果，数据存储模块存储信号手势标准样本库、信号手势教学视频、学员个人信息及相应训练和考核数据；输出控制模块控制显示设备和音响设备播放信号手势教学视频、学员的信号手势识别结果和提示内容，以实现人机交互；所述数据处理模块包括信号手势识别模块、信号手势处理模块和信号手势判别模块，信号手势识别模块从kinect获取学员的各骨骼关节随时间变化的三维坐标运动轨迹数据；信号手势处理模块提取学员信号手势的特征骨骼关节和基准骨骼关节随时间变化的三维坐标运动轨迹，计算基准骨骼关节与每个特征骨骼关节之间的欧式距离，将特征骨骼关节随时间变化的三维坐标运动轨迹转变为一维坐标运动轨迹；信号手势判别模块使用时间动态规整算法衡量学员各特征骨骼节点的一维坐标运动轨迹数据与标准样本库里相同手势各特征骨骼节点的一维坐标运动轨迹数据的相似性，从而对学员信号手势进行评分；所述特征骨骼关节为能够识别出每个信号手势的最少特征骨骼关节；所述基准骨骼关节为颈下脊椎。


2.根据权利要求1所述的一种航空器地面指挥信号训练系统，其特征在于，所述特征骨骼关节有8个，包括左拇指、左手指、左腕、左肘、右拇指、右手指、右腕与右肘。


3.根据权利要求1所述的一种航空器地面指挥信号训练系统，其特征在于，所述信号手势标准样本库建立步骤包括：步骤201，利用Kinect获取不同体型、不同性别的人在不同的环境下做各种标准信号手势的各骨骼关节随时间变化的三维坐标运动...

【专利技术属性】
技术研发人员：潘亭，司海青，汪海波，李耀，沈莹莹，宗奕彤，姜乃琪，程晓辉，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：江苏;32