基于红外热成像的飞行操纵动作监控方法及系统技术方案

本发明专利技术涉及飞行训练技术领域，公开了一种基于红外热成像的飞行操纵动作监控方法及系统，其方法包括：采集飞行操纵动作数据，基于飞行操纵动作数据生成热成像视频，通过对热成像视频进行分解，生成第一阶段图片；基于驾驶舱区域标识信息构建空间坐标系，通过空间坐标系划定驾驶舱操纵区域，并将操纵区域标记至第一阶段图片，生成第二阶段图片；根据第二阶段图片生成时序视频，对时序视频标记飞行关键阶段信息，根据飞行关键阶段信息生成操纵热力图。本发明专利技术至少具有以下有益效果：客观且有针对性地还原驾驶舱动作，实现可视化讲评，显著减少信息失真。

【技术实现步骤摘要】
基于红外热成像的飞行操纵动作监控方法及系统
本专利技术涉及飞行训练
，特别涉及一种基于红外热成像的飞行操纵动作监控方法及系统。
技术介绍
中国民航业近些年实现了跨越式发展，尤其是运送旅客数量有了显著增加，这对民航飞行运行安全提出了更高的要求。模拟机训练是提高飞行员核心胜任能力，保障飞行安全的重要手段，如何科学高效的进行模拟机训练是各大航空公司以及训练中心面临的问题。飞行学员(训练机组)在飞行训练过程因应教员设置的训练科目需要做大量的操纵动作。目前，对于学员操纵动作的监控全部由处于观察者位置的教员通过脑力记忆以及笔记实现，这种人工方式存在信息失真以及不可回溯的情况，无法有效还原操纵细节并实现可视化讲评，无法为飞行学员提供可重复推演学习的素材，更做不到关键飞行阶段操纵动作的监控与分析。
技术实现思路
本专利技术旨在至少解决现有技术中存在的技术问题之一。为此，本专利技术提出一种基于红外热成像的飞行操纵动作监控方法，能够提高训练机组的训练效率。本专利技术还提出一种具有上述基于红外热成像的飞行操纵动作监控方法的飞行操纵动作监控系统。根据本专利技术的第一方面实施例的基于红外热成像的飞行操纵动作监控方法，包括以下步骤：S100、采集飞行操纵动作数据，基于所述飞行操纵动作数据生成热成像视频，通过对所述热成像视频执行分片操作，生成第一阶段图片，所述第一阶段图片中包括驾驶舱区域标识信息；S200、基于所述驾驶舱区域标识信息构建空间坐标系，通过所述空间坐标系划定驾驶舱操纵区域，并将所述操纵区域标记至所述第一阶段图片，生成第二阶段图片；S300、根据所述第二阶段图片生成时序视频，对所述时序视频标记飞行关键阶段信息，根据所述飞行关键阶段信息生成操纵热力图。根据本专利技术的一些实施例，所述步骤S100还包括：S110、接收多台热成像采集装置采集的基于所述飞行操纵动作的多组热成像数据，接收驾驶舱内部音频数据；S120、通过对多组热成像数据执行压缩操作，生成多组固定格式的视频文件；S130、通过对多组视频文件以预设帧频及预设尺寸执行切片操作，生成多组切片图片；S140、对多组切片图片执行拼接融合操作，得到第一阶段图片。根据本专利技术的一些实施例，所述对多组切片图片执行拼接融合操作，包括：基于OpenCV的SURF算法对多组切片图片提取特征点，基于提取的特征点对多组切片图片进行匹配；将匹配之后的切片图片进行图像配准、图像拷贝及图像融合，实现多组图片的拼接融合。根据本专利技术的一些实施例，所述步骤S200包括：S210、识别所述第一阶段图片的驾驶舱区域标识信息；S220、基于所述驾驶舱区域标识信息构建空间坐标系，所述空间坐标系的数量与所述驾驶舱区域标识信息的数量相等；S230、基于所述空间坐标系确定所述驾驶舱操纵区域的坐标范围；S240、根据所述坐标范围，将所述操纵区域以设定形式标记至所述第一阶段图片中，得到第二阶段图片。根据本专利技术的一些实施例，所述步骤S220包括：S221、识别所述驾驶舱区域标识信息在所述第一阶段图片中的位置；S222、以所述位置为原点建立空间坐标系，所述空间坐标系包括第一坐标系、第二坐标系及第三坐标系，其中，第一坐标系为顶板坐标系，第二坐标系为遮光板和主仪表板坐标系，第三坐标系为中控台坐标系。根据本专利技术的一些实施例，所述驾驶舱区域标识信息为红外感应二维码信息。根据本专利技术的一些实施例，所述步骤S300还包括：按照预设帧频合成所述第二阶段图片，得到时序视频；通过对所述时序视频插入所述驾驶舱内部音频数据，得到时序热成像视频；对所述时序热成像视频按照所述飞行操纵动作的场次进行编号，并以所述编号为索引值存储所述时序热成像视频。根据本专利技术的一些实施例，所述步骤S300还包括：按照预设帧频合成所述第二阶段图片，得到时序视频；识别所述时序视频中的关键飞行阶段，所述关键飞行阶段包括飞机起飞阶段、飞机降落阶段以及特情阶段，所述特情阶段包括突发系统故障、突发机械故障及特殊飞行科目；分别提取所述关键飞行阶段的时序视频生成对应的关键阶段视频，通过对所述关键阶段视频以所述预设帧频执行切片操作，生成一组对应的关键阶段热力切片图；通过对一组对应的关键阶段热力切片图，根据所述操纵区域，执行图像合成叠加操作，生成一张对应的操纵热力图，所述操纵热力图包括对应的关键飞行阶段中采集的所有飞行操纵动作数据在驾驶舱操纵区域的分布情况及轨迹信息；按照所述飞行操纵动作的场次对所述操纵热力图进行编号，并以所述编号为索引值存储所述操纵热力图。根据本专利技术的第二方面实施例的基于红外热成像的飞行操纵动作监控系统，包括基于红外热成像的飞行操纵动作监控方法，还包括：热成像采集装置，位于模拟机驾驶舱内，用于分区域采集机组飞行操纵动作数据并生成热成像视频；视频生成与图像化工作站，用于接收所述热成像采集装置采集的热成像视频及驾驶舱音频信号，对接收到的所述热成像视频进行分解和融合，生成第一阶段图片，所述第一阶段图片中还包括驾驶舱区域标识信息；驾驶舱区域标识计算机，用于基于所述驾驶舱区域标识信息构建空间坐标系，通过所述空间坐标系划定驾驶舱操纵区域并将所述操纵区域标记至所述第一阶段图片，生成第二阶段图片；以及生成驾驶舱区域图，实现对机组操纵区域的定位；关键阶段划定计算机，用于根据所述第二阶段图片生成时序视频，对所述时序视频标记飞行关键阶段信息；时序视频与操纵热力图生成工作站，用于接收所述驾驶舱区域标识计算机生成的所述驾驶舱区域图，以及，接收所述关键阶段划定计算机生成的包含有关键阶段信息的时序视频，生成时序热成像视频及操纵热力图；结果数据中心服务器，用于接收并分组存储所述时序热成像视频及所述操纵热力图。根据本专利技术的一些实施例，所述热成像采集装置包括：多个热成像装置，分别部署于机舱中的不同操控区域，用于全面采集飞行操纵动作数据；录音装置，部署于中央操纵台边缘，用于收集驾驶舱环境声音、模拟机系统声音以及机组对话声音；多个定位装置，所述定位装置为红外感应二维码，分别部署于机舱中的不同操控区域，用于对机舱中的不同操控区域进行二维空间定位。根据本专利技术实施例的基于红外热成像的飞行操纵动作监控方法，至少具有如下有益效果：显著减少信息失真，减少人的因素对飞行训练结果的影响；客观且有针对性地还原驾驶舱动作，实现可视化讲评；生成的时序热成像视频可为飞行学员提供学习材料，帮助其推演训练过程，完成自我分析与提高；通过操纵热力图形式实现对关键飞行阶段操纵动作的客观量化分析。本专利技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：图1为本专利技术实施例的方法的流程示意图之一；图2为本专利技术实施例的获取第一阶段图片方法的流程示意图；图3为本专利技术实施例的获取第二阶段图片方法的流程示意图；图4为本专利技术实施例的建立空间坐标系方法的流程示意图；图5为本专利技术实施例的建立空间坐标系本文档来自技高网...

【技术保护点】
1.一种基于红外热成像的飞行操纵动作监控方法，其特征在于，包括以下步骤：/nS100、采集飞行操纵动作数据，基于所述飞行操纵动作数据生成热成像视频，通过对所述热成像视频执行分片操作，生成第一阶段图片，所述第一阶段图片中包括驾驶舱区域标识信息；/nS200、基于所述驾驶舱区域标识信息构建空间坐标系，通过所述空间坐标系划定驾驶舱操纵区域，并将所述操纵区域标记至所述第一阶段图片，生成第二阶段图片；/nS300、根据所述第二阶段图片生成时序视频，对所述时序视频标记飞行关键阶段信息，根据所述飞行关键阶段信息生成操纵热力图。/n

【技术特征摘要】
1.一种基于红外热成像的飞行操纵动作监控方法，其特征在于，包括以下步骤：
S100、采集飞行操纵动作数据，基于所述飞行操纵动作数据生成热成像视频，通过对所述热成像视频执行分片操作，生成第一阶段图片，所述第一阶段图片中包括驾驶舱区域标识信息；
S200、基于所述驾驶舱区域标识信息构建空间坐标系，通过所述空间坐标系划定驾驶舱操纵区域，并将所述操纵区域标记至所述第一阶段图片，生成第二阶段图片；
S300、根据所述第二阶段图片生成时序视频，对所述时序视频标记飞行关键阶段信息，根据所述飞行关键阶段信息生成操纵热力图。


2.根据权利要求1所述的基于红外热成像的飞行操纵动作监控方法，其特征在于，所述步骤S100还包括：
S110、接收多台热成像采集装置采集的基于所述飞行操纵动作的多组热成像数据，接收驾驶舱内部音频数据；
S120、通过对多组热成像数据执行压缩操作，生成多组固定格式的视频文件；
S130、通过对多组视频文件以预设帧频及预设尺寸执行切片操作，生成多组切片图片；
S140、对多组切片图片执行拼接融合操作，得到第一阶段图片。


3.根据权利要求2所述的基于红外热成像的飞行操纵动作监控方法，其特征在于，所述对多组切片图片执行拼接融合操作，包括：
基于OpenCV的SURF算法对多组切片图片提取特征点，基于提取的特征点对多组切片图片进行匹配；
将匹配之后的切片图片进行图像配准、图像拷贝及图像融合，实现多组图片的拼接融合。


4.根据权利要求1所述的基于红外热成像的飞行操纵动作监控方法，其特征在于，所述步骤S200包括：
S210、识别所述第一阶段图片的驾驶舱区域标识信息；
S220、基于所述驾驶舱区域标识信息构建空间坐标系，所述空间坐标系的数量与所述驾驶舱区域标识信息的数量相等；
S230、基于所述空间坐标系确定所述驾驶舱操纵区域的坐标范围；
S240、根据所述坐标范围，将所述操纵区域以设定形式标记至所述第一阶段图片中，得到第二阶段图片。


5.根据权利要求4所述的基于红外热成像的飞行操纵动作监控方法，其特征在于，所述步骤S220包括：
S221、识别所述驾驶舱区域标识信息在所述第一阶段图片中的位置；
S222、以所述位置为原点建立空间坐标系，所述空间坐标系包括第一坐标系、第二坐标系及第三坐标系，其中，第一坐标系为顶板坐标系，第二坐标系为遮光板和主仪表板坐标系，第三坐标系为中控台坐标系。


6.根据权利要求4或5所述的基于红外热成像的飞行操纵动作监控方法，其特征在于，所述驾驶舱区域标识信息为红外感应二维码信息。


7.根据权利要求2所述的基于红外热成像的飞行操纵动作监控方法，其特征在于，所述步骤S300还包括：
按照预设帧...

【专利技术属性】
技术研发人员：刘小东，吴林，阮文新，王炅，翁沛炎，戴慧林，曾钿，叶宗华，
申请(专利权)人：珠海翔翼航空技术有限公司，
类型：发明
国别省市：广东;44