基于置信区间的空中交通管制员疲劳检测方法、装置和系统制造方法及图纸

本发明专利技术提供一种空中交通管制员疲劳检测方法、装置和系统，所述方法包括接收管制席位视频监控数据和陆空通话数据，对其进行检测分析，得到管制员疲劳指标检测数据，参照预置的管制员疲劳指标检测数据样本，计算所述管制员疲劳指标检测统计数据的各个指标的单一置信区间和针对指标群的联合置信区间，若管制员疲劳指标检测数据超出置信区间，则触发告警，并提供了与该方法相对应的装置，以及实体系统。该方法、装置及系统，能够应用于空中交通管制领域，具有较强的实用性和可操作性。

【技术实现步骤摘要】

本专利技术提供一种集成了面部与语音的空中交通管制员疲劳检测方法、装置和系 统，属于图像处理与模式识别
技术背景 目前，针对管制员疲劳的相关研究主要从两个方面进行，即基于面部识别的管制 员疲劳检测，以及基于工作负荷评估的管制员疲劳检测。前者基于对管制员面部特征的解 析，得到PERCL0S值、平均闭眼时长、哈欠频率等三个疲劳检测指标的数据，通过匹配管制 员疲劳判定的三个指标所对应的阈值，对管制员疲劳进行检测，如申请号为CN101732055A 的专利技术专利申请中给出了一种驾驶员疲劳检测方法，该方法通过检测人脸，提取面部特征， 跟踪脸部运动，计算PERCLOS(percentageofeyelidclosure，眼睛闭合百分比）值来判 断驾驶员是否处于疲劳状态。而后者基于管制员工作负荷评估研究，自20世纪70年代以 来陆续演化出了三类管制员疲劳检测方法，即：（1)根据管制员生理、行为特征分析，得出 管制工作负荷强度。测量的生理指标包括电击皮肤的反应、心率、心电图、血压、体液等，行 为指标包括设备操作次数、陆空通话时间记录等；（2)采取观察和问卷形式的主观测评方 法，如ATWIT技术（airtrafficworkloadinputtechnique，美国联邦航空局的空中交 通负荷输入技术）、NASA-TLX量表（taskloadindex，美国国家航空航天局的任务负荷量 表）、SWAT量表（subjectiveworkloadanalysistechnique，主观工作负荷分析技术）和 MCH法（modifiedcooper-harperratings，库柏-哈柏修正法）等；（3)将管制员工作进 行细分，对于看得见的工作测计所消耗的时间，对于看不见的工作转化为时间上的消耗，以 时间度量方式实现对管制员工作负荷的定量评估。此类方法包括ICA0推荐的D0RATASK 法（DirectorateofOperationResearchandAnalysisoftheUnitedKingdom，英国 运筹研究与分析理事会提出）和MBB法（Messerschmidt，BglkowandBlohmofGermany， 德国梅塞施密特、特尔科和布卢姆提出），以及RAMS法（Re-organizedATCMathematical Simulator，欧洲空管实验中心提出的）。 既有针对管制员疲劳检测的研究，主要存在以下不足：（1)研究方法方面，定性 研究较多，定量研究较少，导致客观性不足；（2)检测指标方面，指标维度较为单一，全面 性、综合性不足；（3)现有研究对所有管制员采用相同指标检测标准，忽视了疲劳指标的个 体差异性，检测结果不够准确；(4)应用性方面，既有研究仍停留在实验室研究阶段。
技术实现思路
为了克服现有技术中存在的缺点，本专利技术提供一种集成面部和语音的空中交通管 制员疲劳检测方法、装置及系统。 -种空中交通管制员疲劳检测方法，其特征在于，包括以下步骤：步骤1，接收实 时音视频全数据采集装置获取的管制席位视频监控数据和陆空通话数据；步骤2,对所述 管制席位视频监控数据和所述陆空通话数据进行检测分析，得到管制员疲劳指标检测数 据；步骤3,参照预置的管制员疲劳指标检测数据样本，计算各个指标的单一置信区间和针 对指标群的联合置信区间，若步骤2中所述管制员疲劳指标检测数据超出置信区间，则触 发告警。 优选的，接收所述管制席位视频监控数据的过程为，实时采集视频信息，进行降 噪、滤波处理后，提取特征值。 优选的，提取特征值后，与视频模板库中已保存的模板数据进行匹配，从而对当前 管制员的身份进行识别。 优选的，其特征在于：接收所述陆空通话数据的过程为，采用电缆线将语音信号 从配线架引接至语音处理器，当检测到声音信号时，开始录音，当检测到没有声音且持续3 秒，则停止录音，即完成一次录音，每完成一次录音，将声音信息以音频文件格式保存。优选的，步骤1后还包括将所述管制席位视频监控数据和陆空通话数据进行同步 的步骤，具体为：以视频数据的时间戳为时间基准，播放的过程中音频播放线程实时接收视 频播放线程传输过来的当前播放时间数据，并同步调整音频播放数据，将管制席位视频监 控数据和陆空通话数据进行同步播放，实现实时播放和历史回放。 优选的，步骤2中对所述管制席位视频监控数据进行检测分析，得到的管制员疲 劳指标检测数据包括PERCL0S值、平均闭眼时长和打哈欠频率。 优选的，步骤2中对所述陆空通话数据进行检测分析，得到的管制员疲劳指标检 测数据包括：信道占用率、通话次数、平均音频、平均音强、扇区陆空通话关键词出现率。 -种空中交通管制员疲劳检测装置，其特征在于，包括以下模块：接收模块，用于 接收实时音视频全数据采集装置获取的管制席位视频监控数据和陆空通话数据；计算模 块，用于对所述管制席位视频监控数据和所述陆空通话数据进行检测分析，得到管制员疲 劳指标检测数据；告警模块，用于参照预置的管制员疲劳指标检测数据样本，计算各个指标 的单一置信区间和针对指标群的联合置信区间，若计算模块计算得到的管制员疲劳指标检 测数据超出置信区间，则触发告警。 -种空中交通管制员疲劳检测系统，其特征在于，该系统包括：管制席位实时音视 频全数据采集平台：用于进行管制席位视频监控数据、陆空通话数据的采集和处理；集成 面部识别和陆空通话语音解析的管制员疲劳检测数据库：用于将管制席位实时音视频全数 据采集平台采集处理的数据进行归类和保存，同时存储管制员疲劳指标检测模块计算得到 的各项管制员疲劳指标检测数据，及管制员疲劳度告警模块的计算及告警结果，从而形成 历史统计结果；管制员疲劳指标检测模块：用于对管制席位实时音视频全数据采集平台采 集和处理的视频监控数据、陆空通话数据进行检测分析，得到管制员疲劳指标检测数据；管 制员疲劳度告警模块：基于集成面部识别和陆空通话语音解析的管制员疲劳检测数据库中 的历史统计结果，测算各项指标的单一置信区间和针对指标群的联合置信区间，若管制员 疲劳指标检测模块输出的检测数据超出置信区间，则触发告警。与现有技术相比，本专利技术提供的集成面部和语音的疲劳检测方法、装置和系统，将 标志管制员疲劳的面部特征、工作负荷等各指标，全面、综合地进行考虑，并可以针对管制 员的个体差异性，设计针对性的疲劳检测标准，具有较强的实用性和可操作性。【附图说明】 图1是本专利技术的系统结构图； 图2是本专利技术的音频数据采集流程图； 图3是本专利技术的音视频数据同步流程图； 图4是本专利技术的系统网络结构图。【具体实施方式】 下面结合附图详细说明本专利技术。 实施例1 : 图1是本专利技术的系统结构图，系统包括管制席位实时音视频全数据采集平台：用 于进行管制席位视频监控数据、陆空通话数据的采集和处理；集成面部识别和陆空通话语 音解析的管制员疲劳检测数据库：用于将管制席位实时音视频全数据采集平台采集处理的 数据进行归类和保存，同时存储管制员疲劳指标检测模块计算得到的各项管制员疲劳指标 检测数据，及管制员疲劳度告警模块的计算及告警结果，从而形成历史统计结果；管制员疲 劳指标检测模块：用于对管制席位实时当前第1页1 2 3 本文档来自技高网...

【技术保护点】
一种空中交通管制员疲劳检测方法，其特征在于，包括以下步骤：步骤1，接收实时音视频全数据采集装置获取的管制席位视频监控数据和陆空通话数据；步骤2，对所述管制席位视频监控数据和陆空通话数据进行检测分析，得到管制员疲劳指标检测数据；步骤3，参照预置的管制员疲劳指标检测数据样本，计算各个指标的单一置信区间和针对指标群的联合置信区间，若步骤2中所述管制员疲劳指标检测数据超出置信区间，则触发告警。

【技术特征摘要】

【专利技术属性】
技术研发人员：张建平，裴锡凯，高翔，周自力，丁鹏欣，
申请(专利权)人：中国民用航空总局第二研究所，成都民航空管科技发展有限公司，
类型：发明
国别省市：四川;51