一种客舱紧急出口乘务员安全介绍规范检测方法和装置制造方法及图纸

本发明专利技术属于音频和人体姿态识别技术领域，尤其涉及一种客舱紧急出口乘务员安全介绍规范检测方法和装置，该方法基于乘务员规范手册确定紧急出口处乘务员对乘客的安全介绍的行为规范具体规则及标准安全介绍术语，对在紧急出口处采集的音视频数据进行安全介绍语音关键词检测、乘务员和乘客的人体识别和姿态检测，最后基于紧急出口处规则，对识别与检测结果，采用句法模型中的上下文有关文法推断乘务员安全介绍及引导全部流程是否符合规范。本发明专利技术能够在飞机客舱内检验乘务员安全引导是否规范，降低了因乘客存在知识盲区失手导致紧急出口打开而造成损失及航班延误，在必要时的规范操作可以提高机内人员生还率，为飞机安全工作提供了有力支持。作提供了有力支持。作提供了有力支持。

【技术实现步骤摘要】
一种客舱紧急出口乘务员安全介绍规范检测方法和装置


[0001]本专利技术属于音频和人体姿态识别
，尤其涉及一种客舱紧急出口乘务员安全介绍规范检测方法和装置。

技术介绍

[0002]民航飞机客舱紧急出口会因乘客在存在知识盲区失手打开紧急出口，会扰乱飞行秩序、危害飞行安全，而乘务员对的安全介绍不规范可能导致紧急出口座位乘客对须知内容不清晰，依旧出现安全隐患。
[0003]但随着深度学习、机器视觉、音频和图像处理、句法模式识别等技术的不断向前进步，基于紧急出口规则，利用这些关键技术可以推断乘务员对紧急出口座位乘客安全介绍的规范性，能够最终解决上述问题。

技术实现思路

[0004]为了解决现有技术中存在的上述技术问题，本专利技术提出了一种客舱紧急出口乘务员安全介绍规范检测方法和装置，其具体技术方案如下：一种客舱紧急出口乘务员安全介绍规范检测方法，包括以下步骤：步骤1：根据乘务员规范手册，确定紧急出口处乘务员对乘客的安全介绍的行为规范具体规则及标准安全介绍术语，将带音频传感器的高清监控摄像头安装在紧急出口中间的机顶处，实时采集在旅客登机后、起飞前的音视频数据；步骤2：分别对采集的音视频数据进行预处理，形成在飞机紧急出口处乘务员对乘客安全介绍的音频和视频的数据集；步骤3：将多次在飞机紧急出口处采集的音频数据集进行训练，得到满足识别率要求的安全介绍语音关键词检测算法；步骤4：对采集的视频数据集采用1s抽一帧的方法均匀采样，得到共T帧图片，使用图片数据进行训练，得到满足识别率要求的紧急出口处乘务员和乘客的人体识别和姿态检测算法；步骤5，利用步骤3的安全介绍语音关键词检测算法和步骤4的人体识别和姿态检测算法，在飞机客舱内紧急出口处识别音频文本信息，检测乘务员和乘客的姿态信息；步骤6：基于紧急出口处规则，对步骤5的识别与检测结果，采用句法模型中的上下文有关文法推断乘务员安全介绍及引导全部流程是否符合规范。
[0005]进一步的，所述步骤2具体为：把视频数据集分为有无安全介绍的视频类别，并对视频类别数据进行清洗和标注，形成乘务员对乘客安全介绍视频的训练、验证与测试数据集；将标准安全介绍术语通过语言模型处理，生成安全介绍关键词参考模板后，对收集到的音频数据进行清洗和标注，形成乘务员安全介绍语音的训练、验证与测试数据集。
[0006]进一步的，所述步骤3，具体包括以下子步骤：步骤3.1：对于紧急出口处的音频数据，提取MFCC特征参数：首先将音频信号进行
预处理，其中包括预加重、加窗、分帧步骤；然后对每一帧信号进行FFT变换，使用数据由时域转化为频域，并计算谱线能量，把求出的每帧谱线能量谱通过Mel滤波器后计算在该Mel滤波器中的能量，计算公式如下：，0≤m≤M，其中i表示第i帧，k表示频域中的第k条谱线；最后把Mel滤波器中的能量取对数后计算DCT，即可求得MFCC特征参数，表达式为：，其中n是DCT后的谱线；步骤3.2：使用声学模型与发音字典处理MFCC特征参数，将公开的中文语音训练数据库转化为语谱图来提取特征，使用声调和韵母组成的1427种拼音作为声学模型的建模单元；对音频信号所对应的拼音序列进行处理，生成拼音的索引序列，然后把语谱图和拼音的索引序列作为输入数据，训练声学模型；步骤3.3：在解码过程中，由声学模型处理MFCC特征参数，生成拼音索引序列，在发音字典中查找得出对应的拼音序列后，输出识别的文本；步骤3.4：在识别出的文本中，当判断含有广播播报的乘客须知内容时，开始传达紧急出口处视频检测的指令；步骤3.5：设定术语关键词匹配的阈值，将紧急出口处音频识别出的文本与安全介绍关键词参考模板进行匹配。
[0007]进一步的，所述步骤4，具体包括以下子步骤：步骤4.1：通过在飞机的紧急出口处区域监控收集的视频，将视频数据集按照6：2：2划分为训练集、验证集和测试集；将采集的视频数据集按照采用1s抽一帧的方法得到T帧数据I=[]，对乘务员与乘客进行目标框和乘务员属性特征与骨架的数据标注；步骤4.2：设计乘务员与乘客识别及姿态检测网络；步骤4.3：标注好乘务员的制服、发型、胸章、领巾及乘务员与乘客的人体框、骨架的训练数据，输入至乘务员与乘客识别和姿态检测网络中训练，并进行测试，得到满足识别率的紧急出口处乘务员和乘客的人体识别和姿态检测算法；步骤4.4：当语音识别出广播播报的乘客须知内容时，开始紧急出口处乘务员和乘客的姿态检测算法的检测。
[0008]进一步的，所述步骤4.2，具体包括以下子步骤：步骤4.2.1：通过均匀采样得到的T帧视频帧，将视频帧裁剪为分辨率大小为224
×
224的图片，向前并行传输到乘务员与乘客识别及姿态检测网络；步骤4.2.2：乘务员与乘客识别网络中，采用Faster
‑
RCNN算法，T帧图片经过CNN网络提取乘务员的制服、发型、胸章、领巾的属性特征，生成1616的特征图；在RPN结构中，用3
×
3的大小窗口去扫描图像得到候选框，特征图与候选框输入ROI池化层后，在全连接层中由softmax对图片中的人体分类，由边界框回归生成带有乘务员和乘客标识的检测框，再利用沙漏网络共享的多尺度特征对输入图像上的人边界框进行回归，融合这两个特征源来可以更好预测人的边界框；识别出乘务员和乘客后，将视频区域沿走道中线划分成左右两区域，计算乘务员在左右区域停留的时长；步骤4.2.3：在姿态检测网络中，首先需区分乘务员与乘客，将人体识别网络中得
到的边界框回归参数与T帧图片共同输入到沙漏网络中，所生成的人体关键点热图被表示为一个三阶张量(W
×
H
×
M
*
)，M
*
是热图的总数，即人体的关键点，每个关键点生成一个热图，W、H分别为热图的宽和高；共提取16个关键点，所述16个关键点包含：鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左手肘、右手肘、左手腕、右手腕、左腰、右腰、左膝盖、右膝盖、左脚踝、右脚踝，每帧图片中的每个个体得到17张关键点热图，二维姿态大小表示为17
×
56
×
56，提取每帧图片的关键点热图M；M的计算公式为：，）表示像素点坐标，表示K关键点的坐标；表示置信度；在解卷积过程中加入多尺度监督，分别以1/8，1/4，1/2的比例缩小，并且分别放大8、4、2倍后与解卷积的输出拼接，得到人体姿态检测输出，检测出乘务员与乘客的姿态后，进一步检测乘务员手臂骨架与身体骨架的夹角及身体骨架倾斜角度。
[0009]进一步的，所述步骤5，具体包括以下子步骤：步骤5.1：通过步骤3的安全介绍语音关键词检测算法，实时输出识别文本，若识别到客舱广播播报的乘客须知内容文本信息，则开始紧急出口处乘务员和乘客的人体识别和姿态检测算法检测；步骤5.2：紧急出口处乘务员和乘客的人体识别和姿态检测算法sotfmax层输出视频内容是否属于乘务员对乘客安全介绍的类别，设置置信度阈值为，若输出softmax值小于阈值，则输出视频无乘务员对乘客安全介绍内容；若输出soft本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种客舱紧急出口乘务员安全介绍规范检测方法，其特征在于，包括以下步骤：步骤1：根据乘务员规范手册，确定紧急出口处乘务员对乘客的安全介绍的行为规范具体规则及标准安全介绍术语，将带音频传感器的高清监控摄像头安装在紧急出口中间的机顶处，实时采集在旅客登机后、起飞前的音视频数据；步骤2：分别对采集的音视频数据进行预处理，形成在飞机紧急出口处乘务员对乘客安全介绍的音频和视频的数据集；步骤3：将多次在飞机紧急出口处采集的音频数据集进行训练，得到满足识别率要求的安全介绍语音关键词检测算法；步骤4：对采集的视频数据集采用1s抽一帧的方法均匀采样，得到共T帧图片，使用图片数据进行训练，得到满足识别率要求的紧急出口处乘务员和乘客的人体识别和姿态检测算法；步骤5，利用步骤3的安全介绍语音关键词检测算法和步骤4的人体识别和姿态检测算法，在飞机客舱内紧急出口处识别音频文本信息，检测乘务员和乘客的姿态信息；步骤6：基于紧急出口处规则，对步骤5的识别与检测结果，采用句法模型中的上下文有关文法推断乘务员安全介绍及引导全部流程是否符合规范。2.如权利要求1所述的一种客舱紧急出口乘务员安全介绍规范检测方法，其特征在于，所述步骤2具体为：把视频数据集分为有无安全介绍的视频类别，并对视频类别数据进行清洗和标注，形成乘务员对乘客安全介绍视频的训练、验证与测试数据集；将标准安全介绍术语通过语言模型处理，生成安全介绍关键词参考模板后，对收集到的音频数据进行清洗和标注，形成乘务员安全介绍语音的训练、验证与测试数据集。3.如权利要求2所述的一种客舱紧急出口乘务员安全介绍规范检测方法，其特征在于，所述步骤3，具体包括以下子步骤：步骤3.1：对于紧急出口处的音频数据，提取MFCC特征参数：首先将音频信号进行预处理，其中包括预加重、加窗、分帧步骤；然后对每一帧信号进行FFT变换，使用数据由时域转化为频域，并计算谱线能量，把求出的每帧谱线能量谱通过Mel滤波器后计算在该Mel滤波器中的能量，计算公式如下：，0≤m≤M，其中i表示第i帧，k表示频域中的第k条谱线；最后把Mel滤波器中的能量取对数后计算DCT，即可求得MFCC特征参数，表达式为：，其中n是DCT后的谱线；步骤3.2：使用声学模型与发音字典处理MFCC特征参数，将公开的中文语音训练数据库转化为语谱图来提取特征，使用声调和韵母组成的1427种拼音作为声学模型的建模单元；对音频信号所对应的拼音序列进行处理，生成拼音的索引序列，然后把语谱图和拼音的索引序列作为输入数据，训练声学模型；步骤3.3：在解码过程中，由声学模型处理MFCC特征参数，生成拼音索引序列，在发音字典中查找得出对应的拼音序列后，输出识别的文本；步骤3.4：在识别出的文本中，当判断含有广播播报的乘客须知内容时，开始传达紧急出口处视频检测的指令；步骤3.5：设定术语关键词匹配的阈值，将紧急出口处音频识别出的文本与安全介绍关
键词参考模板进行匹配。4.如权利要求3所述的一种客舱紧急出口乘务员安全介绍规范检测方法，其特征在于，所述步骤4，具体包括以下子步骤：步骤4.1：通过在飞机的紧急出口处区域监控收集的视频，将视频数据集按照6：2：2划分为训练集、验证集和测试集；将采集的视频数据集按照采用1s抽一帧的方法得到T帧数据I=[]，对乘务员与乘客进行目标框和乘务员属性特征与骨架的数据标注；步骤4.2：设计乘务员与乘客识别及姿态检测网络；步骤4.3：标注好乘务员的制服、发型、胸章、领巾及乘务员与乘客的人体框、骨架的训练数据，输入至乘务员与乘客识别和姿态检测网络中训练，并进行测试，得到满足识别率的紧急出口处乘务员和乘客的人体识别和姿态检测算法；步骤4.4：当语音识别出广播播报的乘客须知内容时，开始紧急出口处乘务员和乘客的姿态检测算法的检测。5.如权利要求4所述的一种客舱紧急出口乘务员安全介绍规范检测方法，其特征在于，所述步骤4.2，具体包括以下子步骤：步骤4.2.1：通过均匀采样得到的T帧视频帧，将视频帧裁剪为分辨率大小为224
×
224的图片，向前并行传输到乘务员与乘客识别及姿态检测网络；步骤4.2.2：乘务员与乘客识别网络中，采用Faster
‑
RCNN算法，T帧图片经过CNN网络提取乘务员的制服、发型、胸章、领巾的属性特征，生成16
×
16的特征图；在RPN结构中，用3
×
3的大小窗口去扫描图像得到候选框，特征图与候选框输入ROI池化层后，在全连接层中由softmax对图片中的人体分类，由边界框回归生成带有乘务员和乘客标识的检测框，再利用沙漏网络共享的多尺度特征对输入图像上的人边界框进行回归，融合这两个特征源来可以更好预测人的边界框；识别出乘务员和乘客后，将视频区域沿走道中线划分成左右两区域，计算乘务员在左右区域停留的时长；步骤4.2.3：在姿态检测网络中，首先需区分乘务员与乘客，将人体识别网络中得到的边界框回归参数与T帧图片共同输入到沙漏网络中，所生成的人体关键点热图被表示为一个三阶张量(W
×
H
×
M
*
)，M
*
是热图的总数，即人体的关键点，每个关键点生成一个热图，W、H分别为热图的宽和高；共提取16个关键点，所述16个关键点包含：鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左手肘、右手肘、左手腕、右手腕、左腰、右腰、左膝盖、右膝盖、左脚踝、右脚踝，每帧图片中的每个个体得到17张关键点热图，二维姿态大小表示为17
×
56
×
56，提取每帧图片的关键点热图M；M的计算公式为：，）表示像素点坐标，表示K关键点的坐标；表示置信度；在解卷积过程中加入多尺度...

【专利技术属性】
技术研发人员：章东平，潘鑫，胡海苗，
申请(专利权)人：北京航空航天大学杭州创新研究院，
类型：发明
国别省市：