飞机乘务员用提示播音系统及其方法技术方案

本发明专利技术涉及播音领域，其具体地公开了一种飞机乘务员用提示播音系统及其方法，其通过采用基于深度学习的神经网络模型融合播音的过程中的振动频域关联特征和音频波形语义特征，进一步基于飞机的振动情况自适应地对所述待播放音频数据进行校正以在进行音频信号传播前进行音频信号预补偿，通过这样的方式，避免音频信号因飞机波动会导致传播偏移以确保声音信号能够保真地传递至乘客的耳中。音信号能够保真地传递至乘客的耳中。音信号能够保真地传递至乘客的耳中。

【技术实现步骤摘要】
飞机乘务员用提示播音系统及其方法


[0001]本专利技术涉及播音领域，且更为具体地，涉及一种飞机乘务员用提示播音系统及其方法。

技术介绍

[0002]飞机乘务员用提示播音系统是飞机航行过程中重要的辅助支持系统，通过所述飞机乘务员用提示播音系统，机务人员能够将信息传达给乘客。但是，在飞机乘务员播音的过程中，因飞机波动会导致声音信号的传播发生频移导致部分乘客可能会听不到重点，甚至产生费解、歧义和错位。
[0003]因此，期待一种优化的飞机乘务员用提示播音系统。

技术实现思路

[0004]为了解决上述技术问题，提出了本专利技术。本专利技术的实施例提供了一种飞机乘务员用提示播音系统及其方法，其通过采用基于深度学习的神经网络模型融合播音的过程中的振动频域关联特征和音频波形语义特征，进一步基于飞机的振动情况自适应地对所述待播放音频数据进行校正以在进行音频信号传播前进行音频信号预补偿，通过这样的方式，避免音频信号因飞机波动会导致传播偏移以确保声音信号能够保真地传递至乘客的耳中。
[0005]根据本专利技术的一个方面，提供了一种飞机乘务员用提示播音系统，其包括：待播放数据采集模块，用于获取由飞机乘务员提供的预定时间段的待播放音频数据，以及，所述预定时间段的飞机振动信号；振动特征提取模块，用于对所述飞机振动信号进行频域特征分析以得到多个飞机振动频域统计特征；多模态编码模块，用于将所述飞机振动信号和所述多个飞机振动频域统计特征输入包含图像编码器和序列编码器的多模态联合编码器以得到飞机振动特征矩阵；音频波形特征提取模块，用于将所述预定时间段的待播放音频数据通过作为特征提取器的卷积神经网络模型以得到音频波形图像特征矩阵；特征融合模块，用于融合所述飞机振动特征矩阵和所述音频波形图像特征矩阵以得到融合特征矩阵；对抗生成模块，用于将所述融合特征矩阵通过基于对抗生成网络的生成器以得到校正后待播放音频数据；以及播音模块，用于播放所述校正后待播放音频数据。
[0006]在上述飞机乘务员用提示播音系统中，所述图像编码器为作为过滤器的卷积神经网络模型，所述序列编码器为多尺度邻域特征提取模块，其中，所述多尺度邻域特征提取模块，包括：第一卷积层、与所述第一卷积层并行的第二卷积层，以及，与所述第一卷积层和所述第二卷积层连接的多尺度特征融合层，其中，所述第一卷积层使用具有第一长度的一维卷积核，所述第二卷积层使用具有第二长度的一维卷积核。
[0007]在上述飞机乘务员用提示播音系统中，所述多模态编码模块，包括：频域特征提取单元，用于将所述多个飞机振动频域统计特征输入所述序列编码器以得到飞机振动频域统计特征向量；振动波形特征提取单元，用于将所述飞机振动信号输入所述图像编码器以得到飞机振动波形特征向量；以及，联合优化单元，用于计算所述飞机振动波形特征向量的转
置向量与所述飞机振动频域统计特征向量之间的向量乘积以得到所述音频波形图像特征矩阵。
[0008]在上述飞机乘务员用提示播音系统中，所述音频波形特征提取模块，用于：使用所述作为特征提取器的卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行沿通道维度的池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述作为特征提取器的卷积神经网络的最后一层的输出为所述音频波形图像特征矩阵，所述作为特征提取器的卷积神经网络的第一层的输入为所述预定时间段的待播放音频数据。
[0009]在上述飞机乘务员用提示播音系统中，所述特征融合模块，包括：特征矩阵展开单元，用于将所述飞机振动特征矩阵和所述音频波形图像特征矩阵展开为飞机振动特征向量和音频波形图像特征向量；仿射映射因数计算单元，用于计算所述飞机振动特征向量和所述音频波形图像特征向量之间的关联
‑
概率密度分布仿射映射因数以得到第一关联
‑
概率密度分布仿射映射因数和第二关联
‑
概率密度分布仿射映射因数；融合单元，用于以所述第一关联
‑
概率密度分布仿射映射因数和所述第二关联
‑
概率密度分布仿射映射因数作为权重，计算所述飞机振动特征矩阵和所述音频波形图像特征矩阵之间的按位置加权和以得到所述融合特征矩阵。
[0010]在上述飞机乘务员用提示播音系统中，所述仿射映射因数计算单元，用于：以如下优化公式计算所述飞机振动特征向量和所述音频波形图像特征向量的关联
‑
概率密度分布仿射映射因数以得到第一关联
‑
概率密度分布仿射映射因数和第二关联
‑
概率密度分布仿射映射因数；其中，所述优化公式为：所述优化公式为：其中表示所述飞机振动特征向量，表示所述音频波形图像特征向量，为所述飞机振动特征向量和所述音频波形图像特征向量之间的逐位置关联得到的关联矩阵，和是所述飞机振动特征向量和所述音频波形图像特征向量构成的高斯密度图的均值向量和协方差矩阵，表示矩阵乘法，表示表示矩阵的指数运算，所述矩阵的指数运算表示计算以矩阵中各个位置的特征值为幂的自然指数函数值，表示所述第一关联
‑
概率密度分布仿射映射因数，表示所述第二关联
‑
概率密度分布仿射映射因数。
[0011]在上述飞机乘务员用提示播音系统中，所述对抗生成网络包括生成器和鉴别器。
[0012]根据本专利技术的另一方面，提供了一种飞机乘务员用提示播音方法，其包括：获取由飞机乘务员提供的预定时间段的待播放音频数据，以及，所述预定时间段的飞机振动信号；对所述飞机振动信号进行频域特征分析以得到多个飞机振动频域统计特征；将所述飞机振动信号和所述多个飞机振动频域统计特征输入包含图像编码器和序列编码器的多模态联合编码器以得到飞机振动特征矩阵；将所述预定时间段的待播放音频数据通过作为特征提取器的卷积神经网络模型以得到音频波形图像特征矩阵；融合所述飞机振动特征矩阵和所述音频波形图像特征矩阵以得到融合特征矩阵；将所述融合特征矩阵通过基于对抗生成网
络的生成器以得到校正后待播放音频数据；以及播放所述校正后待播放音频数据。
[0013]根据本专利技术的再一方面，提供了一种电子设备，包括：处理器；以及，存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的飞机乘务员用提示播音方法。
[0014]根据本专利技术的又一方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的飞机乘务员用提示播音方法。
[0015]与现有技术相比，本专利技术提供的一种飞机乘务员用提示播音系统及其方法，其通过采用基于深度学习的神经网络模型融合播音的过程中的振动频域关联特征和音频波形语义特征，进一步基于飞机的振动情况自适应地对所述待播放音频数据进行校正以在进行音频信号传播前进行音频信号预补偿，通过这样的方式，避免音频信号因飞机波动会导致传播偏移以确保声音信号能够保真地传递本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种飞机乘务员用提示播音系统，其特征在于，包括：待播放数据采集模块，用于获取由飞机乘务员提供的预定时间段的待播放音频数据，以及，所述预定时间段的飞机振动信号；振动特征提取模块，用于对所述飞机振动信号进行频域特征分析以得到多个飞机振动频域统计特征；多模态编码模块，用于将所述飞机振动信号和所述多个飞机振动频域统计特征输入包含图像编码器和序列编码器的多模态联合编码器以得到飞机振动特征矩阵；音频波形特征提取模块，用于将所述预定时间段的待播放音频数据通过作为特征提取器的卷积神经网络模型以得到音频波形图像特征矩阵；特征融合模块，用于融合所述飞机振动特征矩阵和所述音频波形图像特征矩阵以得到融合特征矩阵；对抗生成模块，用于将所述融合特征矩阵通过基于对抗生成网络的生成器以得到校正后待播放音频数据；以及播音模块，用于播放所述校正后待播放音频数据。2.根据权利要求1所述的飞机乘务员用提示播音系统，其特征在于，所述图像编码器为作为过滤器的卷积神经网络模型，所述序列编码器为多尺度邻域特征提取模块，其中，所述多尺度邻域特征提取模块，包括：第一卷积层、与所述第一卷积层并行的第二卷积层，以及，与所述第一卷积层和所述第二卷积层连接的多尺度特征融合层，其中，所述第一卷积层使用具有第一长度的一维卷积核，所述第二卷积层使用具有第二长度的一维卷积核。3.根据权利要求2所述的飞机乘务员用提示播音系统，其特征在于，所述多模态编码模块，包括：频域特征提取单元，用于将所述多个飞机振动频域统计特征输入所述序列编码器以得到飞机振动频域统计特征向量；振动波形特征提取单元，用于将所述飞机振动信号输入所述图像编码器以得到飞机振动波形特征向量；以及联合优化单元，用于计算所述飞机振动波形特征向量的转置向量与所述飞机振动频域统计特征向量之间的向量乘积以得到所述音频波形图像特征矩阵。4.根据权利要求3所述的飞机乘务员用提示播音系统，其特征在于，所述音频波形特征提取模块，用于：使用所述作为特征提取器的卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行沿通道维度的池化以得到池化特征图；以及对所述池化特征图进行非线性激活以得到激活特征图；其中，所述作为特征提取器的卷积神经网络的最后一层的输出为所述音频波形图像特征矩阵，所述作为特征提取器的卷积神经网络的第一层的输入为所述预定时间段的待播放音频数据。5.根据权利要求4所述的飞机乘务员用提示播音系统，其特征在于，所述特征融合模块，包括：特征矩阵展开单元，用于将所述飞机振动特征矩阵和所述音频波形图像特征矩阵展开为飞机振动特征向量和音频波形图像特征向量；仿射映射因数计算单元，用于计算所述飞机振动特征向量和所述音频波形图像特征向量之间的关联
‑
概率密度分布仿射映射因数以得到第一关联
‑
概率密度分布仿射映射因数和第二关联
‑
概率密度分布仿射映射因数；融合单元，用于以所述第一关联
‑
概率密度分布仿射映射因数和...

【专利技术属性】
技术研发人员：贾超，
申请(专利权)人：滨州学院，
类型：发明
国别省市：