一种管制语音识别系统的评估方法及装置制造方法及图纸

本发明专利技术公开了一种管制语音识别系统的评估方法及装置，方法包括以下步骤：S1.获取管制语音数据并进行分级，并输入；S2.建立评价指标体系；S3.确定不同质量等级管制语音数据效用层指标权重和支撑层指标权重；S4.计算效用层得分和支撑层得分，对得分进行加和得到效用层综合得分和支撑层综合得分；S5.根据所述综合得分，确定效用层权重和支撑层权重；S6.效用层权重和效用层综合得分的乘积加上支撑层权重和支撑层综合得分的乘积，得到待测语音识别系统综合得分，S7.根据所述待测语音识别系统综合得分，确定待测语音识别系统的识别性能等级。本发明专利技术克服了管制语音识别系统无法统一量化评估的问题。化评估的问题。化评估的问题。

【技术实现步骤摘要】
一种管制语音识别系统的评估方法及装置


[0001]本专利技术涉及语音识别领域，特别涉及一种管制语音识别系统的评估方法及装置。

技术介绍

[0002]现近年来随着航空业的不断发展，航班数量也逐年增多，这对保持空中交通畅通，保障飞行安全提出了更加严峻的挑战。空中交通管制员之间的沟通协调以及管制员向机组人员发送管制指令是调节飞行冲突、促进空中交通畅通、保障飞行安全的主要手段，因此正确理解管制语音对保障飞行安全具有重要意义。
[0003]语音识别系统可以将语音信息转化为文本信息，从而增加一种信息获取维度来防止管制员之间、管制员与飞行人员之间对信息的错误理解，同时也缓解管制员的工作负荷，保障了飞行安全。空中交通管制指令是一个有专业特色的语言，其主要特点为，其语速快、指令结构简洁、固定，发音特殊。当前阶段，语音识别系统质量参差不齐，不同的语音识别系统由于考虑不同的侧重点，如响应时间、准确率等指标，使得系统的性能，识别效果最终存在较大差异，缺乏一种语音识别系统质量评估的方法来对识别系统统一的进行量化评估。
[0004]在语音识别这一领域，目前的评估方法主要是针对声音质量、识别算法进行评估，针对语音识别系统的评估方法尚未有人提出。基于空中交通管制领域的特殊性，需要在传统系统评估方法的基础上提出一种针对空中交通管制领域的空管语音识别系统评估方法，克服管制领域语音识别系统无法统一量化评估问题。

技术实现思路

[0005]本专利技术的目的在于克服现有技术中语音识别系统无法统一量化评估的问题，提供 一种管制语音识别系统的评估方法及装置。
[0006]为了实现上述专利技术目的，本专利技术提供了以下技术方案：一种管制语音识别系统的评估方法，包括以下步骤：S1.获取管制语音数据并对所述管制语音数据进行质量等级划分，对待测语音识别系统输入分级的语音数据；S2.建立评价指标体系，所述评价指标体系的指标包括效用层指标和支撑层指标；S3.采用改进的群组G2法和改进的Critic法确定不同质量等级管制语音数据效用层指标权重和支撑层指标权重；S4.采用改进的TOPSIS法根据不同质量等级管制语音数据效用层指标权重和支撑层指标权重计算不同质量等级管制语音数据效用层得分和支撑层得分，对所述效用层得分和支撑层得分进行加和得到效用层综合得分和支撑层综合得分，所述改进的TOPSIS法是通过统计方法确定出指标的及对待测语音识别系统的识别性能进行打分，所述 是包含所述待测语音识别系统评价指标最优值的集合，所述是包含所述待测语音识别系统评价指标最差值的集合；
S5.根据所述效用层综合得分和支撑层综合得分，并采用改进的群组G2法和改进的Critic法确定待测语音识别系统效用层权重和支撑层权重；S6.所述效用层权重和所述效用层综合得分的乘积加上所述支撑层权重和所述支撑层综合得分的乘积，得到待测语音识别系统综合得分；S7.根据所述待测语音识别系统综合得分，确定待测语音识别系统的识别性能等级。
[0007]优选地，在步骤S2中，效用层指标包括准确率指标、识别速率指标，所述识别速率指标包括处理时耗，所述处理时耗是指从系统接收一个完整输入的管制语音数据的时刻起，至系统识别出结果并输出的时刻止，所消耗的时间。
[0008]优选地，所述准确率指标包括句准确率、字准确率和关键词准确率，所述关键词准确率的计算表达式为：其中，为关键词准确率，为一句话中关键词错误的个数， 为一句话中总的关键词个数。
[0009]优选地，在步骤S2中，所述支撑层指标包括可靠性指标和可维护性指标。
[0010]优选地，在步骤S4中，所述改进的TOPSIS法中所述指标的及计算公式如下：=(max{z
11
,z
21
…
z
n1
}，max{z
12
,z
22
,
…
z
n2
}，
…
max{z
1n
,z
2n
,
…
,z
nn
})=(min{z
11
,z
21
…
z
n1
}，min{z
12
,z
22
,
…
z
n2
}，
…
min{z
1n
,z
2n
,
…
,z
nn
})其中，z
11
是第一个系统的第一个指标值，z
21
是第二个系统的第一个指标值，z
22
是第二个系统的第二个指标值，z
2n
是第二个系统的第n个指标值，z
nn
是第n个系统的第n个指标值。
[0011]优选地，在步骤S7中，所述根据所述待测语音识别系统综合得分，确定待测语音识别系统的识别性能等级，确定原则为：0.0
‑
0.3分，含0.3分，识别性能等级为1级；0.3
‑
0.5分，含0.5分，识别性能等级为2级；0.5
ꢀ‑ꢀ
0.7分 ，含0.7分，识别性能等级为3级；0.7
‑
0.9分 ，含0.9分，识别性能等级为4级；0.9
‑
1.0分 ，含1.0分，识别性能等级为5级。
[0012]一种管制语音识别系统的评估装置，采用至少一个处理器和至少一个处理器通信连接的存储器，所述存储器存储有可被至少一个处理器执行的指令，所述指令被至少一个处理器执行，以使至少一个处理器能够执行所述方法的任意步骤。
[0013]与现有技术相比，本专利技术的有益效果：1. 改进后的TOPSIS评价方法克服了管制领域语音识别系统无法统一量化评估的问题，实现对空中交通管制语音识别系统进行单项指标和多项指标综合量化的评估；2. 本专利技术融合改进的群组G2法和改进的Critic法的综合法的方法来确定各个指标权重，该方法是主观赋权加客观赋权来最终确定权重的一种具体实现，该技术克服了主观赋权带来的片面以及客观赋权带来的偏离，使得评估效果可靠性更高。
附图说明
[0014]图1为本专利技术的流程图；
图2为本专利技术的指标树形图；图3为实施例的系统工作时间图。
具体实施方式
[0015]下面结合试验例及具体实施方式对本专利技术作进一步的详细描述。但不应将此理解为本专利技术上述主题的范围仅限于以下的实施例，凡基于本
技术实现思路
所实现的技术均属于本专利技术的范围。
实施例
[0016]如图1所示，本实施例包括以下步骤：S1.获取管制语音数据并对所述管制语音数据进行分级，对待测语音识别系统输入分级的语音数据；S2.建立评价指标体系，所述评价指标体系的指标包括效用层指标和支撑层指标；S3.采用改进的群组G2法和改进的Critic法确定不同质量等级管制语音数据效用层指标权重和支撑层指标权重；S4.采用改进的TOPSIS法本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种管制语音识别系统的评估方法，其特征在于，包括以下步骤：S1.获取管制语音数据并对所述管制语音数据进行质量等级划分，对待测语音识别系统输入分级的语音数据；S2.建立评价指标体系，所述评价指标体系的指标包括效用层指标和支撑层指标；S3.采用改进的群组G2法和改进的Critic法确定不同质量等级管制语音数据效用层指标权重和支撑层指标权重；S4.采用改进的TOPSIS法根据不同质量等级管制语音数据效用层指标权重和支撑层指标权重计算不同质量等级管制语音数据效用层得分和支撑层得分，对所述效用层得分和支撑层得分进行加和得到效用层综合得分和支撑层综合得分，所述改进的TOPSIS法是通过统计方法确定出指标的 及
ꢀꢀ
对待测语音识别系统的识别性能进行打分，所述 是包含所述待测语音识别系统评价指标最优值的集合，所述是包含所述待测语音识别系统评价指标最差值的集合；S5.根据所述效用层综合得分和支撑层综合得分，并采用改进的群组G2法和改进的Critic法确定待测语音识别系统效用层权重和支撑层权重；S6.所述效用层权重和所述效用层综合得分的乘积加上所述支撑层权重和所述支撑层综合得分的乘积，得到待测语音识别系统综合得分；S7.根据所述待测语音识别系统综合得分，确定待测语音识别系统的识别性能等级。2.根据权利要求1所述的一种管制语音识别系统的评估方法，其特征在于，在步骤S2中，效用层指标包括准确率指标、识别速率指标，所述识别速率指标包括处理时耗，所述处理时耗是指从系统接收一个完整输入的管制语音数据的时刻起，至系统识别出结果并输出的时刻止，所消耗的时间。3.根据权利要求2所述的一种管制语音识别系统的评估方法，其特征在于，所述准确率指标包括句准确率、字准确率和关键词准确率，所述关键词准确率的计算表达式为：其中, 为关键词准确率，为一句话中关键词错误的个数,
ꢀꢀ
为一句话中总的关键词个数。4.根据权利要求1所述的一种管制语音识别系统的评估方法，其特征在于，在步骤S2中，所述支撑层指标包括可靠性指标和可维护性指标。5.根据权利要求1所述的一种管制语音识别系统的评估方法，其特征在于，在步骤S4中，所述改进的TOPSIS法中所述指标的及计算公式如下：=(max{z
11
,z
21
…

【专利技术属性】
技术研发人员：潘卫军，蒋培元，王梓璇，张坚，蒋倩兰，王泆棣，吴岳洲，王玄，
申请(专利权)人：中国民用航空飞行学院，
类型：发明
国别省市：