确定意图识别准确度的方法、装置及计算机设备制造方法及图纸

本申请公开了一种确定意图识别准确度的方法、装置及计算机设备，该方法包括：获取用于分析意图识别准确度的至少一条测试数据，每条该测试数据包括：一条语料以及该语料对应的多种意图的实际概率分布；针对每条测试数据中的语料，获取语音意图识别系统确定出的该语料对应的多种意图的预测概率分布；依据各条语料各自对应的实际概率分布以及预测概率分布，确定该语音意图识别系统识别意图的准确度。本申请可以实现确定语音意图识别系统从多种模糊意图中识别真实意图的准确程度。

Method, Device and Computer Equipment for Determining Accuracy of Intention Recognition

【技术实现步骤摘要】
确定意图识别准确度的方法、装置及计算机设备
本申请涉及语音处理
，尤其涉及一种确定意图识别准确度的方法、装置及计算机设备。
技术介绍
随着人工智能以及语音分析技术的不断发展，具备分析用户语音所对应的用户意图的语音意图识别系统也逐渐增多。如，智能音箱系统能够对智能音箱采集的用户语音进行识别，并基于识别出的用户语音分析用户意图，从而依据用户意图为用户提供音乐播放、视频播放、信息检索以及网上购物等服务。而由于人类自然语言的多样性和非规范性，用户输入的一句语音可能会存在模糊性，从而出现多种模糊意图的情况，即，针对该语音，有可能会被解析出多种用户意图。如，用户输入的语音为“给我找一下三国演义”，那么用户意图可能是“观看三国演义电视剧”、“播放三国演义的评书”或者“播放三国演义的主题曲”。在用户语音存在多种模糊意图的情况下，就需要语音意图识别系统从多种模糊意图中确定出真实的用户意图，并基于选取出的真实的用户意图为用户提供相应的服务。可见，在待识别语音存在多种模糊意图的情况下，语音意图识别系统能否准确确定用户的真实意图具有非常重要的意义，因此，如何判断语音意图识别系统是否准确识别出用户语音对应的真实意图是本领域技术人员需要解决的技术问题。
技术实现思路
有鉴于此，本申请提供了一种确定意图识别准确度的方法、装置及计算机设备，以确定出语音意图识别系统从多种模糊意图中识别真实意图的准确程度。为实现上述目的，本申请提供了如下方案：一方面，本申请提供了一种确定意图识别准确度的方法，包括：获取用于分析意图识别准确度的至少一条测试数据，每条所述测试数据包括：一条语料以及所述语料对应的多种意图的实际概率分布，其中，语料对应的实际概率分布用于表征该语料对应的多种意图分别属于该语料实际对应的真实意图的概率；针对每条测试数据中的语料，获取语音意图识别系统确定出的该语料对应的多种意图的预测概率分布，其中，语料对应的预测概率分布用于表征所述语音意图识别系统预测出的该语料对应的多种意图分别属于该语料对应的真实意图的概率；依据各条语料各自对应的实际概率分布以及预测概率分布，确定所述语音意图识别系统识别意图的准确度。在一种可能的实现方式中，所述依据各条语料各自对应的实际概率分布以及预测概率分布，确定所述语音意图识别系统识别意图的准确度，包括：针对每条语料，确定该语料的实际概率分布与预测概率分布之间的差异程度；依据各条语料各自的实际分布概率与预测概率分布之间的差异程度，确定所述语音意图识别系统识别意图的准确度。在又一种可能的情况中，所述至少一条测试数据为依据多条用户意图反馈数据得到，所述用户意图反馈数据包括语料以及用户反馈的该语料的真实意图；所述测试数据中语料对应的多种意图的实际概率分布为：依据多个不同用户对该语料反馈的真实意图，统计出的多种意图分别属于该语料对应的真实意图的实际概率。又一方面，本申请还提供了一种确定意图识别准确度的装置，包括：测试数据获取单元，用于获取用于分析意图识别准确度的至少一条测试数据，每条所述测试数据包括：一条语料以及所述语料对应的多种意图的实际概率分布，其中，语料对应的实际概率分布用于表征该语料对应的多种意图分别属于该语料实际对应的真实意图的概率；识别概率确定单元，用于针对每条测试数据中的语料，获取语音意图识别系统确定出的该语料对应的多种意图的预测概率分布，其中，语料对应的预测概率分布用于表征所述语音意图识别系统预测出的该语料对应的多种意图分别属于该语料对应的真实意图的概率；准确度确定单元，用于依据各条语料各自对应的实际概率分布以及预测概率分布，确定所述语音意图识别系统识别意图的准确度。又一方面，本申请还提供了一种计算机设备，包括：处理器和存储器；其中，所述处理器用于执行所述存储器中存储的程序；所述存储器用于存储程序，所述程序至少用于：获取用于分析意图识别准确度的至少一条测试数据，每条所述测试数据包括：一条语料以及所述语料对应的多种意图的实际概率分布，其中，语料对应的实际概率分布用于表征该语料对应的多种意图分别属于该语料实际对应的真实意图的概率；针对每条测试数据中的语料，获取语音意图识别系统确定出的该语料对应的多种意图的预测概率分布，其中，语料对应的预测概率分布用于表征所述语音意图识别系统预测出的该语料对应的多种意图分别属于该语料对应的真实意图的概率；依据各条语料各自对应的实际概率分布以及预测概率分布，确定所述语音意图识别系统识别意图的准确度。可见，本申请实施例，可以获取到用于对语音意图识别系统进行测试的测试数据，该测试数据包括：多条语料以及每条语料对应的多种意图的实际概率分布。在此基础上，针对每条测试数据中的语料，可以获取待分析的语音意图识别系统对该语料确定出的该语料对应的多种意图的预测概率分布，这样，结合各条语料实际对应的多种意图的实际概率分布以及该语音意图识别系统对各条语料分别分析出的预测概率分布，便可以确定出该语音意图识别系统理解语音并识别出用户意图的准确度，从而可以在语音存在多种意图的情况下，有效评判语音意图识别系统对该语音识别出的用户意图的准确程度。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1示出了本申请一种语音意图识别系统的一种组成架构示意图；图2示出了本申请的确定意图识别准确度的方法所适用的计算机设备的一种组成结构示意图；图3示出了本申请一种确定意图识别准确度的方法的一种流程示意图；图4示出了本申请中确定测试数据的一种实现流程示意图；图5a和图5b分别示出了语音意图识别系统在增加用户意图反馈前和增加用户意图反馈后的意图识别流程示意图；图6示出了本申请中确定测试数据的又一种实现流程示意图；图7示出了本申请一种确定意图识别准确度的方法的又一种流程示意图；图8示出了本申请一种确定意图识别准确度的装置的一种组成结构示意图。具体实施方式本申请实施例的方案适用于对任意语音意图识别系统的意图识别准确度进行评测。该语音意图识别系统用于对用户语音进行意图识别，以识别出用户语音所表达的意图。其中，本申请实施例的语音意图识别系统可以有多种可能，只要是能够对用户语音进行意图识别的系统均可。如，语音意图识别系统可以为智能音箱系统、聊天机器人系统等等。为了便于理解，先对本申请实施例中的语音意图识别系统进行介绍。为了便于描述以语音意图识别系统为智能音箱系统为例说明。如图1，其示出了本申请一种智能音箱系统的组成架构示意图。由图1可以看出，该智能音箱系统可以包括：智能音箱101以及至少一台服务器102。其中，智能音箱101与服务器102之间通过网络相连。其中，智能音箱101可以采用用户输入的用户语音，并基于该用户语音转换出的用户意图访问相应的服务器，以获取相应的数据信息，并将数据信息输出给用户。服务器102可以接收智能音箱的数据请求，并反馈相应的数据。可以理解的是，在实际应用中，对用户语音进行意图识别可以是由智能音箱完成。如，智能音箱在通过麦克风阵列采集到用户输入的用户语音之后，可以通过语音识别将用户语音本文档来自技高网...

【技术保护点】
1.一种确定意图识别准确度的方法，其特征在于，包括：获取用于分析意图识别准确度的至少一条测试数据，每条所述测试数据包括：一条语料以及所述语料对应的多种意图的实际概率分布，其中，语料对应的实际概率分布用于表征该语料对应的多种意图分别属于该语料实际对应的真实意图的概率；针对每条测试数据中的语料，获取语音意图识别系统确定出的该语料对应的多种意图的预测概率分布，其中，语料对应的预测概率分布用于表征所述语音意图识别系统预测出的该语料对应的多种意图分别属于该语料对应的真实意图的概率；依据各条语料各自对应的实际概率分布以及预测概率分布，确定所述语音意图识别系统识别意图的准确度。

【技术特征摘要】
1.一种确定意图识别准确度的方法，其特征在于，包括：获取用于分析意图识别准确度的至少一条测试数据，每条所述测试数据包括：一条语料以及所述语料对应的多种意图的实际概率分布，其中，语料对应的实际概率分布用于表征该语料对应的多种意图分别属于该语料实际对应的真实意图的概率；针对每条测试数据中的语料，获取语音意图识别系统确定出的该语料对应的多种意图的预测概率分布，其中，语料对应的预测概率分布用于表征所述语音意图识别系统预测出的该语料对应的多种意图分别属于该语料对应的真实意图的概率；依据各条语料各自对应的实际概率分布以及预测概率分布，确定所述语音意图识别系统识别意图的准确度。2.根据权利要求1所述的确定意图识别准确度的方法，其特征在于，所述依据各条语料各自对应的实际概率分布以及预测概率分布，确定所述语音意图识别系统识别意图的准确度，包括：针对每条语料，确定该语料的实际概率分布与预测概率分布之间的差异程度；依据各条语料各自的实际分布概率与预测概率分布之间的差异程度，确定所述语音意图识别系统识别意图的准确度。3.根据权利要求2所述的确定意图识别准确度的方法，其特征在于，所述确定该语料的实际概率分布与预测概率分布之间的差异程度，包括：确定该语料的实际概率分布与预测概率分布之间的交叉熵。4.根据权利要求3所述的确定意图识别准确度的方法，其特征在于，依据各条语料各自的实际分布概率与预测概率分布之间的差异程度，确定所述语音意图识别系统识别意图的准确度，包括：依据各条语料对应的交叉熵，计算该至少一条测试数据中所有语料对应的交叉熵的平均值；对该平均值进行归一化，得到用于评判所述语音意图识别系统识别用户意图的准确度的取值。5.根据权利要求2所述的确定意图识别准确度的方法，其特征在于，所述确定该语料的实际概率分布与预测概率分布之间的差异程度，包括以下任意一种或者两种：确定该语料的实际概率分布与预测概率分布之间的归一化折损累积增益NDCG；确定该语料的实际概率分布与预测概率分布之间的JS散度。6.根据权利要求1所述的确定意图识别准确度的方法，其特征在于，所述至少一条测试数据为依据多条用户意图反馈数据得到，所述用户意图反馈数据包括语料以及用户反馈的该语料的真实意图；所述测试数据中语料对应的多种意图的实际概率分布为：依据多个不同用户对该语料反馈的真实意图，统计出的多种意图分别属于该语料对应的真实意图的实际概率。7.根据权利要求6所述的确定意图识别准确度的方法，其特征在于，所述测试数据通过如下方式得到：监控语音意图识别系统对采集到的用户语音的处理；在语音意图识别系统确定所述用...

【专利技术属性】
技术研发人员：柴华，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44