确定分类器、确定生成器、识别命令的方法及设备技术

本公开提供了确定分类器、确定生成器、识别命令的方法及设备。所述确定分类器的方法包括：通过与正常命令对应的第一训练数据和与异常命令对应的第二训练数据来优化第一损失函数的参数和第二损失函数的参数，以确定基于优化的参数的分类器。根据本公开，可提高命令识别能力。

【技术实现步骤摘要】
确定分类器、确定生成器、识别命令的方法及设备
本公开总体说来涉及智能语音或智能对话技术，更具体地讲，涉及一种确定分类器、确定生成器、识别命令的方法及设备。
技术介绍
在接收到诸如文本、语音等形式的命令(例如，用户命令)后，智能语音助手或智能对话系统会分析用户命令中所包含的意图，该意图对应至少一个操作(例如，回复操作)；随后，执行所述至少一个操作。这样的任务可被称为用户意图理解，完成这样的任务的模块可被称为自然语言理解(NaturalLanguageUnderstanding，NLU)模块。NLU模块是智能语音助手或智能对话系统中的重要部件。NUL模块通常可包括意图分类器(以下可简称为分类器)，该分类器可接收用户命令作为分类器输入；分类器输出是预定义的意图(可被称作标签或类别)。实际操作中的用户命令是多样化的，不可能为所有可能的用户命令定义意图。在这种情况下，可将如下的用户命令称作正常命令：存在与将该用户命令输入到分类器后获得的输出对应的预定义意图；可将如下的用户命令称作异常命令或域外(Out-of-Domain，OOD)命令：不存在与将该用户命令输入到分类器后获得的输出对应的预定义意图。用户在实际使用过程中不知道NLU模块支持的用户命令(即正常命令)，导致NLU模型可能接收到各种各样的用户命令，这些命令可能既包括NLU模块支持的用户命令，也包括NLU模块不支持的用户命令(即异常命令)。对异常命令的识别可被称为异常命令检测，对用户命令(尤其是异常命令)的检测(或识别)能力通常是NLU模块(例如，NLU模块所包括的分类器)性能的重要衡量指标。可为分类器预定义对应于正常命令的n(n为大于1的自然数)种标签，以及对应于异常命令的第n+1种标签。可设置一个损失函数，并且利用训练数据对所述损失函数的参数进行优化，随后，确定基于优化的参数的分类器，其中，训练数据可包括n个标签、与所述n个标签中的每个标签对应的正常命令、第n+1个标签、以及与第n+1个标签对应的异常命令。当输入的用户命令被训练的分类器预测为属于第n+1个标签时，可认为输入的用户命令被预测为异常命令。在训练分类器的过程中，使用同一损失函数对用于训练的正常命令和异常命令进行计算，并且用于训练的正常命令针对n个标签(即类别)，而用于训练的异常命令针对一个标签，这将导致当异常命令的数量超过预定数值时，训练的分类器对于正常命令的识别能力降低。另外，基于现有方法不能产生与正常命令的相似程度高达一定程度的异常命令用于分类器训练，导致基于现有方法训练的分类器不能有效识别与正常命令的相似程度高于预定程度的异常命令。
技术实现思路
本公开的示例性实施例旨在克服现有的智能语音或智能对话技术中命令识别能力差的缺陷。根据本公开的示例实施例，提供了一种确定分类器的方法，包括：通过与正常命令对应的第一训练数据和与异常命令对应的第二训练数据来优化第一损失函数的参数和第二损失函数的参数，以确定基于优化的参数的分类器。可选的，第一损失函数是预测分布函数的负对数的数学期望，和/或，第二损失函数是预测分布函数的负信息熵的数学期望。可选的，优化第一损失函数的参数和第二损失函数的参数的步骤包括：将第一损失函数和第二损失函数的加权和作为第三损失函数；通过第一训练数据和第二训练数据来优化第三损失函数中的预测分布函数的参数，其中，优化第三损失函数中的预测分布函数的参数的步骤包括：通过第一训练数据计算第一损失函数的值；通过第二训练数据计算第二损失函数的值；通过第一损失函数的值和第二损失函数的值来计算第三损失函数的值；通过第三损失函数的值来优化预测分布函数的参数。根据本公开的另一示例性实施例，提供了一种确定生成器的方法，包括：通过第一优化操作优化生成器，使得正常命令通过编码器的编码产生的第一表示向量与噪声通过生成器生成的第二表示向量之间的相似度在预定相似度以上；通过第二优化操作优化生成器，使得与通过解码器对所述第二表示向量进行解码得到的异常命令对应的标签之间的差异在预定差异以下。可选的，所述的方法还包括：通过优化的生成器和解码器产生异常命令。可选的，所述的方法还包括：通过编码器将第三训练数据中的命令编码为表示向量，其中，第三训练数据包括正常命令或者包括正常命令和异常命令；为编码产生的表示向量添加噪声；通过解码器将添加噪声的表示向量解码为命令；根据解码产生的命令与未经过编码的对应命令之间的相似度，对编码器和解码器的参数进行优化。可选的，所述的方法还包括：通过编码器和解码器获得第四训练数据中的命令先后经过编码和解码之后的解码结果，其中，第四训练数据包括正常命令和与正常命令对应的标签；根据第四训练数据中的命令的标签与对应的解码结果之间的相似度，对辅助分类器的参数进行优化，其中，辅助分类器用于确定表示向量被编码为的命令的标签。根据本公开的另一示例性实施例，提供了一种确定分类器的方法，包括：通过以上确定分类器的方法确定分类器，其中，第二训练数据包括使噪声先后经过生成器和解码器后产生的异常命令，生成器通过以上确定生成器的方法确定。根据本公开的另一示例性实施例，提供了一种识别命令的方法，包括：基于分类器计算输入的命令相对于多个标签的概率；根据所述概率，确定所述命令的检测分数；根据所述检测分数，确定所述命令为正常命令或异常命令。可选的，所述分类器通过以上确定分类器的方法确定。根据本公开的另一示例性实施例，提供了一种包括至少一个计算装置和至少一个存储指令的存储装置的电子设备，其中，所述指令在被所述至少一个计算装置运行时，促使所述至少一个计算装置执行如上所述的方法。根据本公开的另一示例性实施例，提供了一种存储指令的计算机可读存储介质，其中，当所述指令被至少一个计算装置运行时，促使所述至少一个计算装置执行如上所述的方法。根据本公开的另一示例性实施例，提供了一种确定分类器的设备，包括：确定单元，通过与正常命令对应的第一训练数据和与异常命令对应的第二训练数据来优化第一损失函数的参数和第二损失函数的参数，以确定基于优化的参数的分类器。可选的，第一损失函数是预测分布函数的负对数的数学期望，和/或，第二损失函数是预测分布函数的负信息熵的数学期望。可选的，确定单元将第一损失函数和第二损失函数的加权和作为第三损失函数；通过第一训练数据和第二训练数据来优化第三损失函数中的预测分布函数的参数，其中，优化第三损失函数中的预测分布函数的参数的步骤包括：通过第一训练数据计算第一损失函数的值；通过第二训练数据计算第二损失函数的值；通过第一损失函数的值和第二损失函数的值来计算第三损失函数的值；通过第三损失函数的值来优化预测分布函数的参数。根据本公开的另一示例性实施例，提供了一种确定生成器的设备，包括：确定单元，通过第一优化操作优化生成器，使得正常命令通过编码器的编码产生的第一表示向量与噪声通过生成器生成的第二表示向量之间的相似度在预定相似度以上；通过第二优化操作优化生成器，使得与通过解码器对所述第二表示向量本文档来自技高网...

【技术保护点】
1.一种确定分类器的方法，包括：/n通过与正常命令对应的第一训练数据和与异常命令对应的第二训练数据来优化第一损失函数的参数和第二损失函数的参数，以确定基于优化的参数的分类器。/n

【技术特征摘要】
1.一种确定分类器的方法，包括：
通过与正常命令对应的第一训练数据和与异常命令对应的第二训练数据来优化第一损失函数的参数和第二损失函数的参数，以确定基于优化的参数的分类器。


2.如权利要求1所述的方法，其中，
第一损失函数是预测分布函数的负对数的数学期望，和/或，
第二损失函数是预测分布函数的负信息熵的数学期望。


3.如权利要求1或2所述的方法，其中，优化第一损失函数的参数和第二损失函数的参数的步骤包括：
将第一损失函数和第二损失函数的加权和作为第三损失函数；
通过第一训练数据和第二训练数据来优化第三损失函数中的预测分布函数的参数，
其中，优化第三损失函数中的预测分布函数的参数的步骤包括：通过第一训练数据计算第一损失函数的值；通过第二训练数据计算第二损失函数的值；通过第一损失函数的值和第二损失函数的值来计算第三损失函数的值；通过第三损失函数的值来优化预测分布函数的参数。


4.一种确定生成器的方法，包括：
通过第一优化操作优化生成器，使得正常命令通过编码器的编码产生的第一表示向量与噪声通过生成器生成的第二表示向量之间的相似度在预定相似度以上；
通过第二优化操作优化生成器，使得与通过解码器对所述第二表示向量进行解码得到的异常命令对应的标签之间的差异在预定差异以下。


5.如权利要求4所述的方法，还包括：
通过优化的生成器和解码器产生异常命令。


6.如权利要求4所述的方法，还包括：
通过编码器将第三训练数据中的命令编码为表示向量，其中，第三训练数据包括正常命令或者包括正常命令和异常命令；
为编码产生的表示向量添加噪声；
通过解码器将添加噪声的表示向量解码为命令；
根据解码产生的命令与未经过编码的对应命令之间的相似度，对编码器和解码器的参数进行优化。


7.如权利要求4所述的方法，还包括：
通过编码器和解码器获得第四训练数据中的命令先后经过编码和解码之后的解码结果，其中，第四训练数据包括正常命令和与正常命令对应的标签；
根据第四训练数据中的命令的标签与对应的解码结果之间的相似度，对辅助分类器的参数进行优化，其中，辅助分类器用于确定表示向量被编码为的命令的标签。


8.一种确定分类器的方...

【专利技术属性】
技术研发人员：郑银河，刘松，
申请(专利权)人：北京三星通信技术研究有限公司，三星电子株式会社，
类型：发明
国别省市：北京;11