词序识别性能的分析方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种词序识别性能的分析方法、装置、设备及存储介质，该方法包括：获取至少一条已调序语句以及该已调序语句中调序词的初始位置和调整后位置；利用待测试的神经网络模型转换出该已调序语句对应的语句向量；针对每条该已调序语句，依据该已调序语句的语句向量以及训练出的位置预测模型，预测该调序词的第一预测位置以及第二预测位置；依据该至少一条已调序语句中该调序词各自对应的初始位置、调整后位置、第一预测位置以及第二预测位置，得到用于表征神经网络模型识别词序信息性能的位置预测准确度。本申请的方案可以实现有效的分析出神经网络对于词序信息的识别性能。

Analysis method, device, equipment and storage medium of word order recognition performance

【技术实现步骤摘要】
词序识别性能的分析方法、装置、设备及存储介质
本申请涉及神经网络
，尤其涉及一种词序识别性能的分析方法、装置、设备及存储介质。
技术介绍
神经网络模型已经成为人工智能领域的一种核心模型。如，神经网络模型可以应用于自然语言处理中，以实现语音识别或者机器翻译等等任务。在自然语言处理中，词序信息是一种非常重要的信息维度，其中，词序是指词在词组或句子里的先后次序。由此可知，神经网络对于词序信息的识别能力(俗称的词序捕获能力)是评价神经网络对自然语言处理的处理性能的一种重要维度。而神经网络对自然语言处理任务的处理性能却与多种因素有关，如，利用神经网络进行机器翻译任务时，翻译质量不仅仅与词序有关，还会与词法、语义以及语句流畅度等因素有关，由此可知，基于神经网络对自然语言处理任务的处理结果很难有效评价神经网络的词序识别性能。基于此，如何分析出不同神经网络对于词序的识别性能是本领域技术人员迫切需要解决的技术问题。
技术实现思路
有鉴于此，本申请提供了一种词序识别性能的分析方法、装置、设备及存储介质，以实现有效的分析出神经网络对于词序的识别性能。为实现上述目的，本申请提供了如下方案：一方面，本申请提供了一种词序识别性能的分析方法，包括：获取至少一条已调序语句以及所述已调序语句中调序词的初始位置和调整后位置，所述已调序语句为通过调整初始语句中所述调序词的位置得到，所述初始位置为所述调序词在所述初始语句中的位置，所述调整后位置为所述调序词在所述已调序语句中的位置；利用待测试的神经网络模型转换出所述已调序语句对应的语句向量；针对每条所述已调序语句，依据所述已调序语句的语句向量以及训练出的位置预测模型，预测所述调序词的第一预测位置以及第二预测位置，所述第一预测位置为预测出的所述初始位置，所述第二预测位置为预测出的所述调整后位置；依据所述至少一条已调序语句中所述调序词各自对应的初始位置、调整后位置、第一预测位置以及第二预测位置，得到位置预测准确度，所述位置预测准确度用于表征所述神经网络模型识别词序信息的性能。在一种可能的实现方式中，所述依据所述已调序语句的语句向量以及训练出的位置预测模型，预测所述调序词的第一预测位置以及第二预测位置，包括：利用训练出的位置预测模型中语句向量与调整后位置的第一函数关系，并基于所述已调序语句的语句向量确定第一预测位置；利用所述位置预测模型中语句向量与初始位置的第二函数关系，并基于所述已调序语句的语句向量确定出第二预测位置。在又一种可能的实现方式中，所述利用训练出的位置预测模型中语句向量与调整后位置的第一函数关系，并基于所述已调序语句的语句向量确定第一预测位置，包括：利用训练出的位置预测模型中语句向量与调整后位置的概率分布之间的第一函数关系，确定所述已调序语句的语句向量对应的第一概率分布，所述第一概率分布用于表征所述已调序语句中各个词所处的位置分别属于所述调整后位置的概率分布；基于所述第一概率分布，将所述已调序语句中各个词所处的位置中，对应的概率最大的位置确定为第一预测位置。在又一种可能的实现方式中，所述利用所述位置预测模型中语句向量与初始位置的第二函数关系，并基于所述已调序语句的语句向量确定出第二预测位置，包括：利用所述位置预测模型中所述第一概率分布以及所述已调序语句的语句向量与调序词向量之间的转换函数，确定出所述调序词的预测向量；利用所述位置预测模型中所述已调序语句的语句向量以及所述调序词的预测向量与初始位置的概率分布之间的第二函数关系，确定出第二概率分布，所述第二概率分布用于表征所述已调序语句中各个词所处的位置属于所述初始位置的概率分布；基于所述第二概率分布，将所述已调序语句中各个词所处的位置中，对应的概率最大的位置确定为第二预测位置。在一种可能的实现方式中，所述位置预测模型为在训练出所述待测试的神经网络模型之后，利用已标注有调序词的初始位置和调整后位置的多个已调序语句样本训练得到；或者，所述位置预测模型和所述神经网络模型为利用已标注有调序词的初始位置和调整后位置的多个已调序语句样本同步训练得到。又一方面，本申请还提供了一种词序识别性能的分析装置，包括：语句获取单元，用于获取至少一条已调序语句以及所述已调序语句中调序词的初始位置和调整后位置，所述已调序语句为通过调整初始语句中所述调序词的位置得到，所述初始位置为所述调序词在所述初始语句中的位置，所述调整后位置为所述调序词在所述已调序语句中的位置；语句处理单元，用于利用待测试的神经网络模型转换出所述已调序语句对应的语句向量；位置预测单元，用于针对每条所述已调序语句，依据所述已调序语句的语句向量以及训练出的位置预测模型，预测所述调序词的第一预测位置以及第二预测位置，所述第一预测位置为预测出的所述初始位置，所述第二预测位置为预测出的所述调整后位置；性能分析单元，用于依据所述至少一条已调序语句中所述调序词各自对应的初始位置、调整后位置、第一预测位置以及第二预测位置，得到位置预测准确度，所述位置预测准确度用于表征所述神经网络模型识别词序信息的性能。又一方面，本申请还提供了一种计算机设备，包括：处理器和存储器；所述处理器，用于调用并执行所述存储器中存储的程序；所述存储器用于存储所述程序，所述程序至少用于：获取至少一条已调序语句以及所述已调序语句中调序词的初始位置和调整后位置，所述已调序语句为通过调整初始语句中所述调序词的位置得到，所述初始位置为所述调序词在所述初始语句中的位置，所述调整后位置为所述调序词在所述已调序语句中的位置；利用待测试的神经网络模型转换出所述已调序语句对应的语句向量；针对每条所述已调序语句，依据所述已调序语句的语句向量以及训练出的位置预测模型，预测所述调序词的第一预测位置以及第二预测位置，所述第一预测位置为预测出的所述初始位置，所述第二预测位置为预测出的所述调整后位置；依据所述至少一条已调序语句中所述调序词各自对应的初始位置、调整后位置、第一预测位置以及第二预测位置，得到位置预测准确度，所述位置预测准确度用于表征所述神经网络模型识别词序信息的性能。又一方面，本申请还提供了一种存储介质，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现如上任一项所述的词序识别性能的分析方法。经由上述的技术方案可知，在本申请实施例中在获得已存在词序调整的已调序语句之后，利用待测试的神经网络模型转换出该已调序语句的语句向量，由于该语句向量可以表征的出该已调序语句中各个词之间位置关系以及词之间语义等与词序有关的信息，因此，如果神经网络模型对于语句中词序信息的捕获能力越强，神经网络模型转换出的语句向量所能反映出的词序信息也会越接近实际情况。在此基础上，在训练出的位置预测模型固定的情况下，神经网络模型对词序信息的捕获能力越强，该位置预测模型基于该神经网络模型转换出该语句向量预测出的该已调序语句中调序词的初始位置和调整后位置与实际情况越贴近，使得基于该语句向量所得到的位置预测准确度也越高，因此，通过本申请的方案分析出的位置预测准确度可以准确、有效的反映出神经网络模型识别词序信息的性能的高低。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅本文档来自技高网...

【技术保护点】
1.一种词序识别性能的分析方法，其特征在于，包括：获取至少一条已调序语句以及所述已调序语句中调序词的初始位置和调整后位置，所述已调序语句为通过调整初始语句中所述调序词的位置得到，所述初始位置为所述调序词在所述初始语句中的位置，所述调整后位置为所述调序词在所述已调序语句中的位置；利用待测试的神经网络模型转换出所述已调序语句对应的语句向量；针对每条所述已调序语句，依据所述已调序语句的语句向量以及训练出的位置预测模型，预测所述调序词的第一预测位置以及第二预测位置，所述第一预测位置为预测出的所述初始位置，所述第二预测位置为预测出的所述调整后位置；依据所述至少一条已调序语句中所述调序词各自对应的初始位置、调整后位置、第一预测位置以及第二预测位置，得到位置预测准确度，所述位置预测准确度用于表征所述神经网络模型识别词序信息的性能。

【技术特征摘要】
1.一种词序识别性能的分析方法，其特征在于，包括：获取至少一条已调序语句以及所述已调序语句中调序词的初始位置和调整后位置，所述已调序语句为通过调整初始语句中所述调序词的位置得到，所述初始位置为所述调序词在所述初始语句中的位置，所述调整后位置为所述调序词在所述已调序语句中的位置；利用待测试的神经网络模型转换出所述已调序语句对应的语句向量；针对每条所述已调序语句，依据所述已调序语句的语句向量以及训练出的位置预测模型，预测所述调序词的第一预测位置以及第二预测位置，所述第一预测位置为预测出的所述初始位置，所述第二预测位置为预测出的所述调整后位置；依据所述至少一条已调序语句中所述调序词各自对应的初始位置、调整后位置、第一预测位置以及第二预测位置，得到位置预测准确度，所述位置预测准确度用于表征所述神经网络模型识别词序信息的性能。2.根据权利要求1所述的词序识别性能的分析方法，其特征在于，所述依据所述已调序语句的语句向量以及训练出的位置预测模型，预测所述调序词的第一预测位置以及第二预测位置，包括：利用训练出的位置预测模型中语句向量与调整后位置的第一函数关系，并基于所述已调序语句的语句向量确定第一预测位置；利用所述位置预测模型中语句向量与初始位置的第二函数关系，并基于所述已调序语句的语句向量确定出第二预测位置。3.根据权利要求2所述的词序识别性能的分析方法，其特征在于，所述利用训练出的位置预测模型中语句向量与调整后位置的第一函数关系，并基于所述已调序语句的语句向量确定第一预测位置，包括：利用训练出的位置预测模型中语句向量与调整后位置的概率分布之间的第一函数关系，确定所述已调序语句的语句向量对应的第一概率分布，所述第一概率分布用于表征所述已调序语句中各个词所处的位置分别属于所述调整后位置的概率分布；基于所述第一概率分布，将所述已调序语句中各个词所处的位置中，对应的概率最大的位置确定为第一预测位置。4.根据权利要求3所述的词序识别性能的分析方法，其特征在于，所述利用所述位置预测模型中语句向量与初始位置的第二函数关系，并基于所述已调序语句的语句向量确定出第二预测位置，包括：利用所述位置预测模型中所述第一概率分布以及所述已调序语句的语句向量与调序词向量之间的转换函数，确定出所述调序词的预测向量；利用所述位置预测模型中所述已调序语句的语句向量以及所述调序词的预测向量与初始位置的概率分布之间的第二函数关系，确定出第二概率分布，所述第二概率分布用于表征所述已调序语句中各个词所处的位置属于所述初始位置的概率分布；基于所述第二概率分布，将所述已调序语句中各个词所处的位置中，对应的概率最大的位置确定为第二预测位置。5.根据权利要求3所述词序识别性能的分析方法，其特征在于，所述利用训练出的位置预测模型中语句向量与调整后位置的概率分布之间的第一函数关系，确定所述已调序语句的语句向量对应的第一概率分布，包括：基于训练出的位置预测模型中的如下第一函数关系，确定出所述已调序语句的语句向量对应的第一概率分布PI：其中，H为所述已调序语句的语句向量，UI为训练所述位置预测模型的过程中确定出的第一参数矩阵，WI为训练所述位置预测模型的过程中确定出的第二参数矩阵；softmax为归一化函数。6.根据权利要求4所述的词序识别性能的分析方法，其特征在于...

【专利技术属性】
技术研发人员：王龙跃，涂兆鹏，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44