一种文本预测方法和装置制造方法及图纸

本发明专利技术提供了一种文本预测方法和装置，其中，该方法包括：获取需要预测字符的文本，并对需要预测字符的所述文本中的字符进行处理，得到需要预测字符的所述文本的文本特征向量；利用变分自编码器对需要预测字符的所述文本的所述文本特征向量进行正态分布变换，得到需要预测字符的所述文本的语义空间；其中，所述语义空间包括：所述文本中字符之间的语义关系和正态分布变换后所述文本的特征向量；对需要预测字符的所述文本的特征向量进行处理，得到所述文本的预测字符。通过本发明专利技术实施例提供的文本预测方法和装置，可以提高文本预测的准确率。

【技术实现步骤摘要】
一种文本预测方法和装置
本专利技术涉及计算机
，具体而言，涉及一种文本预测方法和装置。
技术介绍
目前，语言预测模型大都基于线性模型得到，如长短时记忆力模型或注意力转换模型，这些语言预测模型的基本执行过程是，首先对所给文本建模，然后用文本中上一个字符得到的特征向量来预测下一个字符。这样的方法非常简单，但预测文本的准确率不高。
技术实现思路
为解决上述问题，本专利技术实施例的目的在于提供一种字符预测方法和装置。第一方面，本专利技术实施例提供了一种文本预测方法，包括：获取需要预测字符的文本，并对需要预测字符的所述文本中的字符进行处理，得到需要预测字符的所述文本的文本特征向量；利用变分自编码器对需要预测字符的所述文本的所述文本特征向量进行正态分布变换，得到需要预测字符的所述文本的语义空间；其中，所述语义空间包括：所述文本中字符之间的语义关系和正态分布变换后所述文本的特征向量；对需要预测字符的所述文本的特征向量进行处理，得到所述文本的预测字符。第二方面，本专利技术实施例还提供了一种文本预测装置，包括：获取模块，用于获取需要预测字符的文本，并对需要预测字符的所述文本中的字符进行处理，得到需要预测字符的所述文本的文本特征向量；处理模块，用于利用变分自编码器对需要预测字符的所述文本的所述文本特征向量进行正态分布变换，得到需要预测字符的所述文本的语义空间；其中，所述语义空间包括：所述文本中字符之间的语义关系和正态分布变换后所述文本的特征向量；预测模块，用于对需要预测字符的所述文本的特征向量进行处理，得到所述文本的预测字符。第三方面，本专利技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第一方面所述的方法的步骤。第四方面，本专利技术实施例还提供了一种文本预测装置，所述文本预测装置包括有存储器，处理器以及一个或者一个以上的程序，其中所述一个或者一个以上程序存储于所述存储器中，且经配置以由所述处理器执行上述第一方面所述的方法的步骤。本专利技术实施例上述第一方面至第四方面提供的方案中，通过利用变分自编码器对需要预测字符的所述文本的所述文本特征向量进行正态分布变换，得到需要预测字符的所述文本的语义空间，所述语义空间包括：所述文本中字符之间的语义关系和正态分布变换后所述文本的特征向量，与相关技术中语言预测模型先对文本建模，然后用文本中上一个字符的特征向量来预测下一个字符的方式相比，可以根据需要预测字符的所述文本的语义空间中记载的所述文本中字符之间的语义关系，对需要预测字符的所述文本的特征向量进行处理，得到所述文本的预测字符，提高了文本预测的准确率；而且，要预测字符的所述文本的语义空间中记载的所述文本中字符之间的语义关系，可以避免预测文本过程中出现的“梯度消失”现象，进一步提高了文本预测的准确率。为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1示出了本专利技术实施例1所提供的一种文本预测方法的流程图；图2示出了本专利技术实施例2所提供一种文本预测装置的结构示意图；图3示出了本专利技术实施例3所提供的另一种文本预测装置的结构示意图。具体实施方式目前，语言预测模型大都基于线性模型得到，如长短时记忆力模型或注意力转换模型，这些语言预测模型的基本执行过程是，首先对所给文本建模，然后用文本中前一个字符得到的特征向量来预测后一个字符。这样的方法非常简单，但预测文本的准确率不高。而且，现有的语言预测模型还容易受到“梯度消失”现象的影响。所述“梯度消失”，是指当文本的句子比较长的时候，语音预测模型会遗忘早期的文本字符，从而导致对文本中字符的预测出现错误。比如说，语言预测模型要去预测以下文本:“吃葡萄不吐葡萄皮，不吃葡萄倒吐葡萄皮”。当预测前半句的时候，由于文本的长度尚短，故模型可以准确地预测出“吃葡萄不吐葡萄皮”；但是，当要去预测文本后续的字符“倒吐葡萄皮”的时候，由于此时文本的长度较长，语音预测模型就很有可能遗忘已经预测的文本内容，也即“吃葡萄不吐葡萄皮”，只记住了刚才预测的“不吃葡萄”这个短语，这样一来，“倒吐葡萄皮”就很有可能被错误地预测为其他的短语，比如说“不吐葡萄皮”。所以说，在“梯度消失”现象的影响下，语言预测模型模型最终预测的结果可能是“吃葡萄不吐葡萄皮，不吃葡萄不吐葡萄皮”。从而导致预测得到的文本错误。基于此，本申请实施例提出一种字符预测方法和装置，通过利用变分自编码器对需要预测字符的所述文本的所述文本特征向量进行正态分布变换，得到需要预测字符的所述文本的语义空间，所述语义空间包括：所述文本中字符之间的语义关系和正态分布变换后所述文本的特征向量，与相关技术中语言预测模型先对文本建模，然后用文本中上一个字符的特征向量来预测下一个字符的方式相比，可以根据需要预测字符的所述文本的语义空间中记载的所述文本中字符之间的语义关系，对需要预测字符的所述文本的特征向量进行处理，得到所述文本的预测字符，提高了文本预测的准确率；而且，要预测字符的所述文本的语义空间中记载的所述文本中字符之间的语义关系，可以避免预测文本过程中出现的“梯度消失”现象，进一步提高了文本预测的准确率。在本申请以下各实施例中，术语“语言预测模型”和术语“语言模型”的含义相同。为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请做进一步详细的说明。实施例1本实施例提出一种文本预测方法，执行主体是服务器。所述服务器，可以采用现有技术中任何能够对文本进行预测的计算设备，这里不再一一赘述。参见图1所示的一种文本预测方法的流程图，本实施例提出一种文本预测方法，包括以下具体步骤：步骤100、获取需要预测字符的文本，并对需要预测字符的所述文本中的字符进行处理，得到需要预测字符的所述文本的文本特征向量。在上述步骤100中，所述需要预测字符的文本，是工作人员输入到服务器中的。在一个实施实施方式中去，所述需要预测字符的文本，可以是：“我爱中”或者“我爱北”。为了对需要预测字符的所述文本中的字符进行处理，得到需要预测字符的所述文本的文本特征向量，上述步骤100可以执行以下步骤(1)至步骤(3)：(1)利用语言模型对所述文本进行处理，得到所述文本中各字符的特征向量；(2)根据所述各字符的特征向量，组成所述文本的字符的字符向量组；(3)对所述字符向量组进行最大池化操作，得到所述文本的文本特征向量。在上述步骤(1)中，语言模型，可以是但不限于：长本文档来自技高网...

【技术保护点】
1.一种文本预测方法，其特征在于，包括：/n获取需要预测字符的文本，并对需要预测字符的所述文本中的字符进行处理，得到需要预测字符的所述文本的文本特征向量；/n利用变分自编码器对需要预测字符的所述文本的所述文本特征向量进行正态分布变换，得到需要预测字符的所述文本的语义空间；其中，所述语义空间包括：所述文本中字符之间的语义关系和正态分布变换后所述文本的特征向量；/n对需要预测字符的所述文本的特征向量进行处理，得到所述文本的预测字符。/n

【技术特征摘要】
1.一种文本预测方法，其特征在于，包括：
获取需要预测字符的文本，并对需要预测字符的所述文本中的字符进行处理，得到需要预测字符的所述文本的文本特征向量；
利用变分自编码器对需要预测字符的所述文本的所述文本特征向量进行正态分布变换，得到需要预测字符的所述文本的语义空间；其中，所述语义空间包括：所述文本中字符之间的语义关系和正态分布变换后所述文本的特征向量；
对需要预测字符的所述文本的特征向量进行处理，得到所述文本的预测字符。


2.根据权利要求1所述的方法，其特征在于，对需要预测字符的所述文本中的字符进行处理，得到需要预测字符的所述文本的文本特征向量，包括：
利用语言模型对所述文本进行处理，得到所述文本中各字符的特征向量；
根据所述各字符的特征向量，组成所述文本的字符的字符向量组；
对所述字符向量组进行最大池化操作，得到所述文本的文本特征向量。


3.根据权利要求1所述的方法，其特征在于，利用变分自编码器对需要预测字符的所述文本的所述文本特征向量进行正态分布变换，得到需要预测字符的所述文本的语义空间，包括：
利用变分自编码器中的均值网络对所述文本特征向量进行处理，得到所述文本的均值向量；
利用变分自编码器中的方差网络对所述文本特征向量进行处理，得到所述文本的协方差向量；
利用变分自编码器对所述文本的所述均值向量和所述协方差向量进行正态分布变换，得到所述文本的变换向量以及所述文本中字符之间的语义关系；
根据所述文本的均值向量、所述文本的协方差向量以及所述文本的变换向量，计算得到需要预测字符的所述文本的特征向量，从而得到需要预测字符的所述文本的语义空间。


4.根据权利要求3所述的方法，其特征在于，根据所述文本的均值向量、所述文本的协方差向量以及所述文本的变换向量，计算得到需要预测字符的所述文本的特征向量，包括：
通过以下公式计算对需要预测字符的所述文本的特征向量进行计算：
yT＝μ+σ×∈
其中，yT表示需要预测字符的所述文本的特征向量；μ表示所述文本的均值向量；σ表示所述文本的协方差向量；∈表示所述文本的变换向量。


5.根据权利要求1所述的方法，其特征在于，对需要预测字符的所述文本的特征向量进行处理，得到所述文本的预测字符，包括：
获取字典，所述字典，包括：多个字符；

【专利技术属性】
技术研发人员：韩庆宏，李纪为，
申请(专利权)人：北京香侬慧语科技有限责任公司，
类型：发明
国别省市：北京;11