模型训练方法及装置和错别字识别方法及装置制造方法及图纸

本申请公开了一种模型训练方法及装置和错别字识别方法及装置。其中，该模型训练方法包括：从预设文本数据源中提取文本信息，其中，预设文本数据源中所包含的文本为不包含有错别字的文本；确定出文本信息中每个词语对应的词向量，其中，词向量为用于唯一表示词语的多维数组；以文本信息中的语句为单位，将每条语句中的每个词语对应的词向量输入到记忆神经网络，训练得到神经网络模型，其中，神经网络模型用于识别文本中的错别字。本申请解决了现有技术中文本中错别字的识别率低的技术问题。

【技术实现步骤摘要】
模型训练方法及装置和错别字识别方法及装置
本申请涉及文本处理领域，具体而言，涉及一种模型训练方法及装置和错别字识别方法及装置。
技术介绍
文本是记载信息的重要载体。由于文本大都是人工编辑的，而人工编辑难免会出现失误，从而使得文本中出现错别字。对于文本中错别字的识别，目前通常采用人工建立正确的词汇库，并进行文本匹配，来识别错别字的方式，然而这种很难找到全面、正确的词汇库，致使漏检率较高，进而导致文本中错别字的识别率低。针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
本申请实施例提供了一种模型训练方法及装置和错别字识别方法及装置，以至少解决现有技术中文本中错别字的识别率低的技术问题。根据本申请实施例的一个方面，提供了一种模型训练方法，包括：从预设文本数据源中提取文本信息，其中，所述预设文本数据源中所包含的文本为不包含有错别字的文本；确定出所述文本信息中每个词语对应的词向量，其中，所述词向量为用于唯一表示词语的多维数组；以文本信息中的语句为单位，将每条语句中的每个词语对应的词向量输入到记忆神经网络，训练得到神经网络模型，其中，所述神经网络模型用于识别文本中的错别字。进一步地，在确定出所述文本信息中每个词语对应的词向量之前，所述模型训练方法还包括：获取目标文本库，所述目标文本库所包含的文本为不包含有错别字的文本；利用词向量模型对所述目标文本库进行训练，以生成所述目标文本库中的词语对应的词向量，得到第一训练集。进一步地，确定出所述文本信息中每个词语对应的词向量包括：对所述文本信息进行分词处理，得到第二训练集；从所述第一训练集中查找所述第二训练集中每个词语对应的词向量。进一步地，在将每条语句中的每个词语对应的词向量输入到记忆神经网络之前，所述模型训练方法还包括：将每条语句中的每个词语对应的词向量标记为预设标识，其中，所述预设标识表示词向量对应的词语为非错别字，以使得在利用所述神经网络模型识别出非错别字时，将非错别字的词语标记为所述预设标识。根据本申请实施例的另一方面，还提供了一种错别字识别方法，包括：对待测文本进行分词处理，确定出每个词语对应的词向量；以所述待测文本中的语句为单位，将每条语句中的每个词语对应的词向量输入到神经网络模型中，利用所述神经网络模型识别出所述待测文本中的错别字。根据本申请实施例的另一方面，还提供了一种模型训练装置，包括：提取单元，用于从预设文本数据源中提取文本信息，其中，所述预设文本数据源中所包含的文本为不包含有错别字的文本；确定单元，用于确定出所述文本信息中每个词语对应的词向量，其中，所述词向量为用于唯一表示词语的多维数组；训练单元，用于以文本信息中的语句为单位，将每条语句中的每个词语对应的词向量输入到记忆神经网络，训练得到神经网络模型，其中，所述神经网络模型用于识别文本中的错别字。进一步地，所述模型训练装置还包括：获取单元，用于在确定出所述文本信息中每个词语对应的词向量之前，获取目标文本库，所述目标文本库所包含的文本为不包含有错别字的文本；生成单元，用于利用词向量模型对所述目标文本库进行训练，以生成所述目标文本库中的词语对应的词向量，得到第一训练集。进一步地，所述确定单元包括：分词模块，用于对所述文本信息进行分词处理，得到第二训练集；查询模块，用于从所述第一训练集中查找所述第二训练集中每个词语对应的词向量。进一步地，所述模型训练装置还包括：标记单元，用于在将每条语句中的每个词语对应的词向量输入到记忆神经网络之前，将每条语句中的每个词语对应的词向量标记为预设标识，其中，所述预设标识表示词向量对应的词语为非错别字，以使得在利用所述神经网络模型识别出非错别字时，将非错别字的词语标记为所述预设标识。根据本申请实施例的另一方面，还提供了一种错别字识别装置，包括：向量确定单元，用于对待测文本进行分词处理，确定出每个词语对应的词向量；识别单元，用于以所述待测文本中的语句为单位，将每条语句中的每个词语对应的词向量输入到神经网络模型中，利用所述神经网络模型识别出所述待测文本中的错别字。根据本申请实施例，通过从预设文本数据源中提取文本信息，其中，预设文本数据源中所包含的文本为不包含有错别字的文本，确定出文本信息中每个词语对应的词向量，其中，词向量为用于唯一表示词语的多维数组，以文本信息中的语句为单位，将每条语句中的每个词语对应的词向量输入到记忆神经网络，训练得到神经网络模型，以便于利用神经网络模型来识别文本中的错别字，提高了对文本中错别字的识别率，解决了现有技术中文本中错别字的识别率低的技术问题。附图说明此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1是根据本申请实施例的模型训练方法的流程图；图2是根据本申请实施例的错别字识别方法的流程图；图3是根据本申请实施例的模型训练装置的示意图；图4是根据本申请实施例的错别字识别装置的示意图。具体实施方式为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。根据本申请实施例，提供了一种模型训练方法的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。图1是根据本申请实施例的模型训练方法的流程图，如图1所示，该方法包括如下步骤：步骤S102，从预设文本数据源中提取文本信息，其中，预设文本数据源中所包含的文本为不包含有错别字的文本。预设文本数据源可以是人民日报、中国政府网等资源网站，可以是经过纠正后不包含有错别字的文本数据源。该预设文本数据源中包含有大量的没有错别字的文本，从中提取出这些文本信息。步骤S104，确定出文本信息中每个词语对应的词向量，其中，词向量为用于唯一表示词语的多维数组。对上述提取出的文本信息，确定出其中每个词语对应的词向量，每个词语的词向量用一组多维数组来表示，不同的词语对应的词向量各不相同。其中，词语的词向量可以是已经预先定义好的，在提取出文本信息之后，从预先定义的词向量中查询出文本信息中每个词语的向量。也可以按照预先设定的词向量生成规则，生成每个词语的词向量。步骤S106，以文本信息中的语句为单位，将每条语句中的每个本文档来自技高网...

【技术保护点】
一种模型训练方法，其特征在于，包括：从预设文本数据源中提取文本信息，其中，所述预设文本数据源中所包含的文本为不包含有错别字的文本；确定出所述文本信息中每个词语对应的词向量，其中，所述词向量为用于唯一表示词语的多维数组；以文本信息中的语句为单位，将每条语句中的每个词语对应的词向量输入到记忆神经网络，训练得到神经网络模型，其中，所述神经网络模型用于识别文本中的错别字。

【技术特征摘要】
1.一种模型训练方法，其特征在于，包括：从预设文本数据源中提取文本信息，其中，所述预设文本数据源中所包含的文本为不包含有错别字的文本；确定出所述文本信息中每个词语对应的词向量，其中，所述词向量为用于唯一表示词语的多维数组；以文本信息中的语句为单位，将每条语句中的每个词语对应的词向量输入到记忆神经网络，训练得到神经网络模型，其中，所述神经网络模型用于识别文本中的错别字。2.根据权利要求1所述的模型训练方法，其特征在于，在确定出所述文本信息中每个词语对应的词向量之前，所述模型训练方法还包括：获取目标文本库，所述目标文本库所包含的文本为不包含有错别字的文本；利用词向量模型对所述目标文本库进行训练，以生成所述目标文本库中的词语对应的词向量，得到第一训练集。3.根据权利要求2所述的模型训练方法，其特征在于，确定出所述文本信息中每个词语对应的词向量包括：对所述文本信息进行分词处理，得到第二训练集；从所述第一训练集中查找所述第二训练集中每个词语对应的词向量。4.根据权利要求1所述的模型训练方法，其特征在于，在将每条语句中的每个词语对应的词向量输入到记忆神经网络之前，所述模型训练方法还包括：将每条语句中的每个词语对应的词向量标记为预设标识，其中，所述预设标识表示词向量对应的词语为非错别字，以使得在利用所述神经网络模型识别出非错别字时，将非错别字的词语标记为所述预设标识。5.一种错别字识别方法，其特征在于，包括：对待测文本进行分词处理，确定出每个词语对应的词向量；以所述待测文本中的语句为单位，将每条语句中的每个词语对应的词向量输入到权利要求1至4中任一项所述的模型训练方法训练得到的神经网络模型中，利用所述神经网络模型识别出所述待测文本中的错别字。6.一种模型训练装置，其特征在于，包括：提取单元，用于从预...

【专利技术属性】
技术研发人员：刘粉香，
申请(专利权)人：北京国双科技有限公司，
类型：发明
国别省市：北京,11