一种文本处理方法、装置、设备及存储介质制造方法及图纸

本公开实施例公开了一种文本处理方法、装置、设备及存储介质。该方法包括：确定待检测文本中各目标分词的目标标签和目标修改结果，所述目标分词为切分所述待检测文本得到的分词，所述目标标签用于表示所述目标分词的修改方式；根据各所述目标分词的目标标签和目标修改结果，确定各所述目标分词的目标结果；拼接各所述目标分词的目标结果，得到所述待检测文本对应的目标文本。上述方案通过确定待检测文本中各目标分词的目标标签和目标修改结果，基于目标标签和目标修改结果确定对应的目标结果，使得在确定各目标分词的目标结果时，依据的信息更加全面，从而提高了文本处理结果的准确性。

【技术实现步骤摘要】
一种文本处理方法、装置、设备及存储介质
本公开实施例涉及自然语言处理
，尤其涉及一种文本处理方法、装置、设备及存储介质。
技术介绍
在语言学习和应用中，文本的错误检测和修改十分关键。具体的，对于输入的文本，需要找出该文本中哪个部分存在错误，以及对错误的部分进行合适的修改，得到正确的文本。传统方式在进行错误检测和修改时，得到的文本的准确性较低。公开内容本公开实施例提供一种文本处理方法、装置、设备及存储介质，可以提高文本处理结果的准确性。第一方面，本公开实施例提供了一种文本处理方法包括：确定待检测文本中各目标分词的目标标签和目标修改结果，所述目标分词为切分所述待检测文本得到的分词，所述目标标签用于表示所述目标分词的修改方式；根据各所述目标分词的目标标签和目标修改结果，确定各所述目标分词的目标结果；拼接各所述目标分词的目标结果，得到所述待检测文本对应的目标文本。第二方面，本公开实施例还提供了一种文本处理装置，包括：第一确定模块，用于确定待检测文本中各目标分词的目标标签和目标修改结果，所述目标分词为切分所述待检测文本得到的分词，所述目标标签用于表示所述目标分词的修改方式；第二确定模块，用于根据各所述目标分词的目标标签和目标修改结果，确定各所述目标分词的目标结果；拼接模块，用于拼接各所述目标分词的目标结果，得到所述待检测文本对应的目标文本。第三方面，本公开实施例还提供了一种电子设备，包括：一个或多个处理器；r>存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行时实现如第一方面所述的文本处理方法。第四方面，本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的文本处理方法。本公开实施例提供一种文本处理方法、装置、设备及存储介质，通过确定待检测文本中各目标分词的目标标签和目标修改结果，所述目标分词为切分所述待检测文本得到的分词，所述目标标签用于表示所述目标分词的修改方式；根据各所述目标分词的目标标签和目标修改结果，确定各所述目标分词的目标结果；拼接各所述目标分词的目标结果，得到所述待检测文本对应的目标文本。上述方案通过确定待检测文本中各目标分词的目标标签和目标修改结果，基于目标标签和目标修改结果确定对应的目标结果，使得在确定各目标分词的目标结果时，依据的信息更加全面，从而提高了文本处理结果的准确性。附图说明结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。图1为本公开实施例一提供的一种文本处理方法的流程图；图2为本公开实施例二提供的一种文本处理方法的流程图；图3为本公开实施例三提供的一种文本处理装置的结构图；图4为本公开实施例四提供的一种电子设备的结构图。具体实施方式下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。实施例一图1为本公开实施例一提供的一种文本处理方法的流程图，本实施例可适用于对输入的文本进行错误识别和纠错的情况。该方法可以由文本简化装置来执行，该装置可以采用软件和/或硬件的方式实现，并可配置在具备数据处理功能的电子设备中。如图1所示，该方法可以包括如下步骤：S110、确定待检测文本中各目标分词的目标标签和目标修改结果。其中，所述目标分词为切分所述待检测文本得到的分词，所述目标标签用于表示所述目标分词的修改方式。待检测文本可以是由多个词组成的具有一定含义的文本，其存在形式可以包括但不限于句子、段落、文章。实施例对待检测文本的具体内容以及其采用的语言不进行限定，例如待检测文本可以仅采用一种语言，如中文或英文，也可以同时采用多种语言，如同时采用中文和英文等。实际应用时，待检测文本可以由用户直接输入，也可以从本地或通过网页在线获取，还可以通过识别语音信息得到。考虑到待检测文本是由多个词组成的文本，在对待检测文本进行检测时，可以对待检测文本包含的各个词进行检测。在一个示例中，可以切分待检测文本得到其包含的各个分词，实施例将切分待检测文本得到的每个分词记为待检测文本的一个目标分词。例如待检测文本为：Iwantgohomeonyesterday，经过切分可以得到I、want、go、home、on、yesterday，则可以将I、want、go、home、on、yesterday分别记为待检测文本的目标分词。基于目标分词的检测结果可以为其添加相应的标签，用以表示该目标分词的修改方式，这里的修改方式可以包括该目标分词是否需要修改以及需要修改时如何修改，即可以同时对待检测文本出现的错误进行识别以及纠错。例如对上述的目标分词“want”检测后，可以为其添加VB_VBZ标签和True标签，VB_VBZ标签用于表示将动词一般现在时变换为一般过去时，True标签表示目标分词“want”所在的位置需要插入分词。需要注意的是，在对各个目标分词进行检测时，可以结合待检测文本的语境，提高检测结果的准确性，例如上述待检测文本对应的语境为过去时，在检测目标分词“want”时可以将其作为检测依据。目标标签通常反映的是一种粗略的检测结果，例如上述的VB_VBZ标签和True标签只能在一定程度上表示目标分词的修改结果，但未给出具体的修改结果。这种方式可以适用于语言理解能力较强的用户，基于目标标签可以得到具体的修改结果。对于语言理解能力较弱的用户来说，为了方本文档来自技高网...

【技术保护点】
1.一种文本处理方法，其特征在于，包括：/n确定待检测文本中各目标分词的目标标签和目标修改结果，所述目标分词为切分所述待检测文本得到的分词，所述目标标签用于表示所述目标分词的修改方式；/n根据各所述目标分词的目标标签和目标修改结果，确定各所述目标分词的目标结果；/n拼接各所述目标分词的目标结果，得到所述待检测文本对应的目标文本。/n

【技术特征摘要】
1.一种文本处理方法，其特征在于，包括：
确定待检测文本中各目标分词的目标标签和目标修改结果，所述目标分词为切分所述待检测文本得到的分词，所述目标标签用于表示所述目标分词的修改方式；
根据各所述目标分词的目标标签和目标修改结果，确定各所述目标分词的目标结果；
拼接各所述目标分词的目标结果，得到所述待检测文本对应的目标文本。


2.根据权利要求1所述的方法，其特征在于，所述确定待检测文本中各目标分词的目标标签和目标修改结果，包括：
将所述待检测文本输入目标文本处理模型，得到所述待检测文本中各目标分词的目标标签和目标修改结果，所述目标文本处理模型由训练样本包含的样本分词训练初始文本处理模型得到。


3.根据权利要求2所述的方法，其特征在于，所述目标文本处理模型的训练过程如下：
将第一样本输入所述初始文本处理模型，得到所述第一样本中第一分词对应的样本标签和样本修改结果，所述第一样本为训练样本，所述第一分词为切分所述第一样本得到的分词；
确定所述样本标签和期望标签的第一损失值以及所述样本修改结果和期望修改结果的第二损失值；
根据所述第一损失值和第二损失值，对所述初始文本处理模型进行训练，得到目标文本处理模型。


4.根据权利要求3所述的方法，其特征在于，所述样本标签包括第一样本标签和第二样本标签，所述第一样本标签包括词性变换标签、删除标签或不修改标签，所述第二样本标签包括插入标签或不插入标签；
所述样本修改结果包括第一样本修改结果和第二样本修改结果，所述第一样本修改结果包括所述第一分词的词性修改结果或所述第一分词的删除结果，所述第二样本修改结果包括所述第一分词的插入词结果。


5.根据权利要求4所述的方法，其特征在于，所述将第一样本输入所述初始文本处理模型，得到所述第一样本中第一分词对应的样本标签和样本修改结果，包括：
确定所述第一分词的插入词结果，作为所述第一分词的第二修改结果，以及确定所述第一分词的二元标签，作为所述第一分词的第二样本标签，所述二元标签用于表示所述第一分词所在的位置是否需要插入其他分词；
确定所述第一分词是否需要修改，所述修改用于修改所述第一分词的词性或删除所述第一分词；
当确定所述第一分词需要修改时，根据所述初始文本处理模型输出的所述第一分词的修改结果和/或所述第一分词的标签确定所述第一分词的第一样本修改结果和第一样本标签；否则，根据所述初始文本处理模型输出的不修改指示结果确定所述第一分词的第一样本修改结果和第一样本标签，所述不修改指示结果用于表示所述第一分词不需要修改。


6.根据权利要求5所述的方法，其特征在于，所述确定所述第一分词是否需要修改，包括：
确定所述第一分词不需要修改的第一概率；
如果所述第一概率大于或等于第一设定阈值，则确定所述第一分词不需要修改；否则，确定所述第一分词需要修改。


7.根据权利要求5所述的方法，其特征在...

【专利技术属性】
技术研发人员：林雨，吴培昊，马泽君，
申请(专利权)人：北京有竹居网络技术有限公司，
类型：发明
国别省市：北京;11