一种基于对抗多任务学习的统一语义性中文文本润色方法技术

本发明专利技术提供一种基于对抗多任务学习的统一语义性中文文本润色方法，其包括如下步骤：S1，通过润色范围划分模型确定润色范围；S2，对于润色范围插入的字符数进行遍历搜索，并使用掩码语言模型对其进行生成，将生成得到的一系列新句子使用位置打分模型进行打分；S3，根据打分结果筛选出最佳的句子。本发明专利技术具有推动统一性文本校对方法的研究过程进展、适合实际落地使用、在一定程度上确实改善人们的文本编辑体验等优点。体验等优点。体验等优点。

【技术实现步骤摘要】
一种基于对抗多任务学习的统一语义性中文文本润色方法


[0001]本专利技术涉及计算机
，具体涉及一种基于对抗多任务学习的统一语义性中文文本润色方法。

技术介绍

[0002]长久以来，文本写作是人们工作生活中的重要基础组成部分。而在写作过程中不经意出现的拼写、语法错误会带给人们相当不便。文本校对工具响应这种核心需求应运而生。但是随着人工智能技术的发展以及人们对于此类工具的功能需求标准日益提高，当前文本校对方法正面临的割裂性障碍阻碍了整体文本校对方法的发展。
[0003]由于当前文本校对中缺少能够整体性处理不同粒度的文本错误的统一性方法，其中割裂性问题体现在，不同的校对方法通过组合得到的校对结果中，由于不同方法使用的顺序不同导致校对结果极为不稳定。而其根本原因在于文本语言中缺少可靠的统一特征。
[0004]具体的如表1所示，在WS中既包含语法上的错误也包含拼写上的错误，其中“取”处的错误为拼写错误，“金字”处的错误为语法错误。当我们首先或单独使用CSC进行纠错时，将“金字”中的“字”修改为“子”，得到与OS完全不同语义的SS，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于对抗多任务学习的统一语义性中文文本润色方法，其特征在于，包括如下步骤：S1，通过润色范围划分模型确定润色范围；S2，对于润色范围插入的字符数进行遍历搜索，并使用掩码语言模型对其进行生成，将生成得到的一系列新句子使用位置打分模型进行打分；S3，根据打分结果筛选出最佳的句子。2.根据权利要求1所述的基于对抗多任务学习的统一语义性中文文本润色方法，其特征在于，对抗多任务学习用以训练润色框架的掩码语言模型(MLM,Mask Language Model)和位置打分模型(PSM,Position Scorer Model)，分别用来对于特定位置的字符进行预测和对于特定位置的结果进行打分；在训练得到两个模型之后，使用润色范围划分模型(SDM,Scale Decision Model)对于润色位置进行划分，调用掩码语言模型和位置打分模型对于句子进行润色。3.根据权利要求2所述的基于对抗多任务学习的统一语义性中文文本润色方法，其特征在于，其包括生成模块，在生成对抗学习阶段，生成模块加载实时调整的掩码语言模型，根据不同的语义相关度得到较为近似的对抗数据并替换得到新的句子，位置打分模型对于替换后的句子进行判别打分。4.根据权利要求3所述的基于对抗多任务学习的统一语义性中文文本润色方法，其特征在于，其包括交错权重模块，所述交错权重模块结合生成器和判别器的结果生成交错的两组权重，交叉的作用于判别器和生成器上，降低不良对抗数据对于结果调整的强度，能够在一定程度上规避混淆文本对于训练过程造成的不良影响。5.根据权利要求3所述的基于对抗多任务学习的统一语义性中文文本润色方法，其特征在于，所述生成模块采用对抗生成的方式对于训练数据进行生成，使用掩码语言模型的排序结果对于训练数据进行动态生成，具体的动态生成策略公式如下：rank
i
＝其中对于句子S的第i个字符，rank
i
是指掩码语言模型对于该位置的排序结果，k
i
∈(0,1)是指该位置的随机种子，其中c为常量，通过控制c能够调整生成的字符在字表中排序的范围，之后根据rank
i
在RANK
ADV
之前的生成字符设置为对抗样本，在之后的字符设置为普通错误样本。6.根据权利要求5所述的基于对抗多任务学习的统一语义性中文文本润色方法，其特征在于，根据数据的难度将c设置为1000，表示为生成的字符在每次分类结果的前1000位字符中进行选择；将RANK
ADV
设置为20，表示每次分类结果前20位为语义相似度较高的对抗样本。7.根据权利要求4所述的基于对抗多任务学习的统一语义性中文文本润色方法，其特...

【专利技术属性】
技术研发人员：王钒宇，谈辉，谢振平，夏振涛，李艳，朱立烨，
申请(专利权)人：江南大学，
类型：发明
国别省市：