一种中文分词增量学习方法技术

一种中文分词增量学习方法，涉及中文分词领域。本发明专利技术为了解决现有的在源领域切分数据的基础上加入目标领域数据混合训练数据的方法存在的每次数据混合都需要重新训练模型和数据处理量非常大时导致的运算时间长、对硬件要求高的问题。本发明专利技术首先对中文语句集合中的语句xn进行人工标注标记，将已进行人工标记的语句(xn,yn)记为训练集；对中文语句集合中特征的权重向量W进行初始化，针对中文语句集合中的N个语句，计算每个语句权重向量Wn；然后进行T次迭代操作，然后计算权重向量平均值当中文语句集合中引入增量中文语句集合时，计算出增量中文语句集合的权重向量平均值求得中文分词增量权重参数完成中文分词增量的学习。本发明专利技术适用中文分词领域。

【技术实现步骤摘要】

本专利技术涉及中文分词领域。
技术介绍
词是最小的具有独立意义的语言成分，汉语是以字为基本的书写单位，词与词之 间没有明显的区分标记。因此，中文分词是中文信息处理的基础与关键，信息检索、文本挖 掘等任务中广泛使用。 近年来，基于统计的中文分词方法在新闻领域已经取得了很好的性能。但随着互 联网、社交媒体与移动平台的迅猛发展，当前中文分词模型处理的数据不单局限于新闻领 域，越来越多的开放领域数据的加入，对中文分词模型提出了新的要求。现有的研究表明在 新闻领域训练的中文分词模型切换到诸如论坛、微博、小说等领域时，性能往往严重下降。 这种训练与测试领域不一致致使模型性能下降的问题可归纳为领域适应问题。在 使用新闻领域训练的分词模型处理开放领域时，新闻领域为源领域，开放领域为目标领域。 出现这种问题主要有两点原因，一是不同领域数据文体不一致，例如小说与新闻；二是不同 领域间领域词典不一致，如金融领域与新闻领域。《Unsupervised Domain Adaptation for Joint Segmentation and POS-Tagging》在分词词性标注联合模型上通过聚类的方式捕捉 原始领域与目标领域的相似性，得以解决文体差异过大问题。《Type-supervised domain adaptation for joint segmentation and pos-tagging》将目标领域词典融入模型，避免 了源领域与目标领域词典差异过大。《Domain Adaptation for CRF-based Chinese Word Segmentation using Free Annotations》提出了一种利用自然存在分词边界的网络文本方 法，在基于CRF模型的分词系统上提高了领域适应性。 上述研究表明，使用目标领域切分数据处理领域适应问题是一种高精度的方法。 同时，在源领域切分数据的基础上加入目标领域数据这类混合训练数据的方法可以进一步 提高切分中文分词准确率。然而，多方面因素限制了这一类方法的适用性。其一，大规模切 分数据往往很难公开共享，使得混合训练数据的方法难以应用于实际场景；其二，为了从混 合的数据中学习模型，每次数据混合需要重新训练模型，使得这种方法很难快速获得模型 并部署。
技术实现思路
本专利技术为了解决现有的在源领域切分数据的基础上加入目标领域数据混合训练 数据的方法存在的每次数据混合都需要重新训练模型和数据处理量非常大时导致的运算 时间长、对硬件要求高的问题。进而提出了。 -种中文分词增量学习方法，包括下述步骤： 步骤1 ;设中文语句集合中有N个语句；对中文语句集合中的语句Xn进行人工标注 标记，语句Xn人工标注标记结果为y n;将已进行人工标记的语句（xn，yn)记为训练集，n为 语句的序号，n= (1,2,…，吣； 步骤2 :对中文语句集合中特征的权重向量W进行初始化，将初始化的权重向量标 记为W1= (WuWd-^Wm);其中WpW2,…，w M分别为中文语句集合中各个特征对应的权重；M 表示中文语句集合中所有特征的个数； 步骤3 :针对中文语句集合中的N个语句，计算每个语句权重向量Wn; 步骤4 :重复步骤3,进行T次迭代操作，然后计算权重向量平均值按权重向量 W中元素求平均）， 其中，Wn't表示第t次迭代操作中第n个的语句对应的权重向量； 步骤5:当原来的中文语句集合中引入增量中文语句集合时，单独提取出增量中 文语句集合，按照步骤1至步骤4的操作，求出增量中文语句集合的权重向量平均值: 其中，带有角标add的参数均表示增量中文语句集合中语句的相应参数； 步骤6 :根据步骤4和步骤5,按照如下公式求得中文分词增量权重参数 得到中文分词增量权重参数#a即完成了中文分词增量的学习。 本专利技术具有以下有益效果： 本专利技术针通过在已有模型的基础上继续训练，可以在不需要源领域切分数据的情 况下，利用少量目标领域标注数据获得与混合模型相近的性能，不用每次都对混合数据模 型重新训练，在保证性能的基础上大大节省了运算处理数据的总量，减轻了对内存和处理 器等硬件的压力，所以本专利技术对内存和处理器等硬件的要求不高，而且也大幅度缩短运算 处理数据的时间，相比每次数据混合都需要重新训练模型的方法，本专利技术可以节约50%以 上的处理时间，而且新增的目标领域标注数据越大效果越明显。 同时本专利技术针对增量训练提出了一种优化的实现方法，使得训练代价显著降低。 并且本专利技术的分词器能够在https ://xxx开源。【附图说明】 图1为本专利技术的流程图。【具体实施方式】【具体实施方式】 一：结合图1说明本实施方式， ，包括下述步骤： 步骤1 ;设中文语句集合中有N个语句；对中文语句集合中的语句Xn进行人工标注 标记，语句Xn人工标注标记结果为y n;将已进行人工标记的语句（xn，yn)记为训练集，n为 语句的序号，n= (1,2,*"，N); 步骤2 :对中文语句集合中特征的权重向量W进行初始化，将初始化的权重向量标 记为W1= (WuWd-^Wm);其中WpW2,…，w M分别为中文语句集合中各个特征对应的权重；M 表示中文语句集合中所有特征的个数； 步骤3 :针对中文语句集合中的N个语句，计算每个语句权重向量Wn; 步骤4 :重复步骤3,进行T次迭代操作，然后计算权重向量平均值P (按权重向量 W中元素求平均）， 其中，Wn't表示第t次迭代操作中第n个的语句对应的权重向量； 步骤5:当原来的中文语句集合中引入增量中文语句集合时，单独提取出增量中 文语句集合，按照步骤1至步骤4的操作，求出增量中文语句集合的权重向量平均值; 其中，带有角标add的参数均表示增量中文语句集合中语句的相应参数； 步骤6 :根据步骤4和步骤5,按照如下公式求得中文分词增量权重参数A、； 得到中文分词增量权重参数:?即完成了中文分词增量的学习。 将此学习结果应用于开放的领域数据的分词过程，取得了良好的性能。 本专利技术针通过在已有模型的基础上继续训练，可以在不需要源领域切分数据的情 况下，利用少量目标领域标注数据获得与混合模型相近的性能，不用每次都对混合数据模 型重新训练，在保证性能的基础上大大节省了运算处理数据的总量，减轻了对内存和处理 器等硬件的压力，所以本专利技术对内存和处理器等硬件的要求不高，而且也大幅度缩短运算 处理数据的时间，相比每次数据混合都需要重新训练模型的方法，本专利技术可以节约50%以 上的处理时间，而且新增的目标领域标注数据越大效果越明显。 同时本专利技术针对增量训练提出了一种优化的实现方法，使得训练代价显著降低。 并且本专利技术的分词器能够在https ://xxx开源。【具体实施方式】 二： 本实施方式步骤3所述的针对中文语句集合中的N个语句计算每个语句权重向量 Wn的具体步骤如下： 步骤3. 1 :按照中文分词的方式对语句\进行切分，切分过程有多种切分方式，每 种切分方式记作一种可能出现的标记结果y' n; 针对标记结果yn，根据特征抽取函数? (xn, y ' n)，抽取特征向量（A, f2，… ,fM)； 步骤3. 2 :根据如下公式，计算语句xn被切分为标记结果y' "时的分数score ; s本文档来自技高网...

【技术保护点】
一种中文分词增量学习方法，其特征在于它包括下述步骤：步骤1；设中文语句集合中有N个语句；对中文语句集合中的语句xn进行人工标注标记，语句xn人工标注标记结果为yn；将已进行人工标记的语句(xn,yn)记为训练集，n为语句的序号，n＝(1,2,…,N)；步骤2：对中文语句集合中特征的权重向量W进行初始化，将初始化的权重向量标记为W1＝(w1,w2,…,wM)；其中w1,w2,…,wM分别为中文语句集合中各个特征对应的权重；M表示中文语句集合中所有特征的个数；步骤3：针对中文语句集合中的N个语句，计算每个语句权重向量Wn；步骤4：重复步骤3，进行T次迭代操作，然后计算权重向量平均值W‾=1NTΣn=1,t=1,n=N,t=TWn,t]]>其中，Wn，t表示第t次迭代操作中第n个的语句对应的权重向量；步骤5：当中文语句集合中引入增量中文语句集合时，单独提取出增量中文语句集合，按照步骤1至步骤4的操作，求出增量中文语句集合的权重向量平均值W‾add=1NaddTaddΣn=1,t=1,n=Nadd,t=TaddWaddn,t]]>其中，带有角标add的参数均表示增量中文语句集合中语句的相应参数；步骤6：根据步骤4和步骤5，按照如下公式求得中文分词增量权重参数W‾Δ=1NT+NaddTadd(Σn=1,t=1,n=N,t=TWn,t+Σn=1,t=1,n=Nadd,t=TaddWaddn,t)]]>得到中文分词增量权重参数即完成了中文分词增量的学习。...

【技术特征摘要】

【专利技术属性】
技术研发人员：车万翔，刘一佳，刘挺，赵妍妍，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：黑龙江;23