一种文本分析模型的训练方法及装置制造方法及图纸

技术编号:33135966 阅读:20 留言:0更新日期:2022-04-17 01:00
本发明专利技术涉及自然语言处理领域,具体涉及一种文本分析模型的训练方法及装置,该方法包括如下步骤:识别各训练样本的训练样本处理规则,构建训练样本规则集;基于训练样本规则集构建文本标准化处理模型;构建段落属性分类模型,并为每一种段落属性配置对应的预测字词集;基于所述文本标准化处理模型、预测字词集实现文本分析模型的微调。本发明专利技术基于文本标准化处理模型的设计使得待分析文本与当前文本分析模型的文本处理规则相同,避免由于文本处理规则的区别带来的文本分析结果误差,提高文本分析处理的准确性;基于段落属性的识别结果为每一种段落属性配置对应的预测字词集,从而缩小预测字词集的覆盖范围,进一步提高模型处理精确度。理精确度。理精确度。

【技术实现步骤摘要】
一种文本分析模型的训练方法及装置


[0001]本专利技术涉及自然语言处理领域,具体涉及一种文本分析模型的训练方法及装置。

技术介绍

[0002]人工智能作为新一轮科技革命和产业变革的重要驱动力量,正在深刻改变世界。而自然语言处理是AI领域的关键核心技术,它推动这语言智能的持续发展和突破,并越来越多地应用于各个行业。
[0003]目前,对于自然语言处理任务,通常选用双向注意力神经网络模型(BidirectionalEncoder Representation from Transformers,BERT)进行处理,公知的,BERT模型对于阅读理解类、预测类模型或模型执行阅读理解类、预测类任务的处理普遍存在阅读理解答案、预测结果的准确率低的情况。

技术实现思路

[0004]为解决上述问题,本专利技术提供了一种文本分析模型的训练方法及装置,可以显著提高文本分析的准确性。
[0005]为实现上述目的,本专利技术采取的技术方案为:
[0006]一种文本分析模型的训练方法,包括如下步骤:
[0007]S1、识本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文本分析模型的训练方法,其特征在于,包括如下步骤:S1、识别各训练样本的训练样本处理规则,构建训练样本规则集;S2、基于所述训练样本规则集构建文本标准化处理模型;S3、构建段落属性分类模型,并为每一种段落属性配置对应的预测字词集;S4、基于所述文本标准化处理模型、预测字词集实现文本分析模型的微调。2.如权利要求1所述的一种文本分析模型的训练方法,其特征在于,所述步骤S1中,所述的训练样本规则集内载文本断句规则、文本分词规则、分词组合排列规则。3.如权利要求1所述的一种文本分析模型的训练方法,其特征在于,所述步骤S1中,基于原始训练样本与训练样本之间的关联关系的分析获取各训练样本的训练样本处理规则。4.如权利要求1所述的一种文本分析模型的训练方法,其特征在于,所述步骤S2中,文本标准化处理模型用于基于训练样本规则集实现文本的断句、分词、分词组合排列处理。5.如权利要求1所述的一种文本分析模型的训练方法,其特征在于,所述...

【专利技术属性】
技术研发人员:贾珊珊贺秉超李英辉吴志福李彦景
申请(专利权)人:石家庄职业技术学院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1