一种基于大规模语言模型的时间文本抽取系统和方法技术方案

本发明专利技术涉及人工智能技术领域，具体为一种基于大规模语言模型的时间文本抽取系统和方法，时间文本抽取系统由数据收集模块、数据预处理模块、模型训练模块、策略调整模块以及应用模块构成；有益效果为：本发明专利技术提出的基于大规模语言模型的时间文本抽取系统和方法，通过充分利用大规模语言模型的学习能力以及通用性，提高时间文本抽取的准确性和合理性。同时，本发明专利技术基于正则匹配构建不同形式的时间模板构造有监督训练数据，达到增强大语言模型的泛化能力的目的。最后，将提取出的时间文本应用于组织沿革、通讯、医疗等领域。医疗等领域。医疗等领域。

【技术实现步骤摘要】
一种基于大规模语言模型的时间文本抽取系统和方法


[0001]本专利技术涉及人工智能
，具体为一种基于大规模语言模型的时间文本抽取系统和方法。

技术介绍

[0002]随着计算机技术和深度学习算法的深度发展，大规模语言模型已经成为实际应用中非常有效的工具，渗透到各个领域。在自然语言处理(NLP)领域，大型预训练语言模型已成为研究的热点之一。预训练的语言模型通过对大规模文本数据进行自监督学习，能够捕捉到自然语言的语法和语义特征，并能够对各种自然语言处理任务进行优秀的表现。目前，最流行的大型预训练语言模型之一是Google提出的T5模型(Text
‑
to
‑
Text Transfer Transformer)。T5模型是一个包含11亿个参数的大型Transformer模型。T5模型在不同的自然语言处理任务中都取得了非常好的成果，比如文本分类、命名实体识别、情感分析、摘要生成等。
[0003]现有技术中，自动化时间文本提取是自然语言处理领域中的一项重要任务，它是指从文本中自动识别和提取时间信息的技术。时间本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于大规模语言模型的时间文本抽取系统，其特征在于：所述时间文本抽取系统由数据收集模块、数据预处理模块、模型训练模块、策略调整模块以及应用模块构成；数据收集模块，收集训练模型相关数据；数据预处理模块，对训练时间进行非规则化处理；模型训练模块，用于模型微调以及结果评估；策略调整模块，对文本中的时间进行抽取；应用模块，用于将提取的时间应用于各个领域。2.根据权利要求1所述的一种基于大规模语言模型的时间文本抽取系统和方法，其特征在于：数据收集模块，负责收集与时间文本抽取相关的数据，为了使模型更好的适配下游时间识别任务，基于大量工作人员对包含时间文本进行大量标注，将收集到的文本以及对应的标签进行打包，得到全部训练模型相关数据。3.根据权利要求1所述的一种基于大规模语言模型的时间文本抽取系统和方法，其特征在于：数据预处理模块，负责数据的预处理，为了增强模型的鲁棒性，对部分文本中时间进行了非规范化处理，将阿拉伯数字转化为中文文本格式，同时使用不同的规范化标准对时间进行处理，使时间适配各种格式。4.根据权利要求1所述的一种基于大规模语言模型的时间文本抽取系统和方法，其特征在于：模型训练模块，使用业界训练好的中文预训练模型，基于有标签数据对预训练的语言模型进行微调，并进行效果评估以及模型优化，得到训练好的模型；策略调整模块基于得到的模型，对文档进行时间提取。5.根据权利要求1所述的一种基于大规模语言模型的时间文本抽取系统和方法，其特征在于：应用模块，基于策略调整模块，在智能编研领域，对相关文档进行时间抽取，用来帮助监测某个事件或者话题的演变过程，以及事件发生的时间和地点等信息；在通讯支付领域，提取的时...

【专利技术属性】
技术研发人员：黄登蓉，岳爱珍，张铮，常冰心，
申请(专利权)人：山东浪潮科学研究院有限公司，
类型：发明
国别省市：