用于金融服务的语言模型微调方法、装置、设备及介质制造方法及图纸

技术编号:40181331 阅读:21 留言:0更新日期:2024-01-26 23:47
本发明专利技术涉及金融领域,尤其涉及一种用于金融服务的语言模型微调方法、装置、设备及介质,该方法获取历史时间段内金融服务对应的N个历史问答数据的问题文本,对所有问题文本进行文本筛选,得到目标业务下的目标问题文本;对目标问题文本进行分词处理,对应得到分词处理结果,对分词处理结果进行分词筛选得到目标分词;获取携带有标注信息的问题文本样本,使用目标分词和携带有标注信息的问题文本样本对预训练语言模型进行微调,得到符合目标业务的目标语言模型,从历史问答数据中筛选与目标业务相关的新分词,并利用新分词对于训练语言模型进行微调,提高了面对金融服务下的目标业务的性能。

【技术实现步骤摘要】

本专利技术涉及金融领域,尤其涉及一种用于金融服务的语言模型微调方法、装置、设备及介质


技术介绍

1、近年来,在自然语言处理领域预训练语言模型蓬勃发展,预训练语言模型的发展将自然语言处理领域的研究提升到了一个新的阶段,预训练语言模型广泛应用于各个领域,例如,对于金融场景下的客户服务,通过提供给与客户交互的自动问答平台或窗口,在客户提出问题时,利用预训练语言模型对客户提出的问题进行识别,从而对客户进行问题解答,提高了企业的客户服务质量。

2、预训练语言模型在通用任务上虽然取得了很好的效果,但是将它应用于特定业务时,还需要提高预训练语言模型的性能。例如,客户提问“如何购买xx保险公司的xx险种,该险种适合于哪类人群?”,由于预训练语言模型并未学习关于xx保险公司内的险种的相关知识,所以利用预训练语言模型给出的答复并不准确。

3、因此,如何提高面对特定业务领域的预训练语言模型的性能成为亟待解决的问题。


技术实现思路

1、有鉴于此,本专利技术实施例提供了一种用于金融服务的语言模型微调方法、装置本文档来自技高网...

【技术保护点】

1.一种用于金融服务的语言模型微调方法,其特征在于,所述语言模型微调方法包括:

2.根据权利要求1所述的语言模型微调方法,其特征在于,所述根据所述语义特征对所述分词处理结果进行分词筛选得到目标分词,包括:

3.根据权利要求1所述的语言模型微调方法,其特征在于,所述获取携带有标注信息的问题文本样本之前,包括:

4.根据权利要求1所述的语言模型微调方法,其特征在于,所述预训练语言模型包括嵌入层和转换层,则所述使用所述遮蔽后的问题文本样本对所述预训练语言模型进行微调,得到符合所述目标业务的目标语言模型,包括:

5.根据权利要求1所述的语言模型微调...

【技术特征摘要】

1.一种用于金融服务的语言模型微调方法,其特征在于,所述语言模型微调方法包括:

2.根据权利要求1所述的语言模型微调方法,其特征在于,所述根据所述语义特征对所述分词处理结果进行分词筛选得到目标分词,包括:

3.根据权利要求1所述的语言模型微调方法,其特征在于,所述获取携带有标注信息的问题文本样本之前,包括:

4.根据权利要求1所述的语言模型微调方法,其特征在于,所述预训练语言模型包括嵌入层和转换层,则所述使用所述遮蔽后的问题文本样本对所述预训练语言模型进行微调,得到符合所述目标业务的目标语言模型,包括:

5.根据权利要求1所述的语言模型微调方法,其特征在于,所述获取所述分词处理结果中每个分词的语义特征,包括:

6.根据权利要求1所述的语言模型...

【专利技术属性】
技术研发人员:陆凯
申请(专利权)人:中国平安人寿保险股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1