一种基于LLM大语言模型的智能问答系统构建方法及系统技术方案

技术编号:44754570 阅读:24 留言:0更新日期:2025-03-26 12:40
本发明专利技术公开了一种基于LLM大语言模型的智能问答系统构建方法及系统,方法包括:从多种异构数据源中进行语料聚合,动态抓取与目标领域相关的文本数据;对文本数据初步筛选,基于语义相似性与文本质量评分规则,剔除冗余、低质量或与目标领域不相关的文本数据;对文本数据多样性分析,通过对抗生成技术,生成与真实数据相似度高的多样化文本数据;将文本数据多层次语义标注,通过分析标注后的语料中的上下文信息,生成训练样本;将训练样本转换为标准格式样本,并利用标准格式样本训练LLM大语言模型,作为目标领域的智能问答系统。利用本发明专利技术实施例,能够有效提升智能问答系统在各种应用场景下的智能化水平,推动智能问答技术的进一步发展。

【技术实现步骤摘要】

本专利技术属于人工智能,特别是一种基于llm大语言模型的智能问答系统构建方法及系统。


技术介绍

1、随着信息技术的快速发展和互联网的普及,海量的文本数据在各个领域不断生成。这些数据包含了丰富的知识和信息,为各类应用提供了宝贵的资源。在此背景下,智能问答系统作为一种新兴的人工智能应用,愈发受到关注。智能问答系统能够根据用户提出的问题,从多个数据源中快速获取相关信息,并以自然语言的形式进行回答,极大地提高了信息获取的效率。

2、传统的问答系统多依赖于规则库或关键词检索,无法有效理解用户的问题意图和文本的深层含义,导致回答的准确性和相关性受到限制。此外,随着用户需求的多样化,单一的问答模型无法满足不同领域用户的需求,尤其是在专业领域和复杂问题上,其局限性更加明显。


技术实现思路

1、本专利技术的目的是提供一种基于llm大语言模型的智能问答系统构建方法及系统,以解决现有技术中的不足,能够有效提升智能问答系统在各种应用场景下的智能化水平,满足用户的多样化需求,推动智能问答技术的进一步发展

2、本文档来自技高网...

【技术保护点】

1.一种基于LLM大语言模型的智能问答系统构建方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述对抓取的文本数据进行初步筛选,基于语义相似性与文本质量评分规则,剔除冗余、低质量或与目标领域的基于LLM大语言模型训练不相关的文本数据,包括:

3.根据权利要求2所述的方法,其特征在于,所述对筛选后的文本数据进行多样性分析,以确保文本内容覆盖多种语境、写作风格和领域知识,并通过对抗生成技术,生成与真实数据相似度高的多样化文本数据,包括:

4.根据权利要求3所述的方法,其特征在于,所述将生成的文本数据进行多层次语义标注,通过分析标...

【技术特征摘要】

1.一种基于llm大语言模型的智能问答系统构建方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述对抓取的文本数据进行初步筛选,基于语义相似性与文本质量评分规则,剔除冗余、低质量或与目标领域的基于llm大语言模型训练不相关的文本数据,包括:

3.根据权利要求2所述的方法,其特征在于,所述对筛选后的文本数据进行多样性分析,以确保文本内容覆盖多种语境、写作风格和领域知识,并通过对抗生成技术,生成与真实数据相似度高的多样化文本数据,包括:

4.根据权利要求3所述的方法,其特征在于,所述将生成的文本数据进行多层次语义标注,通过分析标注后的语料中的上下文信息,生成训练样本,包括:

【专利技术属性】
技术研发人员:虞康丁东照李浩天郝增柳斌卢俊胡焕发雷华军
申请(专利权)人:杭州字节方舟科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1