一种基于大语言模型的中药问答方法、装置、设备及介质制造方法及图纸

本申请公开了一种基于大语言模型的中药问答方法、装置、设备及介质，涉及医药问答领域。该方法从书籍文献、网络平台及中药数据集中获取多源中药知识数据，构建了适用不同场景的多元化的指令数据，克服了通过ChatGPT API收集，可能会引入非专业或不准确的信息，影响模型的性能和可靠性的缺陷，基于Baichuan2‑7B‑Chat模型进行训练，得到用于中药问答的模型，实现了从PT到SFT的流程，根据不同的适用场景设置不同的验证指标，对模型进行验证，克服了单一的或主观的评价指标，限制模型评价准确率的缺陷，本申请提高了中药问答的准确性和可靠性。

【技术实现步骤摘要】

本申请涉及医药问答领域，特别是涉及一种基于大语言模型的中药问答方法、装置、设备及介质。

技术介绍

1、大语言模型（large language models，llms）是一种采用大量文本数据进行训练的深度学习模型，旨在理解和生成自然语言文本。这些模型通常基于transformer架构，能够捕捉语言的复杂性和多样性，在生物医药领域的应用日益广泛，特别是在中药领域，这些模型通过理解和生成自然语言文本，为中药的研究、应用和传播带来了诸多创新。目前，最常规的应用是利用大模型来分析海量的中药文献、古籍、现代研究论文等文本数据，从中提取中药的名称、性味归经、功效主治、用法用量、配伍禁忌等关键信息，构建中药知识库。近期，一些研究人员开发了名为cmlm-zhongjing的大模型用于中医药知识问答和辅助诊疗。该大模型基于中医妇科方药表格数据，通过设置特定的prompt模板来生成15个场景的指令数据，最后通过大模型微调得到。然而，训练数据通常依赖于chatgpt api（聊天应用程序学习平台）收集来构建对齐数据集。依赖chatgpt api可能会引入非专业或不准确的信息，影本文档来自技高网...

【技术保护点】

1.一种基于大语言模型的中药问答方法，其特征在于，所述基于大语言模型的中药问答方法包括：

2.根据权利要求1所述的基于大语言模型的中药问答方法，其特征在于，利用无监督数据对Baichuan2-7B-Chat模型进行无监督的预训练的过程中及利用无监督数据和指令数据对预训练后的Baichuan2-7B-Chat模型进行有监督的训练的过程中使用的损失函数为：

3.根据权利要求1所述的基于大语言模型的中药问答方法，其特征在于，利用无监督数据对Baichuan2-7B-Chat模型进行无监督的预训练的过程及利用无监督数据和指令数据对预训练后的Baichuan2-7B-Cha...

【技术特征摘要】

1.一种基于大语言模型的中药问答方法，其特征在于，所述基于大语言模型的中药问答方法包括：

2.根据权利要求1所述的基于大语言模型的中药问答方法，其特征在于，利用无监督数据对baichuan2-7b-chat模型进行无监督的预训练的过程中及利用无监督数据和指令数据对预训练后的baichuan2-7b-chat模型进行有监督的训练的过程中使用的损失函数为：

3.根据权利要求1所述的基于大语言模型的中药问答方法，其特征在于，利用无监督数据对baichuan2-7b-chat模型进行无监督的预训练的过程及利用无监督数据和指令数据对预训练后的baichuan2-7b-chat模型进行有监督的训练的过程均采用基于deepspeed的分布式训练方式。

4.根据权利要求1所述的基于大语言模型的中药问答方法，其特征在于，在选择题适用场景中，所述验证指标为选...

【专利技术属性】
技术研发人员：范骁辉，邵鑫，戴亿郑，张金露，
申请(专利权)人：浙江大学长三角智慧绿洲创新中心，
类型：发明
国别省市：