【技术实现步骤摘要】
本专利技术属于医学垂直领域大模型训练，具体涉及一种基于知识图谱的医疗领域大模型预训练与微调方法和装置。
技术介绍
1、近年来，随着人工智能技术的飞速发展，大语言模型(large language models，llms)在自然语言处理(natural language processing，nlp)领域取得了巨大突破，展现出强大的语言理解和生成能力，正以前所未有的速度改变着人类与机器交互的方式。这些大语言模型，如gpt系列、bert及其衍生模型，通过深度学习技术，在海量文本数据上进行训练，不仅学会了人类语言的复杂结构，还能够完成从简单的文本分类、情感分析到复杂的问答系统、文本创作等多种任务，极大地拓宽了自然语言处理的应用边界。
2、然而，尽管大语言模型在自然语言处理的通用领域中取得了令人瞩目的成就，但是当这些大语言模型被应用于医疗等高度专业化的领域时，其表现却往往不尽如人意。由于医疗领域具有高度的专业性和复杂性，涉及大量专业术语、概念和关系，这对大语言模型的专业知识储备和推理能力提出了更高要求。
3、医疗领域是一个知识密集、高度专业化的行业，其知识体系庞大且不断更新。从基础的解剖学、生理学，到复杂的病理学、药理学，再到前沿的基因编辑、免疫治疗等，医疗知识涵盖了从微观到宏观、从基础到临床的广泛内容。此外，医疗领域还充斥着大量的专业术语、缩写词和独特的表达方式，这些都对语言模型的理解能力构成了巨大挑战。
4、当前的大语言模型主要依赖于互联网上的通用文本数据进行训练，这些数据虽然海量，但往往缺乏医疗
5、此外，医疗决策往往需要基于复杂的临床信息进行逻辑推理和判断，这包括但不限于患者的病史、症状、体征、实验室检查结果以及影像学资料等多方面的信息。然而，现有的大语言模型在逻辑推理和上下文理解方面仍存在不足，难以像专业医生那样综合考虑多种因素，做出准确的诊断或治疗建议。
6、因此，需要进一步探索创新的医学垂直领域大模型训练方法，如通过将传统的自由文本语料库训练与医学知识图谱训练相结合实现对大语言模型的预训练和微调，以解决现有通用大语言模型在医疗领域应用时存在的专业性不足问题。
技术实现思路
1、鉴于上述，本专利技术的目的是提供一种基于知识图谱的医疗领域大模型预训练与微调方法和装置，通过训练奖励模型筛选出高质量数据并与编码后的知识图谱相结合后对大语言模型进行交替预训练，再对预训练后的大语言模型进行指令微调，以得到模型推理结果和推理路径，能够提高医疗领域大语言模型的专业性，保证推理结果的可解释性、透明度和知识一致性，这对于医疗等高风险领域的ai应用至关重要，此外，本专利技术提供的方法和装置也展示了如何将领域特定的结构化知识有效地注入大规模语言模型，从而为其他专业领域大模型的开发提供了新思路，具有广泛的技术推广价值，为人工智能向更专业、更可靠的方向发展指明了道路。
2、为实现上述专利技术目的，本专利技术提供的技术方案如下：
3、本专利技术实施例提供的一种基于知识图谱的医疗领域大模型预训练与微调方法，包括以下步骤：
4、利用收集的医疗相关文本数据及其质量标注结果训练奖励模型，使用训练后的奖励模型从新获取的医疗相关文本数据中筛选出高质量数据；
5、将医学知识图谱编码为大语言模型处理的文本格式，将高质量数据和编码后的医学知识图谱在不同批次交替输入大语言模型进行模型预训练；
6、设计包括指令、知识图谱推理路径和生成的回答的指令微调数据格式，将以指令微调数据格式构建的训练样本输入预训练后的大语言模型进行模型微调，利用微调后的大语言模型根据用户新输入的指令输出最终回答和推理路径。
7、优选地，所述利用收集的医疗相关文本数据及其质量标注结果训练奖励模型，包括：
8、选取若干医学话题，每个话题对应两个不同质量的医疗相关文本内容，通过多维度评估将每个话题对应的两个不同质量的医疗相关文本内容人工标注为包括高质量文本内容和低质量文本内容的标注文本对；
9、利用直接偏好优化算法对奖励模型进行训练，将每个话题对应的标注文本对输入奖励模型，奖励模型判断出标注文本对中的高质量文本内容并给出相应的质量评分、以及判断出低质量文本内容并给出相应的质量评分。
10、优选地，所述使用训练后的奖励模型从新获取的医疗相关文本数据中筛选出高质量数据，包括：
11、将新获取的医疗相关文本数据输入训练后的奖励模型，奖励模型输出相应的质量评分，保留质量评分高于设定质量阈值的医疗相关文本数据作为高质量数据。
12、优选地，所述方法还包括对奖励模型进行持续优化，包括：
13、定期抽样检查质量筛选结果并由医学专家进行人工验证，根据验证结果调整质量阈值或更新奖励模型，收集新的人工标注文本对数据并定期重新训练奖励模型。
14、优选地，奖励模型采用qwen2-7b模型作为基础模型。
15、优选地，所述将医学知识图谱编码为大语言模型处理的文本格式，包括：
16、医学知识图谱中的信息以三元组的形式存在，三元组包括头实体、关系和尾实体，将每个三元组编码为如下格式：
17、<|node_start|>头实体<|node_end|><|relation_start|>关系<|relation_end|><|node_start|>尾实体<|node_end|>；
18、其中，<|node_start|>和<|node_end|>用于标识医学知识图谱中节点即头实体和尾实体，<|relation_start|>和<|relation_end|>用于标识节点间的关系。
19、优选地，采用以节点为中心的处理方式捕捉知识图谱的局部结构，对于每个起始节点，收集与之相关的所有三元组并形成一个子图，每个子图将被放入一个批次中用于输入大语言模型进行模型预训练。
20、优选地，在指令微调数据格式中，指令为用户的问题或任务描述，知识图谱推理路径为回答问题所需的医学知识图谱推理步骤，生成的回答为基于推理路径得出的最终答案。
21、优选地，利用知识图谱可视化技术将微调后的大语言模型输出的推理路径进行可视化展示。
22、为实现上述专利技术目的，本专利技术实施例还提供了一种基于知识图谱的医疗领域大模型预训练与微调装置，包括：数据质量筛选模块、模型预训练模块和模型微调模块；
23、所述数据质量筛选模块用于利用收集的医疗相关文本数据及其质量标注结果训练奖励模型，使用训练后的奖励模型从新获取的医疗相关文本数据中筛选出高质量数据；
24、所述模型预训练模块用于将医学知识图谱编码为大语言模型处理的文本格式，将高质量数据和编码本文档来自技高网...
【技术保护点】
1.一种基于知识图谱的医疗领域大模型预训练与微调方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于知识图谱的医疗领域大模型预训练与微调方法，其特征在于，所述利用收集的医疗相关文本数据及其质量标注结果训练奖励模型，包括：
3.根据权利要求2所述的基于知识图谱的医疗领域大模型预训练与微调方法，其特征在于，所述使用训练后的奖励模型从新获取的医疗相关文本数据中筛选出高质量数据，包括：
4.根据权利要求3所述的基于知识图谱的医疗领域大模型预训练与微调方法，其特征在于，所述方法还包括对奖励模型进行持续优化，包括：
5.根据权利要求1或4所述的基于知识图谱的医疗领域大模型预训练与微调方法，其特征在于，奖励模型采用Qwen2-7B模型作为基础模型。
6.根据权利要求1所述的基于知识图谱的医疗领域大模型预训练与微调方法，其特征在于，所述将医学知识图谱编码为大语言模型处理的文本格式，包括：
7.根据权利要求6所述的基于知识图谱的医疗领域大模型预训练与微调方法，其特征在于，采用以节点为中心的处理方式捕捉知识图谱的局部结
8.根据权利要求1所述的基于知识图谱的医疗领域大模型预训练与微调方法，其特征在于，在指令微调数据格式中，指令为用户的问题或任务描述，知识图谱推理路径为回答问题所需的医学知识图谱推理步骤，生成的回答为基于推理路径得出的最终答案。
9.根据权利要求1所述的基于知识图谱的医疗领域大模型预训练与微调方法，其特征在于，利用知识图谱可视化技术将微调后的大语言模型输出的推理路径进行可视化展示。
10.一种基于知识图谱的医疗领域大模型预训练与微调装置，其特征在于，包括：数据质量筛选模块、模型预训练模块和模型微调模块；
...【技术特征摘要】
1.一种基于知识图谱的医疗领域大模型预训练与微调方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于知识图谱的医疗领域大模型预训练与微调方法，其特征在于，所述利用收集的医疗相关文本数据及其质量标注结果训练奖励模型，包括：
3.根据权利要求2所述的基于知识图谱的医疗领域大模型预训练与微调方法，其特征在于，所述使用训练后的奖励模型从新获取的医疗相关文本数据中筛选出高质量数据，包括：
4.根据权利要求3所述的基于知识图谱的医疗领域大模型预训练与微调方法，其特征在于，所述方法还包括对奖励模型进行持续优化，包括：
5.根据权利要求1或4所述的基于知识图谱的医疗领域大模型预训练与微调方法，其特征在于，奖励模型采用qwen2-7b模型作为基础模型。
6.根据权利要求1所述的基于知识图谱的医疗领域大模型预训练与微调方法，其特征在于，所述将医学知识图谱编码为大语言模型...
【专利技术属性】
技术研发人员：张强，欧卫，周哲，王恒，戴超铭，庄晨晖，
申请(专利权)人：杭州古珀医疗科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。