基于人机交互的模型训练方法、装置、终端及存储介质制造方法及图纸

本发明专利技术公开了一种基于人机交互的模型训练方法、装置、终端及存储介质，包括：获取医学数据集，根据所述医学数据集对BERT模型或GPT模型进行调整，得到调整后的模型；根据余弦相似性约束和CAM对所述调整后的模型进行训练，得到训练后的模型；根据所述训练后的模型进行预测，并根据预测结果和人机交互信息更新并输出预测报告及分类结果。本发明专利技术基于人机交互的方式，使用再处理的方法，在模型首次输出图像诊断报告后，由使用人临床医生等对其结果进行判断，对存疑部分可进行少量的修改，将修改的结果重新当作语言模块的输入并进行训练，实现了人机交互的模型训练功能，提高了模型的疾病预测精度。预测精度。预测精度。

【技术实现步骤摘要】
基于人机交互的模型训练方法、装置、终端及存储介质


[0001]本专利技术涉及医学数据分析
，尤其涉及的是基于人机交互的模型训练方法、装置、终端及存储介质。

技术介绍

[0002]在医学数据分析领域，目前单纯基于医学图像后处理的任务已经逐渐成熟，即使如此，这些技术在临床实践中因为其精度不稳定和可解释性等问题，仍然饱受质疑。回顾目前流行的智能医学影像技术，仍有大量的来自诊断报告的信息没有被发掘。这些信息一般由临床医生结合其自身经验给出的意见，是日常检查所必须的，获得这些标注不需要任何额外的精力。除此之外，随着自然语言处理系列方法(NLP，Nature Language Processsing)在自然图像领域近年来的突破，目前人工智能领域主要的目光已经集中在了链接智能体与人类理解的研究上。因此，基于图像联合文本的多模态医学影像分析已具备攻关条件，已经逐渐成为医学分析研究者的主流方向。
[0003]近两年基于Transformer结构的系列NLP方法取得了长足的发展，逐渐出现了Bert，GPT等大参数模型。目前普遍认为这类大参数模型的出现本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人机交互的模型训练方法，其特征在于，包括：获取医学数据集，根据所述医学数据集对BERT模型或GPT模型进行调整，得到调整后的模型；根据余弦相似性约束和CAM对所述调整后的模型进行训练，得到训练后的模型；根据所述训练后的模型进行预测，并根据预测结果和人机交互信息更新并输出预测报告及分类结果。2.根据权利要求1所述的基于人机交互的模型训练方法，其特征在于，所述获取医学数据集，根据所述医学数据集对BERT模型或GPT模型进行调整，得到调整后的模型，之前包括：根据预训练的方法从基于自然文本预训练的大规模语言预训练模型中获得权重。3.根据权利要求2所述的基于人机交互的模型训练方法，其特征在于，所述获取医学数据集，根据所述医学数据集对BERT模型或GPT模型进行调整，得到调整后的模型，包括：获取医学数据集，并提取所述医学数据集中的文本信息；将所述文本信息转换成所述BERT模型或GPT模型的词嵌入模式；冻结所述BERT模型或GPT模型中的预设参数；训练所述BERT模型或GPT模型输出阶段的指定注意力头，得到所述调整后的模型。4.根据权利要求3所述的基于人机交互的模型训练方法，其特征在于，所述训练所述BERT模型或GPT模型输出阶段的指定注意力头，得到所述调整后的模型，包括：根据所述权重及所述词嵌入模式训练所述BERT模型或GPT模型输出阶段的指定注意力头，得到具有医学语言表征的语言模型。5.根据权利要求3所述的基于人机交互的模型训练方法，其特征在于，所述医学数据集包括：开源数据库中的医学数据集或临床实践的医学数据集。6.根据权利要求1所述的基于人机交互的模型训练方法，其特征在于，所述根据余弦相似性约束和CAM对所述调整后的模型进行训练，得到训练后的模型，包括：获取所述医学数据集中的文本特征与图像特征；根据所述余弦相似性约束对齐所述文本特征和所述图像特征，得到融合特征；根据所述融合特征和输出目标信息对所述调整后的模型进行训练，得到所述训练后的模型。7.根据权利要求6所述的基于人机交互的模型训练方法，其特征在于，所述根据所述余弦相似性约束对齐所述文本特征和所述图像特征，得到融合特征，包括：根据线性投影将所述文本特征和所述...

【专利技术属性】
技术研发人员：王珊珊，黄纬键，郑海荣，陈杰，
申请(专利权)人：鹏城实验室，
类型：发明
国别省市：