医疗模型预训练的方法、装置、电子设备及存储介质制造方法及图纸

本申请涉及人工智能技术领域，具体提供了一种医疗模型预训练的方法、装置、电子设备及存储介质。一种医疗模型预训练的方法，包括针对各预训练文本的医疗实体信息，对各预训练文本分别进行采样，获得各预训练文本分别对应的采样片段集合；采样片段集合中采样片段中至少包含医疗实体信息；对各预训练文本中的采样片段分别进行掩码处理，获得相应的损坏文本；通过文本预测通用模型，根据各损坏文本及其分别对应的采样片段集合进行文本预测，获得相应的文本预测结果；根据各预训练文本及文本预测结果，进行参数调整，直至获得训练好的医疗预训练模型。这样，提高了医疗预训练模型在医疗领域中的语义理解能力以及逻辑处理能力。

【技术实现步骤摘要】

本申请涉及人工智能，具体涉及一种医疗模型预训练的方法、装置、电子设备及存储介质。

技术介绍

1、近年来，深度学习在医疗领域的应用日益增多，传统技术下，通常基于通用数据进行医疗模型预训练，获得预训练模型，其为一种通用的基础大模型。然后，采用特定的医疗数据，在预训练模型的基础上，进行监督微调（supervised fine-tuning，sft）训练，获得训练好的目标医疗模型。

2、其中，预训练属于迁移学习的范畴。现有的神经网络在进行训练时，一般基于后向传播算法，先对网络中的参数进行随机初始化，再利用随机梯度下降等优化算法不断优化模型参数。而预训练的思想是，模型参数不再是随机初始化的，而是通过一些任务进行预先训练，得到一套模型参数，然后用这套参数对模型进行初始化，再进行训练。

3、但是，医疗领域包含大量的专业术语、医学概念和临床用语，采用传统方式获得的预训练模型，难以精确理解和处理医学文献、病历记录、药物说明书等专业文本，不具备医学知识以及逻辑推断能力，而模型的微调训练通常是用于提升模型遵循指令的能力，并不能有效提升模型对医疗知识的理解本文档来自技高网...

【技术保护点】

1.一种医疗模型预训练的方法，所述方法包括：

2.根据权利要求1所述的方法，所述针对所述训练样本集合中各预训练文本的医疗实体信息，对各预训练文本分别进行采样，获得各预训练文本分别对应的采样片段集合，包括：

3.根据权利要求2所述的方法，所述基于选取的至少一个采样片段，生成相应的采样片段集合，包括：

4.根据权利要求1-3任一项所述的方法，在获取训练样本集合之前，所述方法还包括：

5.根据权利要求1-3任一项所述的方法，所述通过文本预测通用模型，根据各损坏文本及其分别对应的采样片段集合，进行文本预测，获得相应的文本预测结果，包括：

...

【技术特征摘要】

1.一种医疗模型预训练的方法，所述方法包括：

2.根据权利要求1所述的方法，所述针对所述训练样本集合中各预训练文本的医疗实体信息，对各预训练文本分别进行采样，获得各预训练文本分别对应的采样片段集合，包括：

3.根据权利要求2所述的方法，所述基于选取的至少一个采样片段，生成相应的采样片段集合，包括：

4.根据权利要求1-3任一项所述的方法，在获取训练样本集合之前，所述方法还包括：

5.根据权利要求1-3任一项所述的方法，所述通过文本预测通用模型，根据各损坏文本及其分别对应的采样片段集合，进行文本预测，获得相应的文本预...

【专利技术属性】
技术研发人员：王俊杰，胡森，张阳，汪亲，张望舒，许腾，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：

全部详细技术资料下载 我是这个专利的主人