一种基于预训练模型的医学自然语言处理方法技术

本申请适用于计算机技术领域，提供了一种医学自然语言处理方法、装置及计算机可读存储介质，所述方法包括：获取待挖掘语义信息的医学文本；利用文本数据预处理技术对文本进行粉词和建立词表等预处理；加载预训练模型的权重，并在其基础上根据指定分类或搜索任务进行微调；根据微调结果对模型超参数进行调整；通过微调好的模型对输入文本进行语义挖掘提取，进而执行分类或推荐等下有任务。上述方案，通过利用预训练模型中的丰富知识对医学文本信息抽取、医学术语归一化，医学文本分类和医疗知识问答等下游任务进行参数微调，这样，大大提升了分类和检索推荐等医学自然语言下游处理任务的精度。理任务的精度。理任务的精度。

【技术实现步骤摘要】
一种基于预训练模型的医学自然语言处理方法


[0001]本专利技术涉及医学自然语言处理和深度学习技术，具体涉及一种基于预训练模型的医学自然语言处理方法，可用于智慧医疗场景，如医学文本信息抽取(实体识别、关系抽取)、医学术语归一化、医学文本分类和医学问答4大类常见的医学自然语言处理任务。

技术介绍

[0002]人工智能，随着生物医学语言理解的最新进展，正在逐渐改变着医学实践。随着生物医学语言理解基准的发展，人工智能应用在医学领域得到了广泛的应用。生物医学自然语言处理促进了广泛的应用，如生物医学文本挖掘，利用电子健康记录中的文本数据。例如，生物医学自然语言处理方法可用于通过电子病历中的文本和信息，为高危人群提供专业医疗建议。此外，自然语言处理技术还在语音识别、临床文件、临床试验匹配、计算机辅助编码等医疗领域有着重大应用。
[0003]医学领域存在大量自然语言文献，例如医学教材、医学百科、临床路径、检验报告等，这些医学文本中蕴含了大量的专业知识和丰富的医学信息。医学领域的命名实体指的是将重要的医学实体，如疾病、症状等从医学文本中抽取出来，此步骤本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种医学自然语言处理方法，其特征在于，包括：获取待挖掘语义的医学自然语言文本，并且获取想要执行的医学自然语言处理下游任务，包括医学文本信息抽取、医学术语归一化、医学文本分类和医学问答；根据医学自然语言处理下游任务类别确定所述下游任务微调模型的架构；通过将预训练模型网络架构和参数作为下游任务的初始化权重，对下游任务模型架构进行参数微调；对获取的医学自然语言文本进行分词、建立词表等预处理操作，得到医学自然语言文本对应的初始化向量表示；对医学自然语言文本的初始化向量表示利用训练好的微调网络得到语义提取向量表示，最终应用至指定下游任务中。2.如权利要求1所述的医学自然语言处理方法，其特征在于，所述文本为包含医学实体的自然语言；所述对医学文本进行预处理的方法，包括：对医学文本进行分词，去停用词，然后根据词频建立词表，再使用独热编码对文本进行编码得到初始向量化表示。3.如权利要求2所...

【专利技术属性】
技术研发人员：张志强，唐山荣，
申请(专利权)人：道亿科技医疗健康海南有限公司，
类型：发明
国别省市：