基于骨科临床病历生成问答数据集的方法、装置及介质制造方法及图纸

本发明专利技术涉及一种基于骨科临床病历生成问答数据集的方法、装置及介质，所述方法包括如下步骤：获取多个骨科临床病历及每个所述骨科临床病历对应的医学图像，构建待标注数据集；提取每个所述骨科临床病历的医学实体；分别利用每个所述骨科临床病历的医学实体及每个所述骨科临床病历对应的医学图像替换视觉问答对模板中的医学实体占位符和图像占位符，生成多个医学视觉问答对；基于所述医学视觉问答对中的基于骨科临床病历生成的视觉问题和视觉答案对所述骨科临床病历对应的医学图像进行标注，生成问答数据集。本发明专利技术基于骨科临床病历实现医学图像的自动标注，减少了手动注释的成本，并提高了问答数据集的质量。并提高了问答数据集的质量。并提高了问答数据集的质量。

【技术实现步骤摘要】
基于骨科临床病历生成问答数据集的方法、装置及介质


[0001]本专利技术涉及医学视觉问答
，特别是涉及一种基于骨科临床病历生成问答数据集的方法、装置及介质。

技术介绍

[0002]医学视觉问答是一个具有挑战性的问题，它以医学图像和有关图像的临床问题作为输入，以自然语言输出正确答案。与一般的视觉问答不同，医学视觉问答是一个更具挑战性的问题，因为现有医学视觉问答系统通常需要在大规模带注释的数据集上进行训练。然而，用于训练医学视觉问答系统的标注良好的数据集非常缺乏，因为获得医学专家的高质量标注非常昂贵。需要构建大规模和高质量的医学视觉的问答数据集。现有的工作可以分为两类。第一组通过从在线医学教科书中提取图像和相关文本来构建问答数据集。然而，这些数据通常会因没有手动注释而导致数据质量低下。第二组使用手动注释构建了更可靠的问答数据集，然而，它们的数据量太小，其标注成本高。

技术实现思路

[0003]有鉴于此，本专利技术提供了一种基于骨科临床病历生成问答数据集的方法、装置及介质，以降低手动注释的成本，并提高问答数据集的质量。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于骨科临床病历生成问答数据集的方法，其特征在于，所述方法包括如下步骤：获取多个骨科临床病历及每个所述骨科临床病历对应的医学图像，构建待标注数据集；所述待标注数据集包括多个待标注数据对，所述待标注数据对包括骨科临床病历及所述骨科临床病历对应的医学图像；提取每个所述骨科临床病历的医学实体；分别利用每个所述骨科临床病历的医学实体及每个所述骨科临床病历对应的医学图像替换视觉问答对模板中的医学实体占位符和图像占位符，生成多个医学视觉问答对；每个所述医学视觉问答对包括骨科临床病历对应的医学图像及基于骨科临床病历生成的视觉问题和视觉答案；所述视觉问题和视觉答案分别为关于医学图像的问题和答案；基于所述医学视觉问答对中的基于骨科临床病历生成的视觉问题和视觉答案对所述骨科临床病历对应的医学图像进行标注，生成问答数据集；所述问答数据集用于训练医学问答系统。2.根据权利要求1所述的基于骨科临床病历生成问答数据集的方法，其特征在于，提取每个所述骨科临床病历的医学实体，具体包括：采用BERT
‑
BiLSTM
‑
CRF算法提取每个所述骨科临床病历的医学实体。3.根据权利要求1或2所述的基于骨科临床病历生成问答数据集的方法，其特征在于，所述医学实体包括：身体部位名称、疾病名称、症状名称、治疗名称、医学检查名称和药物名称。4.根据权利要求1所述的基于骨科临床病历生成问答数据集的方法，其特征在于，所述分别利用每个所述骨科临床病历的医学实体及每个所述骨科临床病历对应的医学图像替换视觉问答对模板中的医学实体占位符和图像占位符，生成多个医学视觉问答对，之前还包括：获取关于医学图像的临床诊疗记录；采用KG
‑
MDMF算法和IMAS++系统的聚类功能对临床诊疗记录中的视觉问题和视觉答案分别进行聚类，确定问题类型和答案类型；采用BERT
‑
BiLSTM
‑
CRF算法提取每一种问题类型中的所有视觉问题的医学实体，并将每一种问题类型中的所有视觉问题的医学实体均替换为医学实体占位符；基于每一种问题类型中的所有医学实体替换后的视觉问题，生成每种问题类型对应的问题模板；采用BERT
‑
BiLSTM
‑
CRF算法提取每一种答案类型中的所有视觉答案的医学实体，并将每一种答案类型中的所有视觉答案的医学实体均替换为医学实体占位符；基于每一种答案类型中的所有医学实体替换后的视觉答案，生成每种答案类型对应的答案模板；利用图像占位符、所述问题模板和所述答案模板构建视觉问答对模板。5.根据权利要求4所述的基于骨科临床病历生成问答数据集的方法，其特征...

【专利技术属性】
技术研发人员：王晓黎，黄烨钒，
申请(专利权)人：厦门大学，
类型：发明
国别省市：