本发明专利技术公开了一种基于多模态融合的儿童肠套叠诊断智能分析系统，包括儿童肠套叠关系抽取模型、文本特征提取模型、超声影像质控模型、结构化数据特征提取模型和特征融合模型；儿童肠套叠关系抽取模型用于构建儿童肠套叠知识图谱；文本特征提取模型用于提取原始诊断病历、超声诊断报告中的文本特征；超声影像质控模型用于提取儿童肠套叠超声影像中的图像特征；结构化数据特征提取模型用于提取儿童肠套叠实验室数据中的结构化数据特征；特征融合模型用于融合文本特征、图像特征和结构化数据特征，输出高维特征后，使用归一化函数将儿童肠套叠的预测输出映射为概率分布。本发明专利技术可以实现儿童肠套叠疾病的快速诊断，缩短诊断时间、降低假阳性率。降低假阳性率。降低假阳性率。
【技术实现步骤摘要】
一种基于多模态融合的儿童肠套叠诊断智能分析系统
[0001]本专利技术属于医学人工智能领域，尤其是涉及一种基于多模态融合的儿童肠套叠诊断智能分析系统。
技术介绍
[0002]肠套叠是一种小儿外科急腹症，在临床上较为常见，以2岁以下小儿为主要患病人群。肠套叠主要是指相连两段肠管间彼此相套的现象，早期及时诊断并积极进行正确治疗可防止肠管发生坏死，减轻患儿受到的痛苦。
[0003]超声诊断作为一种无创伤、无痛苦的检查手段，易于被患儿及其家属接受，典型儿童肠套叠超声声像图可总结为两个征象：一是横断面上呈现“同心圆”征象，二是纵切面呈现“套筒征”征象，医生多是通过“同心圆”征象的识别判断患者是否出现肠套叠问题，然而日益增加的影像数据也为医生的诊疗带来了负担。
[0004]随着深度学习技术的发展，以往依赖医生人工读片的传统阅片模式被打破，以数据驱动为基础的深度学习技术，让计算机通过影像学、医学图像处理技术结合计算机的分析计算，辅助发现病灶，提高诊断的准确率。
[0005]如公开号为CN107133942A的中国专利文献公开了一种基于深度学习的医疗图像处理方法。所述基于深度学习的医疗图像处理方法包括如下步骤：选用标注好的医疗训练集图像对迁移的神经网络模型进行训练和适配，获得经过训练的医疗诊断模型；根据所述医疗诊断模型的要求转换医疗图片的图像格式，并对所述医疗图片进行图像增强处理；提取所述医疗图片的瓶颈特征，利用所述医疗诊断模型根据所述瓶颈特征进行影像诊断，并输出诊断结果。
[0006]公开号为CN109215021A的中国专利文献公开了一种基于深度学习的胆石病CT医疗图像快速识别方法，包括：1)采集胆石病CT医疗图像，构建训练集；2)对训练集中的图像进行处理，生成所需要的训练样本；3)利用训练样本进行基于深度学习的胆石病CT医疗图像识别训练，生成训练好的胆石病CT医疗图像快速识别模型；4)采集新的胆石病CT医疗图像，构建验证集；5)使用验证集中图像对模型进行验证。
[0007]然而，针对儿童肠套叠多样的临床表现，复杂的病因病情以及离散的疾病数据(病历、检验、检查等)，儿童肠套叠疾病诊治面临的诊断时间长较长，基层医院超声检查假阳率较高问题。同时，传统诊疗流程困难，医患沟通等待周期长，交互质量低，响应慢。
[0008]因此，亟需设计一种儿童肠套叠诊断智能分析系统，从而缩短诊断时间、降低假阳性率，全面提升我国儿童肠套叠疾病治疗水平，合理有效发挥医疗资源的作用。
技术实现思路
[0009]本专利技术提供了一种基于多模态融合的儿童肠套叠诊断智能分析系统，可以实现儿童肠套叠疾病的快速诊断，从而缩短诊断时间、降低假阳性率。
[0010]一种基于多模态融合的儿童肠套叠诊断智能分析系统，包括计算机存储器、计算
机处理器以及存储在计算机存储器中并可在计算机处理器上执行的计算机程序，所述的计算机存储器中存储有训练好的儿童肠套叠关系抽取模型、文本特征提取模型、超声影像质控模型、结构化数据特征提取模型以及特征融合模型；
[0011]所述的儿童肠套叠关系抽取模型采用BiLSTM与CRF相结合的方法识别儿童肠套叠专病中的实体，采用该组合模型对儿童肠套叠非结构化文本数据集进行命名实体识别；同时，采用BiLSTM和注意力机制提取儿童肠套叠专病中的关系，从而构建基于腹痛主诉下儿童肠套叠知识图谱；
[0012]所述的文本特征提取模型，用于结合构建的儿童肠套叠知识图谱，运用自然语言处理技术，提取原始诊断病历、超声诊断报告中的文本特征；
[0013]所述的超声影像质控模型，用于提取儿童肠套叠超声影像中的图像特征；
[0014]所述的结构化数据特征提取模型，用于提取儿童肠套叠实验室数据中的结构化数据特征；
[0015]所述的特征融合模型，用于融合文本特征、图像特征和结构化数据特征，输出高维特征后，使用归一化函数将儿童肠套叠的预测输出映射为概率分布。
[0016]进一步地，所述儿童肠套叠知识图谱的构建过程主要包括实体抽取和关系抽取，具体如下：
[0017](1)收集儿童肠套叠专病的相关文献、专家共识，收集儿童医院近十年儿童肠套叠的原始病历数据和超声影像报告；
[0018](2)对收集的数据做预处理后进行分词和标注，按照7:3的比例划分训练集与测试集；
[0019](3)使用BiLSTM
‑
CRF训练，构建儿童肠套叠实体抽取模型；首先，使用BiLSTM层获取下文相关的字向量表示，然后经过CRF层对数据标注添加必要约束来确保其合理有效，最终提取得到实体集；
[0020](4)应用抽取的实体标注数据集，并按照7:3的比例划分训练集与测试集；
[0021](5)采用BiLSTM和注意力机制提取儿童肠套叠专病中的关系，构建儿童肠套叠关系抽取模型；
[0022](6)将语段进行实体信息以及不同实体之间关系的提炼后，将抽取到的实体
‑
关系
‑
实体三元组存入Neo4j数据库，将其描绘成图形化的知识图谱结构，完成儿童肠套叠专病知识图谱的构建并可视化图谱。
[0023]步骤(2)中，所述的预处理包括脱敏和清洗操作。
[0024]进一步地，所述的超声影像质控模型包含图像特征提取模型、超声影像扫全模型和同心圆纵横截面检测模型；其中，所述的超声影像扫全模型采用改进的YOLOv5s网络，将卷积注意力模块CBAM与YOLOv5s网络的Neck部分融合，提高网络的特征提取能力。
[0025]所述的超声影像质控模型在训练过程中，训练数据集的制作过程如下：
[0026]收集儿童医院超声影像系统中近十年儿童肠套叠的超声影像；
[0027]查阅相关超声影像文件，咨询超声影像专家，确定儿童肠套叠超声影像质量的标准，包括横切面呈“同心圆征”、纵切面呈“套筒征”以及局部肠壁血流信号增多；
[0028]保证超声影像扫描到肾脏区域，由2名超声医师进行标准超声图像的筛选；
[0029]由2位专家根据超声标准切面，对标准切面使用Pair智能标注软件进行各项标准
的图像标注，将标注后的图像作为训练图像特征提取模型的数据集。
[0030]所述的超声影像扫全模型训练过程中，采用CIoU Loss代替GIoU Loss作为目标边界框回归损失函数，加快边界框回归速的同时提高定位精度，改善漏检问题。
[0031]所述超声影像质控模型在提取儿童肠套叠超声影像中的图像特征时，首先通过图像预处理技术，将超声影像统一为肾脏位于影像上部或者下部，通过超声影像扫全模型检测是否有扫描到肾脏并返回肾脏区域检测结果；进一步用同心圆纵横截面检测模型检测超声影像是否扫描到同心圆的横截面，如果检测到同心圆横截面，继续检测超声影像是否扫描到同心圆的纵截面。
[0032]进一步地，所述的特征融合模型在输出高维特征后，使用归一化函数Softmax将儿童肠套叠的预测输出映射为概率分布，假设预测值为则本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于多模态融合的儿童肠套叠诊断智能分析系统，包括计算机存储器、计算机处理器以及存储在计算机存储器中并可在计算机处理器上执行的计算机程序，其特征在于，所述的计算机存储器中存储有训练好的儿童肠套叠关系抽取模型、文本特征提取模型、超声影像质控模型、结构化数据特征提取模型以及特征融合模型；所述的儿童肠套叠关系抽取模型采用BiLSTM与CRF相结合的方法识别儿童肠套叠专病中的实体，采用该组合模型对儿童肠套叠非结构化文本数据集进行命名实体识别；同时，采用BiLSTM和注意力机制提取儿童肠套叠专病中的关系，从而构建基于腹痛主诉下儿童肠套叠知识图谱；所述的文本特征提取模型，用于结合构建的儿童肠套叠知识图谱，运用自然语言处理技术，提取原始诊断病历、超声诊断报告中的文本特征；所述的超声影像质控模型，用于提取儿童肠套叠超声影像中的图像特征；所述的结构化数据特征提取模型，用于提取儿童肠套叠实验室数据中的结构化数据特征；所述的特征融合模型，用于融合文本特征、图像特征和结构化数据特征，输出高维特征后，使用归一化函数将儿童肠套叠的预测输出映射为概率分布。2.根据权利要求1所述的基于多模态融合的儿童肠套叠诊断智能分析系统，其特征在于，所述儿童肠套叠知识图谱的构建过程主要包括实体抽取和关系抽取，具体如下：(1)收集儿童肠套叠专病的相关文献、专家共识，收集儿童医院近十年儿童肠套叠的原始病历数据和超声影像报告；(2)对收集的数据做预处理后进行分词和标注，按照7:3的比例划分训练集与测试集；(3)使用BiLSTM
‑
CRF训练，构建儿童肠套叠实体抽取模型；首先，使用BiLSTM层获取下文相关的字向量表示，然后经过CRF层对数据标注添加必要约束来确保其合理有效，最终提取得到实体集；(4)应用抽取的实体标注数据集，并按照7:3的比例划分训练集与测试集；(5)采用BiLSTM和注意力机制提取儿童肠套叠专病中的关系，构建儿童肠套叠关系抽取模型；(6)将语段进行实体信息以及不同实体之间关系的提炼后，将抽取到的实体
‑
关系
‑
实体三元组存入Neo4j数据库，将其描绘成图形化的知识图谱结构，完成儿童肠套叠专病知识图谱的构建并可视化图谱。3.根据权利要求1所述的基于多...
【专利技术属性】
技术研发人员：俞刚，李哲明，黄坚，沈忱，李竞，宋春泽，黄寿奖，陈星，段梦宇，
申请(专利权)人：浙江大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。