一种基于多模态内镜特征融合的炎症性肠病活动度评估系统技术方案

本发明专利技术公开了一种基于多模态内镜特征融合的炎症性肠病活动度评估系统，涉及医疗信息处理领域。所述系统包括：多模态数据接收模块，用于接收第一EUS微阵列多模态内镜动态序列数据；影像预处理模块，用于降噪处理，确定第一白光有效观察影像和第一超声有效观察影像；白光表面特征提取模块，用于利用白光表面特征提取模型进行黏膜表面特征提取确定第一白光内镜下黏膜特征；超声透壁特征提取模块，用于利用超声透壁特征提取模型进行结构识别及测量确定第一超声下黏膜特征；多模态内镜IBD活动度评估模块，用于利用多模态动态内镜IBD活动度评估模型基于多模态内镜特征确定IBD的活动度。相较于现有技术，本发明专利技术打破了以往基于单模态、静态图片进行疾病评估的局限性，提高了IBD活动度评估结果的精准性。

【技术实现步骤摘要】

本专利技术涉及医疗信息处理，更具体地，涉及一种基于多模态内镜特征融合的炎症性肠病活动度评估系统。

技术介绍

1、炎症性肠病（inflammatory bowel disease, ibd）病因未明，主要累及青壮年，其病情特点为迁延不愈、易复发、致残率高，严重危害患者健康。随着生物制剂等新型药物开发和创新治疗策略方面的重大进展，精准诊疗的需求日渐提高，ibd的内镜缓解已经成为了患者治疗方案制定的重要依据。然而，ibd内镜下活动度评估受限于：

2、（1）内镜医师之间一致性较差；

3、（2）作为主要评估手段的光学内镜仅能观察肠腔黏膜表面，难以评估炎症累及的肠壁深度及肠周透壁变化。

4、目前，内镜活动度评分与临床活动度及组织学活动度仍然存在偏差，阻碍了ibd精准诊疗的发展。

5、近年来，人工智能（artificial intelligence，ai）技术的发展为研究人员精准、高效评估 ibd 活动度提供了可能。di ruscio等人通过图像分类的手段，构建了白光内镜下评估预测uc组织学愈合的模型；bossuyt p等本文档来自技高网...

【技术保护点】

1.一种基于多模态内镜特征融合的炎症性肠病活动度评估系统，其特征在于，包括：

2.根据权利要求1所述的一种基于多模态内镜特征融合的炎症性肠病活动度评估系统，其特征在于，所述根据所述第一白光内镜下黏膜特征及所述第一超声下黏膜特征，确定IBD的活动度，包括：

3.根据权利要求2所述的一种基于多模态内镜特征融合的炎症性肠病活动度评估系统，其特征在于，所述多模态动态内镜IBD活动度评估模型的训练过程包括：

4.根据权利要求1-3任一项所述的一种基于多模态内镜特征融合的炎症性肠病活动度评估系统，其特征在于，所述超声透壁特征提取模型的训练过程包括：

5...

【技术特征摘要】

1.一种基于多模态内镜特征融合的炎症性肠病活动度评估系统，其特征在于，包括：

2.根据权利要求1所述的一种基于多模态内镜特征融合的炎症性肠病活动度评估系统，其特征在于，所述根据所述第一白光内镜下黏膜特征及所述第一超声下黏膜特征，确定ibd的活动度，包括：

3.根据权利要求2所述的一种基于多模态内镜特征融合的炎症性肠病活动度评估系统，其特征在于，所述多模态动态内镜ibd活动度评估模型的训练过程包括：

4.根据权利要求1-3任一项所述的一种基于多模态内镜特征融合的炎症性肠病活动度评估系统，其特征在于，所述超声透壁特征提取模型的训练过程包括：

5.根据权利要求4所述的一种基于多模态内镜特征融合的炎症性肠病活动度评估系统，其特征在于，所述超声透壁特征提取模块上还搭载有用于确定病灶特征的病灶识别模型，并基于所述第一超声有效观察影像与所述病灶特征生成标记有病灶的病灶示意图；所述病灶特征还用于与所述第一超声下黏膜特征进行特征融合后作为新的所述第一超声下黏膜特征输入所述多模态动态内镜ibd活动度评估模型；

6.根据权利要求4所述的一种基于多模态...

【专利技术属性】
技术研发人员：张丽辉，毛仁，丁震，陈旻湖，
申请(专利权)人：中山大学，
类型：发明
国别省市：