基于文本与多尺度图像多模态融合的垂体神经内分泌肿瘤分类系统技术方案

本发明专利技术公开了基于文本与多尺度图像多模态融合的垂体神经内分泌肿瘤分类系统及方法，包括以下步骤：采集垂体神经内分泌肿瘤患者的术前、手术、随访的多模态数据并进行预处理；基于病理分类的预测模型，将预处理后的多模态数据分为文本类数据和图像类数据，并分别提取各模态数据特征，将提取的各模态数据特征进行交互，获得融合的多模态特征；利用融合的多模态特征，对病理分类的预测模型进行训练；将待测的患者术前、手术、随访的多模态数据输入通过训练的病理分类的预测模型，获得对应的垂体神经内分泌肿瘤的分类信息。本发明专利技术利用患者的医疗文本信息和术前多尺度影像学检查进行病理分类的预测模型，实现垂体神经内分泌肿瘤准确分类。

【技术实现步骤摘要】

本专利技术属于信息科学领域，具体涉及基于文本与多尺度图像多模态融合的垂体神经内分泌肿瘤分类系统。

技术介绍

1、垂体神经内分泌肿瘤[pitnets]是第三常见的中枢神经系统肿瘤。2022新版whopitnets分类(简称2022版)，是基于肿瘤细胞谱系[免疫组化]、细胞类型[病理图片]、所产生的激素[免疫组化]以及其他辅助特征，进行详细组织学分类。共计四大类，包括pit-1谱系、t-pit谱系、sf-1谱系和无明确细胞谱系pitnets。十二种pitnets亚型，其中生长激素细胞、泌乳素细胞、促肾上腺皮质激素细胞有致密颗粒性和稀疏颗粒性的亚型，而促甲状腺激素细胞和促性腺激素细胞pitnets没有亚型。pitnets是一种常见的颅内原发性肿瘤，它们可以通过过量的激素分泌和局部鞍区生长而引起发病，严重影响患者的生存质量。根据垂体腺瘤的类型和表现，可采用保守治疗或药物、手术或放射治疗，或结合这些治疗方式。垂体腺瘤根据功能、大小、侵袭性、表型和组织学进行不同的分类，旨在指导治疗和预后。超过一半的引起临床上重要健康问题的腺瘤不需要手术治疗。因此，不需要手术的垂体肿瘤本文档来自技高网...

【技术保护点】

1.基于文本与多尺度图像多模态融合的垂体神经内分泌肿瘤分类系统，其特征在于，包括：采集模块、构建模块、提取模块、训练模块和分类模块；

2.根据权利要求1所述的基于文本与多尺度图像多模态融合的垂体神经内分泌肿瘤分类系统，其特征在于，所述文本类数据包括：症状描述和医学报告；所述图像类数据包括：MRI图像、WSI图像和分子表达。

3.根据权利要求2所述的基于文本与多尺度图像多模态融合的垂体神经内分泌肿瘤分类系统，其特征在于，所述提取模块中，对图像类数据中的MRI图像进行特征提取的过程包括：

4.根据权利要求3所述的基于文本与多尺度图像多模态融合的垂体神经内分...

【技术特征摘要】

1.基于文本与多尺度图像多模态融合的垂体神经内分泌肿瘤分类系统，其特征在于，包括：采集模块、构建模块、提取模块、训练模块和分类模块；

2.根据权利要求1所述的基于文本与多尺度图像多模态融合的垂体神经内分泌肿瘤分类系统，其特征在于，所述文本类数据包括：症状描述和医学报告；所述图像类数据包括：mri图像、wsi图像和分子表达。

3.根据权利要求2所述的基于文本与多尺度图像多模态融合的垂体神经内分泌肿瘤分类系统，其特征在于，所述提取模块中，对图像类数据中的mri图像进行特征提取的过程包括：

4.根据权利要求3所述的基于文本与多尺度图像多模态融合的垂体神经内分泌肿瘤分类系统，其特征在于，所述提取模块中，对图像类数据中的wsi图像进行特征提取的过程包括：

5.根据权利要求2所述的基于文本与多尺度图...

【专利技术属性】
技术研发人员：姚顺，叶初阳，王嘉明，侯清念，孙宇平，张美慧，王海军，
申请(专利权)人：中山大学附属第一医院，
类型：发明
国别省市：