一种基于多模态深度学习的胃癌TNM分期预测系统技术方案

本发明专利技术公开了一种基于多模态深度学习的胃癌TNM分期预测系统，包括数据采集模块、图像预处理模块、文本预处理模块、预测模型训练模块和预测模块，上述模块应用时包括以下步骤：CT图像与文本数据的采集与数据清洗；对CT图像进行预处理，提取标记数据，建立mask图像并与原图相乘后获得有效识别区域；对文本数据利用机器学习中的XGBoost和LightGBM算法进行预训练，获得特征重要性排序，从而获得有效数据样本；对图像与文本数据的深浅层次特征进行深度学习，利用卷积神经网络进行训练，获得正确TNM时期的分类结果。本发明专利技术较传统人工识别有着更多的模态参考依据，具有非常高的识别准确度，可以减少专业医生的业务负担，解决我国医疗资源不均衡的现况。源不均衡的现况。源不均衡的现况。

【技术实现步骤摘要】
一种基于多模态深度学习的胃癌TNM分期预测系统


[0001]本专利技术属于医学人工智能领域，尤其是涉及一种基于多模态深度学习的胃癌TNM分期预测系统。

技术介绍

[0002]胃癌(GC)在东亚地区发病率较高，在世界范围内仍是第五大最常见恶性肿瘤和第三大癌症死亡原因。准确的肿瘤局部深度浸润(T)、局部淋巴结浸润(N)和远处转移(M)是治疗策略的关键。在临床实践中，计算机断层扫描(CT)已被广泛应用于术前分期。然而，预处理分期的准确性并不令人满意。目前，胃癌的CT图像是由放射科医生手工评估的。胃癌的准确TNM分期是放射科医师面临的一项重要而富有挑战性的工作。在最近的研究中，CT对T分期和N分期的准确率分别为60％
‑
78％和56％
‑
75.9％。CT软组织造影分辨率较差，也限制了其对T分期的评价能力。
[0003]近年来，人工智能技术在医学影像中的应用越来越广泛，尤其是随着深度学习的发展。深度学习模型作为一种对物体的高级表示，在医学图像识别领域取得了一定的成就。深度卷积神经网络(Deep Convolut本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态深度学习的胃癌TNM分期预测系统，其特征在于，包括以下模块：数据采集模块，用于采集胃癌患者脱敏数据，整理出CT图像数据和文本数据，并根据临床事件把TNM时期分别分为T期1
‑
6期，N期1
‑
5期，M期1
‑
2期；图像预处理模块，用于对CT图像数据进行预处理，提取标记数据，建立mask图像，设定Hu值，匹配mask图像和原始图像，获得有效识别区域；文本预处理模块，用于对文本数据进行预处理，对缺失值进行填充，进行异常值检测，对离群点进行单独处理；预测模型训练模块，用于将图像预处理模块获得的有效识别区域图像数据与文本预处理模块预处理后的文本数据作为训练数据，训练预测模型，所述的预测模型是一个多层次组合神经网络，其主要框架是基于ResNet34的卷积神经网络，训练过程中的损失函数采用交叉熵损失函数，具体为：首先对图像数据进行训练，图像经过两条支路的训练，一条支路通过ResNet34的主干网络进行深层图像特征提取；另一条支路通过一个8层的卷积神经网络进行浅层图像特征提取，其包括3个卷积层、3个池化层和2个全连接层，在提取完浅层图像特征后，该支路在第二个全连接层前加入文本数据，进行融合训练；在经历深层特征训练和浅层特征训练两条支路之后，模型通过一个全连接层进行分类器分类；预测模块，用于将待预测的胃癌患者脱敏数据输入预测模型训练模块练好的预测模型中，得到TNM分期结果。2.根据权利要求1所述的基于多模态深度学习的胃癌TNM分期预测系统，其特征在于，所述数据采集模块整理出的文本数据包括身高、体重、年龄、性别、BMI、borrmann分型、lauren分型、强化A期标识、强化P期标识、强化V期标识、CEA、CA199、肿瘤厚度、最大径、密度以及病发部位标识。3.根据权利要求1所述的基于多模态深度学习...

【专利技术属性】
技术研发人员：吴健，陈潇俊，余日胜，沈可人，应豪超，
申请(专利权)人：浙江大学，
类型：发明
国别省市：