一种基于多模态超声图像的深度学习模型、构建方法和系统技术方案

本发明专利技术公开了一种基于多模态超声图像的深度学习模型、构建方法和系统，属于医学模型构建领域，模型包括多模态卷积神经网络与基于Transformer的框架，通过使用预训练的ResNet50网络作为图像特征提取基础，Transformer解码器进行进一步细化，将特征输入到全连接层网络进行分类后在大量多模态超声图像数据集上进行训练得到，本发明专利技术的模型能够非侵入性且准确地区分腺病变和乳腺癌，减少不必要的活检和手术，不同模态的特化增强模型诊断效能，由于其适应不同超声模态的能力，可应用于多样化的临床环境，此外，其还可广泛用于医院和诊断中心进行乳腺癌筛查和诊断，对放射科医生和肿瘤科医生评估乳腺病变提供辅助建议，并可集成到现有超声设备中，以增强其诊断能力。

【技术实现步骤摘要】

本专利技术涉及一种基于多模态超声图像的深度学习模型、构建方法和系统，属于医学模型构建领域。

技术介绍

1、乳腺癌是乳腺上皮细胞在多种致癌因子的作用下，发生增殖失控的现象。疾病早期常表现为乳房肿块、乳头溢液、腋窝淋巴结肿大等症状，晚期可因癌细胞发生远处转移，出现多器官病变，直接威胁患者的生命。乳腺癌诊断通常涉及将良性病变如腺病变与恶性肿瘤区分开。腺病变在临床和成像结果中可能模仿乳腺癌，导致准确诊断上的挑战。

2、在临床上，一般采用bi-rads分析等方法进行辅助诊断，但这些方法在区分具体症状方面存在局限性，需要更具侵入性的程序如活检来确认。

3、超声又称为b超，是指彩色多普勒超声检查。具有图像清晰、费用低廉等优点，目前，超声结果的准确性主要依赖于超声医生的经验，经验丰富的超声医生能够快速找到典型的超声图像并给出准确的描述(检查报告)，这样的结果对临床医生关于患者的诊断及后续治疗有很大的参考价值；而经验不足的超声医生难以顺利发现具有典型特征的超声图像，也较难给出准确的检查报告描述，从而无法对临床医生进行判断提供有效的帮助，有时甚至会导致本文档来自技高网...

【技术保护点】

1.一种基于多模态超声图像的深度学习模型，其特征在于，包括多模态卷积神经网络与基于Transformer的框架。

2.根据权利要求1所述基于多模态超声图像的深度学习模型，其特征在于，所述多模态超声图像包括B模式、增强对比和彩色图像。

3.根据权利要求2所述基于多模态超声图像的深度学习模型，其特征在于，所述增强对比为采用滤波器强调由对比剂增强的区域。

4.根据权利要求2所述基于多模态超声图像的深度学习模型，其特征在于，所述彩色图像为将图像由BGR颜色空间转换到HSV颜色空间以及HSV色调信息映射，转换公式为：

5.根据权利要求1所述基于多模态...

【技术特征摘要】

1.一种基于多模态超声图像的深度学习模型，其特征在于，包括多模态卷积神经网络与基于transformer的框架。

2.根据权利要求1所述基于多模态超声图像的深度学习模型，其特征在于，所述多模态超声图像包括b模式、增强对比和彩色图像。

3.根据权利要求2所述基于多模态超声图像的深度学习模型，其特征在于，所述增强对比为采用滤波器强调由对比剂增强的区域。

4.根据权利要求2所述基于多模态超声图像的深度学习模型，其特征在于，所述彩色图像为将图像由bgr颜色空间转换到hsv颜色空间以及hsv色调信息映射，转换公式为：

5.根据权利要求1所述基于多模态超声图像的深度学习模型，其特征在于，还包括采用自适应直方图均衡化改善多模态超声图像对比度和/或采用sobel和canny算法突出图像边缘。

6.根据权利...

【专利技术属性】
技术研发人员：黄品同，张涛，林子梅，陈立斌，施展，
申请(专利权)人：浙江大学，
类型：发明
国别省市：