一种基于乳腺癌分子分型超声多模态自动识别方法和装置制造方法及图纸

本发明专利技术公开了一种基于乳腺癌分子分型超声多模态自动识别模型的生成方法，对乳腺癌分子分型的灰阶、彩超和弹性超声图像进行降噪预处理；将预处理后的三种超声图像进行数据增强；将增强后的三种超声图像进行模态模型训练；最后对训练形成的灰阶、彩超、弹性模型进行集成。本发明专利技术提升自动识别效果，模型集成效果好，可辅助医生完成对乳腺癌的检测。可辅助医生完成对乳腺癌的检测。可辅助医生完成对乳腺癌的检测。

【技术实现步骤摘要】
一种基于乳腺癌分子分型超声多模态自动识别方法和装置


[0001]本专利技术涉及人工智能领域，尤其是涉及一种基于乳腺癌分子分型超声多模态自动识别方法和装置。

技术介绍

[0002]乳腺癌是女性中最常见的癌症，女性在一生中患上病风险高达12％，死亡风险高达5％，乳腺癌的发病率一直在上升，但在许多工业化国家，经过一段时间的持续上升后，乳腺癌死亡率在过去10-15年保持稳定。乳腺X线筛查方案的大规模引入，使的小肿瘤和侵袭性较低的肿瘤得到了更早的发现和诊断，使得乳腺癌患病风险有所下降。在过去的几十年里，治疗技术的进步也使乳腺癌死亡风险率大幅下降，导致了乳腺癌存活率的大量增加。但是，确诊后5年和 10年的相对生存率分别为88％和77％，均显著高于所有癌症的5年内相对生存率之和。因此，寻找预测乳腺癌患者5年生存期内能够生存的重要作用因素，并分析这些因素对诊断后10年甚至更长时间生存期的所起的作用是必要的。近年来在乳腺癌分子分型上的预后价值方面取得了重大进展，但是乳腺癌的分子分型的确定仍是十分困难的，依赖专家的水平及经验，在医疗水平较低的地区，乳腺癌的筛查更显困难。
[0003]近年来，超声成像技术大为发展，是临床实践中检测疾病的最常见方案之一。超声成像具有许多优点，超声成像的时候，超声波是属于一种机械波，所以它没有放射性的损伤，所以这种检查的安全性非常的高。超声检查可以动态的显示器官的运动以及血流状况，所以可以同时获取功能和形态学方面的信息，这样就更有利于病变的检出了。超声检查不仅非常的便捷易于操作，而且他的检查费用也比其他的检查方式低廉。因此超声具有安全性，实时和低成本优点。在超声系统搭建的自动诊疗系统也为近年来迅速崛起深度学习的应用提供了基础。在深度学习之前，往往通过人工提取特征，然后使用支持向量机、决策树、逻辑回归等机器学习方法进行自动识别，但提取特征的过程往往耗费十分巨大的人力，特征的好坏往往依赖提取特征专家的经验。而深度学习则可以自动提取图像高层特征，进行端对端的学习。在2012年Imagenet比赛表现出的优异效果后，深度学习卷积神经网络的开始统治图像识别领域，广泛应用在图像识别、定位、分割、目标跟踪、人脸识别等各个领域。
[0004]然而用深度学习方法对乳腺癌超声图像进行分子分型预测相对缺失，故提出了一种基于乳腺癌分子分型超声多模态自动识别方法。

技术实现思路

[0005]本专利技术实施例提供了本专利技术的目的在于提供一种基于乳腺癌分子分型超声多模态自动识别方法，旨在解决解决在乳腺癌分子分型自动识别问题。
[0006]一种基于乳腺癌分子分型超声多模态自动识别模型的生成方法，包括如下步骤，
[0007]S1、对乳腺癌分子分型的灰阶、彩超和弹性超声图像进行降噪预处理；
[0008]S2、将预处理后的三种超声图像进行数据增强；
[0009]S3、将增强后的三种超声图像进行模态模型训练；
[0010]S4、对训练形成的灰阶、彩超、弹性模型进行集成。
[0011]所述S1包括，
[0012]S11、从原始的乳腺癌超声图像的影像区域中，取左上和右下为两端截取图像；
[0013]S12、对截取的图像进行灰度化；
[0014]S13、以零为阈值剪去灰度化后图像像素最低值；
[0015]S14、对S13得到图像进行开运算，腐蚀图像噪音区域；
[0016]S15、采用找寻最大值连通区域算法，确定最大噪音区域后进行矩形拟合；
[0017]S16、获取矩形拟合图像与截取图像的交集，完成图像的降噪预处理。
[0018]所述S2包括，
[0019]S21、将降噪后的三种超声图像的数据增强旋转角度、旋转方向、随机剪切位置、缩放大小保持一致。
[0020]S22、对S21得到的超声图像采用mixup数据增强方式进行数据增强。
[0021]所述S3包括，
[0022]S31、采用三个参数不共享的ResNet对增强后的三种超声图像进行特征抽取，对抽取到三个不同模态的图像特征通过不同的卷积网络进行训练。
[0023]S4包括，
[0024]S41、根据公式1对训练形成的灰阶、彩超、弹性模型进行集成：
[0025]Score＝a*Gray+b*Color+c*Elastic
ꢀꢀ
公式1；
[0026]其中a+b+c＝1,且1>a>0,1>b>0,1>c>0
[0027]Gray、Color、Elastic分别为灰阶、彩超、弹性预测结节为恶性的概率值。
[0028]S42、通过以0.01为间隔遍历0～1中所有的参数空间，搜索出Score最大的值。参数空间是指a、b、c、以0.01为间隔遍历0～1区间，a＝0.01、0.02、0.03......0.99、 1.00，b,c也是如此。
[0029]本专利技术实施例提供了基于乳腺癌分子分型超声多模态自动识别模型的生成装置，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至5中任一项所述基于乳腺癌分子分型超声多模态自动识别模型的生成方法的步骤。
[0030]本专利技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现如权利要求1至5 中任一项所述基于乳腺癌分子分型超声多模态自动识别模型的生成方法的步骤。
[0031]本专利技术实施例提供了一种基于乳腺癌分子分型超声多模态自动识别模型的生成方法装置，其特征在于，包括，
[0032]数据预处理模块，用于对乳腺癌分子分型的灰阶、彩超和弹性超声图像降噪预处理。
[0033]数据增强模块，用于将预处理后的三种超声图像进行数据增强。
[0034]训练模块，将增强后的三种超声图像进行模态模型训练。
[0035]集成模块，对训练形成的灰阶、彩超、弹性模型进行集成。
[0036]优选地，所述装置的截取位置为左上和右下，数据增强旋转角度、旋转方向、随机剪切位置、缩放大小保持一致，采用mixup数据增强方式进行数据增强。
[0037]优选地，所述装置特征抽取采用三个参数不共享的ResNet，装置集成方法为
[0038]Score＝a*Gray+b*Color+c*Elastic
ꢀꢀ
公式1；
[0039]其中a+b+c＝1,且1>a>0,1>b>0,1>c>0
[0040]Gray、Color、Elastic分别为灰阶、彩超、弹性预测结节为恶性的概率值。
[0041]通过以0.01为间隔遍历0～1中所有的参数空间，搜索出Score最大的值。参数空间是指a、b、c、以0.01为间隔遍历0～1区间本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于乳腺癌分子分型超声多模态自动识别模型的生成方法，其特征在于，包括如下步骤，S1、对乳腺癌分子分型的灰阶、彩超和弹性超声图像进行降噪预处理；S2、将预处理后的三种超声图像进行数据增强；S3、将增强后的三种超声图像进行模态模型训练；S4、对训练形成的灰阶、彩超、弹性模型进行集成。2.根据权利要求1所述的一种基于乳腺癌分子分型超声多模态自动识别模型的生成方法，其特征在于，所述S1包括，S11、从原始的乳腺癌超声图像的影像区域中，取左上和右下为两端截取图像；S12、对截取的图像进行灰度化；S13、以零为阈值剪去灰度化后图像像素最低值；S14、对S13得到图像进行开运算，腐蚀图像噪音区域；S15、采用找寻最大值连通区域算法，确定最大噪音区域后进行矩形拟合；S16、获取矩形拟合图像与截取图像的交集，完成图像的降噪预处理。3.根据权利要求1所述的一种基于乳腺癌分子分型超声多模态自动识别模型的生成方法，其特征在于，所述S2包括，S21、将降噪后的三种超声图像的数据增强旋转角度、旋转方向、随机剪切位置、缩放大小保持一致。S22、对S21得到的超声图像采用mixup数据增强方式进行数据增强。4.根据权利要求1所述的一种基于乳腺癌分子分型超声多模态自动识别模型的生成方法，其特征在于，所述S3包括，S31、采用三个参数不共享的ResNet对增强后的三种超声图像进行特征抽取，对抽取到三个不同模态的图像特征通过不同的卷积网络进行训练。5.根据权利要求1所述的一种基于乳腺癌分子分型超声多模态自动识别模型的生成方法，其特征在于，S4包括，S41、根据公式1对训练形成的灰阶、彩超、弹性模型进行集成：Score＝a*Gray+b*Color+c*Elastic
ꢀꢀ
公式1；其中a+b+c＝1,且1>a>0,1>b>0,1>c>0Gray、Color、Elastic分别为灰阶、彩超、弹性预测结节为恶性的概率值。S42、通过以0.01为间隔遍历0～1中所有的参数空间，搜索出Score最大的值。参数空间是指a、b、c、以0.01为间隔遍...

【专利技术属性】
技术研发人员：杜强，黄丹，郭雨晨，聂方兴，唐超，张兴，
申请(专利权)人：北京小白世纪网络科技有限公司，
类型：发明
国别省市：