【技术实现步骤摘要】
本专利技术涉及甲状腺癌领域，尤其涉及一种基于多模态层次化融合网络预测甲状腺癌淋巴结转移的方法。
技术介绍
1、甲状腺癌是目前最常见的内分泌恶性肿瘤之一，也是发病率增长最快的实体肿瘤。据我国国家癌症中心2019年最新发布的数据显示，甲状腺癌总发病率位居恶性肿瘤第7位，女性位于第4位。甲状腺癌中超过90％是分化型甲状腺癌(differentiated thyroidcancer，dtc)，主要病理类型包括乳头状癌和滤泡状癌。对于甲状腺癌的患者，手术是甲状腺癌治疗中的重要环节。颈部淋巴结转移是甲状腺癌病人术后复发率增高和存活率降低的危险因素。规范化甲状腺切除和彻底的、合理的颈部淋巴结清扫是目前公认的首选治疗方案。甲状腺癌淋巴结清扫范围包括中央区(ⅵ区)和侧颈区(ⅱ～ⅴ区)。中央区是甲状腺癌颈部淋巴结转移最常见的转移部位，对于该区域淋巴结是否进行预防性清扫目前仍存在争议。无差别预防性的淋巴结清扫容易导致造成患者永久性的喉返神经损伤和甲状旁腺功能衰退，严重降低患者的生活质量；而不进行淋巴结清扫可能会导致患者癌症复发，降低患者的远期生存率，且需要二次手术，增加了手术难度，故准确诊断患者的淋巴结转移状态至关重要。然而，目前临床上医生通过影像学检查如超声和ct，对是否存在淋巴结转移的判断准确率很低，不足以指导手术方案的选择，且鉴于中央区淋巴结转移的高风险，因此，绝大部分的患者都会进行预防性的中央区淋巴结清扫，这导致了非常广泛的过度治疗。因而如何在术前更加合理精准评估甲状腺癌患者的淋巴结转移情况是关键也是难点所在。甲状腺癌大多数是相对惰性病程的恶
2、中国专利文献cn114694836a公开了一种“基于甲状腺癌淋巴结转移预测模型的评估系统”。包括随访评估子系统；所述随访评估子系统包括术前病人随访评估模块和/或术后病人随访评估模块；所述术前病人随访评估模块包括如下子模块：第一信息收集模块：采集术前病人信息数据，并将采集到的术前病人信息数据发送至第一风险处理模块；第一风险处理模块：接收第一信息收集模块采集到的术前病人信息数据，利用设定的一个或多个风险处理模型进行计算，得到一个或多个风险评分，并将一个或多个风险评分发送至第一评估输出模块；第一评估输出模块：接收第一风险处理模块得到的一个或多个风险评分，将一个或多个风险评分与相应的设定阈值进行比较，从而得到术前随访评估结果；所述术后病人随访评估模块包括如下子模块；第二信息收集模块：采集术后病人信息数据，并将采集到的术后病人信息数据发送至第二风险处理模块；第二风险处理模块：接收第二信息收集模块采集到的术后病人信息数据，利用设定的一个或多个风险处理模型进行计算，得到一个或多个风险评分，并将一个或多个风险评分发送至第二评估输出模块；第二评估输出模块：接收第二风险处理模块得到的一个或多个风险评分，将一个或多个风险评分与相应的设定阈值进行比较，从而得到术后随访评估结果但是该专利对甲状腺淋巴结转移预测时，没有准确的图像结果作为预测支撑，无法做到精确预测。
技术实现思路
1、本专利技术主要解决原有无法精确预测甲状腺癌淋巴结转移的技术问题，提供一种基于多模态层次化融合网络预测甲状腺癌淋巴结转移的方法，本专利技术建立多模态层次化融合网络模型分别处理ct图像数据和超声图像数据获得对应的单模态特征后，将ct图像的单模态特征与超声图像的单模态特征相融合后对甲状腺癌淋巴结是否发生转移进行预测，规避使用单一图像进行预测致使结果不准确的问题，提高预测结果的精度。
2、本专利技术的上述技术问题主要是通过下述技术方案得以解决的：本专利技术步骤包括
3、s1：采集获取甲状腺结节图像；
4、s2：利用感兴趣区域提取和数据增强处理甲状腺结节图像数据，并对超声数据进行结节边界提取，对ct数据进行结节周围组织边界提取；
5、s3：建立多模态层次化融合网络模型提取甲状腺结节特征完成甲状腺癌淋巴结转移的预测。
6、准确预估淋巴结的转移状态是确定患者甲状腺癌淋巴结治疗方案的重要衡量参数，现有观测淋巴结转移状态的手段大多为超声成像或是ct成像，但是两者各自均存在缺陷，无法协助医者准确地判断淋巴结的转移状态，进而影响医者针对不同患者的淋巴结转移状态进行对应的治疗方法规划，最终导致患者无法得到最佳的治疗方案。本专利技术为了解决这一现状，将单一模态的ct图像以及超声图像相结合生成多模态特征信息，利用多模态层次化融合网络模型处理融合后的多模态特征信息，提高医者对于淋巴结转移状态判断的准确性，进而为患者提供更切合实际的治疗方案，提高患者的治愈率。
7、作为优选，所述步骤s3中卷积神经模型包括超声支路，ct支路以及多模态支路，所述ct支路和超声支路均包括一个编码器和两个解码器，利用编码器对甲状腺结节图像进行处理，所述ct支路中的解码器分割甲状腺结节的内部和甲状腺结节周围组织边界区域，所述超声支路中的解码器划分甲状腺结节的掩码和边界，编码器和解码器之间短连接。多模态层次化融合网络模型中ct支路对应处理ct图像数据的单一模态特征，超声支路对应处理超声图像数据的单一模态特征，将两者放入多模态支路内进行模态特征的融合后在后续的处理过程中能够让模型更全面地提取关于淋巴结转移状态的信息。
8、作为优选，所述多模态支路包括ct支路和超声支路，两个支路产生的数据汇入多模态支路后实现多模态特征的全面融合，最终生成对于甲状腺淋巴结转移的预测。融合后的多模态特征在多模态层次化融合网络模型的多模态支路处理后便能够给予医者一份详细的淋巴结转移状态的预测结果，根据该结果医者能够为患者提供合适的治疗方案。
9、作为优选，所述多模态支路中的多模态特征融合通过层次化特征融合模块实现，该模块包括维度层，模态层以及结节层三个部分，维度层捕捉超声和ct两种模态不同特征维度之间的相互作用，在保留各自特定模态信息的同时最终在该层上生成融合特征增强共同属性；模态层中主要将超声特征和ct特征沿模态轴串联并利用注意力矩阵来调整两种模态的相对重要性而获得的融合特征；结节层中主要将超声特征和ct特征沿维度轴进行合并同时使用注意力机制提取不同结节之间的相互关系而得到的融合特征，最后将三层融合后的特征进行串联获得三层最终的融合特征。单一的模态无法准确地预测是否存在淋巴结转移，而对多模态图像特征进行层次化地融合，不仅增强了模态间共有的特征，还结合了不同模态图像捕捉到的独有的特征，从而能更全面精确地预测甲状腺癌淋巴结转移。
10、作为优选，所述步骤s2中感兴趣区域提取的方法实行时，首先需要以标记的结节边界为起点，通过膨胀操作确定结节以及周边区域，然后确定膨胀区域的水平外切矩形的大小和中心点坐标，以中心点向外绘制甲状腺结节地外接正方形，并以该正方本文档来自技高网...
【技术保护点】
1.一种基于多模态层次化融合网络预测甲状腺癌淋巴结转移的方法，其特征在于，步骤包括S1：采集获取甲状腺结节图像；
2.根据权利要求1所述的一种基于多模态层次化融合网络预测甲状腺癌淋巴结转移的方法，其特征在于，作为优选，所述步骤S3中卷积神经模型包括超声支路，CT支路以及多模态支路，所述CT支路和超声支路均包括一个编码器和两个解码器，利用编码器对甲状腺结节图像进行处理，所述CT支路中的解码器分割甲状腺结节的内部和甲状腺结节周围组织边界区域，所述超声支路中的解码器划分甲状腺结节的掩码和边界，编码器和解码器之间短连接。
3.根据权利要求2所述的一种基于多模态层次化融合网络预测甲状腺癌淋巴结转移的方法，其特征在于，所述多模态支路包括CT支路和超声支路，两个支路产生的数据汇入多模态支路后实现多模态特征的全面融合，最终生成对于甲状腺淋巴结转移的预测。
4.根据权利要求3所述的一种基于多模态层次化融合网络预测甲状腺癌淋巴结转移的方法，其特征在于，所述多模态支路中的多模态特征融合通过层次化特征融合模块实现，该模块包括维度层，模态层以及结节层三个部分，维度层捕捉
5.根据权利要求1所述的一种基于多模态层次化融合网络预测甲状腺癌淋巴结转移的方法，其特征在于，作为优选，所述步骤S2中感兴趣区域提取的方法实行时，首先需要以标记的结节边界为起点，通过膨胀操作确定结节以及周边区域，然后确定膨胀区域的水平外切矩形的大小和中心点坐标，以中心点向外绘制甲状腺结节地外接正方形，并以该正方形度图像进行裁剪获得感兴趣区域。
6.根据权利要求1所述的一种基于多模态层次化融合网络预测甲状腺癌淋巴结转移的方法，其特征在于，作为优选，所述步骤S2中结节边界提取包括超声中结节边界提取和CT中结节周围组织边界提取，所述超声中结节边界提取方法先需要确定感兴趣区域的边长，然后针对已标记的甲状腺结节掩码进行扩张和侵蚀操作，最后通过计算扩张操作与侵蚀操作之间结果的差值来确定结节边界。
7.根据权利要求6所述的一种基于多模态层次化融合网络预测甲状腺癌淋巴结转移的方法，其特征在于，所述CT结节周围组织边界提取方法先需要对CT图像进行滤波并获得滤波区域，然后采取Canny算法识别区域的边缘来确定结节周围组织的边界。
8.根据权利要求5所述的一种基于多模态层次化融合网络预测甲状腺癌淋巴结转移的方法，其特征在于，所述步骤S2中获取超声和CT图像中的感兴趣区域后需要进一步对图像进行增强，步骤为：先将感兴趣区域调整为固定大小，然后对两种图像进行数据增强操作，最终获得图像增强后的超声图像和CT图像。
9.根据权利要求1至8任一所述的一种基于多模态层次化融合网络预测甲状腺癌淋巴结转移的方法，其特征在于，所述步骤S3中建立卷积神经网络神经模型预测甲状腺结节转移的步骤如下：首先建立卷积神经网络神经模型并将处理后的图像数据导入模型中，图像数据经由超声支路和CT支路提取的单模态特征在层次化特征融合模块内进行融合生成多模态特征，最终根据将融合后的特征导入分类器中进行预测判断淋巴结是否转移。
...【技术特征摘要】
1.一种基于多模态层次化融合网络预测甲状腺癌淋巴结转移的方法，其特征在于，步骤包括s1：采集获取甲状腺结节图像；
2.根据权利要求1所述的一种基于多模态层次化融合网络预测甲状腺癌淋巴结转移的方法，其特征在于，作为优选，所述步骤s3中卷积神经模型包括超声支路，ct支路以及多模态支路，所述ct支路和超声支路均包括一个编码器和两个解码器，利用编码器对甲状腺结节图像进行处理，所述ct支路中的解码器分割甲状腺结节的内部和甲状腺结节周围组织边界区域，所述超声支路中的解码器划分甲状腺结节的掩码和边界，编码器和解码器之间短连接。
3.根据权利要求2所述的一种基于多模态层次化融合网络预测甲状腺癌淋巴结转移的方法，其特征在于，所述多模态支路包括ct支路和超声支路，两个支路产生的数据汇入多模态支路后实现多模态特征的全面融合，最终生成对于甲状腺淋巴结转移的预测。
4.根据权利要求3所述的一种基于多模态层次化融合网络预测甲状腺癌淋巴结转移的方法，其特征在于，所述多模态支路中的多模态特征融合通过层次化特征融合模块实现，该模块包括维度层，模态层以及结节层三个部分，维度层捕捉超声和ct两种模态不同特征维度之间的相互作用，在保留各自特定模态信息的同时最终在该层上生成融合特征增强共同属性；模态层中主要将超声特征和ct特征沿模态轴串联并利用注意力矩阵来调整两种模态的相对重要性而获得的融合特征；结节层中主要将超声特征和ct特征沿维度轴进行合并同时使用注意力机制提取不同结节之间的相互关系而得到的融合特征，最后将三层融合后的特征进行串联获得三层最终的融合特征。
5.根据权利要求1所述的一种基于多模态层次化融合网络预测甲状腺癌淋巴结转移的方法，其特征在于，作为优选，所述步骤s2中感兴趣...
【专利技术属性】
技术研发人员：胡寅劼，何敏，徐栋，李国君，沙雏淋，冯旭晗，凌珊，李晓林，
申请(专利权)人：浙江省肿瘤医院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。