基于术前术中影像的乳腺癌淋巴结良恶性分类系统及方法技术方案

本发明专利技术属于图像处理技术领域，具体涉及了一种基于术前术中影像的乳腺癌淋巴结良恶性分类系统及方法，旨在解决现有技术存在乳腺癌淋巴结错误清扫的问题。本发明专利技术包括：术前多模态影像预处理及编码模块，提取患者术前多模态影像的淋巴结相关的高维预定义特征；术中荧光图像序列预处理及编码模块和术中荧光强度时变序列预处理及编码模块，分别提取术中淋巴结在荧光影像中的全局特征和局部特征；术中前哨/非前哨淋巴结良恶性分类模块，进行高维预定义特征、全局特征和局部特征的融合，并进行建模及模型训练，通过训练好的模型进行乳腺癌淋巴结良恶性分类。本发明专利技术分析结果的准确性和精度高，从而能够提供更好的辅助诊疗方案。从而能够提供更好的辅助诊疗方案。从而能够提供更好的辅助诊疗方案。

【技术实现步骤摘要】
基于术前术中影像的乳腺癌淋巴结良恶性分类系统及方法


[0001]本专利技术属于图像处理
，具体涉及了一种基于术前术中影像的乳腺癌淋巴结良恶性分类系统及方法。

技术介绍

[0002]医学影像提供了与肿瘤相关的视觉信息，通过不同的人工智能编码方式可以深度挖掘影像中与疾病进展的最相关特征，进而实现图像分类并辅助临床诊断。
[0003]目前的医学影像分析方式主要包括两类：基于预定义特征的分析方法与基于深度学习的分析方法。这两种分析方法通常针对某一特定任务单独工作。然而，在实际应用中，辅助决策的制定通常是基于长时间点，多模态医学影像分析结果的综合考量，而不同时间点影像包含的信息不同，仅仅从某一次的影像分析结果出发是不完善的。此外，有针对性的对某种模态的影像进行处理可以提供更精准的预测模型，而通过深度学习分析术中荧光影像序列与淋巴结转移状态的相关性等研究刚刚起步。
[0004]因此，本领域既需要对患者疾病进展不同阶段的影像进行精准分析，还需要结合不同阶段的分析结果进而实现完整的计算机辅助诊疗方案，以满足辅助临床诊断的需要。

技术实现思路

[0005]为了解决现有技术中的上述问题，即现有技术存在乳腺癌淋巴结错误清扫的问题，本专利技术提供了一种基于术前术中影像的乳腺癌淋巴结良恶性分类系统，所述分类系统包括：
[0006]术前多模态影像预处理及编码模块，基于淋巴结转移乳腺癌患者术前多模态影像的感兴趣区域，提取淋巴结相关的高维预定义特征；
[0007]术中荧光图像序列预处理及编码模块，通过生成对抗网络变体对患者术中荧光成像序列进行图像增强后，基于深度残差网络及Transformer编码器编码整体序列，获得术中淋巴结在荧光影像中的全局特征；
[0008]术中荧光强度时变序列预处理及编码模块，通过荧光成像序列感兴趣区域获取增强后的序列中荧光亮度的时变像素强度，拟合生物物理模型参数，获得术中淋巴结在荧光影像中的局部特征；
[0009]术中前哨/非前哨淋巴结良恶性分类模块，基于术前多模态影像的高维预定义特征，术中荧光影像全局与局部特征，构建和训练术中前哨/非前哨淋巴结良恶性分类模型，并通过训练好的模型进行乳腺癌淋巴结良恶性分类。
[0010]在一些优选的实施例中，所述术前多模态影像包括患者术前检查的多序列磁共振图像、钼靶图像以及超声图像。
[0011]在一些优选的实施例中，所述术前多模态影像的感兴趣区域以及所述荧光成像序列感兴趣区域，为表面出血或水肿区域占比低于设定阈值的肿瘤区域。
[0012]在一些优选的实施例中，所述高维预定义特征包括形状特征、强度特征、纹理特征
和小波特征。
[0013]在一些优选的实施例中，所述生成对抗网络变体基于深度残差卷积神经网络构建，包括顺次连接的1个卷积模块和4个残差模块；
[0014]所述深度残差网络包括顺次连接的卷积模块、残差模块和全局平均池化层，所述模块，其卷积层的卷积核为3
×3×
3；
[0015]所述Transformer编码器包括顺次连接的2个Transformer编码层，所述Transformer编码层包括8头注意力机制。
[0016]在一些优选的实施例中，所述生物物理模型参数包括荧光信号的流入行为和指数衰减。
[0017]在一些优选的实施例中，所述乳腺癌淋巴结良恶性分类，其方法为：
[0018]判断前哨淋巴结的性状，若为阴性，则终止；若为阳性，则进一步判断非前哨淋巴结的良恶性。
[0019]本专利技术的另一方面，提出了一种基于术前术中影像的乳腺癌淋巴结良恶性分类方法，所述分类方法包括：
[0020]步骤S100，基于淋巴结转移乳腺癌患者术前多模态影像的感兴趣区域，提取淋巴结相关的高维预定义特征；
[0021]步骤S200，通过生成对抗网络变体对患者术中荧光成像序列进行图像增强，获得患者术中增强荧光成像序列；
[0022]步骤S300，基于深度残差网络及Transformer编码器编码所述患者术中增强荧光成像序列，获得术中淋巴结在荧光影像中的全局特征；
[0023]步骤S400，通过荧光成像序列感兴趣区域获取所述患者术中增强荧光成像序列中荧光亮度的时变像素强度，拟合生物物理模型参数，获得术中淋巴结在荧光影像中的局部特征；
[0024]步骤S500，基于术前多模态影像的高维预定义特征，术中荧光影像全局与局部特征，构建和训练术中前哨/非前哨淋巴结良恶性分类模型；
[0025]步骤S600，获取患者术前/术中影像，并通过训练好的术中前哨/非前哨淋巴结良恶性分类模型进行乳腺癌淋巴结良恶性分类。
[0026]在一些优选的实施例中，所述生物物理模型参数，其表示为：
[0027]其中，I表示荧光强度，θ表示视频开始和示踪剂注射之间经过的时间，τ和τ
i
分别表示编码示踪剂的冲入和冲出速率，D表示强度振荡的存在和持续存在的无单位数，K表示荧光轮廓的整体强度。
[0028]在一些优选的实施例中，步骤S600包括：
[0029]步骤S601，进行术前多模态影像的高维预定义特征、术中荧光影像全局与局部特征的拼接，获得拼接特征；
[0030]步骤S602，将所述拼接特征输入训练好的术中前哨淋巴结良恶性分类模型的全连接层，获得前哨淋巴结良恶性概率；
[0031]步骤S603，若所述前哨淋巴结良恶性概率低于设定阈值，则前哨淋巴结的性状为阴性；否则前哨淋巴结的性状为阳性，并跳转步骤S604；
[0032]步骤S604，将所述拼接特征输入训练好的术中非前哨淋巴结良恶性分类模型的全连接层，获得非前哨淋巴结良恶性概率。
[0033]本专利技术的有益效果：
[0034](1)本专利技术基于术前术中影像的乳腺癌淋巴结良恶性分类系统，针对现有的医学影像处理及建模方法通常只针对单一时间点的信息进行提取和处理，未能构建完整的计算机辅助诊断方案，以及目前基于深度学习的荧光影像处理步骤不充分的问题，结合患者疾病进展不同阶段的影像进行精准分析，并结合不同阶段的分析结果进而实现完整的计算机辅助诊疗方案。
[0035](2)本专利技术基于术前术中影像的乳腺癌淋巴结良恶性分类系统，减少了现有的乳腺癌淋巴结错误清扫的概率，有效提升了分析结果的准确性和精度，从而能够提供更好的辅助诊疗方案。
附图说明
[0036]通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
[0037]图1是本专利技术基于术前术中影像的乳腺癌淋巴结良恶性分类系统的模块组成示意图；
[0038]图2是本专利技术基于术前术中影像的乳腺癌淋巴结良恶性分类方法的流程示意图。
具体实施方式
[0039]下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关专利技术，而非对该专利技术的限定。另外还需要说明的是，为了本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于术前术中影像的乳腺癌淋巴结良恶性分类系统，其特征在于，所述分类系统包括：术前多模态影像预处理及编码模块，基于淋巴结转移乳腺癌患者术前多模态影像的感兴趣区域，提取淋巴结相关的高维预定义特征；术中荧光图像序列预处理及编码模块，通过生成对抗网络变体对患者术中荧光成像序列进行图像增强后，基于深度残差网络及Transformer编码器编码整体序列，获得术中淋巴结在荧光影像中的全局特征；术中荧光强度时变序列预处理及编码模块，通过荧光成像序列感兴趣区域获取增强后的序列中荧光亮度的时变像素强度，拟合生物物理模型参数，获得术中淋巴结在荧光影像中的局部特征；术中前哨/非前哨淋巴结良恶性分类模块，基于术前多模态影像的高维预定义特征，术中荧光影像全局与局部特征，构建和训练术中前哨/非前哨淋巴结良恶性分类模型，并通过训练好的模型进行乳腺癌淋巴结良恶性分类。2.根据权利要求1所述的基于术前术中影像的乳腺癌淋巴结良恶性分类系统，其特征在于，所述术前多模态影像包括患者术前检查的多序列磁共振图像、钼靶图像以及超声图像。3.根据权利要求1所述的基于术前术中影像的乳腺癌淋巴结良恶性分类系统，其特征在于，所述术前多模态影像的感兴趣区域以及所述荧光成像序列感兴趣区域，为表面出血或水肿区域占比低于设定阈值的肿瘤区域。4.根据权利要求1所述的基于术前术中影像的乳腺癌淋巴结良恶性分类系统，其特征在于，所述高维预定义特征包括形状特征、强度特征、纹理特征和小波特征。5.根据权利要求1所述的基于术前术中影像的乳腺癌淋巴结良恶性分类系统，其特征在于，所述生成对抗网络变体基于深度残差卷积神经网络构建，包括顺次连接的1个卷积模块和4个残差模块；所述深度残差网络包括顺次连接的卷积模块、残差模块和全局平均池化层，所述模块，其卷积层的卷积核为3
×3×
3；所述Transformer编码器包括顺次连接的2个Transformer编码层，所述Transformer编码层包括8头注意力机制。6.根据权利要求1所述的基于术前术中影像的乳腺癌淋巴结良恶性分类系统，其特征在于，所述生物物理模型参数包括荧光信号的流入行为和指数衰减。7.根据权利要求1所述的基于术前术中影像的...

【专利技术属性】
技术研发人员：田捷，刘振宇，刘相宇，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：