基于局部全局时空特征融合的肝脏肿瘤鉴别方法及装置制造方法及图纸

本发明专利技术提供一种基于局部全局时空特征融合的肝脏肿瘤鉴别方法及装置。所述方法包括：从输入医学影像中分割出腹部区域图像；将所述腹部区域图像输入卷积神经网络，进行局部特征提取；将提取的局部特征输入注意力机制模块进行全局特征提取；将提取的全局特征特征编码为脉冲序列后输入至脉冲神经网络，进行时空特征提取；对提取的局部特征、全局特征和时空特征进行融合，基于融合特征输出肝脏肿瘤类别。本发明专利技术利用脉冲神经网络进行时空特征提取，并基于局部特征、全局特征和时空特征的融合进行肝脏肿瘤类别鉴别，明显提高了鉴别精度。明显提高了鉴别精度。明显提高了鉴别精度。

【技术实现步骤摘要】
基于局部全局时空特征融合的肝脏肿瘤鉴别方法及装置


[0001]本专利技术属于医学影像
，具体涉及一种基于局部全局时空特征融合的肝脏肿瘤鉴别方法及装置。

技术介绍

[0002]肝恶性肿瘤包括原发性肿瘤与转移性肿瘤等。在影像学上原发性肝癌可以是单发或多发病灶呈“快进快出”之增强特征；而转移性肝癌多表现为多发性、圆形或类圆形的病灶，往往强化不明显。临床上不同肝恶性肿瘤的治疗策略差异很大，医生在手术、靶向、免疫等治疗前对患者肿瘤类别的准确诊断至关重要。随着深度学习技术的快速发展，计算机辅助诊断(CAD)领域发展迅速，特别是在医学图像分割和分类领域。单期CT扫描的缺点是难以准确定位器官的轮廓，参考不同期相是尽可能完整识别器官边界的有效策略。比如许多指南明确推荐使用CT造影增强成像的三期(动脉期、门静脉期和平衡期)肝脏方案。
[0003]目前在肝脏肿瘤分类中存在两个困难，首先是常用的卷积神经网络，由于卷积操作的局部性，它不能很好地处理长距离关系。而多期相肝脏CT与自然图像相比具有显式且重要的长距离依赖关系。另一方面，现有的基于Transformer的网络架构虽然可以补充卷积操作丢失的全局信息，但依然很难捕获医学影像的时空信息。为了应对上述问题，本专利技术利用脉冲神经网络的优点，使用一种全新的架构用于肿瘤分类。该模型使用卷积神经网络提取多期相CT图像的局部特征，将局部特征输入基于注意力的网络来提取序列关系中的全局特征，然后将全局特征输入脉冲神经网络提取包含时空信息的特征，并基于三种特征的融合对原发性肝癌与转移性肝癌进行区分。

技术实现思路

[0004]为了解决现有技术中存在的上述问题，本专利技术提供一种基于局部全局时空特征融合的肝脏肿瘤鉴别方法及装置。
[0005]为了实现上述目的，本专利技术采用以下技术方案。
[0006]第一方面，本专利技术提供一种基于局部全局时空特征融合的肝脏肿瘤鉴别方法，包括以下步骤：
[0007]从输入医学影像中分割出腹部区域图像；
[0008]将所述腹部区域图像输入卷积神经网络，进行局部特征提取；
[0009]将提取的局部特征输入注意力机制模块进行全局特征提取；
[0010]将提取的全局特征特征编码为脉冲序列后输入至脉冲神经网络，进行时空特征提取；
[0011]对提取的局部特征、全局特征和时空特征进行融合，基于融合特征输出肝脏肿瘤类别：原发癌和转移癌。
[0012]进一步地，所述输入医学影像为包括动脉期、门静脉期和平衡期的多期相CT图像。
[0013]进一步地，所述从输入医学影像中分割出腹部区域图像的方法包括：采用强化学
习优化腹部区域边界。
[0014]进一步地，所述注意力机制模块为Transformer模块。
[0015]进一步地，通过对提取的局部特征、全局特征和时空特征进行加权求和得到融合特征；局部特征、全局特征和时空特征的权重通过模型训练确定。
[0016]第二方面，本专利技术提供一种基于局部全局时空特征融合的肝脏肿瘤鉴别装置，包括：
[0017]腹部图像分割模块，用于从输入医学影像中分割出腹部区域图像；
[0018]局部特征提取模块，用于将所述腹部区域图像输入卷积神经网络，进行局部特征提取；
[0019]全局特征提取模块，用于将提取的局部特征输入注意力机制模块进行全局特征提取；
[0020]时空特征提取模块，用于将提取的全局特征特征编码为脉冲序列后输入至脉冲神经网络，进行时空特征提取；
[0021]肿瘤类别输出模块，用于对提取的局部特征、全局特征和时空特征进行融合，基于融合特征输出肝脏肿瘤类别：原发癌和转移癌。
[0022]进一步地，所述输入医学影像为包括动脉期、门静脉期和平衡期的多期相CT图像。
[0023]进一步地，所述腹部图像分割模块具体用于：采用强化学习优化腹部区域边界。
[0024]进一步地，所述注意力机制模块为Transformer模块。
[0025]进一步地，通过对提取的局部特征、全局特征和时空特征进行加权求和得到融合特征；局部特征、全局特征和时空特征的权重通过模型训练确定。
[0026]与现有技术相比，本专利技术具有以下有益效果。
[0027]本专利技术通过从输入医学影像中分割出腹部区域图像，将所述腹部区域图像输入卷积神经网络进行局部特征提取，将提取的局部特征输入注意力机制模块进行全局特征提取，将提取的全局特征特征编码为脉冲序列后输入至脉冲神经网络进行时空特征提取，基于对提取的局部特征、全局特征和时空特征进行融合输出肝脏肿瘤类别，实现了肝脏肿瘤的自动鉴别。本专利技术利用脉冲神经网络进行时空特征提取，并基于局部特征、全局特征和时空特征的融合进行肝脏肿瘤类别鉴别，明显提高了鉴别精度。
附图说明
[0028]图1为本专利技术实施例一种基于局部全局时空特征融合的肝脏肿瘤鉴别方法的流程图。
[0029]图2为本专利技术另一实施例的流程示意图。
[0030]图3为Transformer模块的结构示意图。
[0031]图4为本专利技术实施例一种基于局部全局时空特征融合的肝脏肿瘤鉴别装置的方框图。
具体实施方式
[0032]为使本专利技术的目的、技术方案及优点更加清楚、明白，以下结合附图及具体实施方式对本专利技术作进一步说明。显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部
的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0033]图1为本专利技术实施例一种基于局部全局时空特征融合的肝脏肿瘤鉴别方法的流程图，包括以下步骤：
[0034]步骤101，从输入医学影像中分割出腹部区域图像；
[0035]步骤102，将所述腹部区域图像输入卷积神经网络，进行局部特征提取；
[0036]步骤103，将提取的局部特征输入注意力机制模块进行全局特征提取；
[0037]步骤104，将提取的全局特征特征编码为脉冲序列后输入至脉冲神经网络，进行时空特征提取；
[0038]步骤105，对提取的局部特征、全局特征和时空特征进行融合，基于融合特征输出肝脏肿瘤类别：原发癌和转移癌。
[0039]本实施例中，步骤101主要用于从输入医学影像中分割出腹部区域图像。医学影像包括的图像种类很多，本实施例的医学影像包括但不限于CT(Computed Tomography，计算机断层扫描)图像和MRI(Magnetic Resonance Imaging，核磁共振成像)。为了减小于图像负担处理，需要先对原始输入图像进行分割裁剪，裁剪出包括肝脏的腹部区域图像。腹部区域图像分割可通过将原始输入图像输入到一个训练好的图像分割模型获得。分割模型判定的目标为胸部和腹部的分界线，以及腹部和盆腔的分界线。分割模型的训练数据的标签是输入医学影像的胸部和腹部的分界线，以及腹部和盆腔的分界线的切片号。
[0040]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于局部全局时空特征融合的肝脏肿瘤鉴别方法，其特征在于，包括以下步骤：从输入医学影像中分割出腹部区域图像；将所述腹部区域图像输入卷积神经网络，进行局部特征提取；将提取的局部特征输入注意力机制模块进行全局特征提取；将提取的全局特征特征编码为脉冲序列后输入至脉冲神经网络，进行时空特征提取；对提取的局部特征、全局特征和时空特征进行融合，基于融合特征输出肝脏肿瘤类别：原发癌和转移癌。2.根据权利要求1所述的基于局部全局时空特征融合的肝脏肿瘤鉴别方法，其特征在于，所述输入医学影像为包括动脉期、门静脉期和平衡期的多期相CT图像。3.根据权利要求1所述的基于局部全局时空特征融合的肝脏肿瘤鉴别方法，其特征在于，所述从输入医学影像中分割出腹部区域图像的方法包括：采用强化学习优化腹部区域边界。4.根据权利要求1所述的基于局部全局时空特征融合的肝脏肿瘤鉴别方法，其特征在于，所述注意力机制模块为Transformer模块。5.根据权利要求1所述的基于局部全局时空特征融合的肝脏肿瘤鉴别方法，其特征在于，通过对提取的局部特征、全局特征和时空特征进行加权求和得到融合特征；局部特征、全局特征和时空特征的权重通过模型训练确定。6.一种基于局部全局时空特征融合的肝脏肿瘤鉴别装...

【专利技术属性】
技术研发人员：曲太平，李秀丽，薛华丹，金征宇，俞益洲，李一鸣，乔昕，
申请(专利权)人：杭州深睿博联科技有限公司，
类型：发明
国别省市：