图像处理方法、模型训练方法和装置及电子设备制造方法及图纸

本申请公开了一种图像处理方法、模型训练方法和装置及电子设备。该方法包括：对肺部医学影像的纵隔区域进行分区，得到至少两个纵膈分区图像，其中，不同纵膈分区图像包括纵隔区域的不同解剖结构；根据至少两个纵膈分区图像，通过神经网络模型中的至少两个分支网络，对不同解剖结构进行病变检测，得到肺部医学影像的纵膈区域的病变检测结果，其中，一个分支网络至少用于检测一个纵膈分区图像的解剖结构中的纵膈病变。一个分支网络至少用于检测一个纵膈分区图像的解剖结构中的病变，也就是说，对于不同的纵膈分区图像采用不同的分支网络进行病变检测，以实现最佳的病变检测性能，从而提高了纵膈病变检测的准确性。从而提高了纵膈病变检测的准确性。从而提高了纵膈病变检测的准确性。

【技术实现步骤摘要】
图像处理方法、模型训练方法和装置及电子设备


[0001]本申请涉及计算机
，具体涉及一种图像处理方法、模型训练方法和装置及电子设备。

技术介绍

[0002]近年来，深度学习技术运用于医学领域，以提高疾病诊断和辅助治疗已经成为一种趋势，采用深度学习技术对医学影像的胸肺部疾病进行检测识别、量化评估以及诊断分析等也已经进行了大量研究。但是，目前的研究主要是针对肺野病变开发的深度学习检测算法，而忽略了纵隔区域的病变，同时，由于肺野与纵隔具有显著不同的强度分布，例如，肺野中以空气为主，而纵隔则完全由身体组织构成，且肺野中的解剖结构与纵隔中的解剖结构不同，因此，采用针对肺野病变开发的深度学习检测算法并不能够不能很好的检测纵隔病变，从而使得纵膈病变的检测准确性大大降低。

技术实现思路

[0003]有鉴于此，本申请的实施例致力于提供一种图像处理方法、模型训练方法和装置及电子设备，能够准确地检测纵膈病变。
[0004]根据本申请实施例的第一方面，提供了一种图像处理方法，包括：对肺部医学影像的纵隔区域进行分区，得到至少两个纵膈分区图像，其中，不同纵膈分区图像包括纵隔区域的不同解剖结构；根据至少两个纵膈分区图像，通过神经网络模型中的至少两个分支网络，对不同解剖结构进行病变检测，得到肺部医学影像的纵膈区域的病变检测结果，其中，一个分支网络至少用于检测一个纵膈分区图像的解剖结构中的纵膈病变。
[0005]在一个实施例中，每个分支网络包括自注意力网络，根据至少两个纵膈分区图像，通过神经网络模型中的至少两个分支网络，对不同解剖结构进行病变检测，得到肺部医学影像的纵膈区域的病变检测结果，包括：根据每个纵膈分区图像对应的至少两个子分区图像，通过自注意力网络，得到每个纵膈分区图像对应的特征图；根据每个纵膈分区图像对应的特征图，获取总特征图；对总特征图进行函数运算或卷积运算，得到肺部医学影像的纵膈区域的病变检测结果。
[0006]在一个实施例中，在根据每个纵膈分区图像对应的至少两个子分区图像，通过自注意力网络，得到每个纵膈分区图像对应的特征图之前，方法还包括：将相邻两个纵膈分区图像中的一个纵膈分区图像向另一个纵膈分区图像所在方向进行扩展，得到扩展的纵膈分区图像，其中，扩展的纵膈分区图像与另一个纵膈分区图像具有重叠部分；将扩展的纵膈分区图像和另一个纵膈分区图像进行分区，得到扩展的纵膈分区图像对应的至少两个子分区图像和另一个纵膈分区图像对应的至少两个子分区图像。
[0007]在一个实施例中，根据每个纵膈分区图像对应的至少两个子分区图像，通过自注意力网络，得到每个纵膈分区图像对应的特征图，包括：根据相邻两个纵膈分区图像中的一个纵膈分区图像对应的至少两个子分区图像，通过自注意力网络，得到第一特征图；根据第
一特征图和相邻两个纵膈分区图像中的另一个纵膈分区图像对应的至少两个子分区图像，通过自注意力网络，得到第二特征图。
[0008]在一个实施例中，在相邻两个纵膈分区图像具有重叠部分时，第一特征图的重叠部分对应第一重叠特征图，第二特征图的重叠部分对应第二重叠特征图，其中，根据每个纵膈分区图像对应的特征图，获取总特征图，包括：将第一重叠特征图和第二重叠特征图进行加权求和，得到总重叠特征图；将总重叠特征图、第一特征图中的除第一重叠特征图以外的特征图以及第二特征图中的除第二重叠特征图以外的特征图进行合并，得到总特征图。
[0009]在一个实施例中，对肺部医学影像的纵隔区域进行分区，得到至少两个纵膈分区图像，包括：利用纵膈窗，对肺部医学影像对应的感兴趣区域图像进行开窗操作，得到纵膈区域；利用骨窗，对肺部医学影像对应的感兴趣区域图像进行开窗操作，得到骨区域，其中，骨区域包括胸椎和脊椎；以胸椎到脊椎之间的直线为分区基准，对纵隔区域进行分区，得到至少两个纵膈分区图像。
[0010]在一个实施例中，以胸椎到脊椎之间的直线为分区基准，对纵隔区域进行分区，得到至少两个子分区图像，包括：以第一预设长度的靠近胸椎一侧的直线对应的区域图像为上纵隔分区图像；以第二预设长度的靠近脊椎一侧的直线对应的区域图像为下纵隔分区图像；以上纵隔分区图像和下纵隔分区图像之间的区域图像为中纵隔分区图像，其中，上纵隔分区图像和下纵膈分区图像采用相同的分支网络进行病变检测，中纵膈分区图像采用另外一个分支网络进行病变检测。
[0011]在一个实施例中，方法还包括：对肺部医学影像进行阈值化操作，得到肺野掩膜；将肺野掩膜向外扩展至包含胸椎，得到感兴趣区域掩膜；利用感兴趣区域掩膜，对肺部医学影像进行裁剪操作，得到感兴趣区域图像。
[0012]根据本申请实施例的第二方面，提供了一种神经网络模型的训练方法，包括：对肺部医学样本影像的纵隔区域进行分区，得到至少两个纵膈分区样本图像，其中，肺部医学样本影像标注有病变标签；根据每个纵膈分区样本图像对应的至少两个纵膈分区样本图像，通过神经网络模型中的至少两个分支网络，得到肺部医学样本影像的纵膈区域的病变预测结果，其中，一个分支网络至少用于预测一个纵膈分区样本图像的解剖结构中的纵膈病变；根据病变预测结果和病变标签，计算损失函数值；根据损失函数值，更新神经网络模型的参数。
[0013]根据本申请实施例的第三方面，提供了一种图像处理装置，包括：第一获取模块，配置为对肺部医学影像的纵隔区域进行分区，得到至少两个纵膈分区图像，其中，不同纵膈分区图像包括纵隔区域的不同解剖结构；第二获取模块，配置为根据至少两个纵膈分区图像，通过神经网络模型中的至少两个分支网络，对不同解剖结构进行病变检测，得到肺部医学影像的纵膈区域的病变检测结果，其中，一个分支网络至少用于检测一个纵膈分区图像的解剖结构中的纵膈病变。
[0014]根据本申请实施例的第三方面，提供了一种神经网络模型的训练装置，包括：第四获取模块，配置为对肺部医学样本影像的纵隔区域进行分区，得到至少两个纵膈分区样本图像，其中，肺部医学样本影像标注有病变标签；训练模块，配置为根据每个纵膈分区样本图像对应的至少两个纵膈分区样本图像，通过神经网络模型中的至少两个分支网络，得到肺部医学样本影像的纵膈区域的病变预测结果，其中，一个分支网络至少用于预测一个纵
膈分区样本图像的解剖结构中的纵膈病变；根据病变预测结果和病变标签，计算损失函数值；根据损失函数值，更新神经网络模型的参数。
[0015]根据本申请实施例的第五方面，提供了一种电子设备，该电子设备包括：处理器；以及存储器，在存储器中存储有计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行上述第一方面或第二方面所提及的方法。
[0016]根据本申请实施例的第六方面，提供了一种计算机可读存储介质，该存储介质上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行上述第一方面或第二方面所提及的方法。
[0017]本申请的实施例提供的一种图像处理方法，首先通过对肺部医学影像的纵隔区域进行分区，能够得到至少两个纵膈分区图像，再根据至少两个纵膈分区图像，通过神经网络模型中的至少两本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：对肺部医学影像的纵隔区域进行分区，得到至少两个纵膈分区图像，其中，不同纵膈分区图像包括所述纵隔区域的不同解剖结构；根据所述至少两个纵膈分区图像，通过神经网络模型中的至少两个分支网络，对所述不同解剖结构进行病变检测，得到所述肺部医学影像的纵膈区域的病变检测结果，其中，一个分支网络至少用于检测一个纵膈分区图像的解剖结构中的纵膈病变。2.根据权利要求1所述的方法，其特征在于，每个分支网络包括自注意力网络，所述根据所述至少两个纵膈分区图像，通过神经网络模型中的至少两个分支网络，对所述不同解剖结构进行病变检测，得到所述肺部医学影像的纵膈区域的病变检测结果，包括：根据每个纵膈分区图像对应的至少两个子分区图像，通过所述自注意力网络，得到每个纵膈分区图像对应的特征图；根据每个纵膈分区图像对应的特征图，获取总特征图；对所述总特征图进行函数运算或卷积运算，得到所述肺部医学影像的纵膈区域的病变检测结果。3.根据权利要求2所述的方法，其特征在于，在根据每个纵膈分区图像对应的至少两个子分区图像，通过所述自注意力网络，得到每个纵膈分区图像对应的特征图之前，所述方法还包括：将相邻两个纵膈分区图像中的一个纵膈分区图像向另一个纵膈分区图像所在方向进行扩展，得到扩展的纵膈分区图像，其中，所述扩展的纵膈分区图像与所述另一个纵膈分区图像具有重叠部分；将所述扩展的纵膈分区图像和所述另一个纵膈分区图像进行分区，得到所述扩展的纵膈分区图像对应的至少两个子分区图像和所述另一个纵膈分区图像对应的至少两个子分区图像。4.根据权利要求2所述的方法，其特征在于，所述根据每个纵膈分区图像对应的至少两个子分区图像，通过所述自注意力网络，得到每个纵膈分区图像对应的特征图，包括：根据相邻两个纵膈分区图像中的一个纵膈分区图像对应的至少两个子分区图像，通过所述自注意力网络，得到第一特征图；根据所述第一特征图和所述相邻两个纵膈分区图像中的另一个纵膈分区图像对应的至少两个子分区图像，通过所述自注意力网络，得到第二特征图。5.根据权利要求2所述的方法，其特征在于，在所述相邻两个纵膈分区图像具有重叠部分时，所述第一特征图的重叠部分对应第一重叠特征图，所述第二特征图的重叠部分对应第二重叠特征图，其中，所述根据每个纵膈分区图像对应的特征图，获取总特征图，包括：将所述第一重叠特征图和所述第二重叠特征图进行加权求和，得到总重叠特征图；将所述总重叠特征图、所述第一特征图中的除所述第一重叠特征图以外的特征图以及所述第二特征图中的除所述第二重叠特征图以外的特征图进行合并，得到所述总特征图。6.根据权利要求1至5中任一项所述的方法，其特征在于，所述对肺部医学影像的纵隔区域进行分区，得到至少两个纵膈分区图像，包括：利用纵膈窗，对所述肺部医学影像对应的感兴趣区域图像进行开窗操作，得到所述纵膈区域；
利用骨窗，对所述肺部医学影像对应的感兴趣区域图像进行开窗操作，得到骨区域，...

【专利技术属性】
技术研发人员：陈修远，王俊，管添，洪楠，孙超，于朋鑫，王大为，陈宽，王少康，
申请(专利权)人：北京大学人民医院，
类型：发明
国别省市：