图像处理方法、图像处理装置以及存储介质制造方法及图纸

一种图像处理方法、图像处理装置以及存储介质。该图像处理方法包括：获取输入图像；利用特征提取网络提取输入图像的特征以产生并输出输入图像的目标特征图；以及根据目标特征图，利用掩码构建网络构建并输出输入图像的目标掩码图。特征提取网络包括依次连接的特征输入层、特征中间层和特征输出层，掩码构建网络包括依次连接的掩码输入层、掩码中间层和掩码输出层，特征输出层与掩码输入层连接，特征中间层与掩码中间层连接，特征输入层与掩码输出层连接，掩码中间层包括中间上采样子层，掩码输出层包括输出上采样子层，中间上采样子层和输出上采样子层分别包括反池化层。

Image Processing Method, Image Processing Device and Storage Media

【技术实现步骤摘要】
图像处理方法、图像处理装置以及存储介质
本公开的实施例涉及一种图像处理方法、图像处理装置以及存储介质。
技术介绍
图像分割是一种将图像分成若干个特定的、具有独特性质的区域并提取感兴趣目标的技术。医学图像分割是图像分割的一个重要应用领域。医学图像分割是指从医学图像中提取感兴趣组织的区域或边界，使所提取的组织能够与其他组织明显地区别开来。医学图像分割对三维可视化、三维定位、组织定量分析、制定手术计划和计算机辅助诊断具有重要的意义。医学图像分割可以采用基于体素的分割方法、基于区域的分割方法、基于配准的分割方法以及基于人工智能的分割方法等方法。基于人工智能的分割方法可以采用神经网络对医学图像执行分割处理，其具有图像分割精度高、可重复性好等特点。
技术实现思路
本公开至少一实施例提供一种图像处理方法，其包括：获取输入图像；利用特征提取网络提取所述输入图像的特征以产生并输出所述输入图像的目标特征图，其中，所述特征提取网络包括依次连接的特征输入层、特征中间层和特征输出层；根据所述目标特征图，利用掩码构建网络构建并输出所述输入图像的目标掩码图，其中，所述掩码构建网络包括依次连接的掩码输入层、掩码中间层和掩码输出层，所述特征输出层与所述掩码输入层连接，所述特征中间层与所述掩码中间层连接，所述特征输入层与所述掩码输出层连接，所述掩码中间层包括中间上采样子层，所述掩码输出层包括输出上采样子层，所述中间上采样子层和所述输出上采样子层分别包括反池化层。本公开至少一实施例还提供一种图像处理装置，其包括存储器和处理器，所述存储器存储有适于由处理器运行的计算机程序指令，所述计算机指令被处理器运行时执行上述任一所述的图像处理方法中的一个或多个步骤。本公开至少一实施例还提供一种存储介质，其上存储有计算机指令，所述计算机指令被处理器运行时执行上述任一所述的图像处理方法中的一个或多个步骤。附图说明为了更清楚地说明本公开实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本公开的一些实施例，而非对本公开的限制。图1为本公开一实施例提供的一种图像处理方法的示意性流程图；图2A为本公开一实施例提供的一幅输入图像的示意图；图2B为对图2A所示的输入图像进行预处理之后的图像的示意图；图3A为本公开一实施例提供的一种特征提取网络和掩码构建网络的示意性结构图；图3B为图3A所示的掩码构建网络中的第一中间掩码分层的示意性结构图；图3C为图3A所示的特征提取网络中的特征输入层的示意性结构图；图4为图1所示的图像处理方法中的步骤S30的示意性流程图；图5为本公开一实施例提供的一种通道变化的示意图；图6为本公开一实施例提供的一种池化操作和反池化操作的示意图；图7为图1所示的图像处理方法中的步骤S20的示意性流程图；图8为本公开一实施例提供的一种填充操作的示意图；图9为本公开一实施例提供的另一种特征提取网络和掩码构建网络的示意性结构图；图10为本公开一实施例提供的另一种通道变化的示意图；图11A为一幅样本图像的示意图；图11B为图11A所示的样本图像的预设掩码图的示意图；图12为本公开一实施例提供的一种图像处理装置的示意性框图；以及图13为本公开一实施例提供的一种存储介质的示意图。具体实施方式为了使得本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。除非另外定义，本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。为了保持本公开实施例的以下说明清楚且简明，本公开省略了已知功能和已知部件的详细说明。在医学领域，深度学习神经网络可以用于医学图像分割，其可以提升图像分割的准确性，减少抽取特征的时间，提高计算效率。医学图像分割可以用于提取感兴趣区域，以便于医学图像的分析和识别。医学图像分割还可以用于医学图像的三维重建和可视化等。上述以医学图像为例进行的示意性说明，其它涉及到图像分割、图像重建等需求的领域依旧可以适用本公开实施例提供的技术方案。本公开实施例提供一种图像处理方法、图像处理装置以及存储介质，其可以基于神经网络分割各种类型的医学图像，在保证精度的前提下提高图像分割的速度，减少显存占用量，能够解决医疗资源不足的问题。例如，在本公开实施例中，通过使用一种全卷积神经网络(该全卷积神经网络没有全连接层)，在保证精度的同时提高了处理速度。下面对本公开的实施例进行详细说明，但是本公开并不限于这些具体的实施例。图1示出了本公开一实施例提供的一种图像处理方法的示意性流程图。例如，在本公开实施例提供的图像处理方法中，神经网络可以包括特征提取网络和掩码构建网络。特征提取网络用于提取特征图(featuremap)，掩码构建网络用于生成掩码图(例如可以是包括输入图像中所需分割出的目标区域的图，例如病理成像中的目标病灶区域、目标病灶器官等)。如图1所示，本公开实施例提供的图像处理方法可以包括，但不限于，以下步骤：步骤S10：获取输入图像；步骤S20：利用特征提取网络提取输入图像的特征以产生并输出输入图像的目标特征图；步骤S30：根据目标特征图，利用掩码构建网络构建并输出所述输入图像的目标掩码图。例如，在步骤S10中，输入图像可以为各种类型的图像。输入图像例如可以为医学图像。按照获取医学图像的设备划分，医学图像可以包括超声图像、X射线计算机断层摄影(ComputedTomography，CT)、核磁共振(MagneticResonanceImaging，MRI)图像、数字血管剪影(DigitalSubtractionAngiography，DSA)和正电子断层摄影(PositronEmissionComputedTomographyPET)等。按照医学图像的内容划分，医学图像可以包括脑组织核磁共振图像、脊髓核磁共振图像、眼底图像、血管图像、胰腺CT图像和肺部CT图像等。例如，输入图像可以通过图像采集装置获取。当输入图像为医学图像时，图像采集装置例如可以包括超声设备、X线设备、核磁共振设备、核医学设备、医用光学设备以及热成像设备等，本公开在此不作限定。需要说明的是，输入图像也可以为人物图像、动植物图像或风景图像等。例如，输入图像可以为灰度图像，也可以为彩色图像。例如，输入图像的尺寸可以为192×256。但不限于此，输入图像的尺寸还可以为512×512等，本公开实施例对此不作限制。在本公开下面的描述本文档来自技高网...

【技术保护点】
1.一种图像处理方法，包括：获取输入图像；利用特征提取网络提取输入图像的特征以产生并输出输入图像的目标特征图；以及根据目标特征图，利用掩码构建网络构建并输出输入图像的目标掩码图；其中，所述特征提取网络包括依次连接的特征输入层、特征中间层和特征输出层，所述掩码构建网络包括依次连接的掩码输入层、掩码中间层和掩码输出层，所述特征输出层与所述掩码输入层连接，所述特征中间层与所述掩码中间层连接，所述特征输入层与所述掩码输出层连接，所述掩码中间层包括中间上采样子层，所述掩码输出层包括输出上采样子层，所述中间上采样子层和所述输出上采样子层分别包括反池化层。

【技术特征摘要】
1.一种图像处理方法，包括：获取输入图像；利用特征提取网络提取输入图像的特征以产生并输出输入图像的目标特征图；以及根据目标特征图，利用掩码构建网络构建并输出输入图像的目标掩码图；其中，所述特征提取网络包括依次连接的特征输入层、特征中间层和特征输出层，所述掩码构建网络包括依次连接的掩码输入层、掩码中间层和掩码输出层，所述特征输出层与所述掩码输入层连接，所述特征中间层与所述掩码中间层连接，所述特征输入层与所述掩码输出层连接，所述掩码中间层包括中间上采样子层，所述掩码输出层包括输出上采样子层，所述中间上采样子层和所述输出上采样子层分别包括反池化层。2.根据权利要求1所述的图像处理方法，其中，所述特征中间层包括一个或依次连接的多个特征中间分层，所述特征中间分层包括一个或依次连接的多个中间反卷积子层、所述中间上采样子层；所述掩码中间层包括一个或依次连接的多个掩码中间分层，所述掩码中间分层包括一个或依次连接的多个中间卷积子层、中间下采样子层；具有相同大小特征的所述掩码中间分层和所述特征中间分层一一对应映射连接。3.根据权利要求2所述的图像处理方法，其中，所述特征中间层包括第一特征中间分层，所述掩码中间层包括第一掩码中间分层，所述第一特征中间分层与第一掩码中间分层连接，利用特征提取网络提取所述输入图像的特征以产生并输出所述输入图像的目标特征图，包括：利用所述特征输入层提取所述输入图像的特征以产生输入特征图和输入卷积特征图，所述输入特征图被传输至所述第一特征中间分层，所述输入卷积特征图被传输至所述掩码输出层；利用所述第一特征中间分层提取所述输入特征图的特征以产生第一中间特征图和第一中间卷积特征图，所述第一中间特征图被传输至所述特征输出层，所述第一中间卷积特征图被传输至所述第一掩码中间分层；以及利用所述特征输出层提取所述第一中间特征图的特征以产生所述目标特征图，所述目标特征图被传输至所述掩码输入层。4.根据权利要求3所述的图像处理方法，其中，所述掩码输入层包括输入反卷积子层，所述图像处理方法包括：利用所述输入反卷积子层对所述目标特征图执行掩码构建操作，以得到输入掩码图，其中，所述掩码构建操作包括反卷积操作和通道减少操作；以及输出所述输入掩码图到所述第一掩码中间分层。5.根据权利要求4所述的图像处理方法，还包括：根据所述第一中间卷积特征图和所述输入掩码图，利用所述第一掩码中间分层构建并输出第一中间掩码图至所述掩码输出层。6.根据权利要求5所述的图像处理方法，其中，所述第一掩码中间分层包括第一中间反卷积子层、第二中间反卷积子层和所述中间上采样子层，所述图像处理方法包括：利用所述中间上采样子层对所述输入掩码图执行上采样操作；利用所述第一中间反卷积子层对所述第一中间卷积特征图和所述中间上采样子层的输出执行所述掩码构建操作；利用所述第二中间反卷积子层对所述第一中间反卷积子层的输出执行所述掩码构建操作，以得到所述第一中间掩码图。7.根据权利要求6所述的图像处理方法，还包括：根据所述输入卷积特征图和所述第一中间掩码图，利用所述掩码输出层构建并输出所述输入图像的目标掩码图。8.根据权利要求7所述的图像处理方法，其中，所述掩码输出层包括第一输出反卷积子层、第二输出反卷积子层、第三输出反卷积子层和所述输出上采样子层，所述图像处理方法包括：利用所述输出上采样子层对所述第一中间掩码图执行上采样操作；利用所述第一输出反卷积子层对所述输入卷积特征图和所述输出上采样子层的输出执行所述掩码构建操作；利用所述第二输出反卷积子层对所述第一输出反卷积子层的输出执行所述掩码构建操作；以及利用所述第三输出反卷积子层对所述第二输出反卷积子层的输出执行所述掩码构建操作，以得到并输出所述输入图像的目标掩码图。9.根据权利要求4、6或8所述的图像处理方法，其中，所述掩码构建操作还包括激活操作。10.根据权利要求3所述的图像处理方法，其中，所述特征输入层包括第一输入卷积子层、第二输入卷积子层和输入下采样子层，所述图像处理方法包括：利用所述第一输入卷积子层对所述输入图像执行第一特征提取操作；利用所述第二输入卷积子层对所述第一输入卷积子层的输出执行第二特征提取操作，以产生并输出所述输入卷积特征图至所述掩码输出层；以及利用所述输入下采样子层对所述输入卷积特征图执行下采样操作，以产生并输出所述输入特征图至所述特征中间层的第一特征中间分层；其中，所述第一特征提取操作包括卷积操作和通道增加操作，所述第二特征提取操作包括所述卷积操作。11.根据权利要求10所述的图像处理方法，其中，所述输入图像的尺寸和所述输入卷积特征图的尺寸相同。...

【专利技术属性】
技术研发人员：王闾威，
申请(专利权)人：京东方科技集团股份有限公司，
类型：发明
国别省市：北京,11