使用CNN进行图像分割的方法技术

在使用编码器‑解码器结构进行图像分割的卷积神经网络(CNN)中，多尺度上下文聚合模块从编码器接收最终编码特征图，并顺序地从全局尺度到局部尺度聚合该特征图的多尺度上下文，以强化不同尺度上下文的语义关系，从而提高分割精度。通过对特征图计算不同扩张率的空洞卷积来获得多尺度上下文。为了减少CNN所需的计算量，在解码器中使用了基于通道的特征选择(CFS)模块来合并两个输入特征图。每个特征图都由全局池化层，然后是全连接层或1×1卷积层处理，以选择高激活的通道。通过随后的按通道进行相乘和按元素进行相加，在合并的特征图中仅保留和增强了两个特征图中均具有高激活的通道。

Image segmentation using CNN

【技术实现步骤摘要】
【国外来华专利技术】使用CNN进行图像分割的方法缩略语表2D二维3D三维CFS基于通道的特征选择CNN卷积神经网络CPU中央处理器CT计算机断层扫描DSDICE分数FLOP浮点运算GP全局池化GPU图形处理单元MB兆字节MRI磁共振成像OCT光学相干断层扫描PET正电子发射断层扫描TDP热设计功率
本公开总体上涉及使用CNN的图像分割。特别地，本公开涉及用于提高分割精度并减少计算需求的CNN的网络结构。
技术介绍
医学图像分割涉及通过自动或半自动过程从医学图像或一系列图像中提取感兴趣的解剖区域。人工智能在自动分割医学图像中应用广泛。特别地，在图像理解中可配置成类似于人类视觉系统的神经回路的CNN也越来越多地被应用到医学图像分割中。大多数的CNN模型被设计用于处理自然图像。这些模型(例如PSPNet、Mask-RCNN和DeepLabv3+)是大型网络，每个都拥有大量参数。例如，PSPNet具有6600万个参数，而DeepLabv3本文档来自技高网...

【技术保护点】
1.一种用于将输入图像分割成分割图的计算机实现的方法，该方法包括在卷积神经网络(CNN)被训练之后，运行该CNN以从所述输入图像生成所述分割图的步骤，/n其中，所述CNN包括：/n编码器，所述编码器被设置为通过多个编码级将所述输入图像编码为最终编码特征图，在生成所述最终编码特征图之前生成一个或多个中间编码特征图；/n多尺度上下文聚合模块，所述多尺度上下文聚合模块被设置为顺序地从全局尺度到局部尺度聚合所述最终编码特征图的多尺度上下文，以允许强化不同尺度的相应上下文的语义关系，从而提高分割精度，所述多尺度上下文聚合模块生成聚合上下文特征图；和/n解码器，所述解码器被设置为直接或间接地根据所述最终编...

【技术特征摘要】
【国外来华专利技术】20200210 US 16/785,7841.一种用于将输入图像分割成分割图的计算机实现的方法，该方法包括在卷积神经网络(CNN)被训练之后，运行该CNN以从所述输入图像生成所述分割图的步骤，
其中，所述CNN包括：
编码器，所述编码器被设置为通过多个编码级将所述输入图像编码为最终编码特征图，在生成所述最终编码特征图之前生成一个或多个中间编码特征图；
多尺度上下文聚合模块，所述多尺度上下文聚合模块被设置为顺序地从全局尺度到局部尺度聚合所述最终编码特征图的多尺度上下文，以允许强化不同尺度的相应上下文的语义关系，从而提高分割精度，所述多尺度上下文聚合模块生成聚合上下文特征图；和
解码器，所述解码器被设置为直接或间接地根据所述最终编码特征图和所述一个或多个中间编码特征图对所述聚合上下文特征图进行解码，从而生成所述分割图。


2.根据权利要求1所述的方法，其中，所述多尺度上下文聚合模块还被设置为：
分别针对N个不同的扩张率，计算所述最终编码特征图的N个空洞卷积特征图，以从所述最终编码特征图提取所述多尺度上下文，其中N≥2；和
对于n∈{1,2,…,N}，通过计算的递归过程，计算所述聚合上下文特征图，其中，rn是第n个计算的空洞卷积特征图，sn是所述聚合上下文特征图的第n个中间结果，s0是空特征图，表示按元素进行相加，并且fn是第n个非线性函数，其中，(r1,r2,…,rN)形成空洞卷积特征图的序列，该序列以扩张率的降序排列，从而使得所述最终编码特征图的局部尺度上下文在其全局尺度上下文的引导下被聚合，其中，f1,f2,…,fN是独立配置的。


3.根据权利要求2所述的方法，其中，fn由fn(x)＝x+gn(x)给出，其中，x表示输入特征图，fn(x)表示第n个非线性函数对于所述输入特征图的输出，并且gn(x)是fn(x)的非线性分量。


4.根据权利要求3所述的方法，其中，所述多尺度上下文聚合模块包括用于计算f1,f2,…,fN的多个瓶颈块。


5.根据权利要求4所述的方法，其中，单独的瓶颈块包括一个或多个卷积层。


6.根据权利要求1所述的方法，其中：
所述解码器包括多个解码级，单独的解码级被设置为接收第一输入特征图和第二输入特征图以生成一个输出图，所述第一输入特征图和第二输入特征图均具有相同的尺寸和相同数量的通道，其中，所述单独的解码级包括合并模块和解码块，所述合并模块被设置为合并所述第一输入特征图和所述第二输入特征图以形成合并的特征图，所述解码块被设置为对所述合并的特征图进行解码以给出所述输出图。


7.根据权利要求6所述的方法，其中，所述合并模块是基于通道的特征选择(CFS)模块，被设置为：
用全局池化(GP)层和注意力层的单独的级联处理所述第一输入特征图和所述第二输入特征图的每一个，以分别生成尺寸为1×1×C的第一注意力特征图和第二注意力特征图，其中：
所述第一输入特征图和所述第二输入特征图的每一个的尺寸为W×H×C；
所述GP层对相应的输入特征图的C个通道中的每个通道中的W×H个数据执行池化操作，以产生尺寸为1×1×C的GP输出特征图；并且
所述注意力层通过根据所述GP输出特征图确定所述C个通道中的每一个的注意力使得所述C个通道中激活更高的通道具有更高的注意力来生成相应的注意力特征图，所述注意力层为全连接层或1×1卷积层，在处理所述第一输入特征图和所述第二输入特征图时，所述单独的级联的所述注意力层中使用了相同的一组权重；
将所述第一输入特征图与所述第二注意力特征图按通道进行相乘，以产生第一后处理的输入特征图；
将所述第二输入特征图与所述第一注意力特征图按通道进行相乘，以产生第二后处理的输入特征图；和
对所述第一后处理的输入特征图和所述第二后处理的输入特征图按元素进行相加以给出所述合并的特征图，以便保留和增强在所述第一输入特征图和所述第二输入特征图中具有高激活的通道。


8.根据权利要求7所述的方法，其中，所述池化操作是计算平均值的第一操作或找到最大值的第二操作。


9.根据权利要求7所述的方法，其中，所述注意力层采用Sigmoid函数作为激活函数。


10.根据权利要求7所述的方法，其中，相应的注意力特征图中的每个数据在0至1的范围内。


11.根据权利要求6所述的方法，其中：
所述多个解码级包括初始解码级和一个或多个后续解码级，所述一个或多个后续解码级包括最后解码级；
所述初始解码级的第一输入特征图为所述聚合上下文特征图，其第二输入特征图为所述最终编码特征图，或从所述最终编码特征图导...

【专利技术属性】
技术研发人员：刘尚平，王陆，张平平，卢湖川，
申请(专利权)人：香港应用科技研究院有限公司，
类型：发明
国别省市：中国香港;81