基于重叠自注意力变形器架构U型网络的图像分割网络制造技术

一种基于重叠自注意力变形器架构U型网络的图像分割网络，包括：图像块展开单元、若干特征提取块、若干上、下采样层、若干跳跃连接模块以及维度映射单元，其中：图像块展开单元将输入图像根据输入尺寸分成若干图像块；特征提取块对图像块进行特征提取，得到多语义信息特征图；下采样单元通过对多语义信息特征图进行向下重构得到高特征维度低分辨率特征图；上采样单元对高特征维度低分辨率特征图进行向上重构得到低特征维度高分辨率特征图；跳跃连接单元将同样特征维度同样分辨率的特征图进行融合得到上下文信息特征图；维度映射单元将上下文信息特征图通过维度映射生成掩码，实现图像分割。本发明专利技术通过重叠局部自注意力变形器对图像进行编码解码，捕捉到图像不同分区之间的联系，U型架构叠加不同尺度间的特征，可以更好的融合上下文信息的同时降低计算量。融合上下文信息的同时降低计算量。融合上下文信息的同时降低计算量。

【技术实现步骤摘要】
基于重叠自注意力变形器架构U型网络的图像分割网络


[0001]本专利技术涉及的是一种神经网络图像分割领域的技术，具体是一种基于重叠自注意力变形器(Transformer)架构U型网络的图像分割网络。

技术介绍

[0002]现有以卷积神经网络(CNN)为主导的图像分割技术中，U
‑
Net以其跳跃连接结构可以融合上下文信息的特点，获得了很好的分割效果。而变形器模型以具有全局效应的特点被广泛应用于自然语言处理领域。
[0003]但现有的基于变形器架构的分割网络容易出现以下问题：
①
CNN的提取特征方式与变形器模型有较大区别，直接进行特征图拼接会有内容不匹配的问题
②
图像往往分辨率高，像素点多，变形器基于全局的自注意力的计算导致计算量远远大于传统的卷积神经网络模型。
[0004]现有基于Transformer架构的分割技术通过直接对原始图像切分图像块后展开的序列计算全局注意力，导致其仅关注全局而对局部细节不具有感知力，因此其对上下文的局部与全局信息的全面捕获能力弱，且计算复杂度较高。

技术实现思路

[0005]本专利技术针对现有基于局部窗口的变形器相比于计算全局自注意力的变形器在计算量上大大减少，但由于窗口间缺少交互，因此在一定程度上较难把控全局特征和窗口间的联系这一不足，以及现有全局变形器计算量大特征冗余以及U型架构特征融合时内容不匹配的问题，提出一种基于重叠自注意力变形器架构U型网络的图像分割网络，通过重叠局部自注意力变形器对图像进行编码解码，捕捉到图像不同分区之间的联系，U型架构叠加不同尺度间的特征，可以更好的融合上下文信息的同时降低计算量。
[0006]本专利技术是通过以下技术方案实现的：
[0007]本专利技术涉及一种基于重叠自注意力变形器架构U型网络的图像分割网络，包括：图像块展开单元、若干特征提取块、若干上、下采样层、若干跳跃连接模块以及维度映射单元，其中：图像块展开单元将输入图像根据输入尺寸分成若干图像块；特征提取块对图像块进行特征提取，得到多语义信息特征图；下采样单元通过对多语义信息特征图进行向下重构得到高特征维度低分辨率特征图；上采样单元对高特征维度低分辨率特征图进行向上重构得到低特征维度高分辨率特征图；跳跃连接单元将相应层次的特征图进行融合得到上下文信息特征图；维度映射单元将上下文信息特征图通过维度映射生成掩码，实现图像分割。
[0008]所述的特征提取块包括：局部变形器模块与重叠自注意力模块，其中：局部变形器模块将每个图像块进一步分成若干小窗口，即特征图后，将其拉伸为特征序列并计算窗口自注意力，得到带有低层次特征的特征图并拼接为特征图像块；重叠自注意力模块计算特征图像块的重叠自注意力，得到包含高层次特征的特征图后，与特征图像块融合成完整的多语义信息特征图，实现一次特征提取。
[0009]所述的窗口自注意力是指：计算特征序列的自注意力并叠加位置编码后，通过softmax层进行归一化以得到序列的自相关矩阵；再与序列的复制进行矩阵相乘得到带有低层次特征的特征序列，并将其还原为特征图后拼接为特征图像块。
[0010]所述的自注意力具体为：其中：Q、K、V均为输入序列的复制，QK
T
为序列每一个元素之间的相关性，为放缩比例，B1为与自相关矩阵维度相同的相对距离编码矩阵。
[0011]所述的相对距离编码矩阵B1，具体建立步骤为：以特征序列的第j个元素为原点建立坐标系，其余元素的数值为(xi+width)+(yi+height)，逐行拼接成序列，即相对距离编码矩阵的第j行，其中：xi与yi为此坐标系下的横纵坐标值，width与height分别为小窗口的长和宽。
[0012]所述的重叠自注意力具体是指：对同一个特征提取块中的局部变形器模块生成的特征图像块分别聚合得到Q
’
和K
’
、V
’
后，通过公式计算重叠注意力，其中：Q
’
、K
’
、V
’
均为输入序列的复制，Q
’
K
’
T
为序列每一个元素之间的相关性，B2为与自相关矩阵维度相同的相对距离编码矩阵。
[0013]所述的分别聚合，包括：
[0014]a)对局部变形器模块生成的特征图像块划分为14
×
14大小的n
×
n个特征小窗口，将每个通道为c的特征小窗口展成维度为14
×
14
×
c的特征序列，使用全连接层将维度从14
×
14
×
c降至2
×
c
×
n
×
n，得到重叠自注意力机制中的Q
’
。
[0015]b)对局部变形器模块生成的通道为c的特征图像块进行上下左右为1的填充，并以步长为14、卷积核大小为16进行滑动剪裁得到维度为16
×
16
×
c的特征序列后，使用全连接层降维至2
×
c
×
n
×
n，得到重叠自注意力机制中的K
’
和V
’
。
[0016]所述的相对距离编码矩阵B2，具体建立步骤为：对每个特征图像块分成14
×
14大小的特征小窗口，将每个小窗口作为一个整体堆叠成一维序列后，以其中第j个小窗口为原点建立坐标系，其余元素的数值为(xi+nw)+(yi+nh)，再将此小窗口逐行拼接成序列，即相对距离编码矩阵的第j行，其中：xi与yi为此坐标系下的横纵坐标值，nw与nh分别为特征图像块长宽方向小窗口的个数。
[0017]所述的向下重构是指：对多语义信息特征图依次进行分块、链接、层归一化和全连接层对应的降维处理，得到高特征维度低分辨率特征图。
[0018]所述的向上重构是指：对高特征维度低分辨率特征图依次进行全连接层对应的升维、拆分、组合和层归一化处理，得到低特征维度高分辨率特征图。
[0019]所述的维度映射是指：将上下文信息特征图以图像块展开的顺序进行拼接，并通过三个卷积核大小为1
×
1的卷积层和图像合并层依次进行特征到掩码的映射，得到通道为分割类别N的分割掩码。技术效果
[0020]与现有技术相比，本专利技术通过应用局部自注意力的变形器模块解决全局变形器计算量大特征冗余的问题以及U型架构特征融合时内容不匹配的问题，同时利用叠加自注意力机制捕捉图像全局特征。
附图说明
[0021]图1为本专利技术流程图；
[0022]图2为本专利技术的网络结构图；
[0023]图3为本专利技术网络中特征提取模块图；
[0024]图4为本专利技术网络中上下采样层即维度映射单元流程图；
[0025]图5为本专利技术实施例的一次结果展示。
具体实施方式
[0026]如图1所示，为本实施例涉本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于重叠自注意力变形器架构U型网络的图像分割网络，其特征在于，包括：图像块展开单元、若干特征提取块、若干上、下采样层、若干跳跃连接模块以及维度映射单元，其中：图像块展开单元将输入图像根据输入尺寸分成若干图像块；特征提取块对图像块进行特征提取，得到多语义信息特征图；下采样单元通过对多语义信息特征图进行向下重构得到高特征维度低分辨率特征图；上采样单元对高特征维度低分辨率特征图进行向上重构得到低特征维度高分辨率特征图；跳跃连接单元将相应层次的特征图进行融合得到上下文信息特征图；维度映射单元将上下文信息特征图通过维度映射生成掩码，实现图像分割。2.根据权利要求1所述的基于重叠自注意力变形器架构U型网络的图像分割网络，其特征是，所述的特征提取块包括：局部变形器模块与重叠自注意力模块，其中：局部变形器模块将每个图像块进一步分成若干小窗口，即特征图后，将其拉伸为特征序列并计算窗口自注意力，得到带有低层次特征的特征图序列，并将其还原为特征图后拼接为特征图像块；重叠自注意力模块计算特征图像块的重叠自注意力，得到包含高层次特征的特征图后，与特征图像块融合成完整的多语义信息特征图，实现一次特征提取。3.根据权利要求1所述的基于重叠自注意力变形器架构U型网络的图像分割网络，其特征是，所述的窗口自注意力是指：计算特征序列的自注意力并叠加位置编码后，通过softmax层进行归一化以得到序列的自相关矩阵；再与序列的复制进行矩阵相乘得到带有低层次特征的特征图并拼接为特征图像块。4.根据权利要求3所述的基于重叠自注意力变形器架构U型网络的图像分割网络，其特征是，所述的自注意力具体为：其中：Q、K、V均为输入序列的复制，QK
T
为序列每一个元素之间的相关性，为放缩比例，B1为与自相关矩阵维度相同的相对距离编码矩阵；所述的相对距离编码矩阵B1，具体建立步骤为：以特征序列的第j个元素为原点建立坐标系，其余元素的数值为(xi+width)+(yi+height)，逐行拼接成序列，即相对距离编码矩阵的第j行，其中：xi与yi为此坐标系下的横纵坐标值，width与height分别为小窗口的长和宽。5.根据权利要求1所述的基于重叠自注意力变形器架构U型网络的图像分割网络，其特征是，所述的重叠自注意力具体是指：对同一个特征提取块中的局部变形器模块生成的特征图像块分别聚合得到Q
’
和K
’
、V
’
后，通过公式计算重叠注意力，其中：Q
’
、K
’
、V
’
均为输入序列的复制，Q
’
K
’
T
为序列每一个元素之间的相关性，B2为与自相关矩阵维度相同的相对距离编码矩阵；所述的分别聚合，包括：a)对局部变形器模块生成的特征图像块划分为14
×
14大小的n
×
n个特征小窗口，将每个通道为c的特征小窗口展成维度为14
×
14
×
c的特征序列，使用全连接层从14
×
14
×
c降维至2
×
c
×
n
×
n，得到重叠自注意力机制中的Q
’
；b)对局部变形器模块生成的通道为c的特征图像块进行上下左右为1的填充，并以步长为14、卷积核大小为16进行滑动剪裁得到维度为16
×
16
×
c的特征序列后，使用全连接层降维至2
×...

【专利技术属性】
技术研发人员：张麒，严逸飞，
申请(专利权)人：苏州迭代智能医疗科技有限公司，
类型：发明
国别省市：