编码器、编码器和解码器框架及多目标跟踪与分割方法技术

本发明专利技术属于神经网络技术领域，公开了编码器、编码器和解码器框架及多目标跟踪与分割方法，输入模块用于获取当前帧图片和上一帧分割结果生成的高斯分布热力图；多尺度特征生成模块，用于对输入模块得到的当前帧图片和上一帧分割结果生成的高斯分布热力图进行特征提取，生成多尺度特征，多尺度特征包括：语义特征和其它特征；记忆增强的特征编码模块用于将语义特征和当前帧的全局上下文矩阵进行关联得到记忆增强的语义特征；输出模块，用于将记忆增强的语义特征和其它特征进行组合得到特征地图。有益效果：通过设置记忆增强的特征编码模块，利用了全局上下文的信息，解决了编码器时域上的连续性问题，可以更好的实现多目标的追踪和分割。踪和分割。踪和分割。

【技术实现步骤摘要】
编码器、编码器和解码器框架及多目标跟踪与分割方法


[0001]本专利技术涉及神经网络
，特别是涉及编码器、编码器和解 码器框架及多目标跟踪与分割方法。

技术介绍

[0002]现有技术在进行目标的追踪与分割时往往需要利用编码器和解码 器进行信息处理，但是目前的编码器在进行特征提取时存在时域上的 连续性问题，不利于目标的追踪和分割，需要进行改进。

技术实现思路

[0003]本专利技术的目的是：对现有的编码器进行改进，克服编码器的时域 不连续的问题，优化多目标的追踪和分割过程。
[0004]为了实现上述目的，本专利技术提供了一种编码器，包括：输入模块、 多尺度特征生成模块、记忆增强的特征编码模块和输出模块；
[0005]所述输入模块，用于获取当前帧图片和上一帧分割结果生成的高 斯分布热力图；
[0006]所述多尺度特征生成模块，用于对输入模块得到的当前帧图片和 上一帧分割结果生成的高斯分布热力图进行特征提取，生成多尺度特 征，所述多尺度特征包括：语义特征和其它特征；
[0007]所述记忆增强的特征编码模块用于将语义特征和当前帧的全局上 下文矩阵进行关联得到记忆增强的语义特征；
[0008]所述输出模块，用于将记忆增强的语义特征和其它特征进行组合 得到特征地图。
[0009]进一步的，所述多尺度特征生成模块包括：ResNet50和PANet； 当前帧图片和上一帧分割结果生成的高斯分布热力图通过ResNet50和 PANet的特征提取后得到若干不同尺度的特征。
[0010]进一步的，高斯分布热力图的背景像素设置为零。
[0011]进一步的，所述记忆增强的特征编码模块包括：上下文矩阵生成 模块、上下文矩阵存储模块、当前帧的上下文矩阵生成模块和记忆增 强的语义特征的生成模块；
[0012]所述上下文矩阵生成模块，用于将语义特征的当前帧值的记忆特 征图和经过分类器分类的当前帧键的记忆特征图进行点积得到上一帧 的上下文矩阵；
[0013]所述上下文矩阵存储模块，用于存储上下文矩阵生成模块所生成 的上下文矩阵；
[0014]所述当前帧的上下文矩阵生成模块，用于通过SETet将上下文矩 阵存储模块所存储的若干帧的上下文矩阵生成当前帧的上下文矩阵；
[0015]所述记忆增强的语义特征的生成模块，用于将经过分类器的当前 帧值的查询图和当前帧的上下文矩阵进行点积，然后将点积后的结果 和当前帧值的查询图进行关联得到记忆增强的语义特征。
[0016]本专利技术还公开了一种编码器和解码器框架，包括：上述的编码器 和三个同时与编
码器连接的解码器；
[0017]所述编码器用于得到特征地图；三个解码器依次记为第一解码器、 第二解码器和第三解码器；
[0018]所述第一解码器用于根据特征地图生成中心图，所述第二解码器 用于根据特征地图生成框角偏移量和中心偏移量，所述第三解码器用 于根据特征地图生成像素偏移量；
[0019]根据中心图和框角偏移量得到分割结果图，根据中心图和中心偏 移量得到追踪图，根据中心图和像素偏移量得到当前帧的高斯分布热 力图。
[0020]进一步的，所述第一解码器和第二解码器之间设置多尺度一致性 损失函数；
[0021]所述多尺度一致性损失函数，具体为：
[0022][0023]其中，其中，K表示有K个不同尺度，w为特征图的宽度，R
k
(i，j)表 示在第k尺度下分割特征和检测特征的相关性，Q
s，k
(i)和Q
d，k
(j)分别表 示分割和检测特征的一个可学习特征嵌入。
[0024]进一步的，所述第一解码器和第三解码器之间设置有种子损失函 数；
[0025]所述种子损失函数，具体为：
[0026][0027]其中，E
t
(p)是seed mapE
t
中的位置p的值，p∈bg表示该像素 属于背景，φ
k
(p)表示像素偏移量O
s
中每个像素的高斯分布，高斯分布 的方差取自sigma映射∑，∑也受监督。
[0028]进一步的，根据中心图和框角偏移量得到分割结果图时设置分割 损失函数进行监督；根据中心图和中心偏移量得到追踪图时设置追踪 损失函数，根据中心图和像素偏移量得到当前帧的高斯分布热力图时 设置检测损失函数。
[0029]本专利技术还公开了一种多目标跟踪与分割方法，应用上述的编码器 和解码器框架进行多目标跟踪与分割。
[0030]本专利技术还公开了一种多目标跟踪与分割方法，包括：
[0031]获取当前帧图片和上一帧分割结果生成的高斯分布热力图；
[0032]将获取到的当前帧图片和上一帧分割结果生成的高斯分布热力图 输入到预设的编码器中得到特征地图，所述预设的编码器用于对当前 帧图片和上一帧分割结果生成的高斯分布热力图进行特征提取，生成 多尺度特征，所述多尺度特征包括：语义特征和其它特征；将语义特 征和当前帧的全局上下文矩阵进行关联得到记忆增强的语义特征；将 记忆增强的语义特征和其它特征进行组合得到特征地图；
[0033]将特征地图输入到和解码器相连接的三个编码器中，三个解码器 依次记为第一解码器、第二解码器和第三解码器；所述第一解码器用 于根据特征地图生成中心图，所述第二解码器用于根据特征地图生成 框角偏移量和中心偏移量，所述第三解码器用于根据特征地图生成像 素偏移量；
[0034]根据中心图和框角偏移量得到分割结果图，根据中心图和中心偏 移量得到追踪图，根据中心图和像素偏移量得到当前帧的高斯分布热 力图。
[0035]本专利技术实施例提供的一种编码器、编码器和解码器框架及多目标 跟踪与分割方法与现有技术相比，其有益效果在于：通过设置记忆增 强的特征编码模块，利用了全局上
下文的信息，能够获得跨帧的时域 信息，解决了编码器时域上的连续性问题，可以更好的实现多目标的 追踪和分割。
附图说明
[0036]图1是本专利技术一种编码器的结构示意图；
[0037]图2是本专利技术一种编码器中记忆增强的特征编码模块的结构示意 图；
[0038]图3是本专利技术一种编码器和解码器框架的结构示意图；
[0039]图4是本专利技术一种多目标跟踪与分割方法的流程示意图。
具体实施方式
[0040]下面结合附图和实施例，对本专利技术的具体实施方式作进一步详细 描述。以下实施例用于说明本专利技术，但不用来限制本专利技术的范围。
[0041]实施例1：
[0042]对于实时多目标跟踪来说，构建紧凑的编码器体系结构是一项挑 战，对于作为后续解码器的公共主干来说至关重要。
[0043]为了进行目标跟踪，特别是为了解决多目标跟踪与分割中的遮挡 问题，必须全面分析每个对象的历史状态。此外，实例分割还需要探 索图像上的空间关系。
[0044]为了得到一个能够在空域和时域上聚合信本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种编码器，其特征在于，包括：输入模块、多尺度特征生成模块、记忆增强的特征编码模块和输出模块；所述输入模块，用于获取当前帧图片和上一帧分割结果生成的高斯分布热力图；所述多尺度特征生成模块，用于对输入模块得到的当前帧图片和上一帧分割结果生成的高斯分布热力图进行特征提取，生成多尺度特征，所述多尺度特征包括：语义特征和其它特征；所述记忆增强的特征编码模块用于将语义特征和当前帧的全局上下文矩阵进行关联得到记忆增强的语义特征；所述输出模块，用于将记忆增强的语义特征和其它特征进行组合得到特征地图。2.根据权利要求1所述的一种编码器，其特征在于，所述多尺度特征生成模块包括：ResNet50和PANet；当前帧图片和上一帧分割结果生成的高斯分布热力图通过ResNet50和PANet的特征提取后得到若干不同尺度的特征。3.根据权利要求1所述的一种编码器，其特征在于，高斯分布热力图的背景像素设置为零。4.根据权利要求1所述的一种编码器，其特征在于，所述记忆增强的特征编码模块包括：上下文矩阵生成模块、上下文矩阵存储模块、当前帧的上下文矩阵生成模块和记忆增强的语义特征的生成模块；所述上下文矩阵生成模块，用于将语义特征的当前帧值的记忆特征图和经过分类器分类的当前帧键的记忆特征图进行点积得到上一帧的上下文矩阵；所述上下文矩阵存储模块，用于存储上下文矩阵生成模块所生成的上下文矩阵；所述当前帧的上下文矩阵生成模块，用于通过SETet将上下文矩阵存储模块所存储的若干帧的上下文矩阵生成当前帧的上下文矩阵；所述记忆增强的语义特征的生成模块，用于将经过分类器的当前帧值的查询图和当前帧的上下文矩阵进行点积，然后将点积后的结果和当前帧值的查询图进行关联得到记忆增强的语义特征。5.一种编码器和解码器框架，其特征在于，包括：权利要求1－4任一一项所述的编码器和三个同时与编码器连接的解码器；所述编码器用于得到特征地图；三个解码器依次记为第一解码器、第二解码器和第三解码器；所述第一解码器用于根据特征地图生成中心图，所述第二解码器用于根据特征地图生成框角偏移量和中心偏移量，所述第三解码器用于根据特征地图生成像素偏移量；根据中心图和框角偏移量得到分割结果图，根据中心图和中心偏移量得到追踪图，根据中心图和像素偏移量得到当前帧的高斯分布热力图。6.根据权利要求5所述的一种编码器和解码器框架，其特征...

【专利技术属性】
技术研发人员：李冠彬，夏萌，
申请(专利权)人：中山大学，
类型：发明
国别省市：