图像序列运动遮挡检测方法、装置、存储器和处理器制造方法及图纸

本申请公开了一种图像序列运动遮挡检测方法、装置、存储器和处理器，本方法通过获取任意连续的两帧图像；获取所述两帧图像之间的稠密光流场和运动边界区域；利用语义分割深度神经网络模型对所述稠密光流场和运动边界区域作为输入进行分析，获得所述语义分割深度神经网络模型输出的遮挡检测结果。在上述语义分割深度神经网络模型中采用一种基于遮挡边界空间信息权重的多层累加损失函数，通过将遮挡边界的邻域像素空间相关性嵌入到学习过程中，使得网络模型能够收敛到运动遮挡边界等细节处，从而构造出的网络模型合适运动遮挡检测，并且获得边界清晰的遮挡检测效果。获得边界清晰的遮挡检测效果。获得边界清晰的遮挡检测效果。

【技术实现步骤摘要】
图像序列运动遮挡检测方法、装置、存储器和处理器


[0001]本申请涉及运动图像序列处理技术，特别涉及到一种基于语义分割深度神经网络架构的运动图像序列遮挡检测方法。

技术介绍

[0002]图像序列运动遮挡是指一部分像素在一帧图像中可见，而在另一帧图像中不可见的现象。它是图像处理与计算机视觉研究领域一项重要任务，旨在通过检测图像序列中不同物体与场景之间或不同物体不同部分间的遮挡区域，以引导其他计算机视觉任务如光流估计、图像配准、目标分割、目标跟踪等进行准确计算。研究成果被广泛应用于军事科技、医学图像处理与分析、航空航天和卫星云图分析等。
[0003]传统图像序列运动遮挡检测方法是利用运动对称性来比较前向和后向的运动估计，或者通过建立几何约束和匹配约束等模型检测遮挡，但是这些方法面对复杂场景或复杂运动时存在遮挡区域和遮挡边界模糊问题。

技术实现思路

[0004]本申请实施例提供了一种图像序列运动遮挡检测方法、装置、存储器和处理器，以至少解决图像运动序列运动遮挡存在遮挡区域和遮挡边界模糊的技术问题。
[0005]根据本申请的一个方面，提供一种图像序列运动遮挡检测方法，包括：
[0006]获取任意连续的两帧图像；
[0007]获取所述两帧图像之间的稠密光流场和运动边界区域；
[0008]利用语义分割深度神经网络模型对所述稠密光流场和运动边界区域作为输入进行分析，获得所述语义分割深度神经网络模型输出的遮挡检测结果；
[0009]其中，所述语义分割深度神经网络模型中在解码器的第k层的损失值L
k
如下：
[0010][0011]上式中，各参数含义如下：
[0012]x指像素坐标，Ω表示实数域；
[0013]k
x
为解码器最后一层输入的遮挡特征图每个通道中的预测值；
[0014]a(k
x
)表示所述k
x
映射到(0，1)区间后形成遮挡映射值的激活值；
[0015]o(x)表示每个像素x的遮挡标签，取0或1；
[0016]ω(x)表示权重，且
[0017]O为遮挡区域，B为遮挡边界区域；
[0018]ω0(x)为遮挡区域权重；
[0019]ω
b
为遮挡边界区域的初始权重；
[0020]D(σ)为基于搜索窗口半径σ的距离函数。
[0021]进一步的，在本专利技术中，所述D(σ)通过下式获得：
[0022][0023]其中：
[0024]d1(x)为所述遮挡边界区域内的像素到遮挡边界的距离；
[0025]d2(x)为在搜索窗口范围内该点到所述遮挡边界区域的距离。
[0026]进一步的，在本专利技术中，所述遮挡边界区域通过如下方法得到：
[0027]从真实遮挡图中获得遮挡边界；
[0028]对所述遮挡边界进行掩码膨胀获得膨胀后遮挡区域；
[0029]将所述膨胀后遮挡区域与所述真实遮挡图相减获得所述遮挡边界区域。
[0030]进一步的，在本专利技术中，所述语义分割深度神经网络模型的损失值为
[0031]其中，ω
k
表示每层遮挡预测图的权重。
[0032]进一步的，在本专利技术中，所述ω
k
取每层相同。
[0033]进一步的，在本专利技术中，所述解码器的每一层的结构如下：
[0034]4个连续堆叠的反卷积模块，所述每个反卷积模块用于顺序执行一次4
×
4的反卷积操作、两次7
×
7的卷积操作获得反卷积操作后的特征图；其中，所述每次卷积操作之后均进行一次归一化处理和激活处理；
[0035]拼接模块，用于将编码器的对应层产生的特征图与解码器该层获得的所述反卷积操作后的特征图、解码器前一层处理好的上采样的遮挡特征图进行拼接获得拼接后特征图，并对所述拼接后特征图执行3
×
3卷积操作生成遮挡特征图；所述遮挡特征图用于被处理成经上采样操作将分辨率扩大一倍以作为下一解码层中的所述上采样的遮挡特征图；
[0036]其中，所述解码器的第一层中的拼接模块在执行拼接获得拼接后特征图时，将编码部分的特征图与反卷积模块操作后的特征图进行拼接获得拼接后特征图。
[0037]进一步的，在本专利技术中，所述获取所述两帧图像之间的运动边界区域，包括：
[0038]用边缘检测器检测所述稠密光流场的运动边界；
[0039]使用膨胀掩码扩展所述稠密光流场的运动边界获得运动边界区域区域。
[0040]本申请的第二个方面，在于提供一种图像序列运动遮挡检测装置，包括：
[0041]第一获取模块,用于获取任意连续的两帧图像；
[0042]第二获取模块，用于获取所述两帧图像之间的稠密光流场和运动边界；
[0043]分析输出模块，用于利用语义分割深度神经网络模型对所述稠密光流场和运动边界作为输入进行分析，获得所述语义分割深度神经网络模型输出的遮挡检测结果；
[0044]其中，所述语义分割深度神经网络模型中在解码器的第k层的损失值L
k
如下：
[0045][0046]上式中，各参数含义如下：
[0047]x指像素坐标，Ω表示实数域；
[0048]k
x
为解码器最后一层输入的遮挡特征图每个通道中的预测值；
[0049]a(k
x
)表示所述k
x
映射到(0，1)区间后形成遮挡映射值的激活值；
[0050]o(x)表示每个像素x的遮挡标签，取0或1；
[0051]ω(x)表示权重，且
[0052]O为遮挡区域，B为遮挡边界区域；
[0053]ω0(x)为遮挡区域权重；
[0054]ω
b
为遮挡边界区域的初始权重；
[0055]D(σ)为基于搜索窗口半径σ的距离函数。
[0056]本申请的第三个方面，提供一种存储器，用于存储软件，所述软件用于执行本申请第一个方面所述的方法。
[0057]本申请的第四个方面，提供一种处理器，用于处理软件，所述软件用于执行本申请第一个方面所述的方法。
[0058]有益效果：
[0059]本申请提供一种图像序列运动遮挡检测方法，通过获取任意连续的两帧图像；获取所述两帧图像之间的稠密光流场和运动边界区域；利用语义分割深度神经网络模型对所述稠密光流场和运动边界区域作为输入进行分析，获得所述语义分割深度神经网络模型输出的遮挡检测结果。在上述语义分割深度神经网络模型中采用一种基于遮挡边界空间信息权重的多层累加损失函数，通过将遮挡边界的邻域像素空间相关性嵌入到学习过程中，使得网络模型能够收敛到运动遮挡边界等细节处，从而构造出的网络模型合适运动遮挡检测，并且获得边界清晰的遮挡检测效果。
附图说明
[0060]构成本申请的一部分的附图用来提本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.图像序列运动遮挡检测方法，其特征在于：获取任意连续的两帧图像；获取所述两帧图像之间的稠密光流场和运动边界区域；利用语义分割深度神经网络模型对所述稠密光流场和运动边界区域作为输入进行分析，获得所述语义分割深度神经网络模型输出的遮挡检测结果；其中，所述语义分割深度神经网络模型中在解码器的第k层的损失值L
k
如下：上式中，各参数含义如下：x指像素坐标，Ω表示实数域；k
x
为解码器最后一层输入的遮挡特征图每个通道中的预测值；a(k
x
)表示所述k
x
映射到(0，1)区间后形成遮挡映射值的激活值；o(x)表示每个像素x的遮挡标签，取0或1；ω(x)表示权重，且O为遮挡区域，B为遮挡边界区域；ω0(x)为遮挡区域权重；ω
b
为遮挡边界区域的初始权重；D(σ)为基于搜索窗口半径σ的距离函数。2.根据权利要求1所述的方法，其特征在于：所述D(σ)通过下式获得：其中：d1(x)为所述遮挡边界区域内的像素到遮挡边界的距离；d2(x)为在搜索窗口范围内该点到所述遮挡边界区域的距离。3.根据权利要求1所述的方法，其特征在于：所述遮挡边界区域通过如下方法得到：从真实遮挡图中获得遮挡边界；对所述遮挡边界进行掩码膨胀获得膨胀后遮挡区域；将所述膨胀后遮挡区域与所述真实遮挡图相减获得所述遮挡边界区域。4.根据权利要求1所述的方法，其特征在于：所述语义分割深度神经网络模型的损失值为其中，ω
k
表示每层遮挡预测图的权重。5.根据权利要求4所述的方法，其特征在于：所述ω
k
取每层相同。6.根据权利要求5所述的方法，其特征在于：所述解码器的每一层的结构如下：4个连续堆叠的反卷积模块，所述每个反卷积模块用于顺序执行一次4
×
4的反卷积操作、两次7
×
7的卷积操作获得反卷积操作后的特征图；其中，每次卷积操作之后均进行一次归一化处理和激活处理；
拼接模块，用于将...

【专利技术属性】
技术研发人员：董冲，方挺，韩家明，
申请(专利权)人：安徽工业大学科技园有限公司，
类型：发明
国别省市：