基于信息混乱度度量的语义边缘检测方法及系统技术方案

本公开提供了一种基于信息混乱度度量的语义边缘检测方法及系统，包括：获取待进行语义边缘检测的图像；将图像输入预先训练的语义边缘检测模型中，获得图像张量形式的神经网络表示图；使用混乱度度量函数对所述神经网络表示图计算混乱度图像，将混乱度图像进行归一化转换为语义边缘图像；其中，所述语义边缘检测模型采用神经网络模型，其训练过程基于真值对语义边缘的随机性最大化和对非语义边缘的随机性最小化，进行模型参数的训练。所述方案利用语义边缘特征较非语义边缘特征的固有信息混乱度差异来反映语义边缘的位置，从而有效提升了网络的训练效率，并在检测结果上缓解了结果不全和产生杂边的问题。果不全和产生杂边的问题。果不全和产生杂边的问题。

【技术实现步骤摘要】
基于信息混乱度度量的语义边缘检测方法及系统


[0001]本公开属于计算机视觉
，尤其涉及一种基于信息混乱度度量的语义边缘检测方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本公开相关的
技术介绍
信息，不必然构成在先技术。
[0003]边缘作为一种指示视觉场景中结构信息的关键因素，在计算机视觉任务中有广泛的应用。由于生物感知和计算处理过程的不同，边缘可以被分类为三类：对应于局部梯度变化的低层次边，人类能够直观感知到的感知边，以及表示不同实例或类别的边缘的语义边。对比前两种边缘，语义边从更高层次的视角反映视觉场景的信息，因此在目标检测，视觉显著性以及自动驾驶中有广泛的应用。然而，因为它需要从单纯边缘注释中准确理解隐藏在场景中的语义信息，所以检测高层次的语义边是非常具有挑战性的。
[0004]现有方法大多借助深度卷积神经网络来检测图像的语义边缘，通过使用一个预训练后的分割网络作为骨干网络，并且将语义边缘检测看作是一个二分类问题，旨在学习语义边缘和非语义边缘上的深度神经表示(特征)，然后将这些深度神经表示划分成两个不同的类，语义边缘上的神经表示以具有语义融合的形式出现。然而，由于语义融合的类型较多，无法有效通过学习来捕捉，无论是传统二值分割还是回归，都会导致语义边缘的不完整和噪声，进而导致语义边缘检测结果不全、检测杂边以及训练效率低下等问题。
[0005]专利技术人发现，与非边缘相比，边缘上的语义融合具有较大的信息随机性。借助这一理解，专利技术人从信息不确定性(随机性)度量的角度重新定义语义边缘检测。随机度度量可以避免语义边缘检测的学习负担，对未见过的语义融合类型具有良好的概括性，从而能够缓解语义边缘的不完整和噪声等问题。该专利技术根据语义边缘的内在属性来检测边缘，并不严重地依赖于标注的质量，因此，该专利技术面对弱监督标注时更加稳健。

技术实现思路

[0006]本公开为了解决上述问题，提供了一种基于信息混乱度度量的语义边缘检测方法及系统，所述方案利用语义边缘特征较非语义边缘特征的固有信息混乱度差异来反映语义边缘的位置，从而有效提升了网络的训练效率，并在检测结果上缓解了结果不全和产生杂边的问题。
[0007]根据本公开实施例的第一个方面，提供了一种基于信息混乱度度量的语义边缘检测方法，包括：
[0008]获取待进行语义边缘检测的图像；
[0009]将图像输入预先训练的语义边缘检测模型中，获得图像张量形式的神经网络表示图；
[0010]使用混乱度度量函数对所述神经网络表示图计算混乱度图像，将混乱度图像进行
归一化转换为语义边缘图像；
[0011]其中，所述语义边缘检测模型采用神经网络模型，其训练过程基于真值对语义边缘的随机性最大化和对非语义边缘的随机性最小化，进行模型参数的训练。
[0012]进一步的，所述神经网络模型采用残差网络和自注意力模块作为骨干网络，其通过1
×
1的卷积将特征通道减少的预设数量，并通过softmax操作获得用于测量随机性的神经网络表示图。
[0013]进一步的，所述神经网络模型的训练过程中，其网络参数通过下式进行优化：
[0014][0015]其中，Ω
E
和Ω
N
分别表示为边缘区域和非边缘区域，且Ω＝Ω
E
∩Ω
N
，和分别是定义在Ω
E
和Ω
N
的条件。
[0016]进一步的，所述混乱度度量函数，具体表示如下：
[0017][0018]其中，r(P
i，j
)表示在概率图P中(i，j)位置的信息不确定性度量，φ为神经网络模型的参数集合，τ
max
、τ
min
分别为信息不确定性度量的上下界。
[0019]进一步的，所述信息不确定度量的类型为信息熵或基尼不纯度。
[0020]根据本公开实施例的第二个方面，提供了一种基于信息混乱度度量的语义边缘检测系统，包括：
[0021]数据获取单元，其用于获取待进行语义边缘检测的图像；
[0022]神经网络表示单元，其用于将图像输入预先训练的语义边缘检测模型中，获得图像张量形式的神经网络表示图；
[0023]边缘检测单元，其用于使用混乱度度量函数对所述神经网络表示图计算混乱度图像，将混乱度图像进行归一化转换为语义边缘图像；
[0024]其中，所述语义边缘检测模型包括残差网络及自注意力模块，其训练过程基于真值对语义边缘的随机性最大化和对非语义边缘的随机性最小化，进行模型参数的训练。
[0025]根据本公开实施例的第三个方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上运行的计算机程序，所述处理器执行所述程序时实现所述的一种基于信息混乱度度量的语义边缘检测方法。
[0026]根据本公开实施例的第四个方面，提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述的一种基于信息混乱度度量的语义边缘检测方法。
[0027]与现有技术相比，本公开的有益效果是：
[0028](1)本公开所述方案提供了一种基于信息混乱度度量的语义边缘检测方法及系统，相比于之前的方法，本公开所述方案不需要对语义特征中的语义边缘特征和非语义边缘特征进行显式的分类，而是利用语义边缘特征较非语义边缘特征的固有信息混乱度差异来反映语义边缘的位置。从而，提升了网络的训练效率，在检测结果上缓解了结果不全和产生杂边的问题。
[0029](2)本公开所述方案进一步加强了基于语义边缘区域相比于非语义边缘区域更加不确定的观察这一特性，并根据真值通过对语义边的随机性最大化和对非边的随机性最小化来训练神经网络模型的参数，并通过提出的一种混乱度度量函数来度量图像不同位置的神经网络表示，获得精确的张量形式的神经网络表示图，为后续的语义边缘检测的精度提供了基础。
[0030]本公开附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。
附图说明
[0031]构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
[0032]图1为本公开实施例一中所述的用于语义边缘检测的网络结构流程对比图；
[0033]图2为本公开实施例一中所述的基于信息混乱度度量的语义边缘检测方法的流程示意图；
[0034]图3为本公开实施例一中所述的在Cityscapes数据集下的语义边缘检测可视化结果示意图。
具体实施方式
[0035]下面结合附图与实施例对本公开做进一步说明。
[0036]应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属
的普通技术人员通常理解的相同含义。
[0037]需要注本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于信息混乱度度量的语义边缘检测方法，其特征在于，包括：获取待进行语义边缘检测的图像；将图像输入预先训练的语义边缘检测模型中，获得图像张量形式的神经网络表示图；使用混乱度度量函数对所述神经网络表示图计算混乱度图像，将混乱度图像进行归一化转换为语义边缘图像；其中，所述语义边缘检测模型采用神经网络模型，其训练过程基于真值对语义边缘的随机性最大化和对非语义边缘的随机性最小化，进行模型参数的训练。2.如权利要求1所述的一种基于信息混乱度度量的语义边缘检测方法，其特征在于，所述神经网络模型采用残差网络和自注意力模块作为骨干网络，其通过1
×
1的卷积将特征通道减少的预设数量，并通过softmax操作获得用于测量随机性的神经网络表示图。3.如权利要求1所述的一种基于信息混乱度度量的语义边缘检测方法，其特征在于，所述神经网络模型的训练过程中，其网络参数通过下式进行优化：其中，Ω
E
和Ω
N
分别表示为边缘区域和非边缘区域，且Ω＝Ω
E
∩Ω
N
，和分别是定义在Ω
E
和Ω
N
的条件。4.如权利要求1所述的一种基于信息混乱度度量的语义边缘检测方法，其特征在于，所述混乱度度量函数，具体表示如下：其中，r(P
i，j
)表示在概率图P中(i，j)位置的信息不确定性度量，φ为神经网络模型的参数集合，τ
max
、τ
min
分别为信息不确定性度量的上下界。5.如权利要求4所述的一种基于信息混乱度度量的语义边缘...

【专利技术属性】
技术研发人员：蒋鹏，潘志一，曾琼，屠长河，
申请(专利权)人：山东大学，
类型：发明
国别省市：