一种稠密域图像鲁棒表征方法技术

本发明专利技术公开了一种稠密域图像鲁棒表征方法，包括如下步骤。1)预处理：将输入图像转换为灰度图像；2)卷积核准备：按给定的基函数公式和给定的尺度、频率参数计算出卷积核；3)图像分解：计算灰度图像和上述核的空间卷积，将图像分解为多尺度和多频率的系数；4)不变量构造：按照所需的不变性要求，可以由协变性公式从上述系数中进一步导出旋转、翻转、缩放不变的稠密特征，实现对图像的鲁棒表征。本发明专利技术具有表征覆盖度高、鲁棒性强和解释性好的特点，同时表现出良好的计算效率，因而在计算机视觉的诸多问题(特别是安全攸关场景和像素级任务)中具有应用潜力。务)中具有应用潜力。务)中具有应用潜力。

A robust representation method for dense domain images

【技术实现步骤摘要】
一种稠密域图像鲁棒表征方法


[0001]本专利技术属于模式识别和图像处理领域，具体为一种稠密域图像鲁棒表征方法。

技术介绍

[0002]进入信息时代以来，伴随人类活动而产生的多媒体数据正以难以想象的速度增加。其中，数字图像更是已经成为现代社会的关键信息载体，活跃在人类生活和生产的各个方面。为了更高效地管理、检索和使用海量的数字图像，学术界和工业界长期致力于研发各种自动化的人工视觉系统。在其中，图像表征扮演着基础性的角色。具体而言，典型的人工视觉系统首先将数字图像转换为给定任务下有益的数字化表征，随后在此基础上才能进行知识提取并最终实现高层次的视觉理解应用，例如图像分类、实例检索、目标检测、语义分割等。
[0003]从目标任务的语义性出发，可以抽象出一个有效的图像表征应当具备的基本特性：即对类内变化的鲁棒性和对类间变化的判别性。在实现层面，表征还应具有合理的实现成本和精度。此外，当目标场景涉及安全攸关任务时，表征的可解释性将成为重要目标；而当目标场景涉及像素级任务时，表征在图像平面的覆盖度将成为另一项重要目标。
[0004]鉴于上述目标，许多研究者从不同角度提出了众多的图像表征方法，可大致分为以下三类。1)基于深度学习的表征，例如卷积神经网络CNN，已经在各种高层次的视觉任务上表现出令人印象深刻的性能。虽然有很强的判别性，但有两个固有的弱点使它们难以用于安全攸关场景。首先是鲁棒性低，特别是对于几何变体和对抗性样本。其次是可解释性差，这种黑箱性质降低了结果的可信度。2)基于关键点的表征，例如尺度不变特征变换SIFT，是特征工程中非常流行和有竞争力的方法。关键点检测器和描述器一般在各种几何不变性的约束下进行设计，因而通常具有良好的鲁棒性。然而，这种关键点在图像平面上是稀疏的，会导致某些区域的信息损失。这显然不适用于像素级的任务。3)基于稠密采样的表示，例如DAISY描述符。该类方法建立于图像平面(以及尺度)的规则采样网格上，因而不仅保证了覆盖度，也保证了描述子间简单的空间关系。这在建模马尔科夫过程、构造空间相关表征、加速特征匹配等方面可能很有用。在稠密表征中，面临的主要挑战是几何不变性和计算效率。现有的方法在几何畸变下并不稳定，即使是常见的旋转、缩放和翻转。此外，由于稠密域中的计算，这类方法的实施效率偏低，同时这也限制了计算昂贵的不变特征的使用。

技术实现思路

[0005]专利技术目的：针对上述现有技术，提出一种稠密域图像鲁棒表征方法。
[0006]技术方案：本专利技术的技术解决方案是一种稠密域图像鲁棒表征(DIR)方法，其特征在于按如下步骤进行：
[0007]a.初始设置
[0008]a.1获取待分析图像f，并初始化平移参数(u,v)、尺度参数w和频率参数(n,m)。上述参数根据任务需要手动设置，在这里我们假定(u,v)∈{1,2,...,M}
×
{1,2,...,N}，w∈
{2
c
:c＝1,2,...,7}，(n,m)∈{(n,m):|n|,|m|＜5}；
[0009]b.预处理
[0010]b.1如果待分析图像为彩色图像，将其转换为灰度图像；
[0011]c.卷积核准备
[0012]c.1按下面公式计算得到卷积核
[0013][0014]其中(
·
)
*
表示复数共轭，在实际中可取近似值D
ij
为像素区域，即D
ij
＝{(x,y)∈[i
‑
0.5,i+0.5]×
[j
‑
0.5,j+0.5]}；
[0015]c.2在c.1中，基函数的定义为：
[0016][0017]其中R为径向基函数，可根据任务需要手动设置，这里假设exp为指数函数；j为虚数单位，基函数的定义域为D＝{(x,y):(x
‑
u)2+(y
‑
v)2≤w2}。
[0018]d.图像分解
[0019]d.1按下面公式计算图像f的分解系数
[0020][0021]其中是卷积符号，(
·
)
T
表示矩阵转置；
[0022]d.2在实际中d.1的直接计算可能效率偏低，可以使用下列快速计算公式导出：
[0023][0024]其中
⊙
是矩阵的逐点相乘符号，表示快速傅里叶变换，表示快速傅里叶逆变换；因式项也可以由已知项的插值导出：
[0025][0026]其中w0为已知项的尺度参数，(ξ
i
,ξ
j
)为已知项的傅里叶变换自变量；
[0027]e.不变量构造
[0028]e.1分解系数满足图像平移等变性，即：
[0029][0030]其中(Δx,Δy)为图像平移的偏移向量，因此可以在分解系数的(u,v)域找到给定模式平移版本的相同系数，同时平移不变量可以在(u,v)域执行置换不变映射(如平均池化)实现；
[0031]e.2分解系数满足图像旋转协变性，即：
[0032][0033]其中φ为图像旋转的角度，r
′
,θ
′
为r,θ经过偏移量(u,v)平移和因子w缩放的版本，因此可以在分解系数的相位域导出给定模式的旋转角度，同时旋转不变量可以在相位域执行置换不变映射(如取幅值)实现；类似结论对图像翻转也成立；
[0034]e.3分解系数满足图像缩放协变性，即：
[0035][0036]其中s为图像缩放的因子，因此可以在分解系数的w域找到给定模式缩放版本的相同系数，同时缩放不变量可以在w域执行置换不变映射(如平均池化)实现；
[0037]本专利技术公开了一种稠密域图像鲁棒表征(DIR)方法，包括如下步骤。1)预处理：将输入图像转换为灰度图像；2)卷积核准备：按给定的基函数公式和给定的尺度、频率参数计算出卷积核；3)图像分解：计算灰度图像和上述核的空间卷积，将图像分解为多尺度和多频率的系数；4)不变量构造：按照所需的不变性要求，可以由协变性公式从上述系数中进一步导出旋转、翻转、缩放不变的稠密特征，实现对图像的鲁棒表征。本专利技术具有表征覆盖度高、鲁棒性强和解释性好的特点，同时表现出良好的计算效率，因而在计算机视觉的诸多问题(特别是安全攸关场景和像素级任务)中具有应用潜力。
[0038]有益效果：与现有技术相比，本专利技术具有以下有益效果：
[0039]第一，本专利技术兼具表征覆盖度高(局部稠密采样)、鲁棒性强(多种几何变换的协变性和不变性)和解释性好(理论和实现均得到形式化)、计算效率高(相对于卷积核尺寸常数阶的复杂度)四项优势，这是现存表征方法所不具有的，因而本专利技术能在安全攸关场景和像素级任务中更好地应用；
[0040]第二，本专利技术提供了一种统一的图像表征框架，将多种现存的稠密表征方法囊括为特例，即本专利技术中涉及的表征鲁棒性和快速计算策略均是广义的，可适用于多种基函数的定义；
...

【技术保护点】

【技术特征摘要】
1.一种稠密域图像鲁棒表征方法，其特征在于，所述稠密域鲁棒表征方法包括以下步骤：1)获取待分析图像，并初始化参数；2)待分析图像预处理，如果待分析图像为彩色则将其转化为灰度图像；3)获取灰度图像的卷积核；4)计算灰度图像和卷积核的空间卷积，将灰度图像分解为多尺度和多频率的分解系数；5)从多尺度和多频率的分解系数中导出平移、旋转、翻转和缩放不变的稠密特征，实现对待分析图像的鲁棒表征。2.如权利要求1所述的一种稠密域图像鲁棒表征方法，其特征在于，步骤1)的具体步骤为：获取待分析图像f，并初始化平移参数(u,v)、尺度参数w和频率参数(n,m)，假定：(u,v)∈{1,2,...,M}
×
{1,2,...,N}，w∈{2
c
:c＝1,2,...,7}，(n,m)∈{(n,m):|n|,|m|＜5}；其中：c为变量，M和N是待分析图像f的行数和列数，|
·
|是绝对值。3.如权利要求2所述的一种稠密域图像鲁棒表征方法，其特征在于，步骤3)中获取灰度图像的卷积核图像的卷积核其中：i,j表示待分析图像f像素的离散位置坐标，s.t.表示附属条件，D为基函数的定义域，D
ij
为待分析图像f像素区域：D
ij
＝{(x,y)∈[i
‑
0.5,i+0.5]
×
[j
‑
0.5,j+0.5]}，定义如下：其中：(
·
)
*
表示复数共轭，取近似值表示复数共轭，取近似值表示基函数，x,y表示待分析图像f像素的连续位置坐标，即(x,y)∈[1,M]
×
[1,N]；同时将基函数的定义为：R
n
为径向基函数，假设：其中：r为自变量，exp为指数函数；j为虚数单位，基函数的定义域为D＝{(x,y):(x
‑
u)2+(y
‑

【专利技术属性】
技术研发人员：祁树仁，张玉书，王超，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：