一种基于视觉注意机制的图像目标区域检测方法技术

本发明专利技术公开了一种基于视觉注意机制的图像目标区域检测方法。包括：计算参考图像的底层视觉特征描述子；接着利用SLIC方法对实时图像进行超像素分割，再对当前实时图像信息进行区域化描述，然后利用自底向上的数据驱动方法计算各个超像素的显著值，由各个超像素的显著值构成实时图像的显著图；再利用模糊匹配方法计算实时图像的各个超像素与参考图像之间的相似度；然后利用基于相似度和显著值的区域融合扩展方法对实时图像的显著图进行区域拓展后，获得实时图像的可能目标区域；对实时图像的可能目标区域进行筛选后得到当前实时图像的最终目标区域。本发明专利技术提高了在复杂环境中目标区域检测的准确性，同时保证在低算力设备上运行的实时性。运行的实时性。运行的实时性。

【技术实现步骤摘要】
一种基于视觉注意机制的图像目标区域检测方法


[0001]本专利技术属于计算机视觉领域的一种图像的目标区域检测方法，具体涉及了一种基于视觉注意机制的图像目标区域检测方法。

技术介绍

[0002]目标区域检测是计算机视觉中一种重要的图像处理技术，通过目标区域检测获得目标区域，可以集中计算资源，减少无关信息干扰，提高图像处理的效率和准确率。对目标区域检测算法的研究一直是计算机视觉领域的热门方向。
[0003]早期的目标区域检测算法基于手工特征构建，通过人工设计区域特征描述方法来描述图像区域的信息，并基于滑动窗口检测器等简单的检测方法进行检测，如P.Viola和M.Jones等人提出的VJ检测器，N.Dalal和B.Triggs等人提出的HOG检测器等；在此基础上，P.Felzenszwalb等人提出了基于可变形部件的检测模型，使用混合模型进行检测处理可能出现显著变化的物体，在传统目标区域检测算法中达到了较好的效果。
[0004]随着卷积神经网络和深度学习的发展，基于深度学习的目标区域检测算法进入新的阶段。基于深度学习的目标区域检测算法根据处理流程又分为二级检测方法与一级检测方法，二级检测方法包括R.Girshick等人提出的R
‑
CNN、FAST RCNN，K.He等人提出的SPPNet、S.Ren等人提出了Faster RCNN检测器，通过首先生成候选框，再通过训练得到的模型对候选框进行检测；一级检测方法包括R.Joseph等人提出的YOLO，W.Liu等人提出的SSD等，将神经网络应用于整幅图片进行检测，与二级检测方法相比，一级检测方法速度相对较快，但精度相对较低。
[0005]基于传统特征和神经网络的方法都可以实现目标区域检测，但是还存在一定问题：传统的目标区域检测算法需要设计相对复杂的特征描述方式，并且检测精度相对较低；基于神经网络的目标区域检测算法都需要大量的数据集合和花费大量的时间进行训练，检测时对系统的计算能力要求较高，不适用于以增强现实设备为代表的计算能力较低的移动设备。

技术实现思路

[0006]针对目前目标区域检测算法在低算力的移动设备上的应用问题，本专利技术提出一种基于视觉注意机制的图像目标区域检测方法，本专利技术模拟人类视觉系统在搜索对象时的方法，基于视觉注意机制，从自底向上和自顶向下两个角度寻找可能的目标区域，通过融合与筛选策略获得最终的目标区域，充分利用图像底层视觉特征，提高在复杂环境中目标区域检测的准确性并保证在低算力设备上运行的实时性。
[0007]为实现上述目的，本专利技术的技术方案具体内容如下：
[0008]本专利技术包括以下步骤：
[0009]1)计算参考图像的主颜色描述子、纹理特征描述子和傅里叶描述子；
[0010]2)利用简单线性迭代聚类算法对实时图像进行超像素分割，获得当前实时图像的
多个超像素，基于各个超像素对当前实时图像信息进行区域化描述，获得各个超像素在量化的HSV颜色空间中的平均颜色和各个超像素的邻接超像素集合，再利用自底向上的数据驱动方法计算各个超像素的显著值，由各个超像素的显著值构成当前实时图像的显著图；
[0011]3)根据参考图像的主颜色描述子和各个超像素在量化的HSV颜色空间中的平均颜色，利用基于主颜色描述子的模糊匹配方法计算当前实时图像的各个超像素与参考图像之间的相似度，获得当前实时图像的各个超像素的相似度值；
[0012]4)根据当前实时图像的各个超像素的相似度值和各个超像素的邻接超像素集合，利用基于相似度和显著值的区域融合扩展方法对当前实时图像的显著图进行区域拓展后，获得当前实时图像的可能目标区域；
[0013]5)基于区域面积对当前实时图像的可能目标区域进行初步筛选，再利用参考图像的纹理特征描述子和傅里叶描述子对初步筛选目标区域进行进一步区域筛选，得到当前实时图像的最终目标区域。
[0014]所述步骤1)具体为：
[0015]1.1)将参考图像的颜色从RGB颜色空间转换到HSV颜色空间，再量化参考图像的HSV颜色空间，得到参考图像中各个像素在量化的HSV颜色空间中的颜色值；
[0016]1.2)基于参考图像中各个像素在量化的HSV颜色空间中的颜色值计算参考图像的颜色直方图，根据颜色直方图计算每种量化后的颜色所占百分比并降序排列，将第一个量化后的颜色作为第一个主颜色并记为(L1,p1)，其中L1表示第一主颜色量化值，p1表示第一主颜色在颜色直方图中所占的百分比，再依次选取第n个量化后的颜色，当选取的第n个量化后的颜色在颜色直方图中所占的百分比p
n
满足p
n
>0.5p1，则该量化后的颜色作为第n个主颜色并记为(L
n
,p
n
)，L
n
表示第n主颜色量化值，直到没有满足p
n
>0.5p1的量化后的颜色或者主颜色在颜色直方图中所占百分比的总和其中N表示主颜色的数量，由多个主颜色构成主颜色描述子D
DC
；
[0017]1.3)计算参考图像的灰度共生矩阵，基于灰度共生矩阵计算对应的角二阶矩、逆差矩、熵和对比度并作为参考图像的纹理特征描述子；
[0018]1.4)对参考图像的复数形式进行离散傅里叶变换和归一化后，获得参考图像的傅里叶描述子。
[0019]所述步骤2)具体为：
[0020]2.1)通过简单线性迭代聚类算法对实时图像进行超像素分割，获得实时图像的多个超像素和对应的标签图，由多个超像素构成超像素集合；
[0021]2.2)基于标签图对超像素集合进行处理，获得超像素集合中各个超像素的像素集合、颜色特征和位置信息；其中，颜色特征为各个超像素在CIELab颜色空间中各颜色分量的平均值以及在量化的HSV颜色空间中的平均颜色；位置信息为各个超像素的几何中心和各个超像素的邻接超像素集合；
[0022]2.3)将超像素集合中包含实时图像的边缘像素p
e
的多个超像素作为边缘超像素集合E，基于边缘超像素集合E计算当前实时图像的图像边缘主颜色；
[0023]2.4)基于各个超像素的像素集合、各个超像素在CIELab颜色空间中各颜色分量的平均值和各个超像素的几何中心，计算每个超像素与各个超像素之间的对比度；接着基于
当前超像素在量化的HSV颜色空间中的平均颜色，再结合当前超像素与各个超像素之间的对比度以及图像边缘主颜色通过以下公式分别计算当前超像素相对于背景信息的显著值和基于对比度的显著值：
[0024][0025][0026]其中，Sal
E
(S
k
)表示超像素S
k
相对于背景信息的显著值，||表示取绝对值操作，min表示取最小值操作，Sal
C
(S
k
)表示超像素S
k
的基于对比度的显著值，表示超像素S
k
在量化的HS本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉注意机制的图像目标区域检测方法，其特征在于，包括以下步骤：1)计算参考图像的主颜色描述子、纹理特征描述子和傅里叶描述子；2)利用简单线性迭代聚类算法对实时图像进行超像素分割，获得当前实时图像的多个超像素，基于各个超像素对当前实时图像信息进行区域化描述，获得各个超像素在量化的HSV颜色空间中的平均颜色和各个超像素的邻接超像素集合，再利用自底向上的数据驱动方法计算各个超像素的显著值，由各个超像素的显著值构成当前实时图像的显著图；3)根据参考图像的主颜色描述子和各个超像素在量化的HSV颜色空间中的平均颜色，利用基于主颜色描述子的模糊匹配方法计算当前实时图像的各个超像素与参考图像之间的相似度，获得当前实时图像的各个超像素的相似度值；4)根据当前实时图像的各个超像素的相似度值和各个超像素的邻接超像素集合，利用基于相似度和显著值的区域融合扩展方法对当前实时图像的显著图进行区域拓展后，获得当前实时图像的可能目标区域；5)基于区域面积对当前实时图像的可能目标区域进行初步筛选，再利用参考图像的纹理特征描述子和傅里叶描述子对初步筛选目标区域进行进一步区域筛选，得到当前实时图像的最终目标区域。2.根据权利要求1所述的一种基于视觉注意机制的图像目标区域检测方法，其特征在于，所述步骤1)具体为：1.1)将参考图像的颜色从RGB颜色空间转换到HSV颜色空间，再量化参考图像的HSV颜色空间，得到参考图像中各个像素在量化的HSV颜色空间中的颜色值；1.2)基于参考图像中各个像素在量化的HSV颜色空间中的颜色值计算参考图像的颜色直方图，根据颜色直方图计算每种量化后的颜色所占百分比并降序排列，将第一个量化后的颜色作为第一个主颜色并记为(L1,p1)，其中L1表示第一主颜色量化值，p1表示第一主颜色在颜色直方图中所占的百分比，再依次选取第n个量化后的颜色，当选取的第n个量化后的颜色在颜色直方图中所占的百分比p
n
满足p
n
>0.5p1，则该量化后的颜色作为第n个主颜色并记为(L
n
,p
n
)，L
n
表示第n主颜色量化值，直到没有满足p
n
>0.5p1的量化后的颜色或者主颜色在颜色直方图中所占百分比的总和其中N表示主颜色的数量，由多个主颜色构成主颜色描述子D
DC
；1.3)计算参考图像的灰度共生矩阵，基于灰度共生矩阵计算对应的角二阶矩、逆差矩、熵和对比度并作为参考图像的纹理特征描述子；1.4)对参考图像的复数形式进行离散傅里叶变换和归一化后，获得参考图像的傅里叶描述子。3.根据权利要求1所述的一种基于视觉注意机制的图像目标区域检测方法，其特征在于，所述步骤2)具体为：2.1)通过简单线性迭代聚类算法对实时图像进行超像素分割，获得实时图像的多个超像素和对应的标签图，由多个超像素构成超像素集合；2.2)基于标签图对超像素集合进行处理，获得超像素集合中各个超像素的像素集合、颜色特征和位置信息；其中，颜色特征为各个超像素在CIELab颜色空间中各颜色分量的平均值以及在量化的HSV颜色空间中的平均颜色；位置信息为各个超像素的几何中心和各个
超像素的邻接超像素集合；2.3)将超像素集合中包含实时图像的边缘像素p
e
的多个超像素作为边缘超像素集合E，基于边缘超像素集合E计算当前实时图像的图像边缘主颜色；2.4)基于各个超像素的像素集合、各个超像素在CIELab颜色空间中各颜色分量的平均值和各个超像素的几何中心，计算每个超像素与各个超像素之间的对比度；接着基于当前超像素在量化的HSV颜色空间中的平均颜色，再结合当前超像素与各个超像素之间的对比度以及图像边缘主颜色通过以下公式分别计算当前超像素相对于背景信息的显著值和基于对比度的显著值：于对比度的显著值：其中，Sal
E
(S
k
)表示超像素S
k
相对于背景信息的显著值，||表示取绝对值操作，min表示取最小值操作，Sal
C
(S
k
)表示超像素S
k
的基于对比度的显著值，表示超像素S
k
在量化的HSV颜色空间中的平均颜色，是图像边缘主颜色中第m个量化后的边缘颜色，分别表示超像素S
k
在CIELab颜色空间的亮度以及第一、第二颜色通道的平均值，分别表示超像素S
i
在CIELab颜色空间的亮度以及第一、第二颜色通道的平均值，表示超像素S
k
的几何中心在当前实时图像中的坐标，表示超像素S
i
的几何中心在当前实时图像中的坐标，λ
pos
是调节空间距离影响基于对比度的显著值的系数，i是超像素集合中的超像素序号；2.5)重复步骤2.4)，遍历剩余超像素，计算并获得剩余超像素相对于背景信息的显著值以及基于对比度的显著值；2.6)分别对各个超像素相对于背景信息的显著值以及基于对比度的显著值进行归一化处理并进行线性融合后，获得各个超像素的最终显著值，计算公式如下：Sal(S
k
)＝λ
Sal1
Sal'
E
(S
k
)+λ
Sal2
Sal'
C
(S
k
)其中，Sal(S

【专利技术属性】
技术研发人员：黄方昊，江佳诚，杨霄，陈正，聂勇，唐建中，
申请(专利权)人：浙江大学，
类型：发明
国别省市：