一种面向复杂城市场景中协同仿生视觉的交通标志牌检测与识别方法技术

本发明专利技术公开了一种面向复杂城市场景中协同仿生视觉的交通标志牌检测与识别方法，包括以下步骤：步骤A：获取连续场景中的多幅待检测图像；步骤B：获取待检测图像集的聚类协同图；步骤C：获取每幅待检测图像的注意力显著图；步骤D：获得每幅待检测图像对应的协同显著图；步骤E：进行标志牌ROI区域的定位；步骤F：对标志牌ROI区域采用前向通道进行两级生物启发变换；步骤H：利用特征变换图与数据库中预存的交通标志牌模板图像进行Pearson相关性计算，完成对待检测图像的识别。该方法模拟了人类大脑对目标的视觉处理步骤，集成了自底向上和自顶向下的视觉处理过程。考虑全局图像的协同性，使得图像定位准确且具有较强鲁棒性识别。

【技术实现步骤摘要】
一种面向复杂城市场景中协同仿生视觉的交通标志牌检测与识别方法
本专利技术属于生物信息与机器视觉技术的交叉领域，尤其涉及一种面向复杂城市场景中协同仿生视觉的交通标志牌检测与识别方法。
技术介绍
交通标志牌识别是驾驶员辅助系统和无人驾驶系统中最核心的问题之一。其中，复杂城市场景下交通标志牌的检测和识别是计算机视觉领域的热点与难点。然而，利用传统计算机视觉算法实现复杂场景图像中目标的检测与识别，是一项极具挑战性的任务。众所周知，人类的视觉系统会在无先验知识的条件下将注意力集中在目标的轮廓、颜色、边缘方向和对比度上，因此人类能够在复杂场景中有效地屏蔽干扰信息，快速锁定感兴趣目标。受此视觉处理机制的启发，利用仿生视觉算法进行交通标志牌的检测与识别是目前较有前景的解决办法。传统的交通标志牌检测方法主要分为：自顶向下的基于颜色和基于形状的处理方法。由于交通标志牌特定的颜色，因此理论上可以用颜色阈值分割感兴趣区域。然而这种方法对于具有光照强弱变化、颜色退化、相似背景干扰的场合并不适用。基于形状的方法常常利用sobel边缘检测、Canny边缘检测目标轮廓，进一步找到与标志牌具有相似轮廓的候选区域作分析。然而，这种方法在标志牌被遮挡、破损的场合表现出较差的性能。近些年来，基于自底向上的显著性检测算法由于其广泛的应用场合受到越来越多的关注，如目标识别、图像分割、图像检索等。如典型的Itti算法，作为最早提出的视觉注意模型。主要思想是对输入图像进行多个特征通道和多尺度的分解，经过滤波和融合计算得到显著图。在该模型中的显著值是像素点在颜色、亮度、方向方面与周边背景的对比值。这种方法计算较为简单，但由于不停的使用邻近插值，导致显著图的分辨率降低，容易丢失边缘信息。在Itti算法的基础上进一步改进，提出了基于空间频率的谱残差算法SR、基于上下文显著性检测算法CA以及基于频域尺度分析的视觉显著性模型HFT，但这类方法无法克服复杂背景带来的干扰。随后Chen等人提出采用基于分布的表示方式来表征一幅图像中的稀疏特征。基于一对图像的特征分布，提出了一种增强前注意响应的渐进算法，从而能够识别图像中常见的显著目标，但这种方法不具有普遍适用性。如今，大多数显著性检测算法都是针对单个图像而言的，往往只考虑了单个图像中的对比度较强或区别度较大的区域，却忽视了多幅图像之间的相关性。因此，本专利技术提出协同显著性检测这种方法以解决这些问题。根据生物视觉感知机理，当视觉目标刺激出现时，人类视觉感知初始过程产生在视网膜，视网膜内完成初始特征检测。而后，图像信号再由视神经激励传输。其中特征包括边缘、方向、位置、梯度等信息。更重要的是，在这个过程中，存在多个自底向上与自顶向下的视觉处理过程。自底向上是根据底层特征刺激识别图像的感兴趣区域，而自顶向下是由任务和经验等高阶特征指导进行的。为此，如何建立适当的模型，使自底向上和自顶向下两种视觉处理过程有效结合到一起对图像进行视觉感知，使该模型能够克服复杂背景干扰，从而能够识别图像中常见的显著目标，成为本专利技术亟待解决的问题。
技术实现思路
本专利技术所要解决的技术问题是，提供一种面向复杂城市场景中协同仿生视觉的交通标志牌检测与识别方法，受人类视觉感知机制启发，结合自底向上与自顶向下的视觉处理过程，检测多幅图像之间具有相关性的显著性区域，以减少城市化背景带来的干扰。并在此基础上提取具有旋转、缩放、平移、噪声的不变性特征，大大地提升了目标识别率。一种面向复杂城市场景中协同仿生视觉的交通标志牌检测与识别方法，包括以下步骤：步骤A：获取连续场景中的多幅待检测图像；步骤B：提取由所有的待检测图像构成的待检测图像集的三个bottom-up视觉注意力线索，获取待检测图像集的聚类协同图；步骤C：通过提取每幅待检测图像的两个bottom-up视觉注意力线索，获取每幅待检测图像的注意力显著图；步骤D：将每幅注意力显著图依次与聚类协同图进行融合，获得每幅待检测图像对应的协同显著图；基于聚类的注意力线索使得多幅图像之间保持全局一致性。对单幅图像利用对比度和空间位置线索进行视觉注意力检测使得图像保持局部不变性。将两者利用乘积方式进行融合，使其具有全局一致性和局部不变性的双重优势，并且乘积融合能有效克服噪声干扰。步骤E：提取协同显著图中的连通域，利用预设的圆标志形状模板和三角形标志形状模板对提取的连通域进行标志牌ROI区域的定位；步骤F：对标志牌ROI区域采用前向通道进行两级生物启发变换，得到具有RSTN不变属性的特征变换图，并生成两个阶段视觉记忆信息；步骤H：利用特征变换图与数据库中预存的交通标志牌模板图像进行Pearson相关性计算，依据相关性计算结果完成对待检测图像的识别。本方案在复杂场景中依据注意力显著图和聚类协同图准确定位目标，模拟大脑视觉皮层对线条目标边缘与空间频率具有敏感性和选择不变性的机制，设计出前向通道视觉计算模型。预设的圆标志形状模板和三角形标志形状模板的模板测量值足以下条件：圆形交通标志牌的阈值范围[L1,H1]＝[0.85,1]，三角形交通标志牌的阈值范围[L2,H2]＝[0.45,0.55]；Sregion、Pregion、SBox依次为协同显著图中的连通域的面积、周长以及最小外接矩形的面积；进一步地，所述聚类协同图和注意力显著图的获取过程相同，在获取聚类协同图时，先对每幅待检测图像进行尺度归一化处理后，将所有的待检测图像进行融合作为一幅图后，再按下面步骤处理：对每幅待检测图像进行尺度归一化处理；利用双线性插值法，重置M幅输入图像大小I(i,j)＝200×200×3，形成输入图像集步骤B1：设置图间像素聚类个数K1，对所有像素点进行K-Means聚类分析，得到K1个聚类以及聚类中心当输入多幅图像时，多幅图像的图间聚类个数K1＝min(max(2*M,10),30)，当输入一幅图像时，单幅图像的图内聚类个数K1取值范围为5～8之间；步骤B2：分别计算每个聚类的视觉注意力线索权值；步骤B3：将上述得到的每个聚类的视觉注意力线索权值进行高斯归一化处理后，利用乘积融合为聚类级协同显著性线索权值；第k个类别的聚类级协同显著性线索权值为表示第k个类别的第i个bottom-up视觉注意力线索，i依次取值为c、s、d，分别表示对比度权值、空间位置权值、重复性权值；步骤B4：依次将每个聚类的聚类级协同显著性线索权值，分配给每个聚类中的每个像素点，生成待检测图像集的聚类协同图map1；其中，聚类协同图包括三个bottom-up视觉注意力线索，分别为对比度权值、空间位置权值和重复性权值；注意力显著图包括两个bottom-up视觉注意力线索分别为对比度权值和空间位置权值。协同显著图由图间聚类协同图和单幅图像注意力显著图融合构成的。进一步地，采用概率框架软分配的方式对每个聚类中的每个像素点的协同显著性线索权值进行分配，每个聚类中的像素的协同显著性线索权值的似然值满足高斯分布。其中，像素vx表示像素x的特征向量，表示聚类的聚类中心，σk表示一个像素聚类的高斯方差；p(x)表示最终的像素级别协同显著值，若直接将步骤A4得到的每个类别的聚类级协同显著性线索权值分配给对应类别的像素点时，会造成同一聚类中具有同一线索权值的像素点没有充分的区分性，特别是在聚类本文档来自技高网...

【技术保护点】
一种面向复杂城市场景中协同仿生视觉的交通标志牌检测与识别方法，其特征在于，包括以下步骤：步骤A：获取连续场景中的多幅待检测图像；步骤B：提取由所有的待检测图像构成的待检测图像集的三个bottom‑up视觉注意力线索，获取待检测图像集的聚类协同图；步骤C：通过提取每幅待检测图像的两个bottom‑up视觉注意力线索，获取每幅待检测图像的注意力显著图；步骤D：将每幅注意力显著图依次与聚类协同图进行融合，获得每幅待检测图像对应的协同显著图；步骤E：提取协同显著图中的连通域，利用预设的圆标志形状模板和三角形标志形状模板对提取的连通域进行标志牌ROI区域的定位；步骤F：对标志牌ROI区域采用前向通道进行两级生物启发变换，得到具有RSTN不变属性的特征变换图，并生成两个阶段视觉记忆信息；步骤H：利用特征变换图与数据库中预存的交通标志牌模板图像进行Pearson相关性计算，依据相关性计算结果完成对待检测图像的识别。

【技术特征摘要】
1.一种面向复杂城市场景中协同仿生视觉的交通标志牌检测与识别方法，其特征在于，包括以下步骤：步骤A：获取连续场景中的多幅待检测图像；步骤B：提取由所有的待检测图像构成的待检测图像集的三个bottom-up视觉注意力线索，获取待检测图像集的聚类协同图；步骤C：通过提取每幅待检测图像的两个bottom-up视觉注意力线索，获取每幅待检测图像的注意力显著图；步骤D：将每幅注意力显著图依次与聚类协同图进行融合，获得每幅待检测图像对应的协同显著图；步骤E：提取协同显著图中的连通域，利用预设的圆标志形状模板和三角形标志形状模板对提取的连通域进行标志牌ROI区域的定位；步骤F：对标志牌ROI区域采用前向通道进行两级生物启发变换，得到具有RSTN不变属性的特征变换图，并生成两个阶段视觉记忆信息；步骤H：利用特征变换图与数据库中预存的交通标志牌模板图像进行Pearson相关性计算，依据相关性计算结果完成对待检测图像的识别。2.根据权利要求1所述的方法，其特征在于，所述聚类协同图和注意力显著图的获取过程相同，在获取聚类协同图时，先对每幅待检测图像进行尺度归一化处理后，将所有的待检测图像进行融合作为一幅图后，再按下面步骤处理：步骤B1：设置图间像素聚类个数K1，对所有像素点进行K-Means聚类分析，得到K1个聚类以及聚类中心步骤B2：分别计算每个聚类的视觉注意力线索权值；步骤B3：将上述得到的每个聚类的视觉注意力线索权值进行高斯归一化处理后，利用乘积融合为聚类级协同显著性线索权值；第k个类别的聚类级协同显著性线索权值为表示第k个类别的第i个bottom-up视觉注意力线索，i依次取值为c、s、d，分别表示对比度权值、空间位置权值、重复性权值；步骤B4：依次将每个聚类的聚类级协同显著性线索权值，分配给每个聚类中的每个像素点，生成待检测图像集的聚类协同图map1；其中，聚类协同图包括三个bottom-up视觉注意力线索，分别为对比度权值、空间位置权值和重复性权值；注意力显著图包括两个bottom-up视觉注意力线索分别为对比度权值和空间位置权值。3.根据权利要求2所述的方法，其特征在于，采用概率框架软分配的方式对每个聚类中的每个像素点的协同显著性线索权值进行分配，每个聚类中的像素的协同显著性线索权值的似然值满足高斯分布。4.根据权利要求1-3任一项所述的方法，其特征在于，所述对标志牌ROI区域采用前向通道进行两级生物启发变换的过程如下：步骤F1：对所有的标志牌ROI区域剪切并尺度归一化为[88,88]，得到输入ROI图像集；步骤F2：构建方向边缘检测算子对输入ROI图像集进行边缘检测，获得方向边缘图E；步骤F3：将方向边缘图E进行不同方向θ与不同间距I下的间隔检测，获得第一阶段变换图S1；在间隔检测过程中，首先对边缘图E进行(θ,I)的平移操作得到平移后的边缘图像E(θ,I)，再将平移前后的边缘图相乘，最后利用方向边缘图E的平方和进行归一化处理，获得间距检测图Re(θ,I)，||E||为方向边缘图E的平方和；对间距检测图Re(θ,I)再使用赢家通吃的策略，获取(θ,I)检测条件下的间距检测图Re(θ,I)中前Z个最大值，存入初始响应区域集合Re`(θ,I)，并将集合Re`(θ,I)作为第一阶段的视觉记忆信息，其中，Re'(θ,I)z表示(θ,I)检测条件下第z个初始响应值；Z表示初始响应取值数量，取值范围为3-5，max(Re(θ,I),Z)表示间距检测图Re(θ,I)中前Z个最大值；步骤F4：采用半波整形函数对间距检测图进行整形处理，建立以方向θ和间距log(I)的坐标系，将经半波整形处理后的间距图中所有像素值累加求和的结果映射至该坐标系下的对应位置，得到第一阶段的输出图像S1；步骤F5：将第一阶段输出图像S1按照步骤F2、F3、F4的处理过程再进行一次，得到第二阶段的特征输出图像S2和第二阶段的视觉记忆信息Re``(θ,I)。5.根据权利要求4所述的方法，其特征在于，所述对输入ROI图像集进行边缘检测的过程如下：利用自适应Gabor滤波进行滤波处理得到中间响应G(x,y)，再采用水平-垂直方向双极滤波器F与G(x,y)进行卷积获得方向边...

【专利技术属性】
技术研发人员：余伶俐，夏旭梅，周开军，孔德成，严孝鑫，邵玄雅，
申请(专利权)人：中南大学，
类型：发明
国别省市：湖南,43