一种道路标志牌检测方法及装置制造方法及图纸

本发明专利技术涉及一种道路标志牌检测方法，按照以下步骤进行：步骤1，车载终端配备间歇性光源和摄像头，使间歇性光源和摄像头对着道路两边，能拍摄到道路标志牌；步骤2，摄像头分别采集间歇周期内明暗交替的多张道路标志牌图像；步骤3，对摄像头采集的图像进行帧差计算；步骤4，确定图像的有效区域；步骤5，对图像进行目标分割；步骤6，对图像进行目标识别，完成道路标志牌检测。本发明专利技术在车载终端设备上配置间歇光源，摄像头采集到图像后，通过帧差法能快速定位到交通标志，从而减少不必要的检测区域计算，大幅提高计算效率，使得标志牌识别深度学习算法能在嵌入式车载终端设备上实时运行。

【技术实现步骤摘要】
一种道路标志牌检测方法及装置
本专利技术涉及图像检测识别
，尤其涉及一种道路标志牌检测方法及装置。
技术介绍
随着自动驾驶技术的发展，对道路标志的检测识别需求随之而来。现有的道路标志的检测方式主要有两种：第一种是，依靠高精度地图或者V2X(V2X为vehicletoeverything，即车对外界的信息交换)，从已有的数据库中获取相应的道路信息(限速、急转弯、禁止停车等)；第二种是，终端设备配置摄像头，依靠人工智能计算机视觉算法，识别标志牌，并理解其含义。现有道路标志的检测技术中，如公告号CN106709412A的专利，采用了“图像处理+传统机器学习”的手段，图像处理过程中，把RGB红绿蓝图像转换为HSV(色度、饱和度、亮度)格式，根据目标的颜色、形状、大小以及图像梯度值，做目标分割，最后再训练分类器，识别标识符。该专利的缺点是准确性差，目标分割不完整，传统分类器精度低。又如公告号CN109902609A、CN109753949A的专利，采用了热门的“YOLO(YOLO是一种用于目标检测的深度学习模型)深度学习”作为目标检测，或者通过对标准YOLO模型的优化结构提高检测效果，或者采用多视窗检测来提升检测准确性。虽然深度学习模型的准确性高，但是存在计算量大缺点，虽然通过剪枝能提升运算速度，但是在车载终端上仍然无法保证实时性。为了克服上述问题，我们专利技术了一种道路标志牌检测方法及装置。
技术实现思路
本专利技术的专利技术目的在于解决现有道路标志的检测技术，“图像处理+传统机器学习”存在准确性差、目标分割不完整、传统分类器精度低，“YOLO深度学习”存在计算量大、车载终端上无法保证实时性的问题。其具体解决方案如下：一种道路标志牌检测方法，按照以下步骤进行：步骤1，车载终端配备间歇性光源和摄像头，使间歇性光源和摄像头对着道路两边，能拍摄到道路标志牌；步骤2，摄像头分别采集间歇周期内明暗交替的多张道路标志牌图像；步骤3，对摄像头采集的图像进行帧差计算；步骤4，确定图像的有效区域；步骤5，对图像进行目标分割；步骤6，对图像进行目标识别，完成道路标志牌检测。进一步地，所述间歇性光源保持固定周期2T间歇性开关工作，每个周期2T内，前周期T时间内光源开，后周期T时间内光源关。进一步地，所述摄像头采用与间歇性光源相同波长的滤光片，减少杂光的干扰。进一步地，所述间歇性光源采用红外不可见光源，减少对前方驾驶员的干扰。进一步地，所述帧差计算的方法是：将t时刻的图像I(t)与(t-T)时刻的图像I(t-T)相减后，再取绝对值得到t时刻的帧差图像Idiff(t)。进一步地，所述帧差计算的公式为Idiff(t,i,j)＝abs(I(t,i,j)-I(t-T,i,j)),(i,j)∈[0,w-1]×[0,h-1]，其中w表示图像的像素宽，h表示图像的像素高，(i,j)表示图像的坐标。进一步地，所述确定图像的有效区域的方法是：选定阈值th0，计算图像掩码区域进一步地，所述图像进行目标分割的方法是：将摄像头采集的图像根据掩码“1”分割成若干待识别目标的子图像，并根据目标的尺寸进行过滤，删除过大及过小的目标。进一步地，所述图像进行目标识别的方法，按照以下步骤进行：步骤6-1，采集样本：从摄像头采集的图像中裁剪得到各种类型的道路标志牌；步骤6-2，标注样本：标注出不同道路标志牌的类别；步骤6-3，训练样本：首先是选择模型，使用YOLO或SSD物体检测模型、或者Resnet或Mobilenet图像分类模型中的任一种，通过一系列卷积、池化、激活函数、归一化、分类运算，再根据损失函数训练得到深度学习模型；步骤6-4，用训练好的深度学习模型对子图像进行识别，得到道路标志牌的分类。一种道路标志牌检测装置，用于实现上述一种道路标志牌检测方法，包括微处理器，分别与微处理器连接的存储器、间歇性光源、摄像头、计算帧差图像模块、确定图像有效区域模块、目标分割模块、目标识别模块，所述目标识别模块中包括依次连接的采集样本模块、标注样本模块、训练样本模块。间歇性光源、摄像头对着道路两边，能拍摄到道路标志牌设置，检测装置设置于车载终端上。综上所述，采用本专利技术的技术方案具有以下有益效果：本方案解决了现有道路标志的检测技术，“图像处理+传统机器学习”存在准确性差、目标分割不完整、传统分类器精度低，“YOLO深度学习”存在计算量大、车载终端上无法保证实时性的问题。交通标志均采用反光材料制作标志面，光源照射到标志面会产生明显的反光。本专利技术在车载终端设备上配置间歇光源，摄像头采集到图像后，通过帧差法能快速定位到交通标志，从而减少不必要的检测区域计算。深度学习模型的计算量与输入图像的尺寸成正比，而交通标志在图像中的比例非常小，因此能极大减少计算时间，大幅提高计算效率，使得标志牌识别深度学习算法能在嵌入式车载终端设备上实时运行。总之，本专利技术能大幅提高检测效率，精度高、速度快。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例的描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本专利技术的一部分实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还能够根据这些附图获得其他的附图。图1为本专利技术一种道路标志牌检测方法的步骤图；图2为本专利技术一种道路标志牌检测装置的结构图；图3为本专利技术目标识别模块的结构图；图4为本专利技术的限速标志牌的示意图；图5为本专利技术的安全标志牌的示意图；图6为本专利技术的间歇周期内光源开采集的道路标志牌的图像；图7为本专利技术的间歇周期内光源关采集的道路标志牌的图像；图8为本专利技术的帧差图像的示意图；图9为本专利技术的图像掩码区域的示意图；图10为本专利技术的目标分割的子图像示意图。附图标记说明：10-微处理器，20-存储器，30-间歇性光源，40-摄像头，50-计算帧差图像模块，60-确定图像有效区域模块，70-目标分割模块，80-目标识别模块，81-采集样本模块，82-标注样本模块，83-训练样本模块，90-道路标志牌。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。如图1、3至10所示，一种道路标志牌检测方法，按照以下步骤进行：步骤1，车载终端配备间歇性光源和摄像头，使间歇性光源和摄像头对着道路两边，能拍摄到道路标志牌(比如限速标志牌如图4所示，安全标志牌如图5所示)；步骤2，摄像头分别采集间歇周期内明暗交替的多张道路标志牌图像；(比如图6为光源开采集的道路标志牌图像，本文档来自技高网...

【技术保护点】
1.一种道路标志牌检测方法，其特征在于，按照以下步骤进行：/n步骤1，车载终端配备间歇性光源和摄像头，使间歇性光源和摄像头对着道路两边，能拍摄到道路标志牌；/n步骤2，摄像头分别采集间歇周期内明暗交替的多张道路标志牌图像；/n步骤3，对摄像头采集的图像进行帧差计算；/n步骤4，确定图像的有效区域；/n步骤5，对图像进行目标分割；/n步骤6，对图像进行目标识别，完成道路标志牌检测。/n

【技术特征摘要】
1.一种道路标志牌检测方法，其特征在于，按照以下步骤进行：
步骤1，车载终端配备间歇性光源和摄像头，使间歇性光源和摄像头对着道路两边，能拍摄到道路标志牌；
步骤2，摄像头分别采集间歇周期内明暗交替的多张道路标志牌图像；
步骤3，对摄像头采集的图像进行帧差计算；
步骤4，确定图像的有效区域；
步骤5，对图像进行目标分割；
步骤6，对图像进行目标识别，完成道路标志牌检测。


2.根据权利要求1所述一种道路标志牌检测方法，其特征在于：所述间歇性光源保持固定周期2T间歇性开关工作，每个周期2T内，前周期T时间内光源开，后周期T时间内光源关。


3.根据权利要求1所述一种道路标志牌检测方法，其特征在于：所述摄像头采用与间歇性光源相同波长的滤光片，减少杂光的干扰。


4.根据权利要求1所述一种道路标志牌检测方法，其特征在于：所述间歇性光源采用红外不可见光源，减少对前方驾驶员的干扰。


5.根据权利要求2所述一种道路标志牌检测方法，其特征在于，所述帧差计算的方法是：将t时刻的图像I(t)与(t-T)时刻的图像I(t-T)相减后，再取绝对值得到t时刻的帧差图像Idiff(t)。


6.根据权利要求5所述一种道路标志牌检测方法，其特征在于：所述帧差计算的公式为
Idiff(t,i,j)＝abs(I(t,i,j)-I(t-T,i,j)),(i,j)∈[0,w-1]×[0,h-1]，
其中w表示图像的像素宽，h表示图像的像素高，(i,j)表示...

【专利技术属性】
技术研发人员：桂丰，胡景邦，黎明，
申请(专利权)人：惠州市博实结科技有限公司，
类型：发明
国别省市：广东;44