一种交通场景空间结构提取方法技术

本发明专利技术公开了一种交通场景空间结构提取方法，将待处理彩色图像转换为灰度图像，并提取图像边缘，获得二值化边缘图像；通过对图像边缘进行直线拟合，获得图像中的主要直线段。根据每条直线段的方向信息，对将直线段分为三组，并筛选适用于消失点估计的候选直线段；联立候选直线段的共线直线的线性方程，组成超定方程组，通过解方程组估计初始消失点位置；去除位于初始估计消失点上侧的候选直线段，重新构建和求解超定方程组，优化消失点位置；基于左侧、右侧两类直线段及其交点，构建由一个交点和左右两条线段组成的交通场景结构；通过计算各候选场景结构的交点与估计的消失点间的距离，获得最终的交通场景结构，适合于全天候交通场景的分析。

【技术实现步骤摘要】
一种交通场景空间结构提取方法
本专利技术属于计算机视觉领域，具体涉及交通场景的空间结构提取方法。
技术介绍
交通场景通常包含道路、建筑等相对固定的元素以及具有相对稳定的空间结构。建立交通场景进行空间结构提取和分析方法，对场景理解、目标检测等计算机视觉任务具有重要意义。由于不同天气条件(例如白天、夜间)下的视觉场景特征差异大，因此从全天候交通场景中提取稳定的空间结构是主要难点。现有的场景结构提取方法主要针对光照充足的室内场景，参见文献“V.Hedau,D.Hoiem,andD.Forsyth,Recoveringthespatiallayoutofclutteredrooms.IEEEInternationalConferenceonComputerVision,2009”。该方法适用于光照充足且高度结构化的室内场景。但是目前还缺乏交通场景结构的表达方法以及针对不同光照下交通场景的空间结构提取方法。
技术实现思路
本专利技术的目的是为了解决目前缺乏针对交通场景的结构提取方法的现状，提出了一种交通场景结构提取方法。为了实现上述目的，本专利技术的技术方案是：一种交通场景空间结构提取方法，包括以下步骤：S1.提取交通图像的边缘信息；具体为：利用颜色空间变换方法，提取交通场景的灰度通道图像，然后利用边缘检测算法提取交通图像边缘，并对边缘图像进行二值化处理；S2.从二值边缘图像中提取直线段；具体为：基于边缘拟合方法对二值化的边缘进行直线拟合，提取边缘中的直线段，得到每条直线段位于图像中的端点坐标，并根据端点坐标计算出每条直线段的方向和长度；S3.筛选适用于消失点估计的候选直线段；具体为：根据直线段的方向，将直线段分为三组，第一类为需要舍弃的直线段，包括与水平或垂直方向夹角小于给定夹角阈值的直线段以及位于图像顶部三分之一部分的直线段；对剩余的直线段根据角度方位符号(正或负)分为左侧直线段和右侧直线段；计算左侧、右侧直线段各自组内直线段角度的中位数，分别去除左侧、右侧直线段中角度与中位数角度夹角大于给定夹角阈值的直线段；所剩下的左侧、右侧直线段组成适用于消失点估计的候选直线段；S4.估计交通场景消失点位置；具体为：分别用线性方程表示步骤S3中筛选的各候选直线段的共线直线，联立所有共线直线的线性方程，组成一个超定方程组，超定方程组的解即为估计的初始消失点位置；获得初始消失点位置后，去除位于初始消失点上侧的候选直线段，获得剩余候选直线段；再利用剩余候选直线段再一次构建对应共线直线的超定方程组，并求解，获得最终估计的消失点位置；S5.构建交通场景结构；具体为：基于步骤S4中筛选得到的剩余候选直线段，分别依次从左侧、右侧直线段中各取一根，沿着指向两条线段交点的方向延长至交点位置，沿着相反方向延长至图像边界，形成由一个交点和左右两条线段组成的交通场景结构；依次遍历左侧、右侧直线段，生成交通场景结构候选组；分别计算交通场景结构候选组中各候选场景结构的交点与估计的消失点间的距离，选择距离最小的候选场景结构作为最终的交通场景结构。作为一个较佳的实施例，步骤S1中的边缘检测算法为Canny算法。作为一个较佳的实施例，步骤S1还包括对二值边缘图像进行膨胀运算过程。作为一个较佳的实施例，步骤S3中夹角阈值取值范围为0°～45°。作为一个较佳的实施例，步骤S4中的超定方程组表达式为：G(a,b)TG(a,b)X*＝G(a,b)Tβ(c)其中，基于线参数方程anx+bny＝cn描述第n条候选直线段，an、bn、cn为第n条直线方程对应参数，和表示所有n条直线方程参数构成的参数矩阵，G(a,b)T表示G(a,b)矩阵的转置矩阵；为候选直线段交点近似解，即求解的消失点位置。本专利技术的有益效果：本专利技术的方法首先将待处理彩色图像转换为灰度图像，并提取图像边缘，获得二值化边缘图像；通过对图像边缘进行直线拟合，获得图像中的主要直线段。根据每条直线段的方向信息，对将直线段分为三组，并筛选适用于消失点估计的候选直线段；联立候选直线段的共线直线的线性方程，组成一个超定方程组，通过解方程组估计的初始消失点位置；进一步去除位于初始估计消失点上侧的候选直线段，重新构建和求解超定方程组，优化消失点位置；最终，基于左侧、右侧两类直线段及其交点，构建由一个交点和左右两条线段组成的交通场景结构；通过计算各候选场景结构的交点与估计的消失点间的距离，获得最终的交通场景结构。本专利技术所展示的方法定义了一种交通场景结构的表示方法，并通过基于边缘信息能够获得不同光照条件下稳定的交通场景估计结果，适合于全天候交通场景的分析和处理。附图说明图1是本专利技术实施例的交通场景结构提取方法的流程示意图。图2是本专利技术所定义的交通场景结构示意图。图3是采用本专利技术方法对夜间交通图像场景结构提取结果示意图。具体实施方式下面结合附图和具体的实施例对本专利技术做进一步的阐述。从目前公开的夜间交通图像库TheDarkZurichDataset(下载地址：https://www.trace.ethz.ch/publications/2019/GCMA_UIoU/)中选择一幅夜间交通图像(编号：GOPR0364_frame_000092_rgb_anon.png)作为实施对象，图像大小为360×640×3，格式为24位png格式的彩色图像。具体计算方法的流程如图1所示，具体过程如下：S1.提取交通图像的边缘信息：本实例将输入的待处理交通图像(RGB图像)转换到YCbCr颜色空间，并提取Y通道作为灰度通道，即Y＝0.2989*R+0.5870*G+0.1140*B，获得灰度通道图像。利用Canny算子提取二值化的图像边缘，并对得到的二值边缘图像进行膨胀运算，膨胀算子采用半径为2的圆形平坦结构元。以像素点(235,246)为例，该像素点在边缘图像中灰度值为0，即非边缘区域，在膨胀运算后灰度值为1，即被连接到边缘区域。此处Canny算子参数和膨胀算子大小，可根据输入图像进行调整，以取得最优结果。S2.从二值边缘图像中提取主要的直线段：采用PeterKovesi开发的MATLAB工具箱中的edgelink和lineseg函数对图像边缘进行直线拟合，设定参数：保留最短边缘长度为15像素，直线拟合的最大误差为1像素。本实施例中，获得130条直线段及其端点坐标和长度，并通过反正切函数得到直线角度(以弧度表示)，例如获得的其中一条直线段参数表示为：左端点坐标为(2,194)，右端点坐标为(26,195)，方向为-0.0417，长度为24.0208。此处直线拟合参数，可根据S1所得边缘进行调整，以取得最优结果。S3.筛选适用于消失点估计的候选直线段；根据直线段的方向，将直线段分为三组。第一类为需要舍弃的直线段，本实例取夹角阈值取10°，即与水平或竖直方向夹角小于10°或位于图上方1/3处的线段被舍弃；对剩本文档来自技高网...

【技术保护点】
1.一种交通场景空间结构提取方法，包括以下步骤：/nS1.提取交通图像的边缘信息；/n具体为：利用颜色空间变换方法，提取交通场景的灰度通道图像，然后利用边缘检测算法提取交通图像边缘，并对边缘图像进行二值化处理；/nS2.从二值边缘图像中提取直线段；/n具体为：基于边缘拟合方法对二值化的边缘进行直线拟合，提取边缘中的直线段，得到每条直线段位于图像中的端点坐标，并根据端点坐标计算出每条直线段的方向和长度；/nS3.筛选适用于消失点估计的候选直线段；/n具体为：根据直线段的方向，将直线段分为三组，第一类为需要舍弃的直线段，包括与水平或垂直方向夹角小于给定夹角阈值的直线段以及位于图像顶部三分之一部分的直线段；对剩余的直线段根据角度方位符号分为左侧直线段和右侧直线段；计算左侧、右侧直线段各自组内直线段角度的中位数，分别去除左侧、右侧直线段中角度与中位数角度夹角大于给定夹角阈值的直线段；所剩下的左侧、右侧直线段组成适用于消失点估计的候选直线段；/nS4.估计交通场景消失点位置；/n具体为：分别用线性方程表示步骤S3中筛选的各候选直线段的共线直线，联立所有共线直线的线性方程，组成一个超定方程组，超定方程组的解即为估计的初始消失点位置；获得初始消失点位置后，去除位于初始消失点上侧的候选直线段，获得剩余候选直线段；再利用剩余候选直线段再一次构建对应共线直线的超定方程组，并求解，获得最终估计的消失点位置；/nS5.构建交通场景结构；/n具体为：基于步骤S4中筛选得到的剩余候选直线段，分别依次从左侧、右侧直线段中各取一根，沿着指向两条线段交点的方向延长至交点位置，沿着相反方向延长至图像边界，形成由一个交点和左右两条线段组成的交通场景结构；依次遍历左侧、右侧直线段，生成交通场景结构候选组；分别计算交通场景结构候选组中各候选场景结构的交点与估计的消失点间的距离，选择距离最小的候选场景结构作为最终的交通场景结构。/n...

【技术特征摘要】
1.一种交通场景空间结构提取方法，包括以下步骤：
S1.提取交通图像的边缘信息；
具体为：利用颜色空间变换方法，提取交通场景的灰度通道图像，然后利用边缘检测算法提取交通图像边缘，并对边缘图像进行二值化处理；
S2.从二值边缘图像中提取直线段；
具体为：基于边缘拟合方法对二值化的边缘进行直线拟合，提取边缘中的直线段，得到每条直线段位于图像中的端点坐标，并根据端点坐标计算出每条直线段的方向和长度；
S3.筛选适用于消失点估计的候选直线段；
具体为：根据直线段的方向，将直线段分为三组，第一类为需要舍弃的直线段，包括与水平或垂直方向夹角小于给定夹角阈值的直线段以及位于图像顶部三分之一部分的直线段；对剩余的直线段根据角度方位符号分为左侧直线段和右侧直线段；计算左侧、右侧直线段各自组内直线段角度的中位数，分别去除左侧、右侧直线段中角度与中位数角度夹角大于给定夹角阈值的直线段；所剩下的左侧、右侧直线段组成适用于消失点估计的候选直线段；
S4.估计交通场景消失点位置；
具体为：分别用线性方程表示步骤S3中筛选的各候选直线段的共线直线，联立所有共线直线的线性方程，组成一个超定方程组，超定方程组的解即为估计的初始消失点位置；获得初始消失点位置后，去除位于初始消失点上侧的候选直线段，获得剩余候选直线段；再利用剩余候选直线段再一次构建对应共线直线的超定方程组，并求解，获得最终估计的消失点...

【专利技术属性】
技术研发人员：杨开富，何得淮，曾广，李永杰，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51