一种基于深度图的路面缺陷及抛洒物检测方法技术

本发明专利技术公开了一种基于深度图的路面缺陷及抛洒物检测方法，包括如下步骤：S1：获取传感器的RGB图与深度图，将其转换为仅包含路面区域的视差图；S2：将视差图扁平化为3组向量，并建立路平面方程；S3：引入相机基线与地面倾斜角，得到映射关系并建立优化的路平面参数方程；S4：构造并求解损失函数，计算出最优的与倾斜角；S5：计算出最优的路平面方程参数；S6：根据优化的路平面参数方程与视差图，检测出路面缺陷及抛洒物；S7：可视化路面缺陷及抛洒物结果，本发明专利技术结构科学合理，使用安全方便，根据深度图构建路面方程，通过计算相机基线与地面倾斜角优化路面方程参数，计算视差图与路面残差，检测出路面缺陷及抛洒物并可视化其结果。

【技术实现步骤摘要】
一种基于深度图的路面缺陷及抛洒物检测方法
本专利技术涉及图处理
，具体为一种基于深度图的路面缺陷及抛洒物检测方法。
技术介绍
道路从词义上讲就是供各种无轨车辆和行人通行的基础设施；按其使用特点分为公路、城市道路、乡村道路、厂矿道路、林业道路、考试道路、竞赛道路、汽车试验道路、车间通道以及学校道路等，古代中国还有驿道。另外还指达到某种目标的途径，事物发展、变化的途径；道路巡检是市政交通中十分重要的一环，其中路面缺陷和抛洒物的检测是主要目的，及时发现抛洒物和路面缺陷可以减少事故的发生，在已有的道路巡检中，通常使用人工判别路面缺陷以及抛洒物，而常见的自动化方法中，抛洒物检测通常基于前后帧间关系针对固定场景下的应用，一些基于目标检测技术的方法仅能给出缺陷或抛洒物的矩形框，而不能得到如如长宽等具体信息。
技术实现思路
本专利技术提供一种基于深度图的路面缺陷及抛洒物检测方法，可以有效解决上述
技术介绍
中提出常见的自动化方法中，抛洒物检测通常基于前后帧间关系针对固定场景下的应用，一些基于目标检测技术的方法仅能给出缺陷或抛洒物的矩形框，而不能得到如如长宽等具体信息的问题。为实现上述目的，本专利技术提供如下技术方案：一种基于深度图的路面缺陷及抛洒物检测方法，包括如下步骤：S1：获取传感器的RGB图与深度图，将其转换为仅包含路面区域的视差图；S2：将视差图扁平化为3组向量，并建立路平面方程；S3：引入相机基线与地面倾斜角，得到映射关系并建立优化的路平面参数方程；S4：构造并求解损失函数，计算出最优的与倾斜角；S5：计算出最优的路平面方程参数；S6：根据优化的路平面参数方程与视差图，检测出路面缺陷及抛洒物；S7：可视化路面缺陷及抛洒物结果。根据上述技术方案，所述S1中包括如下步骤：S101中：获取相机的RGB图以及深度图，深度图可通过深度相机或双目相机等传感器获取；S102中：获取RGB图像中路面区域的掩膜(Mask)，可通过手工选取或图像处理技术得到；S103中：将步骤S102中深度图转换为视差图：baseline为双目相机基线长度，depth为深度；S104：将步骤S102中掩膜与步骤S103中视差图各元素相乘，可得到仅包含路面信息的视差图。根据上述技术方案，所述S2包括如下步骤：S201：将步骤S104仅包含路面信息的视差图中不为NaN的元素的深度值，行坐标，列坐标值，分别执行扁平化(Flatten)操作，存入向量d，u，v中；S202：建立路平面方程：f(p)＝pTa,withp＝[uv1]T,a＝[0a1a2]，a为参数向量。根据上述技术方案，所述S3中包括如下步骤：S301：由于测量时相机并非平行于地面，引入角度θ描述与路平面的倾斜角，作用于步骤S201中p：R为旋转矩阵；S302：使用步骤S301中q,改写步骤S201中的平面方程,得：g(q,θ)＝qTa；S303：遍历对应与d中的每一个点q，将其坐标信息s，t存入向量s，t中。根据上述技术方案，所述S4包括如下步骤：S401：建立损失函数：S402：使损失函数C(a)最小,等价于使损失函数：L(θ)＝dTQ(θ)(Q(θ)TQ(θ))-1Q(θ)Td最大；S402：构建使用随机题梯度下降(SGD)方法的优化器(Optimizer)；S403：将步骤S402中损失函数L(θ)带入步骤S402中的优化器，求解使-L(θ)最小时的参数向量：根据上述技术方案，所述S5中包括如下步骤：S501：将步骤S404中θ*代入a＝(Q(θ)TQ(θ))-1Q(θ)Td求解出a*；S502：将步骤S501中a*代入步骤S302中，得到路面方程：f(p)＝g(q,θ)＝qTa＝a2+a1(-usinθ+vsinθ)。根据上述技术方案，所述S6包括如下步骤：S601：将步骤S103中disp与步骤S502中路面方程代入：fault(p)＝disp(p)-f(p)+δ；δ为偏置项，得到新的视差图；S602：设定阈值t1，t2(t1＜t2)对步骤S601中的新视差图fault(p)进行二值化操作，S603：选取5x5的全1矩阵为核，对步骤S601中的新视差图binary(p)进行腐蚀操作：S604：对步骤S603后续进行膨胀操作，其核不变；S605：再对步骤S604中后续求其求联通区域，并过滤掉小于阈值t3的联通区域，得到滤波后的视差图filter(p)；S606：对步骤S602中进行完滤波操作的视差图filter(p)，与点p在在步骤S601视差图fault(p)对应的视差值d若大于步骤S602中阈值t2则为抛洒物，若小于t1则为路面缺陷。根据上述技术方案，所述S7包括如下步骤：S701：在步骤S101中的RGB图中画出步骤S603中二值图binary(p)其对应区域。与现有技术相比，本专利技术的有益效果：本专利技术结构科学合理，使用安全方便，根据深度图构建路面方程，通过计算相机基线与地面倾斜角优化路面方程参数，计算视差图与路面残差，检测出路面缺陷及抛洒物并可视化其结果。附图说明附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实施例一起用于解释本专利技术，并不构成对本专利技术的限制。在附图中：图1是本专利技术实例中的流程示意图；图2是本专利技术实例中采集的RGB图；图3是本专利技术实例中采集的深度图；图4是本专利技术实例中路面的掩膜图；图5是本专利技术实例中由深度图生成的视差图；图6是本专利技术实例中由视差图以及掩膜生成的仅包含路面区域的视差图；图7是本专利技术实例中解释相机基线与路平面不平行时的示意图；图8是本专利技术实例中优化后的新视差图；图9是本专利技术实例中新视差图二值化后的示意图；图10是本专利技术实例中经过腐蚀操作后的二值图；图11是本专利技术实例中经过膨胀操作后的二值图；图12是本专利技术实例中经过对联通区域滤波后的二值图；图13是本专利技术实例中可视化缺陷的示意图。具体实施方式以下结合附图对本专利技术的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本专利技术，并不用于限定本专利技术。实施例：如图1所示，本专利技术提供技术方案，一种基于深度图的路面缺陷及抛洒物检测方法，包括如下步骤：S1：获取传感器的RGB图与深度图，将其转换为仅包含路面区域的视差图；S2：将视差图扁平化为3组向量，并建立路平面方程；S3：引入相机基线与地面倾斜角，得到映射关系并建立优化的路平面参数方程；S4：构造并求解损失函数，计算出最优的与倾斜角；S5：计算出最优的路平面方程参数；S6本文档来自技高网...

【技术保护点】
1.一种基于深度图的路面缺陷及抛洒物检测方法，其特征在于：包括如下步骤：/nS1：获取传感器的RGB图与深度图，将其转换为仅包含路面区域的视差图；/nS2：将视差图扁平化为3组向量，并建立路平面方程；/nS3：引入相机基线与地面倾斜角，得到映射关系并建立优化的路平面参数方程；/nS4：构造并求解损失函数，计算出最优的与倾斜角；/nS5：计算出最优的路平面方程参数；/nS6：根据优化的路平面参数方程与视差图，检测出路面缺陷及抛洒物；/nS7：可视化路面缺陷及抛洒物结果。/n

【技术特征摘要】
1.一种基于深度图的路面缺陷及抛洒物检测方法，其特征在于：包括如下步骤：
S1：获取传感器的RGB图与深度图，将其转换为仅包含路面区域的视差图；
S2：将视差图扁平化为3组向量，并建立路平面方程；
S3：引入相机基线与地面倾斜角，得到映射关系并建立优化的路平面参数方程；
S4：构造并求解损失函数，计算出最优的与倾斜角；
S5：计算出最优的路平面方程参数；
S6：根据优化的路平面参数方程与视差图，检测出路面缺陷及抛洒物；
S7：可视化路面缺陷及抛洒物结果。


2.根据权利要求1所述的一种基于深度图的路面缺陷及抛洒物检测方法，其特征在于，所述S1中包括如下步骤：
S101中：获取相机的RGB图以及深度图，深度图可通过深度相机或双目相机等传感器获取；
S102中：获取RGB图像中路面区域的掩膜(Mask)，可通过手工选取或图像处理技术得到；
S103中：将步骤S102中深度图转换为视差图：



baseline为双目相机基线长度，depth为深度；
S104：将步骤S102中掩膜与步骤S103中视差图各元素相乘，可得到仅包含路面信息的视差图。


3.根据权利要求2所述的一种基于深度图的路面缺陷及抛洒物检测方法，其特征在于，所述S2包括如下步骤：
S201：将步骤S104仅包含路面信息的视差图中不为NaN的元素的深度值，行坐标，列坐标值，分别执行扁平化(Flatten)操作，存入向量d，u，v中；
S202：建立路平面方程：
f(p)＝pTa,withp＝[uv1]T,a＝[0a1a2]，a为参数向量。


4.根据权利要求3所述的一种基于深度图的路面缺陷及抛洒物检测方法，其特征在于，所述S3中包括如下步骤：
S301：由于测量时相机并非平行于地面，引入角度θ描述与路平面的倾斜角，作用于步骤S201中p：



R为旋转矩阵；
S302：使用步骤S301中q,改写步骤S201中的平面方程,得：g(q,θ)＝qTa；
S303：遍历对应与d中的每一个点q，将其坐标信息s，t存入向量s，t中。


5.根据...

【专利技术属性】
技术研发人员：王家奎，李淦，
申请(专利权)人：武汉唯理科技有限公司，
类型：发明
国别省市：湖北;42