一种基于逆深度图的路面异常检测方法、装置及存储介质制造方法及图纸

本发明专利技术涉及一种基于逆深度图的路面异常检测方法、装置及存储介质，其中方法包括以下步骤：基于双目立体匹配算法或单目深度估计网络获取路面的稠密深度图，并对稠密深度图中每点的深度值取倒数，得到稠密的逆深度图；利用逆深度图中每点的坐标及逆深度值估计深度相机滚转角；利用逆深度图中每点的坐标、逆深度值、深度相机滚转角估计路面投影模型参数；利用逆深度图中每点的坐标、逆深度值、深度相机滚转角、路面投影模型参数对逆深度图进行变换，得到路面异常检测结果图。与现有技术相比，本发明专利技术具有运算效率高、适用面广等优点。适用面广等优点。适用面广等优点。

【技术实现步骤摘要】
一种基于逆深度图的路面异常检测方法、装置及存储介质


[0001]本专利技术涉及机器人视觉领域，尤其是涉及一种基于逆深度图的路面异常检测方法、装置及存储介质。

技术介绍

[0002]近年来，人们常常利用数字孪生手段进行智慧城市的构建，制定相关联城市模拟系统，对城市交通，智慧医疗，工程调度等进行统一部署与调控。道路建设不仅对城市部署，经济发展与转型有着重大意义，对人们的日常生活也有着巨大影响力。采用数字孪生技术对交通枢纽建模管控的智慧系统已步入大众视线，道路安全信息会随时传入云端，城市管理者可根据其信息安排路面维修工作，道路监管工作，以及车流疏通工作；而城市大众不仅可根据云端孪生信息进行道路选择，实时安排导航规划路线还可以进行信息上传，参与城市管理；整个城市做到实时信息共享，数字道路交通信息唾手可得。在智慧城市的背景下，道路环境感知技术为道路巡检提供了首要支撑点，也是近年来无人驾驶领域备受瞩目的焦点。
[0003]道路是城市交通的载体，在人们日常生活中有重要的作用。然而随着经济的发展，道路路面所承受的压力也越来越大并且导致路面出现坑洞、裂缝等问题。这些路面异常(砖块等小障碍物或坑洼裂痕等路面破损)会影响路面通行情况，降低汽车与道路的使用寿命，甚至对交通安全造成威胁。然而，现移动机器人、智能轮椅、无人驾驶等领域多关注于较大目标的检测，例如行人、车道线，指示牌。但路面小障碍物检测也至关重要，其对小型机器人的行驶方向智能传感都会造成一定影响；而对智能轮椅，无人驾驶等，小障碍物极易引发事故，不仅容易对车身本体造成损害，甚至还会威胁生命财产安全。

技术实现思路

[0004]本专利技术的目的就是为了提供一种基于逆深度图的路面异常检测方法、装置及存储介质，高效、快速、准确的实现路面异常检测。
[0005]本专利技术的目的可以通过以下技术方案来实现：
[0006]一种基于逆深度图的路面异常检测方法，包括以下步骤：
[0007]S1、基于双目立体匹配算法或单目深度估计网络获取路面的稠密深度图，并对稠密深度图中每点的深度值取倒数，得到稠密的逆深度图；
[0008]S2、利用逆深度图中每点的坐标及逆深度值估计深度相机滚转角；
[0009]S3、利用逆深度图中每点的坐标、逆深度值、深度相机滚转角估计路面投影模型参数；
[0010]S4、利用逆深度图中每点的坐标、逆深度值、深度相机滚转角、路面投影模型参数对逆深度图进行变换，得到路面异常检测结果图。
[0011]所述双目立体匹配算法包括传统方法归一化互相关算法NCC、SAD算法(Sum of Absolute Difference)、SGM算法(Semi
‑
Global Matching)、图割算法(Graph Cuts)、信念
传播算法(Belief Propagation)，以及立体匹配网络：基于金字塔的端到端立体匹配网络PSMNet、基于关键点的全局关联网络GANet、多层级循环场变换立体匹配网络RAFT
‑
Stereo。
[0012]所述单目深度估计网络包括MonoDepth、MonoViT。
[0013]将获取到的稠密深度图记为Z，其高度为H，宽度为W，其中给定一点P的坐标记为(x,y)，其中x为点P的横坐标，y为点P的纵坐标，点P的深度值为z，则对每点的深度值取倒数得到一张逆深度图D，其中，如果z的取值为0或∞，则对应位置的逆深度值置为NaN。
[0014]所述S2包括以下步骤：
[0015]S21、计算模型参数，其中，N为逆深度图D中值不为NaN的点的个数，P
k
为逆深度图自左向右、自上向下的第k个不为NaN的点，其坐标为(x
k
,y
k
)，其逆深度值为d
k
：
[0016][0017][0018][0019][0020][0021][0022][0023]S22、计算滚转角角度，能量方程在和的时候达到极值状态：
[0024][0025][0026]其中，
[0027][0028]Ψ＝e1(e4‑
e6)
‑
e2(e3‑
e5)
[0029]Θ＝e7(e3‑
e5+e6‑
e4)+e8(e2‑
e1)
[0030]S23、分别将与代入能量方程：
[0031][0032]S24、基于能量方程求解深度相机的滚转角
[0033][0034]所述S3具体为：
[0035][0036]其中，C1、C2为路面投影模型的参数。
[0037]所述S4中对逆深度图进行变换的方式为：
[0038][0039]其中，T为变换后的逆深度图，ω为变换常数。
[0040]所述变换常数ω为：
[0041][0042]一种基于逆深度图的路面异常检测装置，包括存储器、处理器，以及存储于所述存储器中的程序，所述处理器执行所述程序时实现如上述所述的方法。
[0043]一种存储介质，其上存储有程序，所述程序被执行时实现如上述所述的方法。
[0044]与现有技术相比，本专利技术具有以下有益效果：
[0045](1)本专利技术得到的路面异常检测结果图中，路面异常的轮廓清晰，检测效果好。
[0046](2)本专利技术采用的方法简单，计算复杂度低，能够快速计算得到变换结果，提高检测效率。
[0047](3)本专利技术方法适用性强，能够应对大多数路面异常情况的检测。
附图说明
[0048]图1为本专利技术的方法流程图；
[0049]图2为路面异常检测结果示意图，其中，(a)为原图，(b)为变换后的检测结果。
具体实施方式
[0050]下面结合附图和具体实施例对本专利技术进行详细说明。本实施例以本专利技术技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本专利技术的保护范围不限于下述的实施例。
[0051]本实施例提供一种基于逆深度图的路面异常检测方法，如图1所示，包括以下步骤：
[0052]S1、基于双目立体匹配算法或单目深度估计网络获取路面的稠密深度图，并对稠密深度图中每点的深度值取倒数，得到稠密的逆深度图。
[0053]S11、利用双目立体匹配算法或单目深度估计网络获取稠密的深度信息。
[0054]本实施例中，稠密深度信息通过双目立体匹配算法获取，如传统方法归一化互相关算法(NCC)、SAD(Sum of Absolute Difference)、SGM(Semi
‑
Global Matching)、图割(Graph Cuts)、信念传播算法(Belief Propagation)，以及立体匹配网络基于金字塔的端到端立体匹配网络(PSMNet)、基于关键点的全局关联网络(GANet)、多层级循环场变换立体匹配网络(RAFT
‑
Stereo)等。
[0055]S1本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于逆深度图的路面异常检测方法，其特征在于，包括以下步骤：S1、基于双目立体匹配算法或单目深度估计网络获取路面的稠密深度图，并对稠密深度图中每点的深度值取倒数，得到稠密的逆深度图；S2、利用逆深度图中每点的坐标及逆深度值估计深度相机滚转角；S3、利用逆深度图中每点的坐标、逆深度值、深度相机滚转角估计路面投影模型参数；S4、利用逆深度图中每点的坐标、逆深度值、深度相机滚转角、路面投影模型参数对逆深度图进行变换，得到路面异常检测结果图。2.根据权利要求1所述的一种基于逆深度图的路面异常检测方法，其特征在于，所述双目立体匹配算法包括传统方法归一化互相关算法NCC、SAD算法、SGM算法、图割算法、信念传播算法，以及立体匹配网络：基于金字塔的端到端立体匹配网络PSMNet、基于关键点的全局关联网络GANet、多层级循环场变换立体匹配网络RAFT
‑
Stereo。3.根据权利要求1所述的一种基于逆深度图的路面异常检测方法，其特征在于，所述单目深度估计网络包括MonoDepth、MonoViT。4.根据权利要求1所述的一种基于逆深度图的路面异常检测方法，其特征在于，将获取到的稠密深度图记为Z，其高度为H，宽度为W，其中给定一点P的坐标记为(x,y)，其中x为点P的横坐标，y为点P的纵坐标，点P的深度值为z，则对每点的深度值取倒数得到一张逆深度图D，其中，如果z的取值为0或∞，则对应位置的逆深度值置为NaN。5.根据权利要求4所述的一种基于逆深度图的路面异常检测方法，其特征在于，所述S2包括以下步骤：S21、计算模型参数，其中...

【专利技术属性】
技术研发人员：范睿，郭思岑，马纳川，陈启军，
申请(专利权)人：同济大学，
类型：发明
国别省市：