车载双目立体相机自校正方法及其系统、FPGA芯片技术方案

本发明专利技术公开了一种车载双目立体相机自校正方法及其系统、FPGA芯片，其属于机器视觉这一技术领域，其要点在于：S100,判断双目立体相机是否需要自动校正；S200,根据S100的结果，决定是否需要利用地面的平面特性和车道线的宽度信息进行自动校正：当S100判断不需要进行自动，不进行自动校正；当S100判断需要进行自动，进行自动校正。采用本申请的一种车载双目立体相机自校正方法及其系统、FPGA芯片，能够方便有效的对车载双目立体相机进行自校正。有效的对车载双目立体相机进行自校正。有效的对车载双目立体相机进行自校正。

【技术实现步骤摘要】
车载双目立体相机自校正方法及其系统、FPGA芯片


[0001]本专利技术涉及机器视觉(计算机视觉)这一
，更具体地说，尤其涉及一种车载双 目立体相机自校正方法及其系统、FPGA芯片。

技术介绍

[0002]双目立体相机使用同步的两路摄像头图像，基于精确标定的内外参数，利用三角测量 原理计算空间信息。
[0003]作为立体视觉解决方案，双目相机已开始广泛应用于各种目标识别与测距场景。随着 车载辅助系统及无人驾驶系统的逐渐普及，由于测距精度高与单目相机方案，双目立体相 机在车载领用的价值逐渐体系出来，并逐步在各种车载领域普及起来。
[0004]双目相机要保持测距准确，需要标定后的两个单目摄像头的光学参数保持不变，即内 参不变，且两个单目的相对位置关系保持不变，即双目相机的外参不变。
[0005]在车载环境，工况比较恶略，尤其是汽车在各种颠簸路面行驶时，会对相机形成振动 冲击。长期的振动冲击可能会导致双目视差的退化，其中镜头的内参变化是主要原因。双 目立体相机一般使用定焦镜头。镜头的主要元件是一组镜片、镜筒和固定及密封结构件。 由于镜片、镜筒、结构件等的制造精度和组装工艺等原因，镜片和镜筒之间存在间隙。在 剧烈振动冲击环境，镜片相对于镜筒可能会出现位置偏移。这个偏移会导致摄像头内参的 变化，最终导致双目立体相机退化。退化体现在两方面，一是视差密度降低，二是测距精 度变化。
[0006]在相机生产和实验环境，可以通过对双目相机进行再次标定来消除这种退化。再次标 定需要精密的标靶如棋盘和相应的环境、设备，且标定过程比较复杂。通常专业的厂商才 具备这些设备、环境和标定能力，普通用户基本不可能自己完成再次标定。对于车载双目 相机，由于数量庞大，相机退化后客户自身不具备再次标定能力，即使通过4S店进行维 护，也是费时费力，且维修时效性不高。
[0007]对于双目立体视觉系统校正方法而言，专利技术人检索到了以下文献：
[0008]参考文献1：杨景豪等.双目立体视觉测量系统的标定[J]光学精密工程，第24卷第2 期：300
‑
308.
[0009]参考文献2：CN111862235A双目相机自标定方法及系统:，包括：1)获取左右原始 图像；2)校正左右原始图像；3)从左右校正图像中提取特征点并匹配；4)统计左右图像纵 坐标偏差的平均值，若大于对应阈值则修正估计第一参数组，反复迭代修正，直至小于对 应阈值；5)找到静态物体及车道线；6)处于移动状态时，追踪静态物体的视差及车轮运动 信息；7)得到车轮运动距离与静态物体的三维距离变化值的距离偏差及车道线的宽度偏差， 若大于对应阈值则修正估计第二参数组，反复迭代校正，直至小于对应阈值，完成自标定。
[0010]然而，上述文献提出的自校正方法仍然有所不足。因此，有必要对双目立体相机的自校 正方法进行进一步深入的研究。

技术实现思路

[0011]本专利技术的目的在于针对上述现有技术的不足，提供一种双目立体相机自校正方法。
[0012]本专利技术的另一目，在于提供一种车载双目立体相机自校正系统。
[0013]本专利技术的又一目的，在于提供一种FPGA芯片。
[0014]本专利技术的再一目的，在于提供一种车辆。
[0015]一种车载双目立体相机自校正方法，包括以下步骤：
[0016]S100,判断双目立体相机是否需要自动校正；
[0017]S200,根据S100的结果，决定是否需要利用地面的平面特性和车道线的宽度信息进行 自动校正：
[0018]当S100判断不需要进行自动，不进行自动校正；
[0019]当S100判断需要进行自动，进行自动校正。
[0020]一种车载双目立体相机自校正方法，其用于仅发生行差的校正，双目立体相机包括：第 一图像采集模块，第二图像采集模块；
[0021]包括以下步骤：
[0022]S100，从第一图像采集模块、第二图像采集模块分别获得原始图像；
[0023]S200，判断双目立体相机是否发生行差、是否需要进行自校正，其包括步骤S201、S202、 S203：
[0024]S201，设列差为0，行差为0，计算视差密度；
[0025]S202，设列差为0，行差为0，计算地面厚度；
[0026]S203，基于S201、S202的结果来判断是否存在行差：
[0027]当视差密度<阈值ρ且地面厚度>阈值ε，判断需要进行自校正，进入步骤S300；
[0028]当视差密度≥阈值ρ或地面厚度≤阈值ε，判断不需要进行自校正，结束步骤；
[0029]S300，需要进行自校正时，确定行差
[0030]S301，设定行差的区间值y
min
，y
max
；设定计算次数N；设定步距：dy＝(y
max
‑
y
min
)/N； 初始条件下，计算行差y赋值为y
min
；
[0031]S302，设列差为0，行差为y，计算视差密度；
[0032]S303，设列差为0，行差为y，计算地面厚度；
[0033]S304，基于S302、S303的结果来判断执行：
[0034]当视差密度<阈值ρ且地面厚度>阈值ε，y重新赋值为：y+dy，重复步骤S302～S304；
[0035]当视差密度≥阈值ρ或地面厚度≤阈值ε，返回行差y，结束程序；
[0036]进一步，计算地面厚度的步骤，包括以下内容：
[0037]S
‑
A，根据第一图像采集模块以及第二图像采集模块传来的图像以及行差、列差，获取地 面点云集合Cloud，其表达为：
[0038]Cloud＝{(x
i
,y
i
,z
i
)|x
i
∈R，y
i
∈R，z
i
∈R，i＝1，2，...，N}
[0039]其中，(x
i
，y
i
，z
i
)表达式任意第i个点的三维坐标(x轴大小，y轴大小，z轴大小)； N表示点的总量个数，R表示实数。
[0040]S
‑
B，基于地面点云集合Cloud，拟合地面所在的平面方程为：
[0041]Ax+By+Cz+D＝0
[0042]A、B、C为相关参数；
[0043]S
‑
C，计算非噪声点集Cloud
res
，包括步骤S
‑
C
‑
1、S
‑
C
‑
2：
[0044]S
‑
C
‑
1，从地面点云集合Cloud寻找噪声点集Noise：
[0045]首先，计算每本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种车载双目立体相机自校正方法，其特征在于，包括以下步骤：S100,判断双目立体相机是否需要自动校正；S200,根据S100的结果，决定是否需要利用地面的平面特性和车道线的宽度信息进行自动校正：当S100判断不需要进行自动，不进行自动校正；当S100判断需要进行自动，进行自动校正。2.一种车载双目立体相机自校正方法，其用于仅发生行差的校正，双目立体相机包括：第一图像采集模块，第二图像采集模块；其特征在于，包括以下步骤：S100，从第一图像采集模块、第二图像采集模块分别获得原始图像；S200，判断双目立体相机是否发生行差、是否需要进行自校正，其包括步骤S201、S202、S203：S201，设列差为0，行差为0，计算视差密度；S202，设列差为0，行差为0，计算地面厚度；S203，基于S201、S202的结果来判断是否存在行差：当视差密度<阈值ρ且地面厚度>阈值ε，判断需要进行自校正，进入步骤S300；当视差密度≥阈值ρ或地面厚度≤阈值ε，判断不需要进行自校正，结束步骤；S300，需要进行自校正时，确定行差S301，设定行差的区间值y
min
，y
max
；设定计算次数N；设定步距：dy＝(y
max
‑
y
min
)/N；初始条件下，计算行差y赋值为y
min
；S302，设列差为0，行差为y，计算视差密度；S303，设列差为0，行差为y，计算地面厚度；S304，基于S302、S303的结果来判断执行：当视差密度<阈值ρ且地面厚度>阈值ε，y重新赋值为：y+dy，重复步骤S302～S304；当视差密度≥阈值ρ或地面厚度≤阈值ε，返回行差y，结束程序。3.根据权利要求2所述的一种车载双目立体相机自校正方法，其特征在于，S202以及S303中的计算地面厚度的步骤，均包括以下内容：S
‑
A，根据第一图像采集模块以及第二图像采集模块传来的图像以及行差、列差，获取地面点云集合Cloud，其表达为：Cloud＝{(x
i
,y
i
,z
i
)|x
i
∈R，y
i
∈R，z
i
∈R，i＝1，2，...，N}其中，(x
i
，y
i
，z
i
)表达式任意第i个点的三维坐标(x轴大小，y轴大小，z轴大小)；N表示点的总量个数，R表示实数；S
‑
B，基于地面点云集合Cloud，拟合地面所在的平面方程为：Ax+By+Cz+D＝0A、B、C为相关参数；S
‑
C，计算非噪声点集Cloud
res
，包括步骤S
‑
C
‑
1、S
‑
C
‑
2：S
‑
C
‑
1，从地面点云集合Cloud寻找噪声点集Noise：首先，计算每一个点到拟合的地面所在的平面的距离，且将上述结果保存到地面点云集合Cloud中所有点到拟合平面的距离集合Distance中：
地面点云集合中的任意一点P
i
＝(x
i
,y
i
,z
i
)到拟合平面的距离d
i
，其大小为：地面点云集合Cloud中所有点到拟合平面的距离集合记为Distance＝{d
i
|d
i
≥0}然后，计算距离均值然后，计算距离均值再次，计算距离方差S：最后，得到噪声点集Noise，噪音点集Noise为：其中，k为设定的倍率系数；S
‑
C
‑
2，确定非噪声点集Cloud
res
：Cloud
res
＝Cloud
‑
NoiseS
‑
D，计算非噪声点集Cloud
res
中的每个点到拟合平面的距离均值中的每个点到拟合平面的距离均值即为地面厚度。4.一种车载双目立体相机自校正方法，其用于仅发生列差的校正，双目立体相机包括：第一图像采集模块，第二图像采集模块；其特征在于，包括以下步骤：S100，从第一图像采集模块、第二图像采集模块分别获得原始图像；S200，判断双目立体相机是否发生列差、是否需要进行自校正：其包括步骤S201～S203；S201，先获取当前道路车道线宽度L：当前道路车道线宽度信息可以从地理信息系统获取，也能够从单目图像上左右车道线在图像上的宽度判断车道线的宽度；S202，行差＝0，列差＝0，然后根据第一图像采集模块、第二图像采集模块、获得的原始图像、行差、列差来计算车道线的宽度L1；S203，比较L、L1的结果，从而确定是否进行校正：若|L
‑
L1|＜ξ，则相机精度良好，不需要校正，结束程序；若|L
‑
L1|≥ξ，则相机需要对列差进行校正，转入步骤S300；其中，ξ表示阈值，根据实际需要设定；S300,确定列差：S301，设定列差的区间值x
min
，x
max
；设定计算次数M，步距：dx＝(x
max
‑
x
min
)/M；初始条件下，计算列差x赋值为x
min
；S302，对计算列差为x进行计算分析：S3021，先获取当前道路车道线宽度L；S3022，行差为0，列差为x；然后根据第一图像采集模块、第二图像采集模块、行差、列
差、获得的原始图像、计算列差x来计算车道线的宽度L1；S3023，比较L、L1的结果，进行以下判断：若|L
‑
L1|＜ξ，则返回计算列差x，程序结束；若|L
‑
L1|≥ξ，则x赋值为x+dx，重复步骤S3022～S3023。5.一种车载双目立体相机自校正方法，双目立体相机包括：第一图像采集模块，第二图像采集模块；其特征在于，包括以下步骤：S100，从第一图像采集模块、第二图像采集模块分别获得原始图像；S200，初步判断双目立体相机是否发生行差、是否需要进行自校正，其包括步骤S201、S202、S203：S201，设列差为0，行差为0，计算视差密度；S202，设列差...

【专利技术属性】
技术研发人员：郑继川，赵利军，
申请(专利权)人：元橡科技苏州有限公司，
类型：发明
国别省市：