面向全景视觉感知的多摄像头在环仿真测试方法与系统技术方案

本发明专利技术公开一种面向全景视觉感知的多摄像头在环仿真测试方法，通过工控机建立目标交通场景模型，摄像头采集全景图像数据上传到显示屏，传感器标定模块将摄像头进行位置参数标定，通过特征点检测和匹配并保留有效匹配对，完成图像拼接和融合，通过目标全景感知算法程序实时对汽车周围环境进行视觉感知，最后将通过全景感知算法获取的感知结果与虚拟建模的所有全景图像数据对比校验，分析全景感知算法获取在环仿真测试评价结果。本发明专利技术基于虚拟场景生成目标全景图像，系统包含完整的虚拟交通场景信息，自动进行图像真实信息和感知信息的校验，进而进行评价，大大降低了人力成本，同时考虑人为标注的误差，提升了感知信息结果评价的准确率。

【技术实现步骤摘要】
面向全景视觉感知的多摄像头在环仿真测试方法与系统
本专利技术涉及数据采集相关
，具体涉及一种面向全景视觉的多摄像头在环仿真测试方法和系统。
技术介绍
随着计算机，微电子技术的快速发展，智能化技术的开发越来越快，智能程度也越来越高，应用的范围也得到了极大的扩展。智能驾驶系统以迅猛发展的汽车电子技术为背景，涵盖了电子，计算机，机械，传感技术等多个学科。自动智能驾驶汽车是未来汽车的发展方向,也是道路交通具有革命性影响的交通工具。随着人工智能、传感检测等核心技术的突破和完善以及整体可靠性的提升,自动驾驶汽车会逐步被公众接受,成为出行和物流工具。但是,从当前的初步应用阶段,到成熟推广阶段乃至全面普及阶段的过程可能需要很长时间,技术成熟之后还要解决立法推行问题、以及社会心态调整的漫长阶段。自动驾驶汽车是未来汽车产业和信息产业的一个制高点,其研发能力将直接反映国家工业竞争力。从全球各国政府和企业的发展行动来看,未来5～10年将是发展自动驾驶非常关键的时期。在智能驾驶汽车上，通过摄像头传感器感知周围环境，进而通过决策控制，来实现智能车的自动驾驶，在很多情况下，单一的摄像头布置不能满足智能车的需本文档来自技高网...

【技术保护点】
1.一种面向全景视觉感知的多摄像头在环仿真测试方法，其特征在于，包括如下步骤：(11)根据实际测试目标摄像头的位置，对在环实验平台摄像头进行调整；(12)在工控机建立目标交通场景模型，基于Blender软件内的360度全景虚拟相机渲染生成全景交通场景图像数据集；(13)工控机开启在环测试系统装置，包括开启全景显示屏显示目标交通全景图像、目标相机开始采集信息数据；(14)通过统一坐标系，将位置不同的相机进行位置信息参数标定；(15)通过对待拼接的图像进行特征点检测，在所述特征点中寻找相邻图像的匹配对，经由RANSAC去除错误匹配对，保留正确的匹配点计算H矩阵，完成图像拼接和融合；(16)通过基于...

【技术特征摘要】
1.一种面向全景视觉感知的多摄像头在环仿真测试方法，其特征在于，包括如下步骤：(11)根据实际测试目标摄像头的位置，对在环实验平台摄像头进行调整；(12)在工控机建立目标交通场景模型，基于Blender软件内的360度全景虚拟相机渲染生成全景交通场景图像数据集；(13)工控机开启在环测试系统装置，包括开启全景显示屏显示目标交通全景图像、目标相机开始采集信息数据；(14)通过统一坐标系，将位置不同的相机进行位置信息参数标定；(15)通过对待拼接的图像进行特征点检测，在所述特征点中寻找相邻图像的匹配对，经由RANSAC去除错误匹配对，保留正确的匹配点计算H矩阵，完成图像拼接和融合；(16)通过基于用户的目标全景感知算法程序对融合后得到的全景图像数据进行算法处理，实时对汽车周围环境进行视觉感知；(17)将通过全景感知算法获取的感知结果与虚拟建模的所有全景图像数据对比校验，分析全景感知算法获取在环仿真测试评价结果。2.根据权利要求1所述的一种面向全景视觉感知的多摄像头在环仿真测试方法，其特征在于：所述在环实验平台包括接口盘以及与接口盘固定连接且以接口盘为中心，呈十字交叉、且互相垂直的纵、横连接架，所述纵、横连接架的两端上均连接一支撑架，且所述支撑架与对应的连接架垂直；四个所述支撑架沿轴长方向平行，且所述支撑架沿轴长方向设有第一连接杆，所述第一连接杆与支撑架的轴身垂直，第一连接杆末端设有万向连接部，所述万向连接部上对应设有一相机；设于纵连接架上的两支撑架沿纵连接架轴长方向移动范围是0-2500mm，设于横连接架上的两支撑架沿横连接架轴长方向移动范围是0-1500mm；所述第一连接杆沿所述支撑架的轴身移动范围是0-2000mm。3.根据权利要求1或2所述的一种面向全景视觉感知的多摄像头在环仿真测试方法，其特征在于：所述相机与工控机连接，Blender软件通过工控机控制所述相机的工作状态，将采集的数据图像传输至工控机。4.根据权利要求1所述的一种面向全景视觉感知的多摄像头在环仿真测试方法，其特征在于：所述多传感器标定模块的处理方法，包括如下步骤：(21)通过统一坐标系，将位置不同的摄像头进行位置信息参数标定，至少四个摄像头拍摄的图像数据进行进一步拼接融合：(211)图像坐标系根据单位尺度不同规划成图像像素坐标系和图像物理坐标系，图像像素坐标系单位尺度为像素，图像物理坐标系单位尺度为物理长度；图像像素坐标系原点为O0，u，v表示行数和列数，图像物理坐标系原点为O1，x，y表示横坐标和纵坐标，设定图像物理坐标系坐标原点位于(u0，v0)处，定义像素在x，y轴的物理尺寸为dx、dy，则两个坐标系之间的转换关系为：将式(1)通过齐次坐标系和矩阵形式表示：(212)以摄像头光心为坐标原点，Xc、Yc轴分别和x，y轴平行建立摄像头坐标任意存在一点P(xc，yc，zc)，f是成像函数，根据三角测量原理可得图像物理坐标、摄像头坐标之间的转换关系：将式(3)通过齐次坐标系和矩阵形式表示得公式(4)：(213)创建世界坐标系作为物点、摄像机的定位参照物，所述世界坐标系由xw，yw，zw轴组成；三维空间中，旋转表示为围绕各自坐标轴的二维旋转，获得摄像机坐标系和世界坐标系的转换关系：式(5)中，R为3×3正交旋转矩阵，T为3×1平移向量，0T＝(0，0，0)。综上所述可得：(22)摄像头标定过程即校正摄像头外、内和畸变参数的过程，通过Scaramuzza摄像头标定理论对实验用摄像头外、内和畸变参数进行标定工作，Scaramuzza摄像头标定方法包括如下：设点X是空间范围任意一点，q″是X与全景摄像头模拟球面C的交点，点u″是畸变点p″在成像面的投影点，点v″是畸变点q″在成像面的投影点，θ是入射角，点p″和q″通畸变函数g或校正函数h进行换算，点p″表示如下，r是点u″到光轴中心的距离：经一系列推导得世界坐标系到摄像头坐标系的投影矩阵P和成像函数f表达式如下：投影矩阵P与摄像头的外部参数有关，包括一个3×3的旋转矩阵和一个3×1的平移向量，摄像头的外部参数和视野有关，不同视野有不同的外部参数，内部参数不变；根据式(7)可知，畸变函数g与校正函数h与相距r有关，同时所述的的两个函数与所采用的摄像头的内部参数有关，透视投影中，g和h都是1；对于鱼眼摄像头，校正函数h为1，式(7)简化得：式(11)的函数g(r)通过相距r和入射角θ，推导出式(12)，a，b是描述摄像头内部径向变形的参数；入射角θ分为线性求法如式(13)和非线性求法如式(14)：θ＝ar(13)此处统一线性模型和非线性模型，通过泰勒展开式将式(12)表示成如下形式，其中的系数与式(15)相同：故式(11)重新写成式(16)：对于鱼眼摄像头和反射折射摄像头满足畸变函数g对相距r求一阶导结果为0，即a1＝0，式(15)简化得：成像面通过摄像头坐标系表示，目标图像平面通过像素坐标系表示，像素点需与成像面的点一一对应，由于光轴未对准的因素导致成像面的图像映射到像素坐标系产生旋转或平移变换，过程如式(18)表示，点u＝(u，v)T是u″映射到目标平面的对应像素点，u″是成像面的点，A是仿射矩阵，向量t是一个平移向量：u″＝Au+t(18)通过上述推理式得，场景点X到畸变点p″再到成像面的点u″最后到目标平面的像素点u有式(19)的关系，P是一个从世界坐标系到摄像头坐标系的投影矩阵，f是成像函数，根据式(10)定义：PX＝λ·p″＝λ·f(u″)＝λ·f(Au+t)(19)通过式(10)、(19)整理得如式(9)，g是畸变函数，r是相距，P是式(19)的投影矩阵：(23)Scaramuzza摄像头标定校正具体包括如下步骤：(231)获取外部参数，在成像面上的所有点z轴坐标都是0，对于成像面上任意一点i有Zi＝0，根据前面的模型可得：式(20)可概括为如式(21)、式(22)两个表达式形式：ui(r21xi+r21yi+t2)-vi(r11xi+r12yi+t1)＝0(21)式(21)的所有未知参数按照式(23)写成向量L形式，点的横纵坐标组成向量F，可得式(23)：对||FL||2用奇异值分解，即获得向量L的线性估计，即得到L的各个参数。(232)估计内部参数，将步骤(231)得到的向量L的各个参数代入式(22)，得到变形函数g(ri)，在得到变形函数后，式(22)重写成式(24)：通过式(...

【专利技术属性】
技术研发人员：刘丹萍，张栋，白琨，徐滟，汪珺，修磊，刘罡，
申请(专利权)人：合肥学院，
类型：发明
国别省市：安徽,34