车载全景环视的标定系统及方法技术方案

本发明专利技术提供了一种车载全景环视的标定系统及方法，包括：从全景环视系统采集的图像中提取出包含有特征物的图像，记为特征物图像；从所述特征物图像中提取出特征物有用信息；根据所述特征物有用信息，对标定参数进行优化；检验标定结果的准确性，其中，所述标定结果是指经过优化得到的标定参数。本发明专利技术将标定参数的优化作为一个优化问题，建立基于多相机特征投影误差的误差函数，以表明当前优化结果下的标定误差，从而使得标定更为准确、快速，提高了全景环视系统的标定精度；并且可以利用人为标志物或者非人为标志物进行对标定的优化修正，提高了全景环视系统的标定效率以及适用性。

【技术实现步骤摘要】
车载全景环视的标定系统及方法
本专利技术涉及汽车电子、视觉系统、车载导航领域，具体地，涉及车载全景环视的标定系统及方法。
技术介绍
全景环视系统通过在车辆四周安装多个鱼眼相机，并采用车载处理器对得到的多路视频进行图像处理，为驾驶员提供车辆周边的视野，从而提高驾驶的安全性。全景环视系统由于包含多个相机(一般大于等于4个)，因此相机之间以及相机与车之间的位姿标定是系统的一个关键环节，标定系统的精度以及便利性直接决定了全景环视系统的效果和便利性。针对不同的场景，全景环视系统一般采用不同的标定方法，比如当车辆还在产线上时，此时可以在特定的工位上采用定位设备(如四轮定位设备)准确地确定车辆的位置，从而简化整个全景环视系统的标定。而在实际实用中，考虑到全景环视系统的有效性，还需要有其它的标定方法用于4S店的标定，或者更通用的直接在线标定。精度、效率和适用性是全景环视标定方案需要考虑的主要问题。现有的标定系统中，有的方法标定精度不高，从而降低了全景环视系统的性能；有的标定执行效率太低，从而不适用于如流水线等实时性要求较高的场合；而有的标定系统又采用了复杂的辅助设备或设施，从而严重降低了其适用性。经检索，发现如下相关专利文献。相关检索结果1：申请号：201410522884.7公开号：CN104240258A名称：一种基于车联网的全景环视系统标定方法、装置及系统该专利文献公开了一种基于车联网的全景环视系统标定方法、装置及系统，属于汽车电子
该方法包括：车联网终端发送图像采集指令，使得主控制器获取标定工位上待标定车辆配置的多个摄像头采集的畸变图像；车联网终端将所采集的畸变图像，通过网络发送至车联网平台，使得该车联网平台在车辆离开当前工位后，进行标定，获取标定参数，进而使得该主控制器根据标定参数，对该畸变图像进行处理，得到车辆周边全景图像；车联网终端提示驾驶者将车辆开往下一个工位。该专利文献指出其基于车联网，在标定工位只需采集图像、传输图像，在后台进行标定，以节省在标定工位的标定时间，提高车厂的生产效率；节省了现场标定所需的图像传输设备和标定人员，降低了成本。技术要点比较：1.该专利文献基于的标定算法的标定精度较低。2.该专利文献并没有提供本专利技术中的标定结果检验环节。相关检索结果2：申请号：201510278462.4公开号：CN104851076A名称：用于商用车的全景环视泊车辅助系统及摄像头安装方法该专利文献提供一种用于商用车的全景环视泊车辅助系统及泊车方法，包括方位视场角至少为180度的鱼眼摄像头、数据采集处理器、存储器和显示器，鱼眼摄像头采集的视频画面经数据采集处理器进行处理得到商用车及其感兴趣区域的图像存入存储器并通过显示器显示。该专利文献通过首次标定后将全景图中所有像素点与摄像头原始位置中对应像素坐标建立一一对应的映射关系存储于系统的存储单元中，当一帧图像采集后，系统可根据先前在存储单元中生成的数据，由控制单元快速生成全景图，最后通过对拼接后的全景图进行加权平均融合后并显示在屏幕上，为商用车的泊车提供全景环视效果较好的辅助工具，并且可以大大缩短系统的处理时间，满足系统实时性的要求。技术要点比较：1、该专利文献中主要描述了全景环视系统，标定只是其中的一个采用传统技术的子装置，而并没有如本专利技术提供的优化的、具体实用的标定系统。
技术实现思路
针对现有技术中的缺陷，本专利技术的目的是提供一种车载全景环视的标定系统及方法。根据本专利技术提供的一种车载全景环视的标定系统，包括如下装置：特征物提取装置：用于从全景环视系统采集的图像中提取出包含有特征物的图像，记为特征物图像；特征参数提取装置：用于从所述特征物图像中提取出特征物有用信息；标定参数优化装置：用于根据所述特征物有用信息，对标定参数进行优化；标定结果检验装置：用于检验标定结果的准确性，其中，所述标定结果是指经过优化得到的标定参数。优选地，所述标定参数，包括如下任一种或任多种位姿关系：-全景环视系统中相机与相机之间的位姿关系；-车辆与全景环视系统中相机之间的位姿关系。优选地，所述标定参数优化装置，包括如下装置：优化修正装置：用于根据所述特征物有用信息、预先已知的特征物上的实际有用信息，对标定参数进行优化修正。优选地，所述特征物有用信息，包括图像特征点在全景环视系统采集的图像中的位置，其中，所述图像特征点是指特征物图像中特征物的特征点；所述实际有用信息，包括实际特征点在全局坐标系中的实际位置，其中，所述实际特征点是指所述预先已知的特征物上的特征点；所述优化修正装置，包括如下装置：优化目标建立装置：建立基于多相机特征投影误差的误差函数，所述误差函数用于表明当前优化结果下的标定误差，其中，所述误差函数为：其中，m表示全景环视系统中相机的总数，n表示特征物的特征点的总数，pki表示第i个图像特征点在第k个相机中的投影位置，Kk表示第k个相机投影矩阵，Pi表示第i个实际特征点在全局坐标系中的三维坐标，函数D(*,*)表示图像空间中的欧氏距离；目标优化装置：用于最小化特征物的全部特征点在全景环视系统全部采集的图像中的重投影误差的过程，即：优选地，所述标定结果检验装置，包括如下装置：拼接检验装置：用于将全景环视系统采集的图像进行拼接得到全景图像，检验预定的直线在全景图像中的错位程度；若错位程度大于设定的阈值，则认为标定结果的准确性为不准确，否则，则认为标定结果的准确性为准确。根据本专利技术提供的一种车载全景环视的标定方法，包括如下步骤：特征物提取步骤：从全景环视方法采集的图像中提取出包含有特征物的图像，记为特征物图像；特征参数提取步骤：从所述特征物图像中提取出特征物有用信息；标定参数优化步骤：根据所述特征物有用信息，对标定参数进行优化；标定结果检验步骤：检验标定结果的准确性，其中，所述标定结果是指经过优化得到的标定参数。优选地，所述标定参数，包括如下任一种或任多种位姿关系：-全景环视方法中相机与相机之间的位姿关系；-车辆与全景环视方法中相机之间的位姿关系。优选地，所述标定参数优化步骤，包括如下步骤：优化修正步骤：根据所述特征物有用信息、预先已知的特征物上的实际有用信息，对标定参数进行优化修正。优选地，所述特征物有用信息，包括图像特征点在全景环视方法采集的图像中的位置，其中，所述图像特征点是指特征物图像中特征物的特征点；所述实际有用信息，包括实际特征点在全局坐标系中的实际位置，其中，所述实际特征点是指所述预先已知的特征物上的特征点；所述优化修正步骤，包括如下步骤：优化目标建立步骤：建立基于多相机特征投影误差的误差函数，所述误差函数表明当前优化结果下的标定误差，其中，所述误差函数为：其中，m表示全景环视方法中相机的总数，n表示特征物的特征点的总数，pki表示第i个图像特征点在第k个相机中的投影位置，Kk表示第k个相机投影矩阵，Pi表示第i个实际特征点在全局坐标系中的三维坐标，函数D(*,*)表示图像空间中的欧氏距离；目标优化步骤：最小化特征物的全部特征点在全景环视方法全部采集的图像中的重投影误差的过程，即：优选地，所述标定结果检验步骤，包括如下步骤：拼接检验步骤：将全景环视方法采集的图像进行拼接得到全景图像，检验预定的直线在全景图像中的错位程度；若错位程度大于设定的阈值，则认为标定本文档来自技高网...

【技术保护点】
1.一种车载全景环视的标定系统，其特征在于，包括如下装置：特征物提取装置：用于从全景环视系统采集的图像中提取出包含有特征物的图像，记为特征物图像；特征参数提取装置：用于从所述特征物图像中提取出特征物有用信息；标定参数优化装置：用于根据所述特征物有用信息，对标定参数进行优化；标定结果检验装置：用于检验标定结果的准确性，其中，所述标定结果是指经过优化得到的标定参数；所述标定参数优化装置，包括如下装置：优化修正装置：用于根据所述特征物有用信息、预先已知的特征物上的实际有用信息，对标定参数进行优化修正；所述特征物有用信息，包括图像特征点在全景环视系统采集的图像中的位置，其中，所述图像特征点是指特征物图像中特征物的特征点；所述实际有用信息，包括实际特征点在全局坐标系中的实际位置，其中，所述实际特征点是指预先已知的特征物上的特征点；所述优化修正装置，包括如下装置：优化目标建立装置：建立基于多相机特征投影误差的误差函数，所述误差函数用于表明当前优化结果下的标定误差，其中，所述误差函数为：

【技术特征摘要】
1.一种车载全景环视的标定系统，其特征在于，包括如下装置：特征物提取装置：用于从全景环视系统采集的图像中提取出包含有特征物的图像，记为特征物图像；特征参数提取装置：用于从所述特征物图像中提取出特征物有用信息；标定参数优化装置：用于根据所述特征物有用信息，对标定参数进行优化；标定结果检验装置：用于检验标定结果的准确性，其中，所述标定结果是指经过优化得到的标定参数；所述标定参数优化装置，包括如下装置：优化修正装置：用于根据所述特征物有用信息、预先已知的特征物上的实际有用信息，对标定参数进行优化修正；所述特征物有用信息，包括图像特征点在全景环视系统采集的图像中的位置，其中，所述图像特征点是指特征物图像中特征物的特征点；所述实际有用信息，包括实际特征点在全局坐标系中的实际位置，其中，所述实际特征点是指预先已知的特征物上的特征点；所述优化修正装置，包括如下装置：优化目标建立装置：建立基于多相机特征投影误差的误差函数，所述误差函数用于表明当前优化结果下的标定误差，其中，所述误差函数为：其中，m表示全景环视系统中相机的总数，n表示特征物的特征点的总数，pki表示第i个图像特征点在第k个相机中的投影位置，Kk表示第k个相机投影矩阵，Pi表示第i个实际特征点在全局坐标系中的三维坐标，函数D(*,*)表示图像空间中的欧氏距离；目标优化装置：用于最小化特征物的全部特征点在全景环视系统全部采集的图像中的重投影误差，即：2.根据权利要求1所述的车载全景环视的标定系统，其特征在于，所述标定参数，包括如下任一种或任多种位姿关系：-全景环视系统中相机与相机之间的位姿关系；-车辆与全景环视系统中相机之间的位姿关系。3.根据权利要求1所述的车载全景环视的标定系统，其特征在于，所述标定结果检验装置，包括如下装置：拼接检验装置：用于将全景环视系统采集的图像进行拼接得到全景图像，检验预定的直线在全景图像中的错位程度；若错位程度大于设定的阈值，则认为标定结果的准确性为不准确，否则，则认为标定结果...

【专利技术属性】
技术研发人员：蒋如意，段勃勃，马光林，于萌萌，
申请(专利权)人：上海欧菲智能车联科技有限公司，
类型：发明
国别省市：上海,31