一种拖挂车图像的全景拼接方法及系统技术方案

本发明专利技术提供的拖挂车图像的全景拼接方法及系统，涉及图像处理技术领域，通过第一车载设备实时接收设置于车厢左方的相机发送的第一图像数据、设置于车厢右方的相机发送的第二图像数据及设置于车厢后方的相机发送的第三图像数据，利用opencv算法分别对第一图像数据、第二图像数据及第三图像数据进行分析，得到相机的内参、外参及畸变参数，利用尺度不变算法分别获取第七图像数据、第八图像数据及第九图像数据的特征点，得到特征点集合，根据特征点集合对第一图像数据、第二图像数据及第三图像数据进行拼接，生成第一拼接图像，利用H.264算法，实现了拖挂车图像的全景拼接，提高了驾驶员驾驶拖挂车的安全性。

A Panoramic Mosaic Method and System for Trailer Image

The panoramic mosaic method and system of the trailer image provided by the invention relates to the field of image processing technology. The first image data transmitted by the camera set on the left side of the carriage, the second image data transmitted by the camera set on the right side of the carriage and the third image data transmitted by the camera set on the rear side of the carriage are received in real time by the first on-board equipment, and the first image data are respectively transmitted by the camera set on the rear side of the carriage The image data, the second image data and the third image data are analyzed, and the camera's internal parameters, external parameters and distortion parameters are obtained. The feature points of the seventh image data, the eighth image data and the ninth image data are obtained by using the scale invariant algorithm, respectively. The set of feature points is obtained, and the first image data, the second image data and the third image data are mosaic according to the set of feature points. The first stitching image is generated, and the panoramic stitching of the trailer image is realized by H. 264 algorithm, which improves the safety of the driver driving the trailer.

【技术实现步骤摘要】
一种拖挂车图像的全景拼接方法及系统
本专利技术涉及图像处理
，具体涉及一种拖挂车图像的全景拼接方法及系统。
技术介绍
拖挂车一般包括车头和车厢两个部分，目前市面上的360°全景环视系统要求几个摄像头之间保持相对静止状态，拖挂车在正常行驶和转弯过程中，车头和车厢之间的相对位置是时刻在变化的，车头和车厢之间会存在盲区，而这些盲区很难被摄像头获取，这样给驾驶员带来很多不便，和拖挂车一起行驶的车辆及行人都会有很大的风险。
技术实现思路
为解决现有技术的不足，本专利技术实施例提供了一种拖挂车图像的全景拼接方法及系统。第一方面，本专利技术实施例提供了一种拖挂车图像的全景拼接方法，该方法包括以下步骤：Step11、实时接收设置于车厢左方的相机发送的第一图像数据、设置于车厢右方的相机发送的第二图像数据及设置于车厢后方的相机发送的第三图像数据；Step12、利用opencv算法分别对所述第一图像数据、所述第二图像数据及所述第三图像数据进行分析，得到所述相机的内参、外参及畸变参数；Step13、根据所述畸变参数及线性插值算法，分别对所述第一图像数据、所述第二图像数据及所述第三图像数据进行校正，生成第四图像数据、第五图像数据及第六图像数据；Step14、根据所述内参及所述外参，建立世界坐标系及图像坐标系，对所述世界坐标系及图像坐标系做投影变换，得到透视变换参数；Step15、根据所述透视变换参数，分别对所述第四图像数据、所述第五图像数据及所述第六图像数据做透视变换，生成第七图像数据、第八图像数据及第九图像数据；Step16、利用尺度不变算法分别获取所述第七图像数据、所述第八图像数据及所述第九图像数据的特征点，得到特征点集合，根据所述特征点集合对所述第一图像数据、所述第二图像数据及所述第三图像数据进行拼接，生成第一拼接图像，其中，所述第一拼接图像为270°全息图像；Step17、利用H.264算法，对所述第一拼接图像进行编码后，将所述第一拼接图像发送至设置于拖挂车车厢头的第二车载设备。进一步地，所述方法还包括：实时接收设置于拖挂车车厢内的第一角速度传感器发送的车厢运动方向数据并将所述车厢运动数据发送至设置于拖挂车车厢头的第二车载设备，其中，所述车厢运动数据包括车厢的运动方向、速度及所在位置。第二方面，本专利技术实施例提供了另一种拖挂车图像的全景拼接方法，该方法包括以下步骤：Step21、实时接收设置于车头左方的相机发送的第十图像数据、设置于车头右方的相机发送的第十一图像数据及设置于车头前方的相机发送的第十二图像数据；Step22、利用opencv算法分别对所述第十图像数据、所述第十一图像数据及所述第十二图像数据进行分析，得到所述相机的内参、外参及畸变参数；Step23、根据所述畸变参数及线性插值算法，分别对所述第十图像数据、所述第十一图像数据及所述第十二图像数据进行校正，生成第十三图像数据、第十四图像数据及第十五图像数据；Step24、根据所述内参及所述外参，建立世界坐标系及图像坐标系，对所述世界坐标系及图像坐标系做投影变换，得到透视变换参数；Step25、根据所述透视变换参数，分别对所述第十三图像数据、所述第十四图像数据及所述第十五图像数据做透视变换，生成第十六图像数据、第十七图像数据及第十八图像数据；Step26、利用尺度不变算法分别获取所述第十六图像数据、所述第十七图像数据及所述第十八图像数据的特征点，得到特征点集合，根据所述特征点集合对所述第十六图像数据、所述第十七图像数据及所述第十八图像数据进行拼接，生成第二拼接图像，其中，所述第二拼接图像为270°全息图像；Step27、接收设置于拖挂车车厢内的第一车载设备发送的第一拼接图像并利用H.264算法对所述第一拼接图像进行解码；Step28、利用图像融合技术，将所述第一拼接图像及所述第二拼接图像进行拼接并融合，生成360°全景图像；Step29、利用opengles纹理映射技术显示所述360°全景图像。进一步地，所述方法还包括：实时接收所述第一车载设备发送的车厢运动数据及设置于拖挂车车头内的第二角速度传感器发送的车头运动数据，其中，所述车头运动数据包括车头的运动方向、速度及所在位置；根据所述车厢运动方向数据及所述车头运动方向数据，实时计算所述车头与所述车厢之间的角度，生成角度差数据。进一步地，所述方法还包括：利用图像融合技术，将所述角度差数据、所述第一拼接图像及所述第二拼接图像进行融合，生成360°全景图像。第三方面，本专利技术实施例提供了一种拖挂车图像的全景拼接系统，该系统包括：第一接收模块，用于实时接收设置于车厢左方的相机发送的第一图像数据、设置于车厢右方的相机发送的第二图像数据及设置于车厢后方的相机发送的第三图像数据；第一分析模块，用于利用opencv算法分别对所述第一图像数据、所述第二图像数据及所述第三图像数据进行分析，得到所述相机的内参、外参及畸变参数；第一校正模块，用于根据所述畸变参数及线性插值算法，分别对所述第一图像数据、所述第二图像数据及所述第三图像数据进行校正，生成第四图像数据、第五图像数据及第六图像数据；第一建立模块，用于根据所述内参及所述外参，建立世界坐标系及图像坐标系，对所述世界坐标系及图像坐标系做投影变换，得到透视变换参数；第一变换模块，用于根据所述透视变换参数，分别对所述第四图像数据、所述第五图像数据及所述第六图像数据做透视变换，生成第七图像数据、第八图像数据及第九图像数据；第一拼接模块，用于利用尺度不变算法分别获取所述第七图像数据、所述第八图像数据及所述第九图像数据的特征点，得到特征点集合，根据所述特征点集合对所述第一图像数据、所述第二图像数据及所述第三图像数据进行拼接，生成第一拼接图像，其中，所述第一拼接图像为270°全息图像；发送模块，用于利用H.264算法，对所述第一拼接图像进行编码后，将所述第一拼接图像发送至设置于拖挂车车厢头的第二车载设备。进一步地，所述第一接收模块还用于：实时接收设置于拖挂车车厢内的第一角速度传感器发送的车厢运动方向数据并将所述车厢运动数据发送至设置于拖挂车车厢头的第二车载设备，其中，所述车厢运动数据包括车厢的运动方向、速度及所在位置。第四方面，本专利技术实施例提供了另一种拖挂车图像的全景拼接系统，该系统包括：第二接收模块，用于实时接收设置于车头左方的相机发送的第十图像数据、设置于车头右方的相机发送的第十一图像数据及设置于车头前方的相机发送的第十二图像数据；第二分析模块，用于利用opencv算法分别对所述第十图像数据、所述第十一图像数据及所述第十二图像数据进行分析，得到所述相机的内参、外参及畸变参数；第二校正模块，用于根据所述畸变参数及线性插值算法，分别对所述第十图像数据、所述第十一图像数据及所述第十二图像数据进行校正，生成第十三图像数据、第十四图像数据及第十五图像数据；第二建立模块，用于所述内参及所述外参，建立世界坐标系及图像坐标系，对所述世界坐标系及图像坐标系做投影变换，得到透视变换参数；第二变换模块，用于根据所述透视变换参数，分别对所述第十三图像数据、所述第十四图像数据及所述第十五图像数据做透视变换，生成第十六图像数据、第十七图像数据及第十八图像数据；第二拼接模块，用于利用尺度不变算法分别获取所述第十六图像数据、所本文档来自技高网...

【技术保护点】
1.一种拖挂车图像的全景拼接方法，适用于设置于拖挂车车厢内的第一车载设备，其特征在于，包括：Step11、实时接收设置于车厢左方的相机发送的第一图像数据、设置于车厢右方的相机发送的第二图像数据及设置于车厢后方的相机发送的第三图像数据；Step12、利用opencv算法分别对所述第一图像数据、所述第二图像数据及所述第三图像数据进行分析，得到所述相机的内参、外参及畸变参数；Step13、根据所述畸变参数及线性插值算法，分别对所述第一图像数据、所述第二图像数据及所述第三图像数据进行校正，生成第四图像数据、第五图像数据及第六图像数据；Step14、根据所述内参及所述外参，建立世界坐标系及图像坐标系，对所述世界坐标系及图像坐标系做投影变换，得到透视变换参数；Step15、根据所述透视变换参数，分别对所述第四图像数据、所述第五图像数据及所述第六图像数据做透视变换，生成第七图像数据、第八图像数据及第九图像数据；Step16、利用尺度不变算法分别获取所述第七图像数据、所述第八图像数据及所述第九图像数据的特征点，得到特征点集合，根据所述特征点集合对所述第一图像数据、所述第二图像数据及所述第三图像数据进行拼接，生成第一拼接图像，其中，所述第一拼接图像为270°全息图像；Step17、利用H.264算法，对所述第一拼接图像进行编码后，将所述第一拼接图像发送至设置于拖挂车车厢头的第二车载设备。...

【技术特征摘要】
1.一种拖挂车图像的全景拼接方法，适用于设置于拖挂车车厢内的第一车载设备，其特征在于，包括：Step11、实时接收设置于车厢左方的相机发送的第一图像数据、设置于车厢右方的相机发送的第二图像数据及设置于车厢后方的相机发送的第三图像数据；Step12、利用opencv算法分别对所述第一图像数据、所述第二图像数据及所述第三图像数据进行分析，得到所述相机的内参、外参及畸变参数；Step13、根据所述畸变参数及线性插值算法，分别对所述第一图像数据、所述第二图像数据及所述第三图像数据进行校正，生成第四图像数据、第五图像数据及第六图像数据；Step14、根据所述内参及所述外参，建立世界坐标系及图像坐标系，对所述世界坐标系及图像坐标系做投影变换，得到透视变换参数；Step15、根据所述透视变换参数，分别对所述第四图像数据、所述第五图像数据及所述第六图像数据做透视变换，生成第七图像数据、第八图像数据及第九图像数据；Step16、利用尺度不变算法分别获取所述第七图像数据、所述第八图像数据及所述第九图像数据的特征点，得到特征点集合，根据所述特征点集合对所述第一图像数据、所述第二图像数据及所述第三图像数据进行拼接，生成第一拼接图像，其中，所述第一拼接图像为270°全息图像；Step17、利用H.264算法，对所述第一拼接图像进行编码后，将所述第一拼接图像发送至设置于拖挂车车厢头的第二车载设备。2.根据权利要求1所述的全景拼接方法，其特征在于，所述方法还包括：实时接收设置于拖挂车车厢内的第一角速度传感器发送的车厢运动方向数据并将所述车厢运动数据发送至设置于拖挂车车厢头的第二车载设备，其中，所述车厢运动数据包括车厢的运动方向、速度及所在位置。3.一种拖挂车图像的全景拼接方法，适用于设置于拖挂车车厢头的第二车载设备，其特征在于，包括：Step21、实时接收设置于车头左方的相机发送的第十图像数据、设置于车头右方的相机发送的第十一图像数据及设置于车头前方的相机发送的第十二图像数据；Step22、利用opencv算法分别对所述第十图像数据、所述第十一图像数据及所述第十二图像数据进行分析，得到所述相机的内参、外参及畸变参数；Step23、根据所述畸变参数及线性插值算法，分别对所述第十图像数据、所述第十一图像数据及所述第十二图像数据进行校正，生成第十三图像数据、第十四图像数据及第十五图像数据；Step24、根据所述内参及所述外参，建立世界坐标系及图像坐标系，对所述世界坐标系及图像坐标系做投影变换，得到透视变换参数；Step25、根据所述透视变换参数，分别对所述第十三图像数据、所述第十四图像数据及所述第十五图像数据做透视变换，生成第十六图像数据、第十七图像数据及第十八图像数据；Step26、利用尺度不变算法分别获取所述第十六图像数据、所述第十七图像数据及所述第十八图像数据的特征点，得到特征点集合，根据所述特征点集合对所述第十六图像数据、所述第十七图像数据及所述第十八图像数据进行拼接，生成第二拼接图像，其中，所述第二拼接图像为270°全息图像；Step27、接收设置于拖挂车车厢内的第一车载设备发送的第一拼接图像并利用H.264算法对所述第一拼接图像进行解码；Step28、利用图像融合技术，将所述第一拼接图像及所述第二拼接图像进行融合，生成360°全景图像；Step29、利用opengles纹理映射技术显示所述360°全景图像。4.根据权利要求3所述的全景拼接方法，其特征在于，所述方法还包括：实时接收所述第一车载设备发送的车厢运动数据及设置于拖挂车车头内的第二角速度传感器发送的车头运动数据，其中，所述车头运动数据包括车头的运动方向、速度及所在位置；根据所述车厢运动方向数据及所述车头运动方向数据，实时计算所述车头与所述车厢之间的角度，生成角度差数据。5.根据权利要求4所述的全景拼接方法，其特征在于，所述方法还包括：利用图像融合技术，将所述角度差数据、所述第一拼接图像及所述第二拼接图像进行拼接并融合，生成360°全景图像。6.一种拖挂车图像的全景拼接系统，适用...

【专利技术属性】
技术研发人员：冯洋，王涛涛，张亚彬，严肃，石振恒，魏衍伟，
申请(专利权)人：北京大椽科技有限公司，
类型：发明
国别省市：北京,11