一种基于单目摄像头的全景成像系统及其成像方法技术方案

本发明专利技术公开了汽车电子技术领域内的一种基于单目摄像头的全景成像系统及其成像方法，全景成像系统包括图像获取装置，图像获取装置与图像转换装置相连，图像转换装置与图像处理装置相连，图像处理装置与图像显示装置相连，图像存储装置与图像处理装置相连，车辆检测装置与图像处理装置相连，所述成像方法包括以下步骤：1）通过鱼眼摄像头采集车辆尾部的鱼眼图像；2）将采集到的鱼眼图像转换成反投影鸟瞰图像；3）获取图像转换装置中的鸟瞰图像，并将当前帧的图像与图像存储装置中的全局图像进行融合，并发送给图像显示装置进行显示，本发明专利技术通过融合单目倒车摄像头的当前图像和全局图像生成全景影像，降低生成成本，提高运行效率，可用于车辆中。

【技术实现步骤摘要】
一种基于单目摄像头的全景成像系统及其成像方法
本专利技术涉及一种成像系统，特别涉及一种车载成像系统。
技术介绍
近年来，全景影像技术在汽车辅助驾驶领域逐渐普及，利用车载摄像头，进行图像拼接，生成全景倒车影像可以消除盲区，减少汽车事故，极大地提升了行车安全。现有的多摄像头全景影像技术主要存在以下缺点：(1)采用4目摄像头的全景影像监控系统(AVM)系统成本较为昂贵。(2)对采集的图像进行处理需要使用到汽车电子控制单元(ECU)的高级功能，运行效率较低。采用单目摄像头的影像技术得到的监控范围较小，只能检测车尾影像，且存在一定的盲区，导致驾驶员在判断两辆车之间停车位距离是存在较大的困难，不能正确进入车位。
技术实现思路
本专利技术的目的是提供一种基于单目摄像头的全景成像系统及其成像方法，降低成本，提高运行效率。本专利技术的目的是这样实现的：一种基于单目摄像头的全景成像系统及其成像方法，所述全景成像系统包括：图像获取装置，安装在车辆后方用于获取车辆后方的图像；图像转换装置，用于将图像获取装置获取的鱼眼图像转换为鸟瞰图像，并传输给图像处理装置；图像处理装置，将图像存储装置中的全局图像与获取的当前帧的鸟瞰图像进行合成，对全局图像进行更新，更新后的全局图像视野范围包括当前帧图像获取视野范围和未更新的全局图像视野范围；图像存储装置，用于存储全局图像信息；图像显示装置，用于显示全景图像、倒车图像；车辆状态检测装置，用于检测当前车辆的行驶状态；所述图像获取装置与图像转换装置相连，所述图像转换装置与图像处理装置相连，所述图像处理装置与图像显示装置相连，所述图像存储装置与图像处理装置相连，所述车辆检测装置与图像处理装置相连；所述成像方法包括以下步骤：1)图像采集：图像获取装置通过鱼眼摄像头采集车辆尾部的鱼眼图像，并将鱼眼图像发送给图像转换装置；2)图像转换：车辆状态检测装置检测到车辆运行状态改变或系统被手动开启，车辆状态检测装置发送信息给图像转换装置，图像转换装置将采集到的鱼眼图像转换成反投影鸟瞰图像；3)图像处理：图像处理装置获取图像转换装置中的鸟瞰图像，并将当前帧的图像与图像存储装置中的全局图像进行融合，并发送给图像显示装置进行显示。作为本专利技术的进一步限定，初始状态时，所述图像存储装置内存储的全局图像为空的图像，所述图像处理装置将图像转换装置转换的首次帧图像作为图像存储装置内的初始全局图像，正常状态时，所述图像处理装置利用图像转换装置获取的当前帧图像对存储装置内全局图像进行合成更新，从而得到当前帧的全景图像，并将该全景图像显示在图像显示装置上。作为本专利技术的进一步限定，所述图像处理装置依据特征信息融合当前帧鸟瞰图像和全局图像，运用当前帧图像补充并更新全局图像中的信息，所述图像处理装置还根据实际车辆外观数据建立半透明车辆立体成像单元，并将该单元按照实际位置叠加在输出的全局图像上。作为本专利技术的进一步限定，所述图像存储装置存储全局图像、与全局图像相对应的特征信息以及该特征信息对应图像获取时间。作为本专利技术的进一步限定，所述车辆状态检测装置检测当前车辆运行状态，根据车辆状态启动、关闭全景图像和倒车系统。作为本专利技术的进一步限定，所述图像获取装置还可获取车辆底部图像信息。作为本专利技术的进一步限定，步骤2)中图像转换的具体方法为：图像转换装置离线标定获取鱼眼摄像头内参f’x、u’0、v’0、k1、k2、k3、k4，其中f’x为归一化焦距，u’0和v’0为摄像机光心，k1、k2、k3、k4为权重参数，以上参数通过标定程序计算得出，则鱼眼图像和鸟瞰图像之间像素点的关系可以表示为：其中F是一个非线性变换，m’为鱼眼图像中的坐标，m为转换到鸟瞰图的坐标，d为摄像机所在平面的法向量之间的距离，公式(1)可转化成运算公式(2)：其中f’x和f’y为摄像头的x和y方向上的焦距，u’0和v’0为摄像头光心偏移，是虚拟摄像机坐标，是计算出的畸变系数参数，n为地面摄像机坐标，θ＝arctan(r)，为虚拟摄像机内参数，其中R和t分别是虚拟摄像机在原摄像机坐标系下的旋转矩阵和平移向量，x”,y”,z”为获取图像和地平线交点，x’,y’,z’为鸟瞰图上的坐标，r(θ)为通过r计算出的畸变系数。。作为本专利技术的进一步限定，步骤3)中图像处理的具体步骤如下：S1图像处理装置获取图像转换装置中的当前帧鸟瞰图像，并利用SIFT算法提取该图像的特征信息，将该特征信息和时间信息进行关联；S2读取存储装置中的全局信息，该全局信息包括时间信息、特征信息以及图像信息；S3-1若存储装置中不存在全局信息，则将当前帧鸟瞰图像输出到图像显示装置并将该鸟瞰图像的图像信息、时间信息以及与时间相关的特征信息存储到存储装置中；S3-2若存储装置中存在全局信息，采用RANSAC算法将该全局信息中的特征信息与当前鸟瞰图像的特征信息进行特征匹配并进行合并，对应的图像信息也进行合并得到更新后的全局图像，最后将更新后的全局信息显示在图像显示装置上；图像信息合并的具体方法为：使用变换矩阵计算两幅图像之间的重叠区域，所述变换矩阵由RANSAC算法可以获得，其公式如下：其中，(x,y)为全局图像内坐标，(x',y')为当前图像内和全局图像匹配像素坐标，为仿射变换矩阵；计算后如果存在重叠区域，则对两幅图像采取加权平均的图像融合方法，假设当前图像为ft，需要更新的存储设备中的全局图像为Fn-1，则融合后的图像可以表示为：Fn(x,y)＝(ω1(x,y)ft(x,y)+ω2(x,y)Fn-1(x,y))/(ω1(x,y)+ω2(x,y))(4)其中ft为当前帧图像，Fn-1为之前的全局图像，ω1和ω2为融合权重，Fn为更新后的全局图像；S4经过更新后的将图像保存到图像存储设备，并将其显示在图像显示装置上。作为本专利技术的进一步限定，全局信息的更新包括：图像信息更新：a)时间更新：检测更新后的全局图像在特征点对应时间，若该图像区域获取时间t和当前时间T，存在T-t＞σ关系，则删除该区域图像；b)图像更新：全局图像存在一个固定的大小，且该全局图的中心点为车辆尾部摄像头，当存储的全局图像大小超出设定的区域，就删除该区域的图像和特征值；c)特征信息更新：更新后的特征信息为：其中，Δt＝T-t为时间差，σ为设定的时间阈值，X,Y为设定区域边缘坐标，(x,y)为全局图像内坐标，st(x,y)为特征点坐标，通过该函数对坐标点进行匹配。与现有技术相比，本专利技术的有益效果在于：1.采用单目摄像头，原有仅能提供倒车影像的倒车摄像头的基础上，利用当前帧图像更新全局图像生成全景影像的监控系统，实现了需要4个摄像头才能生成全景影像驾驶辅助系统的功能，同时降低了生产成本。2.存储装置中之存储全局图像和与全局图像相对应的特征信息以及时间信息，减少了存储空间。3.采用当前帧对全局图像进行更新，提高了运行效率。4.利用该系统不仅可以显示车辆周边影像还可以显示车辆下方影像；工作时，本专利技术通过将鱼眼图像转换成鸟瞰图像，使得倒车过程更加鲜明，驾驶人员操作更加方便，更加安全，利用特定的算法对图像进行转换，使得转换的效率更高，转换后的图像精度更高；同时，通过对全局信息的更新融合，进一步降低了驾驶人员倒车时的难度，使得驾驶人员操作更加方便，利用本专利技术的算法对图像进行融合，本文档来自技高网...

【技术保护点】
一种基于单目摄像头的全景成像系统，其特征在于，包括：图像获取装置，安装在车辆后方用于获取车辆后方的图像；图像转换装置，用于将图像获取装置获取的鱼眼图像转换为鸟瞰图像，并传输给图像处理装置；图像处理装置，将存储装置中的全局图像与获取的当前帧的鸟瞰图像进行合成，对全局图像进行更新，更新后的全局图像视野范围包括当前帧图像获取视野范围和未更新的全局图像视野范围；图像存储装置，用于存储全局图像信息；图像显示装置，用于显示全景图像、倒车图像；车辆状态检测装置，用于检测当前车辆的行驶状态；所述图像获取装置与图像转换装置相连，所述图像转换装置与图像处理装置相连，所述图像处理装置与图像显示装置相连，所述图像存储装置与图像处理装置相连，所述车辆检测装置与图像处理装置相连。

【技术特征摘要】
1.一种基于单目摄像头的全景成像方法，其采用的全景成像系统包括：图像获取装置，安装在车辆后方用于获取车辆后方的图像；图像转换装置，用于将图像获取装置获取的鱼眼图像转换为鸟瞰图像，并传输给图像处理装置；图像处理装置，将图像存储装置中的全局图像与获取的当前帧的鸟瞰图像进行合成，对全局图像进行更新，更新后的全局图像视野范围包括当前帧图像获取视野范围和未更新的全局图像视野范围；图像存储装置，用于存储全局图像信息；图像显示装置，用于显示全景图像、倒车图像；车辆状态检测装置，用于检测当前车辆的行驶状态；所述图像获取装置与图像转换装置相连，所述图像转换装置与图像处理装置相连，所述图像处理装置与图像显示装置相连，所述图像存储装置与图像处理装置相连，所述车辆检测装置与图像处理装置相连，其特征在于，成像方法包括以下步骤：1)图像采集：图像获取装置通过鱼眼摄像头采集车辆尾部的鱼眼图像，并将鱼眼图像发送给图像转换装置；2)图像转换：车辆状态检测装置检测到车辆运行状态改变或系统被手动开启，车辆状态检测装置发送信息给图像转换装置，图像转换装置将采集到的鱼眼图像转换成反投影鸟瞰图像，图像转换的具体方法为：图像转换装置离线标定获取鱼眼摄像头内参f’x、u’0、v’0、k1、k2、k3、k4，其中f’x为归一化焦距，u’0和v’0为摄像机光心，k1、k2、k3、k4为权重参数，以上参数通过标定程序计算得出，则鱼眼图像和鸟瞰图像之间像素点的关系可以表示为：其中F是一个非线性变换，m’为鱼眼图中的坐标，m为转换到鸟瞰图的坐标，d为摄像机所在平面的法向量之间的距离，公式(1)可转化成运算公式(2)：其中f’x和f’y为摄像头的x和y方向上的焦距，是虚拟摄像机坐标，是计算出的畸变系数参数，n为地面摄像机坐标，θ＝arctan(r)，为虚拟摄像机内参数，其中R和t分别是虚拟摄像机在原摄像机坐标系下的旋转矩阵和平移向量，x”,y”,z”为获取图像和地平线交点，x’,y’,z’为鸟瞰图上的坐标，r(θ)为通过r计算出的畸变系数；3)图像处理：图像处理装置获取图像转换装置中的鸟瞰图像，并将当前帧的图像与图像存储装置中的全局图像进行融合，并发送给图像显示装置进行显示。...

【专利技术属性】
技术研发人员：杨力，曹腾，许勤军，姚凯，
申请(专利权)人：扬州航盛科技有限公司，
类型：发明
国别省市：江苏;32