基于单摄像头的360度全景倒车影像生成方法技术

本发明专利技术公开了一种基于单摄像头的360度全景倒车影像生成方法，通过在汽车尾部安装单个摄像头对车后方实时画面进行接收；利用汽车CAN总线协议获得的汽车实时车速以及方向盘旋转角信息，计算旋转中心以及前一时刻图像相对于当前时刻图像的旋转角度；对前一时刻图像进行旋转并与当前时刻图像进行拼接，生成360度全景倒车影像。在汽车倒车的过程中，不断在显示屏显示生成的360度全景倒车影像，可将汽车倒车过程中的静态环境以及实时拍摄到的车后方动态信息反馈给驾驶员，帮助驾驶员在倒车过程中有效避开不同时刻出现在视野盲区的障碍物，辅助驾驶者安全倒车。本发明专利技术在有效节省成本的基础上，既能观察车后方实时画面信息，又能观察车侧盲区静态障碍物信息。

A 360 degree panoramic reverse image generation method based on single camera

The invention discloses a 360 degree panoramic image generation method for reversing camera based on single camera to receive through the installation of the rear of the vehicle real-time screen in the rear of the car; using the CAN bus protocol in real-time auto speed and steering wheel angle information, calculate the center of rotation and rotation angle relative to the current image of a moment ago the image of a moment ago; the image rotation and current image stitching, generating 360 degree panoramic reverse image. In the process of auto reversing, constantly display 360 degree panoramic image generation can be reversing, car reversing static environment in the process and the rear of the vehicle real-time dynamic information captured by the feedback to the driver, to help the driver in reversing the process to avoid obstacles appear in different time in blind vision, assist the driver safety reversing. On the basis of effective cost saving, the invention can not only observe the real-time picture information in the rear of the car, but also observe the static obstacle information of the blind area of the car side.

【技术实现步骤摘要】
基于单摄像头的360度全景倒车影像生成方法
本专利技术涉及图像处理
，具体涉及一种基于单摄像头的360度全景倒车影像生成方法。
技术介绍
随着我国居民消费能力的提升以及汽车的普及，越来越多人选择购买汽车作为代步工具。由于传统汽车无可避免存在视野盲区的问题，而且许多停车位越来越狭窄，泊车成为许多“有车一族”、特别是驾驶新手最烦恼的事。如果操作不当，在倒车的过程中很容易无法倒进停车位，或者与障碍物发生刮碰，更为严重的是有可能撞伤在视野盲区的小孩。因此，一项能够让驾驶者在倒车过程中实时观察视野盲区情况的技术十分有必要。针对传统汽车普遍存在视野盲区的问题，目前市场上的应对方式主要有三种：1.在汽车尾部安装多个超声波传感器，通过显示器或蜂鸣器向驾驶者反馈后方是否存在障碍物以及障碍物的距离；2.在汽车尾部安装一个广角摄像头，并将实时拍摄到的图像通过车内显示器反馈给驾驶者；3.在汽车前后左右各安装一个广角摄像头，将四个摄像头拍摄到的实时图像拼接成360度全景图像，并通过车内显示器反馈给驾驶者。目前，市场上常见的三种辅助驾驶者泊车的系统，都存在一定的技术缺点：1.仅通过超声波传感器无法让驾驶者直观知道后方障碍物的类型以及大小；2.在车后方安装一个摄像头的方案，仅能让驾驶者看到车后方实时画面，驾驶者无法获知汽车侧后方视野盲区中的静态障碍物位置以及汽车在整个倒车环境中的相对位置；3.在汽车前后左右安装四个广角摄像头的方案，虽然能够有效解决上述问题，但与单个摄像头的方案相比，其使用成本更高，内存资源消耗大。
技术实现思路
有鉴于此，为了解决现有技术中的上述问题，本专利技术提出一种基于单摄像头的360度全景倒车影像生成方法。本专利技术通过以下技术手段解决上述问题：一种基于单摄像头的360度全景倒车影像生成方法，包括如下步骤：S1、摄像机标定：计算摄像机畸变系数；利用标定板标定摄像机内参矩阵和外参矩阵；S2、计算图像像素距离与实际距离的比例；S3、读入汽车模型图片和车轮模型图片；S4、根据摄像机畸变系数、内参矩阵和外参矩阵，将鱼眼图逐帧矫正为俯视图；S5、通过汽车CAN总线协议读入汽车实时方向盘旋转角度信息和实时车速信息；S6、若当前帧为第一帧，填充实时画面外的部分为纯色背景，跳至步骤S16；否则，进入步骤S7；S7、判断当前车速是否为0，若为0，则进入步骤S8；否则，跳至步骤S9；S8、静止图像检测；对前一帧图像和当前帧图像重叠区域进行静止图像检测操作，以匹配汽车实际运动情况；S9、计算旋转中心和旋转角度；S10、根据旋转中心和旋转角度对前一帧画面进行旋转，得到旋转后图像；S11、将当前帧俯视图与步骤S10所得旋转后图像进行加权融合拼接；S12、设定需要警告的距离，根据图像像素距离与实际距离的比例计算出对应的像素坐标，并在输出图像中显示；S13、根据方向盘旋转角度信息对车轮模型进行旋转，并在输出图像中显示；S14、根据旋转角度计算轨迹线坐标信息，并在输出图像中显示；S15、将汽车模型在输出图像中显示，输出效果即为实时360度全景倒车影像；S16、检测视频拍摄是否结束，若是，停止算法；若否，返回步骤S4。进一步地，步骤S1中，计算摄像机畸变系数具体包括：根据摄像机厂家提供的镜头畸变参数表，使用七次多项式Y＝k1θ7+k2θ6+k3θ5+k4θ4+k5θ3+k6θ2+k7θ+k8对参数表中的画角θ和真实图像高度Y进行拟合，拟合出来的多项式系数作为摄像机畸变参数D＝[k1,k2,k3,k4,k5,k6,k7,k8]；利用标定板标定摄像机内参矩阵和外参矩阵具体包括：标定开始前，先将棋盘格铺设在汽车后方地面，标定开始后，先检测中央棋盘格角点并进行第一次标定，得到初步的内参矩阵和外参矩阵；然后根据第一次标定得到的内参矩阵和外参矩阵对摄像机拍摄的原始图像进行矫正；最后检测一次矫正图两侧棋盘格角点，进行第二次标定，得到精确的内参矩阵K和外参矩阵[R,T]；其中，为摄像头内参矩阵，R为旋转矩阵，T为平移向量，cx和cy表示光学中心坐标，设f是摄像机焦距，那么dx为传感器u轴上单位像素的尺寸大小，dy为传感器v轴上单位像素的尺寸大小。进一步地，步骤S2具体包括：提取中央棋盘格中央两列角点坐标(xi,yi)，设N为提取角点的总数，则:相邻角点像素距离此处“相邻”指同一行或同一列，不包括对角线上相邻；平均相邻角点像素距离由于棋盘格由黑白相间、同一大小的正方形组成，设棋盘格正方形边长为a，那么图像像素距离与实际距离的比例进一步地，步骤S4具体包括：S41、设鱼眼图像素坐标为[x2,y2,z2]T，则[x',y',z']T＝R·[x2,y2,z2]T；S42、对z轴进行归一化，得到S43、计算S44、对图像进行畸变矫正：θd＝D·[θ7,θ6,θ5,θ4,θ3,θ2,θ,1]T＝[k1,k2,k3,k4,k5,k6,k7,k8]·[θ7,θ6,θ5,θ4,θ3,θ2,θ,1]T；S45、矫正后图像坐标为：S46、根据步骤S41-S45计算的图像坐标对图像进行插值，得到矫正后俯视图。进一步地，步骤S8具体包括：S81、分别提取前一帧图像和当前帧图像的重叠区域，记为Img1range和Img2range；S82、分别对Img1range和Img2range进行灰度化处理，记为Img1gray和Img2gray；S83、Img3＝Img1gray-Img2gray；S84、对Img3进行二值化处理，二值化处理后矩阵记为Ibinary；S85、若矩阵Ibinary的最大值为0，则认为当前时刻汽车相对于前一时刻静止，跳至步骤S16；否则，赋值车速V为区间(0,1)的任一数值，设V＝0.5，进入步骤S9。进一步地，步骤S9具体包括：S91、计算汽车旋转半径其中AxlesDist为汽车实际轴距；S92、计算汽车旋转角速度S93、计算汽车旋转角度α＝ω·t，其中t为时间间隔；S94、计算旋转中心坐标：ry0＝yc其中，(xc,yc)为摄像机坐标。进一步地，步骤S10具体包括：S101、设旋转前图像坐标为(xbefore,ybefore)，旋转后坐标为(xafter,yafter)，则S102、根据步骤S101计算的旋转后坐标对图像进行插值，得到旋转后图像。进一步地，步骤S11具体包括：S111、将旋转后图像ImgRotate与当前帧俯视图ImgPresent重叠部分进行拷贝，记为ImgROIcopy；S112、对重叠部分进行加权融合，加权融合后图像记为Img，加权融合公式如下：Img(i,j)＝(1-weight)·ImgRorate(i,j)+weight·ImgROIcopy(i,j)其中，(i,j)为图像第i行、第j列坐标，进一步地，S13具体包括：S131、对车轮模型图片进行旋转，设车轮模型图片坐标为(xwheel,ywheel)，则旋转后车轮坐标为(x'wheel,y'wheel)，其中，S132、根据步骤S131计算的旋转后车轮坐标对车轮图像进行插值，并在输出图像指定位置显示，实现动态车轮转动功能。进一步地，步骤S14具体包括：S141、根据车身实际信息以及ratio计算出汽车四个车轮在图像中的坐标；S142、先根据轴距AxlesDist信息计算汽车两本文档来自技高网...

【技术保护点】
一种基于单摄像头的360度全景倒车影像生成方法，其特征在于，包括如下步骤：S1、摄像机标定：计算摄像机畸变系数；利用标定板标定摄像机内参矩阵和外参矩阵；S2、计算图像像素距离与实际距离的比例；S3、读入汽车模型图片和车轮模型图片；S4、根据摄像机畸变系数、内参矩阵和外参矩阵，将鱼眼图逐帧矫正为俯视图；S5、通过汽车CAN总线协议读入汽车实时方向盘旋转角度信息和实时车速信息；S6、若当前帧为第一帧，填充实时画面外的部分为纯色背景，跳至步骤S16；否则，进入步骤S7；S7、判断当前车速是否为0，若为0，则进入步骤S8；否则，跳至步骤S9；S8、静止图像检测；对前一帧图像和当前帧图像重叠区域进行静止图像检测操作，以匹配汽车实际运动情况；S9、计算旋转中心和旋转角度；S10、根据旋转中心和旋转角度对前一帧画面进行旋转，得到旋转后图像；S11、将当前帧俯视图与步骤S10所得旋转后图像进行加权融合拼接；S12、设定需要警告的距离，根据图像像素距离与实际距离的比例计算出对应的像素坐标，并在输出图像中显示；S13、根据方向盘旋转角度信息对车轮模型进行旋转，并在输出图像中显示；S14、根据旋转角度计算轨迹线坐标信息，并在输出图像中显示；S15、将汽车模型在输出图像中显示，输出效果即为实时360度全景倒车影像；S16、检测视频拍摄是否结束，若是，停止算法；若否，返回步骤S4。...

【技术特征摘要】
1.一种基于单摄像头的360度全景倒车影像生成方法，其特征在于，包括如下步骤：S1、摄像机标定：计算摄像机畸变系数；利用标定板标定摄像机内参矩阵和外参矩阵；S2、计算图像像素距离与实际距离的比例；S3、读入汽车模型图片和车轮模型图片；S4、根据摄像机畸变系数、内参矩阵和外参矩阵，将鱼眼图逐帧矫正为俯视图；S5、通过汽车CAN总线协议读入汽车实时方向盘旋转角度信息和实时车速信息；S6、若当前帧为第一帧，填充实时画面外的部分为纯色背景，跳至步骤S16；否则，进入步骤S7；S7、判断当前车速是否为0，若为0，则进入步骤S8；否则，跳至步骤S9；S8、静止图像检测；对前一帧图像和当前帧图像重叠区域进行静止图像检测操作，以匹配汽车实际运动情况；S9、计算旋转中心和旋转角度；S10、根据旋转中心和旋转角度对前一帧画面进行旋转，得到旋转后图像；S11、将当前帧俯视图与步骤S10所得旋转后图像进行加权融合拼接；S12、设定需要警告的距离，根据图像像素距离与实际距离的比例计算出对应的像素坐标，并在输出图像中显示；S13、根据方向盘旋转角度信息对车轮模型进行旋转，并在输出图像中显示；S14、根据旋转角度计算轨迹线坐标信息，并在输出图像中显示；S15、将汽车模型在输出图像中显示，输出效果即为实时360度全景倒车影像；S16、检测视频拍摄是否结束，若是，停止算法；若否，返回步骤S4。2.根据权利要求1所述的基于单摄像头的360度全景倒车影像生成方法，其特征在于，步骤S1中，计算摄像机畸变系数具体包括：根据摄像机厂家提供的镜头畸变参数表，使用七次多项式Y＝k1θ7+k2θ6+k3θ5+k4θ4+k5θ3+k6θ2+k7θ+k8对参数表中的画角θ和真实图像高度Y进行拟合，拟合出来的多项式系数作为摄像机畸变参数D＝[k1,k2,k3,k4,k5,k6,k7,k8]；利用标定板标定摄像机内参矩阵和外参矩阵具体包括：标定开始前，先将棋盘格铺设在汽车后方地面，标定开始后，先检测中央棋盘格角点并进行第一次标定，得到初步的内参矩阵和外参矩阵；然后根据第一次标定得到的内参矩阵和外参矩阵对摄像机拍摄的原始图像进行矫正；最后检测一次矫正图两侧棋盘格角点，进行第二次标定，得到精确的内参矩阵K和外参矩阵[R,T]；其中，为摄像头内参矩阵，R为旋转矩阵，T为平移向量，cx和cy表示光学中心坐标，设f是摄像机焦距，那么dx为传感器u轴上单位像素的尺寸大小，dy为传感器v轴上单位像素的尺寸大小。3.根据权利要求2所述的基于单摄像头的360度全景倒车影像生成方法，其特征在于，步骤S2具体包括：提取中央棋盘格中央两列角点坐标(xi,yi)，设N为提取角点的总数，则:相邻角点像素距离此处“相邻”指同一行或同一列，不包括对角线上相邻；平均相邻角点像素距离由于棋盘格由黑白相间、同一大小的正方形组成，设棋盘格正方形边长为a，那么图像像素距离与实际距离的比例4.根据权利要求3所述的基于单摄像头的360度全景倒车影像生成方法，其特征在于，步骤S4具体包括：S41、设鱼眼图像素坐标为[x2,y2,z2]T，则[x',y',z']T＝R·[x2,y2,z2]T；S42、对z轴进行归一化，得到S43、计算θ＝atan(r)；S44、对图像进行畸变矫正：S45、矫正后图像坐标为：S46、根据步骤S41-S45计算的图像坐标对图像进行插值，得到矫正后俯视图。5.根据权利要求4所述的基于单摄...

【专利技术属性】
技术研发人员：吕子锋，李彦志，吴龙挑，
申请(专利权)人：广州市安晓科技有限责任公司，
类型：发明
国别省市：广东,44