一种基于单目摄像头的全景系统及其工作方法技术方案

本发明专利技术涉及一种基于单目摄像头的全景系统及其工作方法，其特征在于，包括单目摄像头、单片机、PMU电源模块、车机显示模块和视频合成模块，所述单目摄像头、单片机、PMU电源模块、车机显示模块与所述视频合成模块中的CPU主控芯片连接；所述单目摄像头安装于汽车后部，所述单片机通过CAN装置与汽车的CAN网络连接以获取车辆行驶的相关信号。所述车辆行驶的相关信号包括车速信号、电机转速信号、胎压信号、方向盘转角信号和轮胎直径信号。本发明专利技术既能满足行车安全，提醒、辅助驾驶员的倒车行为，又能减少倒车影像系统模块的软件、硬件及相关零部件的模具投入成本，是一种能实现全景效果的、成本低廉的全景系统装置。

A Panoramic System Based on Monocular Camera and Its Working Method

【技术实现步骤摘要】
一种基于单目摄像头的全景系统及其工作方法
本专利技术属于汽车全景影像控制
，具体涉及一种基于单目摄像头的全景系统及其工作方法。
技术介绍
纵观形形色色的交通事故，因停车不当引发的事故并不鲜见，究其原因，主要是因视野盲区、操作不当、预判不准等原因，没有把握好周边环境安全停车的诀窍。因此，倒车影像系统，作为实用的驾驶辅助系统，对驾驶员避免事故，确保安全停车，有重大的意义。但是传统的倒车影像系统，只有后视摄像头，对车左右及前方没有相关的显示，当用户在侧方位停车等工况时，无法显示车头的影像，对用户，尤其是新手的驾驶感，存在较大的困扰，所以全景系统应运而生。而目前常规的全景影像系统，需要至少4个摄像头通过图像拼接方式，实现360°环视显示，硬件费用较大。除了全景系统自身相关的软硬件费用，车辆前保和左右后视镜需要做出相应的结构，装配摄像头及相关线束，对整车成本也有不少的增加。
技术实现思路
本专利技术设计了一种基于单目摄像头的全景系统及其工作方法，旨在既能满足行车安全，提醒驾驶员，又能减少倒车影像系统模块的软件、硬件及相关零部件的模具投入成本。为了实现上述目的，本专利技术采用了以下方案：一种基于单目摄像头的全景系统，包括单目摄像头、单片机、PMU电源模块、车机显示模块和视频合成模块，所述单目摄像头、单片机、PMU电源模块、车机显示模块与所述视频合成模块中的CPU主控芯片连接；所述单目摄像头安装于汽车后部，所述单片机通过CAN装置与汽车的CAN网络连接以获取车辆行驶的相关信号。进一步，所述车辆行驶的相关信号包括车速信号、电机转速信号、胎压信号、方向盘转角信号和轮胎直径信号。进一步，汽车轮胎上设置有胎压传感器以获取所述胎压信号；方向盘处设置有转角传感器以获取所述方向盘转角信号。进一步，所述视频合成模块还包括FLASH编辑存储器、DDR3内存卡和SD存储卡，所述FLASH编辑存储器、DDR3内存卡和SD存储卡分别与所述CPU主控芯片连接。同时，本专利技术还公开了一种基于单目摄像头的全景系统的工作方法，所述工作方法包括以下步骤：步骤一，视频合成模块通过其CPU主控芯片接收安装于汽车后方的单目摄像头传来的视频图像，并对视频图像进行鱼眼校正、绘制静态标尺线；同时，单片机通过CAN装置实时地获取车速信号及电机转速信号，来判定汽车的行驶方向和行驶速度，并将判定的汽车行驶方向和行驶速度的信息传送给所述CPU主控芯片；步骤二，根据汽车的行驶方向和速度，所述视频合成模块将校正后的视频图像缓存并融合，使得汽车在倒车过程中，逐一完成全景图像，并通过车机显示模块进行显示；步骤三，依据全景标定后的参数，以及单目摄像头的畸变参数表，所述视频合成模块通过图像识别算法准确计算出图像中阻碍物与车身的相对位置并绘制出静态轨迹线；所述视频合成模块通过所述单片机、CAN装置获取方向盘转角信号并计算出实际前轮的转角大小，再依据前轮的转角大小及轮胎直径输入、胎压传感器信号，精确计算出汽车的行进轨迹并绘制出动态辅助线。进一步，上述步骤二中，所述融合是指所述视频合成模块通过所述单目摄像头实时采集汽车后方视频图像，并将图像进行多帧图像融合处理；所述融合处理依赖于从CAN网络上获取的车速信号及电机转速信号，所述单片机根据车速信号及电机转速信号判定出汽车的倒车速度并发送给所述视频合成模块，而融合算法根据倒车速度准确的计算出每帧新图像应该融合多少像素到原已融合的缓存图像中；车辆不断地往后方倒车，缓存图像区域也将逐渐加大，最终，缓存图像将占满全景区域中实时图像的上部分，全景图像即由实时图像和缓存图像构成。该基于单目摄像头的全景系统及其工作方法具有以下有益效果：（1）本专利技术采用单颗后视摄像头实时采集车辆周边图像，图像经过主芯片进行校正，OSD叠加等处理以及CPU图像融合运算，生成倒车全景和车底透视画面，同时绘制动、静态轨迹线，给车主安全且精准的泊车体验。（2）本专利技术相对于现有的全景系统，重新设计出一种基于单摄像头投影全景显示实现方案。基于单目摄像头的全景影像，是利用图像缓存及图像拼接算法，将摄像头随车运动扫略过的影像，和车辆转向角度、车速、轮胎直径、胎压等多信号融合计算后合成的虚拟全景影像。相对于以往的全景系统，既能满足行车安全，提醒、辅助驾驶员的行驶行为，又能减少倒车影像系统模块的软件、硬件及相关零部件的模具投入成本，是一种能实现全景效果的，成本低廉的全景系统装置。附图说明图1：本专利技术实施方式中基于单目摄像头的全景系统的硬件结构框图；图2：本专利技术实施方式中CAN网络信号框图。附图标记说明：11—CPU主控芯片；12—FLASH编辑存储器；13—DDR3内存卡；14—SD存储卡；2—单目摄像头；3—单片机；4—PMU电源模块；5—车机显示模块。具体实施方式下面结合附图，对本专利技术做进一步说明：图1至图2示出了本专利技术基于单目摄像头的全景系统及其工作方法的具体实施方式。图1是本实施方式中基于单目摄像头的全景系统的硬件结构框图；图2是本实施方式中CAN网络信号框图。如图1所示，本实施方式中的基于单目摄像头的全景系统，包括单目摄像头2、单片机3、PMU电源模块4、车机显示模块5和视频合成模块，单目摄像头2、单片机3、PMU电源模块4、车机显示模块5与所述视频合成模块中的CPU主控芯片11连接；单目摄像头2安装于汽车后部，单片机3通过CAN装置与汽车的CAN网络连接以获取车辆行驶的相关信号。优选地，所述车辆行驶的相关信号包括车速信号、电机转速信号、胎压信号、方向盘转角信号和轮胎直径信号，如图2所示。本实施例中，汽车轮胎上设置有胎压传感器以获取所述胎压信号；方向盘处设置有转角传感器以获取所述方向盘转角信号，如图2所示。优选地，所述视频合成模块还包括FLASH编辑存储器12、DDR3内存卡13和SD存储卡14，FLASH编辑存储器12、DDR3内存卡13和SD存储卡14分别与CPU主控芯片11连接，如图1所示。本实施方式中的基于单目摄像头的全景系统，工作时，首先，视频合成模块通过其CPU主控芯片11接收安装于汽车后方的单目摄像头2传来的CVBS视频图像，并对视频图像进行鱼眼校正、绘制静态标尺线；同时，单片机3通过CAN装置实时地获取车速信号及电机转速信号，来判定汽车的行驶方向和行驶速度，并将判定的汽车行驶方向和行驶速度的信息传送给CPU主控芯片11；其次，根据汽车的行驶方向和速度，所述视频合成模块将校正后的视频图像缓存并融合，使得汽车在倒车过程中，逐一完成全景图像，并通过车机显示模块进行显示；最后，依据全景标定后的参数，以及单目摄像头2的畸变参数表，所述视频合成模块通过图像识别算法准确计算出图像中阻碍物与车身的相对位置并绘制出静态轨迹线；所述视频合成模块通过单片机3、CAN装置获取方向盘转角信号并计算出实际前轮的转角大小，再依据前轮的转角大小及轮胎直径输入、胎压传感器信号，精确计算出汽车的行进轨迹并绘制出动态辅助线。所述融合是指所述视频合成模块通过单目摄像头2实时采集汽车后方视频图像，并将图像进行多帧图像融合处理；所述融合处理依赖于从CAN网络上获取的精确的车速信号及电机转速信号，单片机3根据车速信号及电机转速信号判定出汽车的倒车速度并发送给所述视频合成模块，而融合算法根据倒车速度准确的计算本文档来自技高网...

【技术保护点】
1.一种基于单目摄像头的全景系统，其特征在于，包括单目摄像头、单片机、PMU电源模块、车机显示模块和视频合成模块，所述单目摄像头、单片机、PMU电源模块、车机显示模块与所述视频合成模块中的CPU主控芯片连接；所述单目摄像头安装于汽车后部，所述单片机通过CAN装置与汽车的CAN网络连接以获取车辆行驶的相关信号。

【技术特征摘要】
1.一种基于单目摄像头的全景系统，其特征在于，包括单目摄像头、单片机、PMU电源模块、车机显示模块和视频合成模块，所述单目摄像头、单片机、PMU电源模块、车机显示模块与所述视频合成模块中的CPU主控芯片连接；所述单目摄像头安装于汽车后部，所述单片机通过CAN装置与汽车的CAN网络连接以获取车辆行驶的相关信号。2.根据权利要求1所述的基于单目摄像头的全景系统，其特征在于，所述车辆行驶的相关信号包括车速信号、电机转速信号、胎压信号、方向盘转角信号和轮胎直径信号。3.根据权利要求2所述的基于单目摄像头的全景系统，其特征在于，汽车轮胎上设置有胎压传感器以获取所述胎压信号；方向盘处设置有转角传感器以获取所述方向盘转角信号。4.根据权利要求1、2或3所述的基于单目摄像头的全景系统，其特征在于，所述视频合成模块还包括FLASH编辑存储器、DDR3内存卡和SD存储卡，所述FLASH编辑存储器、DDR3内存卡和SD存储卡分别与所述CPU主控芯片连接。5.一种基于单目摄像头的全景系统的工作方法，其特征在于，包括上述权利要求1至4任一所述的基于单目摄像头的全景系统，所述工作方法包括以下步骤：步骤一，视频合成模块通过其CPU主控芯片接收安装于汽车后方的单目摄像头传来的视频图像，并对视频图像进行鱼眼校正、绘制静态标尺线；同时，单片机通过CAN装置实时地获取...

【专利技术属性】
技术研发人员：刘琳，沙文瀚，夏荣鑫，倪绍勇，孙玉洲，张勇，季益超，
申请(专利权)人：奇瑞新能源汽车技术有限公司，
类型：发明
国别省市：安徽,34