基于ＤＳＰ的全景视觉泊车辅助装置及生成全景视觉图像的方法制造方法及图纸

本发明专利技术公开了一种基于ＤＳＰ的全景视觉泊车辅助装置及生成全景视觉图像的方法，该装置采用广角镜头的视频采集器、图像同步处理器、ＤＳＰ处理器、存储模块、逻辑控制器、输出帧缓存、视频编码器和图像显示器，所述视频采集器分别固定安装在车身的前、后、左、右外表面上，所述存储模块包括闪存、ＤＤＲ２内存，闪存和ＤＤＲ２内存分别与ＤＳＰ处理器连接，所述视频采集器、图像同步处理器、ＤＳＰ处理器、输出帧缓存、视频编码器和图像显示器依次连接，所述图像同步处理器、ＤＳＰ处理器、输出帧缓存和视频编码器分别与逻辑控制器连接。本发明专利技术的优点是能够实时提供给驾驶员泊车所需要的汽车全景图像，从而消除了车四周的视觉盲区，来帮助驾驶员更加精确的泊车。

【技术实现步骤摘要】

本专利技术涉及一种视觉泊车辅助装置，属于图像处理和计算机视觉领域。
技术介绍
当人类社会发展到以汽车作为主要交通运输工具时，对行车安全性与舒适性有了更高的标准要求。其中倒车雷达最早出现。早期的倒车雷达多以音频作为主要的辅助手段，由安装于车辆的后保险杠上的传感器来探测车辆的后部物体，通过不同节奏的音频来提醒驾驶者车辆后面的状况。倒车雷达是依靠回音探测距离并以通过不同频率的声音进行提示的，但光凭声音提示显然没有视觉来得直观，而且对声音的判断也必然会存在误差；而后出现了视频实时倒车系统，即倒车影像监视系统。该系统让倒车时车后的状况更加直观可视，对于倒车安全来说是非常实用的配置之一。当挂倒车挡时，该系统会自动接通位于车尾的高清摄像头，将车后状况清晰的显示于液晶显示屏上，并在显示器上通过电脑合成当前方向盘的转动角度所对应的车辆行车路线，从而准确而直观地把握车后的状况。显然，倒车影像监视系统比起倒车雷达更加直观和实用。但只在汽车车尾安装倒车摄像头，只能覆盖汽车周围有限的区域，而车两侧和前方的视觉盲区无疑增加了安全驾驶的隐患，不仅让驾驶难以了解是否有障碍物存在，也提高乘客及行人的危险性。
技术实现思路
本专利技术的目的是提供了一种基于DSP的全景视觉泊车辅助装置及生成全景视觉图像的方法，可对采集于车四周场景的视频图像进行实时处理，生成虚拟全景图像。为实现本专利技术目的，本专利技术所采取的技术方案是该基于DSP的全景视觉泊车辅助装置主要包括采用广角镜头的视频采集器、图像同步处理器、DSP处理器、存储模块、逻辑控制器、输出帧缓存、视频编码器和图像显示器，所述视频采集器分别固定安装在车身的前、后、左、右外表面上，所述存储模块包括闪存、DDR2内存，闪存和DDR2内存分别与DSP处理器连接，所述视频采集器、图像同步处理器、DSP处理器、输出帧缓存、视频编码器和图像显示器依次连接，所述图像同步处理器、DSP处理器、输出帧缓存和视频编码器分别与逻辑控制器连接。进一步地，本专利技术所述图像同步处理器包括视频解码器和帧缓冲存储器，所述视频采集器、帧缓冲存储器和逻辑控制器分别与视频解码器连接，所述逻辑控制器和DSP处理器分别与帧缓冲存储器连接。使用本专利技术的全景视觉泊车辅助装置生成虚拟全景图像的方法主要包括以下步骤(1) 视频采集器采集一帧图像，经图像同步处理器处理后，DSP处理器将图像储存到DDR2内存中；(2) DSP处理器将预存在闪存中的虚拟全景图像查找列表读入到DSP处理器内；(3) DSP处理器根据査找列表中的参数，依次从DDR2内存中取出对应的像素点后，将所述像素点发送到输出帧缓存；(4) 当步骤(3)中DSP处理器根据査找列表中的参数将全部对应的像素点发送到输出帧缓存后，循环至步骤(1)开始采集新的一帧图像，同时逻辑控制器将输出帧缓存中所储存的内容发送到视频编码器，经过视频编码器编码后，由图像显示器显示虚拟全景图像。进一步地，本专利技术所述虚拟全景图像查找列表的获得包括以下步骤1) 获取分别安装在车身的前、后、左、右外表面上的每个视频采集器所用的广角镜头的内部参数K和失真系数先-[A, & A， A， A]，其中A， A， A为径向失真系数，A， A为切向失真系数；2) 将汽车停放于平坦地面上，在相邻的视频采集器视角的重叠区域内放置格状标记物，由所述各视频采集器对平坦地面进行拍摄，得到一组原始图像；3) 将步骤2)得到的原始图像中的车身部分去除仅保留平坦地面部分，根据以下关系式得到所述原始图像去失真后的每个像素坐标点的位置参数，从而得到矫正后的图像；<formula>formula see original document page 5</formula>其中，'，少'J)为像素点去失真后坐标；(X，^，0为原始图像像素点坐标；，^，镜头投影中心坐标；54) 设定汽车车顶上方的虚拟视点，将矫正后的各图像分别乘以该虚拟视点相对于各视频采集器位置的的单应性矩阵，相应得到以该虚拟视点为坐标原点的矫正后的各图像的俯视5) 通过平移所述各俯视图，对所述相邻的视频采集器针对同 一个格状标记物所采集到的图像的线条进行拼接得到完整的格状标记物图像，由此得到虚拟全景图像，记录此时虚拟全景图像中每个像素点所隶属的原始图像；6) 对于所述虚拟全景图像的每个像素点，依据步骤5)中得到的虚拟全景图像中每个像素点所隶属的原始图像，依次按步骤4) 、 3)进行逆运算，得到此时的虚拟视觉全景图像的各个像素点与视频采集器所采集图像像素点的对应关系。与现有技术相比，本专利技术的有益效果是本专利技术提出了一种基于DSP的全景视觉泊车辅助装置及生成全景视觉图像的方法，能够实时提供给驾驶员泊车所需要的汽车全景图像，从而消除了车四周的视觉盲区，来帮助驾驶员更加精确的泊车;本专利技术的基于DSP的全景视觉泊车辅助装置包括视频采集器、图像同步处理器、DSP处理器、存储模块、逻辑控制器、输出帧缓存、视频编码器和图像显示器；生成虚拟全景图像的过程主要通过DSP处理器根据预先存放在闪存中的虚拟全景图像査找列表的参数进行寻址得到，所以计算复杂度低，能够满足实时性要求。附图说明图1为本专利技术装置的结构示意框图。图2为本专利技术视频采集器的安装位置及拍摄区域示意图。图3为本专利技术图像同步处理器内部关系图。图4为本专利技术格状标记物的放置位置示意图。图5为本专利技术中图像矫正效果示意图。图6为本装置生成全景视觉图像流程图。图7为本专利技术装置一种实施方式的硬件连接示意图。具体实施例方式作为本专利技术的一种实施方式，本专利技术装置以TI(Texas instrumentsincorporated)公司的TMS320DM643处理器为核心，TMS320DM643是TI公司发布的新一代专门面向多媒体应用的DSP处理器，由于其高速的实时运算能力和专门的视频口以及丰富的扩展接口在多媒体领域获得了广泛的应用。图l为本专利技术装置的结构示意框图。如图l所示，它包括视频采集器、图像同步处理器、DSP处理器、存储模块、逻辑控制器、输出帧缓存、视频编码器和图像显示器。视频釆集器分别固定安装在车身的前、后、左、右外表面上； 视频采集器的镜头采用广角镜头,分别采集车身前、后、左、右四个区域内的实 时画面，并且能够使两两相邻的视频采集器的视角存在一定的重叠区域。视频采集器可以安装在前散热格栅上部、后车盖上端和左右侧外后视镜下端，如图2 所示，其中C1 C4为视频采集器，P点为虚拟视点，以及相邻的视频采集器视 角的四个重叠区域l。视频采集器采集到的图像信号可以是模拟视频信号，也可 以是数字图像信号，视频采集器将采集到的图像信号传送到图像同步处理器中。 当采集的信号为模拟视频信号时，视频采集器所连接的图像同步处理器包含视 频解码器和帧缓冲存储器(FIFO)，连接如图3所示；此时视频解码器将模拟 视频信号转变为DSP处理器可以处理的数字信号，存放在帧缓冲存储器(FIFO) 中。当采集的信号为数字信号时，则视频采集器直接与帧缓冲存储器(FIFO) 连接。图像同步处理器与DSP处理器连接，DSP处理器在逻辑控制器CPLD的控 制下从图像同步处理器的帧缓冲存储器读入图像，并将获得的图像存放在存储 模块的DDR2内存中。DSP处理器所连接的存本文档来自技高网...

【技术保护点】
一种基于ＤＳＰ的全景视觉泊车辅助装置，其特征在于：它包括采用广角镜头的视频采集器、图像同步处理器、ＤＳＰ处理器、存储模块、逻辑控制器、输出帧缓存、视频编码器和图像显示器，所述视频采集器分别固定安装在车身的前、后、左、右外表面上，所述存储模块包括闪存、ＤＤＲ２内存，闪存和ＤＤＲ２内存分别与ＤＳＰ处理器连接，所述视频采集器、图像同步处理器、ＤＳＰ处理器、输出帧缓存、视频编码器和图像显示器依次连接，所述图像同步处理器、ＤＳＰ处理器、输出帧缓存和视频编码器分别与逻辑控制器连接。

【技术特征摘要】
1.一种基于DSP的全景视觉泊车辅助装置，其特征在于它包括采用广角镜头的视频采集器、图像同步处理器、DSP处理器、存储模块、逻辑控制器、输出帧缓存、视频编码器和图像显示器，所述视频采集器分别固定安装在车身的前、后、左、右外表面上，所述存储模块包括闪存、DDR2内存，闪存和DDR2内存分别与DSP处理器连接，所述视频采集器、图像同步处理器、DSP处理器、输出帧缓存、视频编码器和图像显示器依次连接，所述图像同步处理器、DSP处理器、输出帧缓存和视频编码器分别与逻辑控制器连接。2. 根据权利要求1所述的基于DSP的全景视觉泊车辅助装置，其特征在于所述图像同步处理器包括视频解码器和帧缓冲存储器，所述视频采集器、帧缓冲存储器和逻辑控制器分别与视频解码器连接，所述逻辑控制器和DSP处理器分别与帧缓冲存储器连接。3. —种使用权利要求1的全景视觉泊车辅助装置生成虚拟全景图像的方法，其特征是包括以下步骤(1) 视频采集器采集一帧图像，经图像同步处理器处理后，DSP处理器将图像储存到DDR2内存中；(2) DSP处理器将预存在闪存中的虚拟全景图像査找列表读入到DSP处理器内；(3) DSP处理器根据查找列表中的参数，依次从DDR2内存中取出对应的像素点后，将所述像素点发送到输出帧缓存；(4) 当步骤(3)中DSP处理器根据查找列表中的参数将全部对应的像素点发送到输出帧缓存后，循环至步骤(1)开始采集新的一帧图像，同时逻辑控制器将输出帧缓存中所储存的内容发送到视频编码器，经过视频编码器编码后，由图像显示器显示虚拟全景图像。4.根据权利要求3所述的全景视觉泊车辅助装置生...

【专利技术属性】
技术研发人员：刘济林，丁鑫，雷杰，王炜强，
申请(专利权)人：浙江大学，
类型：发明
国别省市：86[中国|杭州]