一种车载全景成像辅助方法及其系统技术方案

本发明专利技术涉及一种车载全景成像辅助方法，包括预设常态拼接模型与近景拼接模型，并存储于存储模块中；采集车体外部距离信息与图像信息；判断是否有物体，如果有，局部使用近景拼接模型对车体外部环境进行图像拼接，否则，使用常态拼接模型对车体外部环境进行图像拼接；在图像显示模块上显示所得车载全景。本发明专利技术还提出了一种车载全景成像辅助系统。与现有技术相比，本发明专利技术具有如下优点：设计了一种有测距装置辅助系统，可以根据由测距装置获得的车体周围物体情况改变拼接模型，解决了在视域重叠区域若物体靠近车体会导致拼接严重失真的问题，提高了全景图像拼接的效果。碰撞预警，可显示在显示模块上和/或通过语音系统报警，提高了驾驶安全性。

Vehicle mounted full view imaging auxiliary method and system thereof

The invention relates to a vehicle panoramic imaging assisted method, including the preset model and close stitching model normal splicing, and stored in a memory module; the external collection distance information and image information; judging whether an object, if there are local, using close range models of image mosaic image mosaic, the external environment of the body or the use of normal splicing model image stitching of the body in the external environment; the vehicle image display panoramic display module. The invention also provides a vehicle mounted panoramic imaging assistance system. Compared with the prior art, the invention has the following advantages: the design of a distance measuring device can be obtained by the auxiliary system, according to the distance measuring device around a car object change stitching model is solved in the overlap region, if the object is close to the horizon car splicing problem caused serious loss of real experience, improve the panoramic image mosaic effect. Collision warning can be displayed on the display module and / or through the voice system to alarm, thus improving the driving safety.

【技术实现步骤摘要】
一种车载全景成像辅助方法及其系统
本专利技术涉及汽车电子领域，具体地说是一种车载全景成像辅助方法及其系统。
技术介绍
随着汽车电子及计算机视觉的发展，辅助驾驶员进行车辆控制的设备也越来越发达，各类传感器不断地增加到汽车电子中去。倒车雷达作为一种常见的汽车电子，它利用超声波测距的原理，采集车尾附近物体距离车体的距离，并利用显示设备或声音设备提示驾驶员。而车载全景成像系统利用在车体周围的摄像头采集车体各个方向的图像，再根据摄像头自身参数及安装参数进行拼接，得到车体周围360度全景图像。以上应用都能在一定程度上简化机动车驾驶难度并提高驾驶安全性。但现有的汽车周围情况检测装置却有着很多缺陷。倒车雷达虽然可以捕捉到车尾处物体的情况但是却无法获得车尾处的图像，使驾驶员在倒车时，很容易由于车内物体甚至车体的遮挡无法完全观察到车尾处的具体情况导致事故。而现有的车载全景成像系统由于镜头等原因无法做到各个摄像头之间的完美融合，各个摄像头图像融合之后会有较明显的图像未对准的缺点。而靠近车体附近的物体又由于需要顾及远区的拼接效果，导致无法正确拼接。另一方面，由于现有的车载全景拼接技术摄像头清晰度及人工智能发展程度的限制，仅靠图像无法自动识别车体周围物体情况。
技术实现思路
针对上述现有技术，本专利技术要解决的技术问题是：提供一种车载全景成像辅助方法及其系统，解决了在重叠区域若物体靠近车体会导致拼接严重失真的问题，提高了全景图像拼接的效果，以及驾驶的安全性。。为了解决上述问题，本专利技术提供一种车载全景成像辅助方法，该方法包括如下步骤：S1.预设常态拼接模型与一个及以上近景拼接模型，并将其存储于存储模块中；S2.利用测距模块与图像采集模块，采集车体外部距离信息与图像信息；S3.利用距离信息，判断车体附近是否有物体，如果有，执行下一步操作，如果没有，跳至步骤S5；S4.在有近物的区域使用近景拼接模型对车体外部环境进行图像拼接；S5.在无近物的区域使用常态拼接模型对车体外部环境进行图像拼接；S6.在图像显示模块上显示所得车载全景。优选的，该方法还包括如下步骤：设置预警阈值，根据所得距离信息与该预警阈值的关系，输出预警信号，具体为：当超过该阈值时，通过预警模块输出预警信号；当没有超过该阈值时，预警模块无预警信号输出。优选的，所述预警信号的输出形式可在图像显示模块中以突出颜色表现，或者使用语音报警系统输出。优选的，所述的距离信息和所述的多个拼接模型的存在一一对应关系，可将距离信息做平滑变化或分段设置。优选的，所述的预警阈值为预先设置并存储在存储模块中。为了解决上述问题，本专利技术还提供一种车载全景成像辅助系统，包括置于车体前后左右四个方向上的多个超广角摄像头的图像采集模块，用于图像显示的显示模块，用于存储各类数据信息的存储模块，置于车体四周的多个传感器，用于采集距离信息的测距模块，放置于各摄像头重叠区域的辅助标定模块，用于控制处理的数据处理模块；所述图像采集模块、测距模块均输入至数据处理模块，所述数据处理模块将处理得到的车载全景图像通过显示模块输出，且数据处理模块与存储模块互联。优选的，还包括用于输出预警信息的预警模块；所述预警模块与数据处理模块相连。优选的，所述的预警模块可以是通过显示模块将预警信息输出，或者是语音系统，或者连接至车体方向盘以控制车体方向盘达到预警效果。优选的，所述的测距装置为超声测距装置或激光测距装置或红外测距装置。与现有技术相比，本专利技术具有如下优点：一、利用多传感器结合的方法，设计了一种有测距装置辅助系统，相对于传统的车载全景成像系统，可以根据由测距装置获得的车体周围物体情况改变拼接模型，解决了在视域重叠区域若物体靠近车体会导致拼接严重失真的问题，提高了全景图像拼接的效果。二、利用测距装置进行碰撞预警，可显示在显示模块上和/或通过语音系统报警，提高了驾驶安全性。附图说明图1为本专利技术实施的车载全景成像辅助方法流程图。图2用于预设常态拼接模型的辅助标定模块摆放示意图。图3为无近物时使用常态拼接模型的车右侧摄像头可能采集到的图像示意图。图4为无近物时使用常态拼接模型的车前侧摄像头可能采集到的图像示意图。图5常态拼接模型的模型拼接示意图。图6用于预设近景拼接模型的辅助标定模块摆放示意图。图7为有近物时使用近景拼接模型的车前侧摄像头可能采集到的图像示意图。图8为有近物时使用常态拼接模型的车右侧摄像头可能采集到的图像示意图。图9近景拼接模型的模型拼接示意图。图10为本专利技术实施的摄像头与检测装置的安装示意图。图11为本专利技术实施的车载全景成像辅助系统框图。具体实施方式为了让本领域的技术人员更好地理解本专利技术的技术方案，下面结合附图对本专利技术作进一步阐述。具体实施方式如图1～图10所示，一种车载全景成像辅助方法，其特征在于，该方法包括如下步骤：S1.预设常态拼接模型与一个及以上近景拼接模型，并将其存储于存储模块中。预设常态拼接模型的步骤如下：S101.在车身周围放置四个六面体标志物。在实际场景中，将四个容易识别的标志物E1～E4分别放置到车的左前、左后、右前和右后位置上。如图2所示，图中给出了各个摄像头的有效视域。其中L1为安装在车头处的摄像头的有效视域边界线，其图中视域为L1向左。L2为安装在车尾处的摄像头的有效视域边界线，其图中视域为L2向右。L3为安装在车身右侧后视镜处的摄像头的有效视域边界线，其图中视域为L3向上。L4为安装在车身左侧后视镜处的摄像头的有效视域边界线，其图中视域为L4向下。标志物E1～E4所处位置为各个摄像头彼此相邻的重叠视域。S102.识别出在相邻摄像头重叠视域中的标志物的指定特征。其中，指定特征为四边形的四个顶点Q1～Q4，如图3～图4所示。S103.通过获得顶点Q1～Q4在摄像头中的位置,与在常态拼接模型中预设的位置进行对准,并依据此对准结果,将摄像头采集到的图像的其他部分进行合理形变及相应的插值处理,最后获得摄像机坐标系与该常态拼接模型坐标系的一一对应关系,将此一一对应关系存储在存储设备中,并做好编号。其中，图5所示为常态拼接模型的其中一种模型拼接示意图。根据图2中所示的标志物E1～E4的摆放位置,把图5中的对应点进行配准,即对于车体右前侧的标志物E1,将图3和图4中的四个顶点Q1～Q4分别对准图5中的O1～O4；对于车体右后侧、左前侧、左后侧的对准与右前侧作类似处理。在将这些指定特征顶点对准之后，将摄像头采集到的图像进行平滑的拉伸和象素点插值，使对应部分填充到图5所示模型拼接示意图中，如：车头部分摄像头采集到的图像填充到A阴影区，而车右侧摄像头采集到的图像则填充到B阴影区，平滑填充的方法可以选用样条曲面的算法实现。预设近景拼接模型的步骤如下：S111.在车身周围放置多个六面体标志物。在实际场景中，在车的左前、左后、右前和右后，且与车体各方位等距离的位置上分别放置标志物，不同的区间范围用不同的标志物标识。不同标志物的摆放是为了模拟车体附近检测到的物体。如图6所示，图中给出了各个摄像头的有效视域。其中L1为安装在车头处的摄像头的有效视域边界线，其图中视域为L1向左。L2为安装在车尾处的摄像头的有效视域边界线，其图中视域为L2向右。L3为安装在车身右侧后视镜处的摄像头的有效视域边界线，其图中视域为L3向上。L4为本文档来自技高网...

【技术保护点】
一种车载全景成像辅助方法，其特征在于，该方法包括如下步骤：S1. 预设常态拼接模型与一个及以上近景拼接模型，并将其存储于存储模块中；S2. 采集车体外部距离信息与图像信息；S3. 利用距离信息，判断车体附近是否有物体，如果有，执行下一步操作，如果没有，跳至步骤S5；S4. 在有近物的区域使用近景拼接模型对车体外部环境进行图像拼接；S5. 在无近物的区域使用常态拼接模型对车体外部环境进行图像拼接；S6. 在图像显示模块上显示所得车载全景，该方法还包括如下步骤：设置预警阈值，根据所得距离信息与该预警阈值的关系，输出预警信号，具体为：当超过该预警阈值时，通过预警模块输出预警信号；当没有超过该预警阈值时，预警模块无预警信号输出，所述预警信号的输出形式可在图像显示模块中以突出颜色表现，或者使用语音报警系统输出，所述的距离信息分别与多个拼接模型存在一一对应关系，可将距离信息做平滑变化或分段设置，所述的预警阈值为预先设置并存储在存储模块中。

【技术特征摘要】
1.一种车载全景成像辅助方法，其特征在于，该方法包括如下步骤：S1.预设常态拼接模型与一个及以上近景拼接模型，并将其存储于存储模块中；S2.采集车体外部距离信息与图像信息；S3.利用距离信息，判断车体附近是否有物体，如果有，执行下一步操作，如果没有，跳至步骤S5；S4.在有近物的区域使用近景拼接模型对车体外部环境进行图像拼接；S5.在无近物的区域使用常态拼接模型对车体外部环境进行图像拼接；S6.在图像显示模块上显示所得车载全景，该方法还包括如下步骤：设置预警阈值，根据所得距离信息与该预警阈值的关系，输出预警信号，具体为：当超过该预警阈值时，通过预警模块输出预警信号；当没有超过该预警阈值时，预警模块无预警信号输出，所述预警信号的输出形式可在图像显示模块中以突出颜色表现，或者使用语音报警系统输出，所述的距离信息分别与多个拼接模型存在一一对应关系，可将距离信息做平滑变化或分段设置，所...

【专利技术属性】
技术研发人员：张荃，刘伟恒，刘建，陈杰，钟晨，
申请(专利权)人：深圳市德赛微电子技术有限公司，
类型：发明
国别省市：广东,44