基于现实路况信息图像处理的车载多模式增强现实系统技术方案

本发明专利技术属于虚拟现实设备技术领域，具体涉及一种基于现实路况信息图像处理的车载多模式增强现实系统，该系统包括：用于采集实时路况的实时路况信息采集系统、用于图像识别与图像处理的图像识别与图像处理系统、用于显示虚拟现实模式的虚拟现实模式显示系统、用于安全提示及紧急处理的安全提示及紧急处理系统和中央处理器，本发明专利技术的优点是：实用性更强，可以在正常行驶途中体验不同的驾驶乐趣，驾驶感受模拟更逼真，与需要佩戴的虚拟现实设备相比，具备更全套的虚拟现实模拟系统，舒适性更强，安全性更高，具备安全提示及紧急处理系统，进一步提高了娱乐系统的安全性。

Vehicle-borne multi-mode augmented reality system based on image processing of real road condition information

The invention belongs to the technical field of virtual reality equipment, and specifically relates to an on-board multi-mode augmented reality system based on image processing of real-time road condition information. The system includes a real-time road condition information acquisition system for collecting real-time road conditions, an image recognition and image processing system for image recognition and image processing, and a virtual reality pattern display for displaying virtual reality patterns. The advantages of the present invention are: stronger practicability, different driving pleasures can be experienced during normal driving, more realistic driving simulation, more complete virtual reality simulation system, more comfortable and safer than the virtual reality equipment that needs to be worn. High, with safety tips and emergency processing system, further improve the security of entertainment system.

【技术实现步骤摘要】
基于现实路况信息图像处理的车载多模式增强现实系统
本专利技术属于虚拟现实设备
，具体涉及一种基于现实路况信息图像处理的车载多模式增强现实系统。
技术介绍
虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真系统它利用计算机生成一种模拟环境，是一种多源信息融合的交互式的三围动态视景和实体行为的系统仿真使用户沉浸到该环境中,目前，专利申请号为：201010107280.8，专利名称为：一种基于车载摄像机的虚拟现实体验系统，该专利技术公开了一种基于车载摄像机的虚拟现实体验系统，包括车载摄像机、图像处理计算机以及汽车仿真设备，的车载摄像机、图像处理计算机以及汽车仿真设备依次连接。该专利技术虽然有车载摄像头与图像处理系统，但是该专利技术是应用于驾驶模拟器上的，而且并不能进行实时的信息采集。专利申请号为：201710067599.4，专利名称为：一种虚拟现实模拟驾驶装置，该专利技术属于虚拟现实设备
，尤其涉及一种虚拟现实模拟驾驶装置。本专利技术要解决的技术问题是提供一种结构简单、真实感强、趣味性高的虚拟现实模拟驾驶装置。该专利技术提供了包括有圆形滑轨、滑块、安装板、旋转电机、滑轨、座椅、固定板、虚拟现实头盔等结构的驾驶装置。该专利技术主要是机械结构方面的设计，并未对虚拟现实方面的技术过多的描述与改进。专利申请号为：201720326404.9，专利名称为：一种车载虚拟驾驶装置，该技术公开了一种车载虚拟驾驶装置，包括座椅、驾驶台、刹车踏板和加速踏板等。通过VR眼罩观测驾驶过程中的路径，进而可以通过刹车踏板和加速踏板进行调节驾驶过程中的行驶速度，使用者可以通过转动方向盘，使得驾驶过程中的方向可以被快速调节。该专利也是主要集中于结构的布置，并未对虚拟现实方面的技术过多的描述与改进。专利申请号为：201610127118.X，专利名称为：一种虚拟现实娱乐驾驶的实现方法、装置及系统，该专利技术公开了一种虚拟现实娱乐驾驶的实现方法、装置及系统，通过实时采集驾驶载体的实际位置，从而根据实际位置以及驾驶载体之间的相对位置，生成相应的多用户互动的虚拟现实驾驶场景。该专利技术只是一种驾驶模拟器，并没有实时路况采集并实现车载的功能。
技术实现思路
本专利技术的目的是提供一种基于现实路况信息图像处理的车载多模式增强现实系统，用于驾驶员和乘坐者在正常行驶途中体验不同的驾驶或乘坐乐趣，以克服上述现有技术的不足。本专利技术基于现实路况信息图像处理的车载多模式增强现实系统车载多模式增强现实系统，该系统包括：车载多模式增强现实系统用于将现实路况信息进行采集、分析与转换，转换为不同主题形式的行驶环境；车载多模式增强现实系统包括：用于采集实时路况的实时路况信息采集系统、用于图像识别与图像处理的图像识别与图像处理系统、用于显示虚拟现实模式的虚拟现实模式显示系统、用于安全提示及紧急处理的安全提示及紧急处理系统和用于控制实时路况信息采集系统、图像识别与图像处理系统、虚拟现实模式显示系统、安全提示及紧急处理系统的中央处理器；中央处理器包括：用于处理实时路况信息采集系统的图像识别模块；用于处理虚拟现实模式显示系统的图像处理模块；用于处理人机交互系统的人机交互处理模块；用于处理超声波雷达、车速传感器信息和控制汽车制动系统执行器的紧急处理模块。作为优选，实时路况信息采集系统包括：位于驾驶员座椅靠背前侧、左侧和右侧的三个双目摄像头，双目摄像头通过可伸缩调节支架安装在驾驶员座椅靠背上与驾驶员视线高度相近的位置，三个双目摄像头用于驾驶员视觉感受路况信息的采集；位于车辆顶部的信号灯识别摄像头，信号灯识别摄像头用于进行交通信号灯的识别；位于车辆前侧与两侧的车道线识别摄像头，车道线识别摄像头用于车道线的识别。作为优选，图像识别与图像处理系统包括：用于将实时路况信息采集系统采集的图像信息数字化的图形和图像技术识别模块；用于识别静态障碍物与动态交通信息的障碍物识别模块；用于障碍物模拟与替换的图像处理及模拟模块。作为优选，虚拟现实模式显示系统包括：位于车前窗玻璃位置以及驾驶员两侧玻璃位置用于显示模拟场景的模拟场景显示器；位于车内的光线模拟模块，空气模拟模块，温度模拟模块，湿度模拟模块，光线模拟模块用于模拟相应主体场景的光线；空气模拟模块用于模拟相应主体场景的空气；温度模拟模块用于模拟相应主体场景的温度；湿度模拟模块用于模拟相应主体场景的湿度。作为优选，安全提示及紧急处理系统包括：处理器评估模块，处理器评估模块用于评估所行驶路段是否适合娱乐模式；位于车内中控台位置的人机交互系统，人机交互系统用于不同主题模式的切换，以及用于显示实际的实时路况信息；位于车身周围呈环绕分布的至少12个超声波雷达，超声波雷达用于检测障碍物距离车身的距离信息；位于车身上的车速传感器，车速传感器用于检测当前行驶状况下的车速。本专利技术的优点及积极效果是：相对于驾驶模拟器来说，实用性更强，可以在正常行驶途中体验不同的驾驶乐趣，驾驶感受模拟更逼真，与需要佩戴的虚拟现实设备相比，具备更全套的虚拟现实模拟系统，舒适性更强，而且可以实时转换到现实路况下，安全性更高，具备安全提示及紧急处理系统，进一步提高了娱乐系统的安全性。附图说明图1是本专利技术的模式切换申请流程图。图2是本专利技术的中央处理器工作流程图。图3是本专利技术的图像识别与处理模块工作流程图。图4是本专利技术的虚拟现实模拟模块的信号流向图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部实施例。基于本专利技术中的实施例，本领域普通技术人员在没有付出创造性劳动的前提下，所获得的所有其它实施例，都属于本专利技术保护范围。实施例1参阅图1-4，本实施例中基于现实路况信息图像处理的车载多模式增强现实系统，包括：车载多模式增强现实系统，车载多模式增强现实系统用于将现实路况信息进行采集、分析与转换，转换为不同主题形式的行驶环境，例如，可以转换为赛道主题、沙滩主题或草原主题等不同的主题形式；具体转换过程需要以下各子系统的协同合作；车载多模式增强现实系统包括：用于采集实时路况的实时路况信息采集系统、用于图像识别与图像处理的图像识别与图像处理系统、用于显示虚拟现实模式的虚拟现实模式显示系统、用于安全提示及紧急处理的安全提示及紧急处理系统和用于控制实时路况信息采集系统、图像识别与图像处理系统、虚拟现实模式显示系统、安全提示及紧急处理系统的中央处理器；实时路况信息采集系统：该系统主要是由摄像头进行实时的路况信息采集，位于驾驶员座椅上的可以使用ZED双目相机。并且为了使摄像头采集的图像信号与驾驶员观察到的视觉信号一致，在使用之前需要根据不同驾驶员进行摄像头坐标标定工作。同时需要安装在车辆顶部的摄像头进行交通信号灯的识别，以及安装在车辆前侧与两侧的RGB-D相机进行车道线的识别。虚拟现实模式显示系统：可以使用OLED透明显示屏，在娱乐模式中显示信息，正常行驶时为透明状态安全提示及紧急处理系统：安全提示主要是GPS全球定位系统信息网络实时的地图信息，交通信息及路况信息结合，在处理器中进行匹配与融合，看是否处在适合模式切换的路段。紧急处理系统车身周围布置的超声波雷达。中央处理器包括：用于处理实时路况信息采集系统的图像识别模块；用于处理虚拟现本文档来自技高网...

【技术保护点】
1.一种基于现实路况信息图像处理的车载多模式增强现实系统,其特征在于，包括：车载多模式增强现实系统，所述车载多模式增强现实系统用于将现实路况信息进行采集、分析与转换，转换为不同主题形式的行驶环境；其中，所述车载多模式增强现实系统包括：用于采集实时路况的实时路况信息采集系统，用于图像识别与图像处理的图像识别与图像处理系统，用于显示虚拟现实模式的虚拟现实模式显示系统，用于安全提示及紧急处理的安全提示及紧急处理系统，用于控制实时路况信息采集系统、图像识别与图像处理系统、虚拟现实模式显示系统、安全提示及紧急处理系统的中央处理器；其中，所述中央处理器包括：用于处理实时路况信息采集系统的图像识别模块；用于处理虚拟现实模式显示系统的图像处理模块；用于处理人机交互系统的人机交互处理模块；用于处理超声波雷达、车速传感器信息和控制汽车制动系统执行器的紧急处理模块。

【技术特征摘要】
1.一种基于现实路况信息图像处理的车载多模式增强现实系统,其特征在于，包括：车载多模式增强现实系统，所述车载多模式增强现实系统用于将现实路况信息进行采集、分析与转换，转换为不同主题形式的行驶环境；其中，所述车载多模式增强现实系统包括：用于采集实时路况的实时路况信息采集系统，用于图像识别与图像处理的图像识别与图像处理系统，用于显示虚拟现实模式的虚拟现实模式显示系统，用于安全提示及紧急处理的安全提示及紧急处理系统，用于控制实时路况信息采集系统、图像识别与图像处理系统、虚拟现实模式显示系统、安全提示及紧急处理系统的中央处理器；其中，所述中央处理器包括：用于处理实时路况信息采集系统的图像识别模块；用于处理虚拟现实模式显示系统的图像处理模块；用于处理人机交互系统的人机交互处理模块；用于处理超声波雷达、车速传感器信息和控制汽车制动系统执行器的紧急处理模块。2.根据权利要求1所述的基于现实路况信息图像处理的车载多模式增强现实系统，其特征在于，所述实时路况信息采集系统包括：位于驾驶员座椅靠背前侧、左侧和右侧的三个双目摄像头，所述双目摄像头通过可伸缩调节支架安装在所述驾驶员座椅靠背上与驾驶员视线高度相近的位置，三个所述双目摄像头用于驾驶员视觉感受路况信息的采集；位于车辆顶部的信号灯识别摄像头，所述信号灯识别摄像头用于进行交通信号灯的识别；位于车辆前侧与两侧的车道线识别摄像头，所述车道线识别摄...

【专利技术属性】
技术研发人员：马芳武，仲首任，单子桐，蒲永锋，
申请(专利权)人：吉林大学，
类型：发明
国别省市：吉林,22