无人小车、基于AR和AI技术的无人车实训平台及方法技术

技术编号:24357625 阅读:69 留言:0更新日期:2020-06-03 02:54
本发明专利技术公开了基于AR技术的无人小车、AR虚拟城市系统、AI控制系统、无人车实训平台及方法。其无人车实训平台包括本发明专利技术的无人小车、AR虚拟城市系统及AI控制系统;其中:AR虚拟城市系统构建无人小车实训的虚拟城市环境;无人小车在虚拟城市环境中运行,并感知当前的虚拟场景,获取场景传感数据;AI控制系统实时获取虚拟城市环境信息及场景传感数据,结合预设的控制规则,生成控制无人小车运行的控制指令;无人小车根据AI控制系统的控制指令在虚拟城市环境中运行。本发明专利技术的无人车实训平台能够模拟其所需的嵌入式、无线通讯以及虚拟场景,AI人工智能算法控制,通过虚实结合技术真正打通无人驾驶技术各个层级所需的开发技术环境。

Unmanned vehicle, unmanned vehicle training platform and method based on AR and AI technology

【技术实现步骤摘要】
无人小车、基于AR和AI技术的无人车实训平台及方法
本专利技术涉及无人驾驶领域,尤其涉及无人小车、AR虚拟城市系统、AI控制系统、AR-AI无人车实训平台及方法。
技术介绍
无人驾驶是通过车载传感系统感知道路环境,自动规划行车路线并控制车辆到达预定目标的智能汽车。利用车载传感器来感知车辆周围环境,并根据感知所获得的道路、车辆位置和障碍物信息,控制车辆的转向和速度,从而使车辆能够安全、可靠地在道路上行驶。无人驾驶AI技术集自动控制、体系结构、人工智能、视觉计算等众多技术于一体,是计算机科学、模式识别和智能控制技术高度发展的产物,但由于该技术涉及到智能控制软硬件开发、无线传感技术、以及核心的人工智能技术,在模拟和实训过程中,传统的纯虚拟仿真无法完整还原其所需的技术环境,而真实的汽车无人驾驶,成本高,预算难,也非常难以用于实验与培训教学应用。
技术实现思路
为解决上述技术问题,本专利技术提供一种基于AR技术的无人小车、AR虚拟城市系统、AI控制系统、AR-AI无人车实训平台及方法。具体的,本专利技术的技术方案如下:第一方面,本专利技术公开了一种基于AR技术的无人小车,至少包括:环境感知模块和执行处理模块;其中:所述环境感知模块,用于无人小车在虚拟城市环境中运行时,感知所述虚拟城市环境中的虚拟场景,获取所述虚拟场景传感数据;所述执行处理模块,用于根据控制指令控制所述无人小车在所述虚拟城市环境中运行。优选地,所述无人小车包括通信芯片,用于将所述场景传感数据通过有线或者无线方式发送给AI控制系统;还用于接收所述AI控制系统的所述控制指令,所述AI控制系统设置在本地服务器/云端服务器。优选地,所述无人小车包括AI控制系统,用于至少处理所述场景传感数据,生成所述控制指令。优选地,所述无人小车包括一显示器,所述环境感知模块包括摄像头,所述摄像头前方设置所述显示器,所述显示器,用于显示所述虚拟城市环境;所述摄像头,用于拍摄当前所述虚拟场景的图片;所述摄像头拍摄的所述图片信息,被直接发送或者通过所述通信芯片发送给所述AI控制系统。优选地,所述环境感知模块还包括:麦克风、环境扫描传感器和/或定位传感器,所述麦克风,用于接受环境中的声音信号,声音信号被直接发送或者通过所述通信芯片发送给所述AI控制系统;所述环境扫描传感器,用于发射环境扫描信号,同时接收由所述AI控制系统发送并由所述通信芯片转发的环境扫描反馈模拟信号,获取障碍物相关信息;所述定位传感器,用于定位所述无人小车当前所处的空间位置;所述无人车的障碍物信息和/或定位信息,被直接发送或者通过所述通信芯片发送给所述AI控制系统。环境扫描传感器包括但不限于激光雷达、毫米波雷达、超声波雷达、vSLAM系统(结构光传感器、TOF摄像头、(双)鱼眼摄像头)等。优选地,所述无人小车还包括:车况感知模块,用于获取所述无人小车当前的车况;所述无人小车的车况信息,被直接发送或者通过所述通信芯片发送给所述AI控制系统。优选地,所述车况感知模块包括:车速感知子模块、状态感知子模块和/或基本信息获取子模块;所述车速感知子模块,用于获取所述无人小车当前的车速;所述状态感知子模块,用于获取所述无人小车当前剩余动能、里程数;所述基本信息获取子模块,用于获取所述无人小车的车身尺寸。第二方面,本专利技术公开了一种AR虚拟城市系统,包括:城市数据库,用于存储各种3D地图,及用于存储构建所述虚拟城市的各类3D模型;输入模块,用于接收用户输入的环境搭建指令;环境构建模块,用于根据所述环境搭建指令,利用所述城市数据库搭建无人小车进行实训的虚拟城市环境。输入模块包括但不限于(无线)键盘、平板电脑、笔记本电脑、PC、智能移动终端、智慧手套、遥控手板等。各类3D模型可以(从外界)将现有的模型导入系统。优选地,所述AR虚拟城市系统还包括:接口调用模块和/或显示定位模块;接口调用模块,用于与地图类子数据库进行数据交互,从所述地图类子数据库中获取3D地图;显示定位模块,用于根据现实空间中的定位标记,在所述定位标记上覆盖显示所述3D地图。具体的在地面上规则地在几何图形各顶点放置二维码/定位标志物,和/或,具体为方形或长方形等的带标尺的地面定位背景图,且该图整体上用于触发所述AR虚拟城市的覆盖显示。实物小车也在该图上(亦该AR虚拟城市系统的某张3D地图中)运行。该特制的图也称为无人车实训平台地毯。值得一提的是,所述3D地图的大小整体上根据实物小车的(长宽高)尺寸进行同比例的缩小。以接近仿真效果。实物小车对应的虚拟车型有很多,不同车型有不同的长宽高度,虚拟车型的长宽高度在AR虚拟城市中运行时,即与AR虚拟城市进行交互,例如转弯时,有些车是虚拟的加长型车型,这种车型在转弯时需要更大的转弯半径。再例如过限高路段,有些车是虚拟的加高型车型,这种车型在过限高路段时则不被允许。优选地,所述AR虚拟城市系统还包括:所述环境构建模块,还用于根据所述用户输入的调用指令,从所述城市数据库中调用相应的3D模型,设置在当前虚拟城市环境中的不同对应位置。优选地,所述AR虚拟城市系统还包括:显示模块,用于显示所述无人小车在所述虚拟城市环境中运行的画面。优选地,所述显示模块,还用于通过屏中屏的模式,显示所述无人小车视角下的当前虚拟场景;和/或,通过屏中屏的模式显示所述无人小车的运行参数。优选地,所述虚拟城市环境中包含动态3D模型。优选地,所述动态3D模型包括:移动的虚拟车辆、移动的虚拟行人、移动的虚拟动物、下雨状况、下雪状况、刮风状况、雷电状况、运行的红绿灯、倒伏的树木、被大风吹落的广告牌和/或指挥交通的警察。优选地,所述输入模块,还用于接收用户输入的动态3D模型的参数设置指令;所述环境构建模块,还用于根据所述动态3D模型的参数设置指令,设置在所述虚拟城市环境中的对应动态3D模型的初始位置、运行速度、及最终位置。优选地,所述城市数据库及环境构建模块集成在所述无人小车上;或所述城市数据库、及环境构建模块设置在本地服务器/云端服务器。第三方面,本专利技术还公开了一种AI控制系统,包括:信号接收模块,至少用于实时接收无人小车的场景传感数据和/或所述无人小车运行的虚拟城市环境数据;数据处理模块,至少用于对所述场景传感数据进行数据处理,识别所述无人小车当前所处的虚拟场景;AI决策模块,用于基于所述虚拟城市环境数据,和/或结合所述无人小车当前所处的虚拟场景信息,生成控制所述无人小车运行的控制指令;信号发送模块,用于将所述控制指令发送给所述无人小车。优选地,所述数据处理模块包括以下的任意一项或多项:图像识别处理子模块,用于将所述无人小车拍摄的虚拟场景图片进行图像识别处理,识别当前所处的虚拟场景;障碍信号处理子模块,用于接收所述无人小车发送的障碍物环境扫描信号,获取所述无人小车与障碍物的距离、方位信息;定位信号处理子模块,用于对接收的所述无人小车的定位信号进行解析处理,获取所述无人小车在所述虚拟城市环境中的位置;车况信号处理子模块,用于对接收的所述无人小车的车况信号进行相应数本文档来自技高网...

【技术保护点】
1.一种基于AR技术的无人小车,其特征在于,至少包括:环境感知模块和执行处理模块;其中:/n所述环境感知模块,用于无人小车在虚拟城市环境中运行时,感知所述虚拟城市环境中的虚拟场景,获取所述虚拟场景传感数据;/n所述执行处理模块,用于根据控制指令控制所述无人小车在所述虚拟城市环境中运行。/n

【技术特征摘要】
1.一种基于AR技术的无人小车,其特征在于,至少包括:环境感知模块和执行处理模块;其中:
所述环境感知模块,用于无人小车在虚拟城市环境中运行时,感知所述虚拟城市环境中的虚拟场景,获取所述虚拟场景传感数据;
所述执行处理模块,用于根据控制指令控制所述无人小车在所述虚拟城市环境中运行。


2.根据权利要求1所述的一种无人小车,其特征在于,所述无人小车包括通信芯片,用于将所述场景传感数据通过有线或者无线方式发送给AI控制系统,还用于接收所述AI控制系统的所述控制指令;所述AI控制系统设置在本地服务器/云端服务器。


3.根据权利要求1所述的一种无人小车,其特征在于,所述无人小车包括AI控制系统,用于至少处理所述场景传感数据,生成所述控制指令。


4.根据权利要求2或3所述的一种无人小车,其特征在于,所述无人小车包括一显示器,所述环境感知模块包括摄像头,
所述摄像头前方设置所述显示器,所述显示器,用于显示所述虚拟城市环境;所述摄像头,用于拍摄当前所述虚拟场景的图片;
所述摄像头拍摄的所述图片信息,被直接发送或者通过所述通信芯片发送给所述AI控制系统。


5.根据权利要求2或3所述的一种无人小车,其特征在于,所述环境感知模块还包括:麦克风、环境扫描传感器和/或定位传感器;其中:
所述麦克风,用于接受环境中的声音信号,所述声音信号被直接发送或者通过所述通信芯片发送给所述AI控制系统;
所述环境扫描传感器,用于发射环境扫描信号,同时接收由所述AI控制系统发送并由所述通信芯片转发的环境扫描反馈模拟信号,获取障碍物相关信息;
所述定位传感器,用于定位所述无人小车当前所处的空间位置;
所述无人车的障碍物信息和/或定位信息,被直接发送或者通过所述通信芯片发送给所述AI控制系统。


6.根据权利要求2或3所述的一种无人小车,其特征在于,还包括:
车况感知模块,用于获取所述无人小车当前的车况;
所述无人小车的车况信息,被直接发送或者通过所述通信芯片发送给所述AI控制系统。


7.根据权利要求6所述的一种无人小车,其特征在于,所述车况感知模块包括:车速感知子模块、状态感知子模块和/或基本信息获取子模块;其中:
所述车速感知子模块,用于获取所述无人小车当前的车速;
所述状态感知子模块,用于获取所述无人小车当前剩余动能、里程数;
所述基本信息获取子模块,用于获取所述无人小车的车身尺寸。


8.一种AR虚拟城市系统,其特征在于,包括:
城市数据库,用于存储各种3D地图,及用于存储构建所述虚拟城市的各类3D模型;
输入模块,用于接收用户输入的环境搭建指令;
环境构建模块,用于根据所述环境搭建指令,利用所述城市数据库搭建无人小车进行实训的虚拟城市环境。


9.根据权利要求8所述的一种AR虚拟城市系统,其特征在于,还包括:接口调用模块和/或显示定位模块;
所述接口调用模块,用于与地图类子数据库进行数据交互,从所述地图类子数据库中获取3D地图;
所述显示定位模块,用于根据现实空间中的定位标记,在所述定位标记上覆盖显示所述3D地图。


10.根据权利要求8所述的一种AR虚拟城市系统,其特征在于,还包括:
所述环境构建模块,还用于根据所述用户输入的调用指令,从所述城市数据库中调用相应的3D模型,设置在当前虚拟城市环境中的不同对应位置。


11.根据权利要求8所述的一种AR虚拟城市系统,其特征在于,还包括:
显示模块,用于显示所述无人小车在所述虚拟城市环境中运行的画面。


12.根据权利要求11所述的一种AR虚拟城市系统,其特征在于,所述显示模块,还用于通过屏中屏的模式,显示所述无人小车视角下的当前虚拟场景;和/或,通过屏中屏的模式显示所述无人小车的运行参数。


13.根据权利要求8所述的一种AR虚拟城市系统,其特征在于,所述虚拟城市环境中包含动态3D模型。


14.根据权利要求13所述的一种AR虚拟城市系统,其特征在于,所述动态3D模型包括:移动的虚拟车辆、移动的虚拟行人、移动的虚拟动物、下雨状况、下雪状况、刮风状况、雷电状况、运行的红绿灯、倒伏的树木、被大风吹落的广告牌和/或指挥交通的警察。


15.根据权利要求13所述的一种AR虚拟城市系统,其特征在于,所述输入模块,还用于接收用户输入的动态3D模型的参数设置指令;
所述环境构建模块,还用于根据所述动态3D模型的参数设置指令,设置在所述虚拟城市环境中的对应动态3D模型的初始位置、运行速度、及最终位置。


16.根据权利要求8-15任一项所述的一种AR虚拟城市系统,其特征在于,所述城市数据库及环境构建模块集成在所述无人小车上;或者,所述城市数据库、及环境构建模块设置在本地服务器/云端服务器。


17.一种AI控制系统,其特征在于,包括:
信号接收模块,至少用于实时接收无人小车的场景传感数据和/或所述无人小车运行的虚拟城市环境数据;
数据处理模块,至少用于对所述场景传感数据进行数据处理,识别所述无人小车当前所处的虚拟场景;
AI决策模块,用于基于所述虚拟城市环境数据,和/或结合所述无人小车当前所处的虚拟场景信息,生成控制所述无人小车运行的控制指令;
信号发送模块,用于将所述控制指令发送给所述无人小车。


18.根据权利要求17所述的一种AI控制系统,其特征在于,所述数据处理模块包括以下的任意一项或多项:
图像识别处理子模块,用于将所述无人小车拍摄的虚拟场景图片进行图像识别处理,识别当前所处的虚拟场景;
障碍信号处理子模块,用于接收所述无人小车发送的障碍物环境扫描信号,获取所述无人小车与障碍物的距离、方位信息;
定位信号处理子模块,用于对接收的所述无人小车的定位信号进行解析处理,获取所述无人小车在所述虚拟城市环境中的位置;
车况信号处理子模块,用于对接收的所述无人小车的车况信号进行相应数据处理,获取所述无人小车当前车况;
声音信号处理子模块,用于对接收的所述无人小车的周边声音信号进行相应数据处理,获取所述无人小车周边情况。


19.根据权利要求18所述的一种AI控制系统,其特征在于,所述AI决策模块包括:
目的地获取子模块,用于获取所述无人小车抵达的目的地;
路径规划子模块,用于根据所述无人小车当前在所述虚拟城市环境的位置信息,及所述无人小车的目的地信息,结合所述虚拟城市环境信息,规划所述无人小车从当前位置运行至所述目的地的路径;
运行控制子模块,用于根据所述无人小车当前所处的虚拟场景信息,结合预设的控制规则,生成实时的控制指令,控制所述无人小车在所述规划的路径上的实时运行。


20.根据权利要求19所述的一种AI控制系统,其特征在于,所述AI决策模块还包括:
路径更新子模块,用于当所述无人小车当前所处的虚拟城市环...

【专利技术属性】
技术研发人员:雷沉房晓俊
申请(专利权)人:塔普翊海上海智能科技有限公司
类型:发明
国别省市:上海;31

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1