【技术实现步骤摘要】
本专利技术涉及无人驾驶，具体涉及基于多模态感知自主决策无人驾驶方法、设备以及系统。
技术介绍
1、随着当今世界科学的进步,人工智能也在迅速发展。目前,传统的产业以人工智能的发展为依托,正在大力研发无人驾驶技术，应用于智能小车、送餐车、汽车等车型。无人驾驶技术在减少驾驶员驾驶强度、提高驾驶安全性、提高工作效率等方面的突出作用,让这项技术拥有着良好的发展前景。
2、现阶段无人驾驶汽车的人工智能技术主要细分包括，计算机视觉与深度学习。同时以传感器以及高速芯片、gpu等为主的硬件发展也是无人驾驶领域研发的重要板块。无人驾驶是智能化的终极体现，集中运用了计算机、现代传感，信息融合、通信、人工智能及自动控制等及技术，是典型的高新技术综合体。随着无人驾驶技术的不断提高，无人驾驶汽车行业市场规模将会快速增长。
3、其中感知对于无人驾驶来说十分重要。目前，感知所用的传感器各有优缺点，很难找到一种能够适应各种环境的传感器器件。例如，激光雷达对雨雾的穿透能力受到限制，对黑颜色的汽车反射率有限；毫米波雷达对动物体的反射不敏感；超声波雷达的感知距离与频率受限；摄像头本身靠可见光成像，在雨雾天、黑夜的情况下其灵敏度会有所下降。
4、其次是决策方案不够智能化，无人驾驶车辆不能实现快速的应变及智能的自主决策，在调速、变道、避让等操作上还不够智能化。如某品牌外卖小车在面对突然出现的矮路障时往往会来不及应变而发生碰撞。
5、目前国内外在无人驾驶的感知技术方面，有视觉目标感知技术和定位感知技术。在无人驾驶的场景下视觉目
技术实现思路
1、为此，本专利技术提供基于多模态感知自主决策无人驾驶方法、设备以及系统，以解决
技术介绍
中提出的问题。
2、为了实现上述目的，本专利技术提供如下技术方案：一种自主决策无人驾驶方法，基于常规的迪杰斯特路径规划算法,包括：
3、将所有的路径抽象成一个个的像素小格，并且通过无人驾驶设备的行驶通过雷达对周边的避障，在区域像素格中附上权值,进而区分障碍物和可正常的执行路径；
4、设定起始地点和目的地，以起始地点为中心，取上下左右四个格子作为更新迭代的方向，越靠近障碍物的地方权值越高，来区分障碍物和可正常的执行路径，四个格子都以它们为中心向它们的四周进行更新权值，只需将原本中心的权值加上他们四周的权值，并通过不定时进行划分权值阈值避免无限进行权值更新；
5、权值以此原理进行类推并不断更新迭代，到达某一阈值时,表明无人驾驶设备成功找到目的地并且避开在该路线上的障碍物，此路径规划迭代出路线。
6、进一步的，通过权值阈值自定义的方式，以m为权值阈值，当阈值更新后，超过m的地方停止进行权值更新,不断更新迭代，当阈值为n时，表明无人驾驶设备成功找到目的地并且避开在该路线上的障碍物。
7、本专利技术公开了一种基于多模态感知自主决策无人驾驶方法，包括：
8、无人驾驶设备采取激光雷达与视觉融合的目标检测方法，得到不同障碍物的距离，位置以及宽度；
9、同时无人驾驶设备通过视觉进行机器学习的方法对不同的障碍物进行分类并且检测，该方法分为两种情况：
10、当无人驾驶设备应对在熟悉的地图环境下，则采用离线学习的环境感知方法，将原始图像进行网格划分，进而通过机器学习识别出可行区域；
11、当无人驾驶设备应对在及其不熟悉的环境下，则采用在线学习的环境感知方法，方法有两种：
12、way1:通过将前视图与俯视图进行信息融合来提高整体识别精度，以及通过时域滤波增强无人驾驶设备的鲁棒性，最后通过通行函数进行导航方向的判断；
13、way2：引入svm分类器和直方图反向投影器，通过两种学习器相互学习，相互互补，获得满意的在线分类效果；
14、利用权利要求1-2任一项所述的自主决策无人驾驶方法进行全局路径规划和小区域路径规划，实现无人驾驶设备应对于突发情况下的障碍物进行绕行。
15、进一步的，离线学习的环境感知的具体步骤包括：
16、首先，读入原始图像或者实时视频帧,然后将图片像素点分成x*x的网格划分；
17、接着，基于keras训练卷积神经网络设置数据生成器并创建模型，预先进行数据预处理、特征提取以及特征缩放，随后使用卷积神经网络进行训练模型，在本模型的训练中，精确率和召回率达到95％(95％为训练前预设，当训练后得到这个结果后，再进行后面的操作，假设如果精确率不达到这个标准，后面车道检测将会产生偏差)，再采用前视图与俯视图相结合的方式进行车道检测，其中俯视图是前视图经过逆投影变换后生成的，而逆投影算法公式为：
18、
19、
20、z(μ,v)＝0
21、该公式为逆投影变换中的一种表示方式，其中包含了三个变量函数x(μ,v)、y(μ,v)和z(μ,v)，这些函数描述了在逆投影变换后的俯视图中，输出图像上每个像素点(u,v)对应的三维空间坐标(x,y,z)，参数的含义如下：
22、其中μ和v：输入图像中的像素坐标，表示图像上的点的位置；
23、而θ、α、n、γ、β和m：这些参数是逆投影变换的参数，用于根据摄像头的内参矩阵和外参矩阵计算投影矩阵p(这里的p不参与公式计算作为参数保留，方便公式推导)，具体含义：
24、θ：摄像头的视角(视场角)，用于描述摄像头的广角或鱼眼效果；
25、α、n：用于描述图像的畸变，校正图像中的畸变效果；
26、γ、β和m：用于描述图像的旋转和平移，将图像投影到对应的平面上；
27、h、l和d：这些参数用于描述输出图像的尺寸和位置：
28、h：输出图像的高度；
29、l：输出图像的水平偏移量，表示图像在水平方向上的平移；
30、d：输出图像的垂直偏移量，表示图像在垂直方向上的平移；
31、根据这些参数和函数，公式描述了在逆投影变换中，从输入图像的像素坐标(μ,v)转换到输出图像的三维空间坐标(x,y,z)的计算过程；
32、其中x(μ,v)和y(μ,v)表示输出图像上每个像素点的水平和垂直位置，z(μ,v)始终为零，表示输出图像上每个像素点的高度(垂直方向上的坐标)为零；
33、利用前视图和俯视图中显现出截然相反的特点，通过将前视图与俯视图进行信息融合来提高整体识别精度；
34、利用时域滤波生成一个带噪声的时间序列数据，并定义滤波器进行滤波，在同一坐标轴下统一不同本文档来自技高网...
【技术保护点】
1.一种自主决策无人驾驶方法，基于常规的迪杰斯特路径规划算法,其特征在于：包括：
2.根据权利要求1所述的自主决策无人驾驶方法，其特征在于：通过权值阈值自定义的方式，以M为权值阈值，当阈值更新后，超过M的地方停止进行权值更新,不断更新迭代，当阈值为N时，表明无人驾驶设备成功找到目的地并且避开在该路线上的障碍物。
3.一种基于多模态感知自主决策无人驾驶方法，其特征在于：包括：
4.根据权利要求3所述的基于多模态感知自主决策无人驾驶方法，其特征在于：离线学习的环境感知的具体步骤包括：
5.根据权利要求3所述的基于多模态感知自主决策无人驾驶方法，其特征在于：采用前视图与俯视图相结合的方式进行车道检测，其中俯视图是前视图经过逆投影变换后生成的，而逆投影算法公式为：
6.根据权利要求3所述的基于多模态感知自主决策无人驾驶方法，其特征在于：在线学习的环境感知包括运用在纹理特征处理上的SVM分类器；
7.根据权利要求6所述的基于多模态感知自主决策无人驾驶方法，其特征在于：在线学习的环境感知还包括运用在处理颜色特征上的直方图
8.根据权利要求3-7任一项所述的基于多模态感知自主决策无人驾驶方法运行得到基于多模态感知自主决策无人驾驶系统。
9.一种基于多模态感知自主决策无人驾驶的设备，其特征在于：该设备安装有如权利要求8所述的基于多模态感知自主决策无人驾驶系统，该设备为用于基于单片机或物联网芯片的智能小车、用于在户外或工厂、商场场所运送货物的无人驾驶小车以及用于无人驾驶的轿车、货车中任意一种。
...【技术特征摘要】
1.一种自主决策无人驾驶方法，基于常规的迪杰斯特路径规划算法,其特征在于：包括：
2.根据权利要求1所述的自主决策无人驾驶方法，其特征在于：通过权值阈值自定义的方式，以m为权值阈值，当阈值更新后，超过m的地方停止进行权值更新,不断更新迭代，当阈值为n时，表明无人驾驶设备成功找到目的地并且避开在该路线上的障碍物。
3.一种基于多模态感知自主决策无人驾驶方法，其特征在于：包括：
4.根据权利要求3所述的基于多模态感知自主决策无人驾驶方法，其特征在于：离线学习的环境感知的具体步骤包括：
5.根据权利要求3所述的基于多模态感知自主决策无人驾驶方法，其特征在于：采用前视图与俯视图相结合的方式进行车道检测，其中俯视图是前视图经过逆投影变换后生成的，而逆投影算...
【专利技术属性】
技术研发人员：张智，杨文康，周龚郡，李响，闻凯，孙艳波，丁瑞升，许焕玉，王鑫桐，赵禛晗，
申请(专利权)人：南京航空航天大学金城学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。