【技术实现步骤摘要】
本专利技术涉及路径规划，特别涉及基于深度强化学习的路径规划方法及系统。
技术介绍
1、现如今，传统的路径规划算法需要依赖人工定制规则和策略，应对复杂环境和任务时存在局限性。同时在室内环境中，gps导航等功能难以实现，而使用激光slam和视觉slam的导航与定位成本较高，且配置难度较高，无法对环境准确建模。某些传统方法还占用大量的计算资源和空间，限制了实时性和效率。
2、当前，移动机器人越来越需要有自主学习的能力。随着科技的发展，通过将深度学习与强化学习相结合，充分利用深度学习对环境感知能力与强化学习的快速学习决策能力，利用深度学习对函数优秀的拟合能力去解决强化学习的策略问题。
3、鉴于此，需要基于深度强化学习的路径规划方法及系统。
技术实现思路
1、针对现有技术中传统的路径规划算法具有局限性，且室内环境中配置难度较高以及对实时性和效率的限制问题，本专利技术提供了基于深度强化学习的路径规划方法及系统，能够学习和表示复杂的环境模型，实现更准确的路径规划，有效解决了机器人学习策略的效率且提高了对环境的感知能力。该算法将机器人周围的障碍物信息离散成有限个状态，进而合理地设计环境模型与状态空间数目。其中设计了连续性的奖励函数，使得机器人采取的每一个动作都能得到相应的回报，提高了算法的训练效率。最后再建立仿真环境，对该智能体进行学习训练，训练结果验证了算法的高效性，同时将机器人置于实际环境中检验其在复杂环境中的有效性。此外，在探索部分使用了ε-greedy策略，保证在探
2、基于深度强化学习的路径规划方法，包括以下步骤：
3、s1：通过工业相机采集包含机器人行走路线周边环境信息的图片，获得机器人多种场景的环境；
4、s2：对所述步骤s1中采集到的图片进行数据预处理；
5、s3：对进行数据预处理过后的图片进行分类，分类得出的不同图片制作不同的数据集，所述数据集包括训练集、预测集和测试集；
6、s4：将数据集输入深度神经网络模型中训练，进而构建路径规划模型，然后通过模型与测试集的结果进行性能指标的优化；
7、s5：在机器人上搭载路径规划模型，通过机器人上设置的工业相机实时捕捉机器人行走路线周边环境的图片，并对图片进行数据预处理后实时送入所述路径规划模型中进行路径规划，并且基于实时图片进一步优化所述路径规划模型。
8、优选的，所述步骤s2中的所述数据预处理具体如下：
9、基于opencv库中的canny边缘检测和霍夫转换算法，对图像进行阈值化和归一化操作；
10、采用hsv色彩空间转换排除周围环境因素的干扰，得到只有障碍物、指定局部起始点和目的地的深度图像；
11、通过opencv库中的二值化函数将不同属性的像素点给予不同颜色阈值，以此表达环境情况。
12、优选的，所述步骤s4具体如下：
13、数据集输入深度神经网络模型，进而构建路径规划模型，得到每个训练图像的初始q值，并储存在文件中；
14、通过训练函数不断更新权重，再次储存为新的q值，不断重复该步骤，直到模型学习所需特征；
15、将模型与测试集的结果得到性能指标，选择训练结果好的权重文件输入到总体导航框架中。
16、基于深度强化学习的路径规划系统，应用于如上所述的方法，包括工业相机模块、jetson nano模块、单片机模块、直流电机模块、电机驱动模块、电源模块和智能小车行走机构；
17、所述工业相机模块和所述jetson nano模块连接，用于向所述jetson nano模块传输自身拍摄的图片信息；所述jetson nano模块用于对数据包括部署的仿真数据集制作模块、基于深度强化学习的路径规划算法模块、上位机与下位机通讯模块，所述仿真数据集制作模块用于进行数据预处理并制作数据集，所述基于深度强化学习的路径规划算法模块用于建立并训练路径规划模型，所述上位机与下位机通讯模块用于将模型的输出结果形成指令；所述单片机模块搭载在所述智能小车行走机构上，且所述单片机模块与所述jetsonnano模块连接，用以接收所述jetson nano模块形成的指令并基于所述指令控制所述智能小车行走机构动作；所述电源模块分别与所述jetson nano模块、所述电机驱动模块以及所述直流电机模块连接，所述电源模块为所述jetson nano模块提供交流电源，所述电源模块为所述电机驱动模块以及所述直流电机模块提供直流电源；所述单片机模块与所述电机驱动模块连接，所述电机驱动模块与所述直流电机模块连接，所述单片机模块接收到来自所述jetson nano模块控制所述电机驱动模块动作，进而驱动所述直流电机模块进行正反转操作。
18、优选的，所述智能小车行走机构包括亚克力横板、铜柱和轮子，所述亚克力横板的顶部连接有所述jetson nano模块，所述亚克力横板的底部部固定装有所述单片机模块、所述电机驱动模块和所述电源模块，所述亚克力横板底部左右两侧固定有所述直流电机模块，且所述亚克力横板由所述铜柱固定连接，所述轮子与所述直流电机模块相连接。
19、优选的，所述上位机与下位机通讯模块通过有线usb串口通讯方式接收来自所述基于深度强化学习的路径规划算法模块的规划路径数组控制信息向所述单片机模块传送控制指令。
20、优选的，所述单片机模块采用arduino单片机、51单片机或stm32单片机。
21、优选的，还包括机器人导航模块，所述机器人导航模块与所述单片机模块连接，且所述机器人导航模块采用视觉slam以提高导航的精度。
22、计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行如上所述的基于深度强化学习的路径规划方法。
23、处理器，所述处理器用于运行程序，其中，所述程序运行时执行如上所述的基于深度强化学习的路径规划方法
24、与现有技术相比，本专利技术的有益效果为：
25、本专利技术提出基于深度强化学习的路径规划系统相较于其他路径规划系统，利用相机作为唯一传感器实现对环境的感知，只需相机采集的图片进行预处理即可训练。降低了对光感知和环境干扰。
26、本专利技术能在探索的同时边训练出更好的模型，从而获得更好的路径规划结果。以往使用激光雷达的成本定位较高，但使用深度强化学习只需使用相机进行数据采集，并应用到真实环境中，精度高且成本较低。
27、本专利技术作为系统模型拥有鲁棒性和广泛的适配性，可以搭载在较小的边缘设备上，对移动机器人的计算资源要求较低。
本文档来自技高网...【技术保护点】
1.基于深度强化学习的路径规划方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于深度强化学习的路径规划方法，其特征在于，所述步骤S2中的所述数据预处理具体如下：
3.根据权利要求1所述的基于深度强化学习的路径规划方法，其特征在于，所述步骤S4具体如下：
4.基于深度强化学习的路径规划系统，其特征在于，应用于权利要求1至3任一所述的方法，包括工业相机模块、Jetson nano模块、单片机模块、直流电机模块、电机驱动模块、电源模块和智能小车行走机构；
5.根据权利要求4所述的基于深度强化学习的路径规划方法，其特征在于，所述智能小车行走机构包括亚克力横板、铜柱和轮子，所述亚克力横板的顶部连接有所述Jetson nano模块，所述亚克力横板的底部部固定装有所述单片机模块、所述电机驱动模块和所述电源模块，所述亚克力横板底部左右两侧固定有所述直流电机模块，且所述亚克力横板由所述铜柱固定连接，所述轮子与所述直流电机模块相连接。
6.根据权利要求4所述的基于深度强化学习的路径规划方法，其特征在于，所述上位机与下位机通讯模块
7.根据权利要求6所述的基于深度强化学习的路径规划方法，其特征在于，所述单片机模块采用Arduino单片机、51单片机或stm32单片机。
8.根据权利要求4所述的基于深度强化学习的路径规划方法，其特征在于，还包括机器人导航模块，所述机器人导航模块与所述单片机模块连接，且所述机器人导航模块采用视觉SLAM以提高导航的精度。
9.计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至3中任意一项所述的基于深度强化学习的路径规划方法。
10.处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至3中任意一项所述的基于深度强化学习的路径规划方法。
...【技术特征摘要】
1.基于深度强化学习的路径规划方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于深度强化学习的路径规划方法，其特征在于，所述步骤s2中的所述数据预处理具体如下：
3.根据权利要求1所述的基于深度强化学习的路径规划方法，其特征在于，所述步骤s4具体如下：
4.基于深度强化学习的路径规划系统，其特征在于，应用于权利要求1至3任一所述的方法，包括工业相机模块、jetson nano模块、单片机模块、直流电机模块、电机驱动模块、电源模块和智能小车行走机构；
5.根据权利要求4所述的基于深度强化学习的路径规划方法，其特征在于，所述智能小车行走机构包括亚克力横板、铜柱和轮子，所述亚克力横板的顶部连接有所述jetson nano模块，所述亚克力横板的底部部固定装有所述单片机模块、所述电机驱动模块和所述电源模块，所述亚克力横板底部左右两侧固定有所述直流电机模块，且所述亚克力横板由所述铜柱固定连接，所述轮子与所述直流电机模块相连接。
6.根据权利要...
【专利技术属性】
技术研发人员：陈季杨，李宇琛，张钦科，赵浩锋，冯宏浩，
申请(专利权)人：东莞理工学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。