基于学习组件库的辅助型移动机器人导航控制系统和方法技术方案

本发明专利技术公开了基于学习组件库的辅助型移动机器人导航控制系统和方法，系统包括学习组件库，学习组件库包括：初始化组件、环境建模组件、路径规划组件、核心算法组件、测试组件、优化组件和可视化组件。本发明专利技术中各个组件之间相互交互，灵活调用，使用过程中可以根据移动机器人类型，快速构建多种适应其导航任务场景的不同算法策略的仿真或者实际应用的强化学习训练与可视化闭环学习系统。

【技术实现步骤摘要】
基于学习组件库的辅助型移动机器人导航控制系统和方法
本专利技术涉及一种基于学习组件库的辅助型移动机器人导航控制系统和方法，属于机器人控制

技术介绍
近几年来，随着机器人技术的发展，功能辅助型移动机器人在农业、商业、物流、医疗辅助、军工等各个领域有着广泛的应用。比如，在国内新冠病毒疫情期间，辅助型移动机器人凭借其自主性，在医院、小区消毒、快递物流配送、体温检测、隔离区智能问诊等方面起到重要的作用，推动了我国的防疫抗议的进程。辅助型移动机器人是一个综合系统，其集成了环境感知、自主定位、路径规划、底层导航控制与执行特定辅助功能等于一体。以疫情期间执行公共场合消毒任务的移动机器人为例，其在执行消毒工作的过程中，通过自身搭载的多种外部传感器，比如单目视觉摄像头、双目视觉摄像头、激光雷达、毫米波雷达，超声波传感器等获取需要消毒的区域环境信息；接着结合自身内部传感器，如惯性传感器、GPS等估计自身在当前所处区域的全局位置与姿态信息；在上述两步的基础上，结合具体任务需求，使用路径规划算法，如人工势场法、启发式快速扩展随机树等，规划出一条从初始本文档来自技高网...

【技术保护点】
1.一种基于学习组件库的辅助型移动机器人导航控制系统，其特征在于，包括学习组件库，所述学习组件库包括：初始化组件、环境建模组件、路径规划组件、核心算法组件、测试组件、优化组件和可视化组件；所述初始化组件，用于完成特定移动机器人类型对应的状态空间、动作空间的初始化，以及用于设立奖励函数；所述环境建模组件，用于读取并处理移动机器人搭载的传感器数据，以及用于确定定位机器人所处的全局位置数据以及在进行仿真任务时，建立虚拟的与移动机器人交互的环境；所述路径规划组件，用于提供能够选择的路径规划算法以实现最优导航路径；所述核心算法组件，用于提供多种策略的强化学习算法，使得输出控制器指令完成强化学习闭环控制；...

【技术特征摘要】
1.一种基于学习组件库的辅助型移动机器人导航控制系统，其特征在于，包括学习组件库，所述学习组件库包括：初始化组件、环境建模组件、路径规划组件、核心算法组件、测试组件、优化组件和可视化组件；所述初始化组件，用于完成特定移动机器人类型对应的状态空间、动作空间的初始化，以及用于设立奖励函数；所述环境建模组件，用于读取并处理移动机器人搭载的传感器数据，以及用于确定定位机器人所处的全局位置数据以及在进行仿真任务时，建立虚拟的与移动机器人交互的环境；所述路径规划组件，用于提供能够选择的路径规划算法以实现最优导航路径；所述核心算法组件，用于提供多种策略的强化学习算法，使得输出控制器指令完成强化学习闭环控制；所述测试组件，用于提供供选择的仿真环境中的扰动方法，以测试利用核心算法组件确定的强化学习算法的性能；所述优化组件，用于提供供选择的优化算法对利用核心算法组件确定的强化学习算法的选定参数进行调节，以提升导航控制算法的性能；所述可视化组件，用于在进行仿真或者实际学习任务时，将核心算法组件以及测试组件的输出数值实现可视化。


2.根据权利要求1所述的一种基于学习组件库的辅助型移动机器人导航控制系统，其特征在于，所述核心组件库包括同策略模块、异策略模块以及综合策略模块，所述同策略模块用于封装同策略的强化学习算法，所述异策略用于封装异策略的强化学习算法；所述综合策略模块，用于封装综合策略算法，所述综合策略算法为综合同策略与异策略的数据驱动强化算法。


3.根据权利要求2所述的一种基于学习组件库的辅助型移动机器人导航控制系统，其特征在于，所述综合策略算法包括：通过将学习的新策略反馈给移动机器人系统，收集特定系统数据来优化强化学习算法的适应能力；同时将重新收集的数据与以往回放的经验数据结合，再次学习最终确定强化学习算法。


4.根据权利要求1所述的一种基于学习组件库的辅助型移动机器人导航控制系统，其特征在于，所述系统还包括：底层控制算法组件，所述底层控制算法组件能够直接用于提供作为与强化学习算法对比的基准组件，也能够与上层强化学习算法结合，搭建从状态直接到执行器指令的闭环控制强化学习系统。


5.根据权利要求1所述的一种基于学习组件库的辅助型移动机器人导航控制系统，其特征在于，所述环境建模组件包括：传感器数据处理模块、移动机器人定位模块和强化学习环境建模模块，所述传感器数据处理模块用于读取并处理移动机器人搭载的传感器数据，所述移动机器人定位模块用于实时定位机器人所处的全局位置数据；所述强化学习环境建模模块用于在进行仿真任务时，建立虚拟的与移动机器人交互的环境。


6.根据权利要求1所述的一种基于学习组件库的辅助型移动机器人导航控制系统，其特征在于，所述优化组件提供的供选择的优化算法包括正则化算法，所述正则化算法包括L1和L2正则化算法、熵正则化算法和/或早停算法。


7.根据权利要求1所述的一种基于学习组件库的辅助型移动机器人导航控制系统，其特征在于，所述路径规划组件和核心算法组件中分别设置性能评价函数模块，用于提供性能评价函数实现对所述路径规划组件和核心算法组件的参数调节和算法选择的性能评价。


8.一种基于学习组件库的辅助型移动机器人导航控制控制方法，其特征在于，所述方法基于学习组件库的辅助型移动机器人导航控制系统；所述系统包括学习组件库，所述学习组件库包括：初始化组件、环境建模组件、路径规划组件、核心算法组件、测试组件、优化组件、可视化组件和底层控制算法组件；所述初始化组件，用于完成特定移动机器人类型对应的状态空间、动作空间的初始化，以及用于设立奖励函数；所述环境建模组件，用于读取并处理移动机器人搭载的传感器数据，以及用于确定定位机器人所处的全局位置数据以及在进行仿真任务时，建立虚拟的与移动机器人交互的环境；所述路径规划组件，用于提供能够选择的路径规划算法以实现最优导航路径规划；所述核心算法组件，用于提供多种强化学习算法供选择，使得输出控制器指令完成强化学习闭环控制；所述测试组件，用于提供供选择的不同工况性能测试的扰动方法，以测试利用核心算法组件确定的强...

【专利技术属性】
技术研发人员：孙长银，何子辰，董璐，陈启军，王嘉伟，
申请(专利权)人：同济大学，
类型：发明
国别省市：上海;31