一种环境自适应的水下机器人及控制方法技术

本发明专利技术涉及一种环境自适应的水下机器人及控制方法，包括与机器人本体连接的观测动力集成平台，具有驱动机器人本体在水体环境中运行的动力单元，和根据作业指令获取环境数据的传感器组；地面站，通过控制单元向观测动力集成平台和机器人本体发出作业指令，并接受获取的数据；控制单元，通过训练完毕的深度强化学习模型，根据传感器组获取的环境数据，向观测动力集成平台和机器人本体发出与环境对应的动作指令。提高水下机器人的智能化程度，减少水下探测过程中的人工干预，能够自动躲避障碍物，能够通过学习实现自动巡航，硬件系统高度集成，软件系统具备良好的扩展性。软件系统具备良好的扩展性。软件系统具备良好的扩展性。

【技术实现步骤摘要】
一种环境自适应的水下机器人及控制方法


[0001]本专利技术涉及机器人
，具体为一种环境自适应的水下机器人及控制方法。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]应用在海洋环境探测、海洋工程、水下管道巡检等领域的水下机器人，由于工作环境复杂，往往需要由人工以遥控的方式全程控制，导致控制过程中的人力成本较高。其次，水下机器人在作业时会受到水下不明障碍物的撞击，容易发生损毁，其安全性是设计过程中必须考虑的要素。
[0004]此外，为了满足水下探测业务复杂的功能要求，水下机器人的整体结构往往比较复杂，对控制系统的需求导致生产制造成本较高，因此目前的水下机器人通常对环境的适应调节性差、功能单一、实用性低、灵活性差的缺陷。

技术实现思路

[0005]为了解决上述
技术介绍
中存在的技术问题，本专利技术提供一种环境自适应的水下机器人及控制方法，利用训练完毕的深度学习模型，使水下机器人能够利用获取到的环境数据，生成应对环境所需的动作指令，能够实现特定水域、特定路线的自动巡航，并能够自动躲避障碍物，在提升安全性的同时硬件系统更为集中。
[0006]为了实现上述目的，本专利技术采用如下技术方案：
[0007]本专利技术的第一个方面提供一种环境自适应的水下机器人，包括：
[0008]观测动力集成平台，与机器人本体连接，具有驱动机器人本体在水体环境中运行的动力单元，和根据作业指令获取环境数据的传感器组；
[0009]地面站，通过控制单元向观测动力集成平台和机器人本体发出作业指令，并接受获取的数据；
[0010]控制单元，通过训练完毕的深度强化学习模型，根据传感器组获取的环境数据，向观测动力集成平台和机器人本体发出与环境对应的动作指令。
[0011]观测动力集成平台包括连接在载体平台上的动力单元；载体平台包括固定在平台框架中心的圆舱，布置在平台框架下底面的电池舱，布置在平台框架顶面和底面的动力单元，布置在平台框架至少一面上的图像采集模块。动力单元包括，布置在平台框架顶面的至少一组垂直推进器，和布置在平台框架底面的至少一组水平推进器。
[0012]载体平台上具有传感器组，传感器组包括CTD传感器、压力传感器、pH传感器、流速传感器、溶解氧传感器和叶绿素浑浊度传感器中的一种或多种。
[0013]观测动力集成平台和机器人本体为水体环境中，通过控制单元经通讯模块与地面站实现通讯，通讯模块位于浮标内部，浮标位于水面上。
[0014]深度机器学习模型具有感知过程和决策过程；感知过程为获取环境中目标的观测
信息并得到当前环境下状态信息的深度学习过程，决策过程为根据当前状态映射到相应动作并基于预期评价动作价值的强化学习过程。
[0015]深度机器学习模型根据传感器组获取的环境数据输出相匹配的自适应动作，具体为：
[0016](5)在每个时刻，与环境交互得到对应的一个观察，并利用深度学习方法来感知观察，得到针对该环境的状态特征表示；
[0017](6)基于预期回报来评价各动作的价值函数，并通过设定的策略将当前环境匹配的状态特征表示，映射为对应的动作；
[0018](7)环境对该对应的动作做出反应，并得到下一时刻的观察；
[0019](8)循环以上过程，得到实现目标的最优策略。
[0020]决策过程通过先评估每个动作的价值Q，再根据Q值得到最优策略，基于贝尔曼最优方程经函数拟合，输入状态值S，经深度神经网络输出离线状态下与各动作对应的Q值，一次向前计算完成学习。
[0021]本专利技术的第二个方面提供上述水下机器人的控制方法，包括以下步骤：
[0022]传感器组获取机器人本体所在水体的环境数据，经控制单元通过通讯模块发送给地面站实现水体环境监控；
[0023]控制单元通过训练完毕的深度强化学习模型，根据传感器组获取的环境数据，向观测动力集成平台和机器人本体发出与环境对应的动作指令；
[0024]地面站接收并保存传感器组获取的环境数据和观测动力集成平台应对环境产生的动作数据。
[0025]与现有技术相比，以上一个或多个技术方案存在以下有益效果：
[0026]1、利用训练完毕的深度学习模型，使水下机器人能够利用获取到的环境数据，生成应对环境所需的动作指令，能够实现特定水域、特定路线的自动巡航，并能够自动躲避障碍物，从而自动适应环境。
[0027]2、环境数据通过搭载的传感器组获取，这部分环境数据同时作为机器人本体的控制命令输入参数，并且自适应过程发生在机器人本体中而不是地面站，能够在提升安全性的同时使硬件系统更为集中从而降低硬件成本。
[0028]3、水下机器人可以实时检测水下压力、距离水面的高度、距离水底的距离等，并具有自身电量实时检测、自身角度纠正等功能。
[0029]4、可以通过人工智能训练深度学习模型不断扩展功能，从而适应各种不同的水下工作环境，使机器人的软件系统具备良好的扩展性。
附图说明
[0030]构成本专利技术的一部分的说明书附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。
[0031]图1是本专利技术一个或多个实施例提供的水下机器人控制系统架构示意图；
[0032]图2(a)是本专利技术一个或多个实施例提供的机器人观测动力集成平台的轴侧结构示意图；
[0033]图2(b)是本专利技术一个或多个实施例提供的机器人观测动力集成平台的主视结构
示意图；
[0034]图3是本专利技术一个或多个实施例提供的水下机器人内部软件架构示意图；
[0035]图4是本专利技术一个或多个实施例提供的水下机器人外部软件架构示意图；
[0036]图5是本专利技术一个或多个实施例提供的水下机器人的深度强化学习框架示意图；
[0037]图6是本专利技术一个或多个实施例提供的水下机器人的深度强化学习的DQN算法模型示意图；
[0038]图中：1平台框架、2垂直推进器、3水平推进器、4摄像头、5圆舱、6电池舱。
具体实施方式
[0039]下面结合附图与实施例对本专利技术作进一步说明。
[0040]应该指出，以下详细说明都是示例性的，旨在对本专利技术提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本专利技术所属
的普通技术人员通常理解的相同含义。
[0041]需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本专利技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
[0042]正如
技术介绍
中所描述的，目前的水下机器人通常对环境的适应调节性差、功能单一、实用性低并且灵活性差。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种环境自适应的水下机器人，其特征在于：包括：观测动力集成平台，与机器人本体连接，具有驱动机器人本体在水体环境中运行的动力单元，和根据作业指令获取环境数据的传感器组；地面站，通过控制单元向观测动力集成平台和机器人本体发出作业指令，并接受获取的数据；控制单元，通过训练完毕的深度强化学习模型，根据传感器组获取的环境数据，向观测动力集成平台和机器人本体发出与环境对应的动作指令。2.如权利要求1所述的一种环境自适应的水下机器人，其特征在于：所述观测动力集成平台包括连接在载体平台上的动力单元。3.如权利要求2所述的一种环境自适应的水下机器人，其特征在于：所述载体平台包括固定在平台框架中心的圆舱，布置在平台框架下底面的电池舱，布置在平台框架顶面和底面的动力单元，布置在平台框架至少一面上的图像采集模块。4.如权利要求2所述的一种环境自适应的水下机器人，其特征在于：所述动力单元包括，布置在平台框架顶面的至少一组垂直推进器，和布置在平台框架底面的至少一组水平推进器。5.如权利要求2所述的一种环境自适应的水下机器人，其特征在于：所述载体平台上具有传感器组，传感器组包括CTD传感器、压力传感器、pH传感器、流速传感器、溶解氧传感器和叶绿素浑浊度传感器中的一种或多种。6.如权利要求1所述的一种环境自适应的水下机器人，其特征在于：所述观测动力集成平台和机器人本体为水体环境中，通过控制单元经通讯模块与地面站实现通讯，通讯模块位于浮标内部，浮标位于水面上。7.如权利要求1所述的一种环境自适应的水下机器人，其特征在于：...

【专利技术属性】
技术研发人员：仲红俊，郭猛，夏婷，陈成敏，潘景山，
申请(专利权)人：济南超级计算技术研究院，
类型：发明
国别省市：