基于物理的高性能仿生水下机器人仿真训练平台构建方法技术

本发明专利技术提出了一个基于物理的高性能仿生水下机器人仿真训练平台构建方法，可用于训练鱼形水下机器人。该平台由使用带有蒙皮的关节体的机器鱼建模模块、基于GPU的高性能局部双向流固耦合仿真模块(可处理有限域和无限大域)、强化学习模块组成。本发明专利技术提供数个仿生机器人模型并制定了一系列水下基准控制任务，并应用现有强化学习训练方法以获得对应控制策略。本发明专利技术能够处理有限域和无限大域的高性能流体仿真需求，搭建任意仿生水下机器人的模型，定制水下控制任务，以及智能策略训练、迁移、整合。整合。整合。

【技术实现步骤摘要】
基于物理的高性能仿生水下机器人仿真训练平台构建方法


[0001]本专利技术属于计算机图形学、流体模拟、仿生机器人以及机器学习领域，涉及一种基于物理的高性能仿生水下机器人仿真训练平台的构建方法。

技术介绍

[0002]仿生水下机器人有着优越的机动性、推进效率和具有真实性的视觉外观。这些优势促使了过去几年对仿生软体机器人和仿生鱼状机器人的研究、生产与应用。水下机器人在许多方面有着重要的应用，如海洋教育、导航和救援、海底勘探、科学测量等。然而，由于在真实环境中研究机器人的控制模式与运动方式有着硬件成本高昂、环境不稳定、续航、数据收集缓慢等众多现实问题，训练机器人去获得近似甚至超越真实水下生物的运动控制策略有着极大的挑战性。
[0003]基于物理仿真的机器人模拟已被认为是在不同场景中获取大量数据集的可行且重要的工具。大多数当前可用的机器人训练模拟器主要针对刚体和软体系统。现有的流体环境模拟器有着计算模型精度低、不可靠，支持的机器人和任务有限，生成训练数据成本高等种种问题。目前在计算流体动力学领域，有着不少人研究基于物理的仿真鱼的运动规律，但都有着仿真区域有限、性能低、仿生机器人物理建模不通用等缺点。目前缺乏能够提供通用、高效且准确结果的仿真平台，以应用于仿生水下机器人的训练控制策略。
[0004]传统的控制方法大多基于模式识别，即，对控制任务进行数学建模后，数学解析地给出时变控制函数。然而，现实生活中智能体控制任务大多具有高维的信息输入与高维的控制输入，智能体的实际运行环境也包含复杂的非线性自然物理过程。传统控制方法在此类任务上往往处理不好。基于深度强化学习的智能体训练已被证明在高维度输入的高维复杂控制任务上具有鲁棒性。但智能体深度强化学习往往只能在某一特定任务下表现良好，在知识迁移、多技能组合学习以及策略泛化上存在困难。
[0005]因此，如何构筑一个通用的基于物理的高性能水下机器人仿真训练一体化平台，是急需解决的问题。

技术实现思路

[0006]本专利技术的目的是：提出一种基于物理的高性能仿生水下机器人仿真训练平台，以解决现有技术中水下机器人建模不完善，流体仿真训练环境缺失，流体仿真区域有限性能低,智能体学习中面临的任务泛化困难、知识迁移以及多技能组合等问题。
[0007]为了达到上述目的，本专利技术的技术方案是提供了一种基于物理的高性能水下机器人仿真训练平台，其特征在于，包括以下步骤：
[0008]步骤1、仿生水下机器人建模：
[0009]分别建立两种仿生水下机器人模型，分别定义为第一种仿生水下机器人模型以及第二种仿生水下机器人模型，其中：
[0010]在第一种仿生水下机器人模型中，仿生水下机器人由骨骼和表面皮肤组成，以铰
接刚体动力学驱动的骨骼结构；当给定一个骨架配置，即具有一组特定的关节角度，使用线性混合蒙皮来确定仿生水下机器人的表面形状；通过改变关节角度，仿生水下机器人能够调整其骨架姿态，进而决定其表面形状；仿生水下机器人的骨骼由铰接刚体动力学驱动，多体系统上受到广义内力和广义外力的作用；
[0011]在第二种仿生水下机器人模型中，仿生水下机器人仅由骨架及附着在每根骨头上的肌肉组成；在机器人背景下，仿生水下机器人的骨骼同样由第一种仿生水下机器人模型中铰接刚体动力学驱动，每根骨头上的肌肉则被描述为刚体；第二种仿生水下机器人模型能够用机械动力学或骨骼肌肉动力学得到更精确的描述；
[0012]步骤2、惯性系中的流体仿真建模
[0013]使用GPU优化的基于六阶埃尔米特多项式平衡态展开的自适应非正交中心矩驰豫格子玻尔兹曼模型用于近似不可压缩的纳维叶－斯托克斯方程；在该自适应非正交中心矩驰豫格子玻尔兹曼模型在非正交中心矩驰豫格子玻尔兹曼模型的基础上，提出目标度量方程；在多种不同仿真环境下优化目标度量方程，得到足够多的训练数据；然后基于训练数据用线性回归的方法去自适应控制非正交中心矩驰豫格子玻尔兹曼模型的高阶参数；
[0014]步骤3、流体与机器人双向交互物理建模
[0015]采用GPU优化的格子玻尔兹曼求解器和浸入边界，将流体方程求解的欧拉网格和固体运动求解的拉格朗日网格耦合，满足诺依曼边界条件，利用最小插值内核构建低耗散的流固边界；
[0016]步骤4、基于非惯性系转换的无限域模拟
[0017]应用基于非惯性系转换的局部流体仿真方法，通过在参考系之间使用与时间相关的相对平移p和旋转r进行变换，加速参考系中的流体方程产生一个额外的虚拟力F
ni
并将其添加到流体系统中；在仿真域流固边界的处理上，采用“非平衡外插”边界条件；
[0018]步骤5、基于非惯性系转换的大域模拟
[0019]为克服远处的流体对仿真水下机器人运动产生的影响，采用基于嵌套网格的做法，以高分辨率的网格模拟临近仿真水下机器人的流场，较远处的流体以较低分辨率模拟，其中，尺寸小但高分辨率的网格随着仿真水下机器人进行运动，背景放置低分辨率但尺寸更大的网格；
[0020]将尺寸小但高分辨率的网格进一步定义为细网格，将低分辨率但尺寸更大的网格进一步定义为粗网格，则：细网格内的流体仿真采用步骤4中的非惯性系流体仿真；粗网格内的流体仿真采用步骤2中的惯性系格子玻尔兹曼仿真方法；在粗网格和细网格的交界处，应用高阶卷积插值的方式以在粗网格和细网格间双向传递流体信息，以维持传播过程中物理量守恒；
[0021]步骤6、水下控制任务的制定：
[0022]制定一系列基准水下控制任务；
[0023]在强化的学习框架下对于这一系列基准水下控制任务设定相应的状态向量、动作空间以及奖励函数；
[0024]步骤7、制定智能体训练方法：
[0025]对于步骤6中提出的一系列基准水下控制任务，首先应用分层强化学习训练每个基准水下控制任务，得到可迁移到不同类型机器人的控制策略，训练手段包括全局训练方
法和局部训练方法；接着，为了仿生水下机器人能够同时掌握多个任务的策略，使用门网络对多个任务的策略进行融合；
[0026]步骤8、训练智能体，其中，仿生水下机器人被重新定义为智能体：
[0027]在强化学习中，智能体通过与环境的重复交互，学习特定基准水下控制任务的参数化策略，得到最大化采样轨迹的预期回报函数，具体包括以下步骤：
[0028]对于步骤6中的每个基准水下控制任务，先使用一个智能体与环境交互进行数据收集，以一定批量大小的数据使用反向传播更新策略网络，获得一组策略网络参数；接着固定上层网络参数，切换智能体，重新训练底层策略网络，获得底层策略网络参数；基于已有的分层策略网络，收集大量状态
‑
动作数据，以均方损失函数结合梯度下降方法拟合得到门网络的参数。
[0029]优选的，步骤1中，第一种仿生机器人模型中，仿生水下机器人有M个关节，表面皮肤有N个顶点，顶点i在t时刻的三维空间位置向量由骨骼的所有关节综合影响，这一影响方式被描述为一个线性方程运算：
[0030][0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于物理的高性能水下机器人仿真训练平台，其特征在于，包括以下步骤：步骤1、仿生水下机器人建模：分别建立两种仿生水下机器人模型，分别定义为第一种仿生水下机器人模型以及第二种仿生水下机器人模型，其中：在第一种仿生水下机器人模型中，仿生水下机器人由骨骼和表面皮肤组成，以铰接刚体动力学驱动的骨骼结构；当给定一个骨架配置，即具有一组特定的关节角度，使用线性混合蒙皮来确定仿生水下机器人的表面形状；通过改变关节角度，仿生水下机器人能够调整其骨架姿态，进而决定其表面形状；仿生水下机器人的骨骼由铰接刚体动力学驱动，多体系统上受到广义内力和广义外力的作用；在第二种仿生水下机器人模型中，仿生水下机器人仅由骨架及附着在每根骨头上的肌肉组成；在机器人背景下，仿生水下机器人的骨骼同样由第一种仿生水下机器人模型中铰接刚体动力学驱动，每根骨头上的肌肉则被描述为刚体；第二种仿生水下机器人模型能够用机械动力学或骨骼肌肉动力学得到更精确的描述；步骤2、惯性系中的流体仿真建模使用GPU优化的基于六阶埃尔米特多项式平衡态展开的自适应非正交中心矩驰豫格子玻尔兹曼模型；在该自适应非正交中心矩驰豫格子玻尔兹曼模型在非正交中心矩驰豫格子玻尔兹曼模型的基础上，提出目标度量方程；在多种不同仿真环境下优化目标度量方程，得到足够多的训练数据；然后基于训练数据用线性回归的方法去自适应控制非正交中心矩驰豫格子玻尔兹曼模型的高阶参数；步骤3、流体与机器人双向交互物理建模采用GPU优化的格子玻尔兹曼求解器和浸入边界，将流体方程求解的欧拉网格和固体运动求解的拉格朗日网格耦合，满足诺依曼边界条件，利用最小插值内核构建低耗散的流固边界；步骤4、基于非惯性系转换的无限域模拟应用基于非惯性系转换的局部流体仿真方法，通过在参考系之间使用与时间相关的相对平移p和旋转r进行变换，加速参考系中的流体方程产生一个额外的虚拟力F
ni
并将其添加到流体系统中；在仿真域流固边界的处理上，采用“非平衡外插”边界条件；步骤5、基于非惯性系转换的大域模拟为克服远处的流体对仿真水下机器人运动产生的影响，采用基于嵌套网格的做法，以高分辨率的网格模拟临近仿真水下机器人的流场，较远处的流体以较低分辨率模拟，其中，尺寸小但高分辨率的网格随着仿真水下机器人进行运动，背景放置低分辨率但尺寸更大的网格；将尺寸小但高分辨率的网格进一步定义为细网格，将低分辨率但尺寸更大的网格进一步定义为粗网格，则：细网格内的流体仿真采用步骤4中的非惯性系流体仿真；粗网格内的流体仿真采用步骤2中的惯性系格子玻尔兹曼仿真方法；在粗网格和细网格的交界处，应用高阶卷积插值的方式以在粗网格和细网格间双向传递流体信息，以维持传播过程中物理量守恒；步骤6、水下控制任务的制定：制定一系列基准水下控制任务；
在强化的学习框架下对于这一系列基准水下控制任务设定相应的状态向量、动作空间以及奖励函数；步骤7、制定智能体训练方法：对于步骤6中提出的一系列基准水下控制任务，首先应用分层强化学习训练每个基准水下控制任务，得到可迁移到不同类型机器人的控制策略，训练手段包括全局训练方法和局部训练方法；接着，为了仿生水下机器人能够同时掌握多个任务的策略，使用门网络对多个任务的策略进行融合；步骤8、训练智能体，其中，仿生水下机器人被重新定义为智能体：在强化学习中，智能体通过与环境的重复交互，学习特定基准水下控制任务的参数化策略，得到最大化采样轨迹的预期回报函数，具体包括以下步骤：对于步骤6中的每个基准水下控制任务，先使用一个智能体与环境交互进行数据收集，以一定批量大小的数据使用反向传播更新策略网络，获得一组策略网络参数；接着固定上层网络参数，切换智能体，重新训练底层策略网络，获得底层策略网络参数；基于已有的分层策略网络，收集大量状态
‑
动作数据，以均方损失函数结合梯度下降方法拟合得到门网络的参数。2.如权利要求1所述的一种基于物理的高性能水下机器人仿真训练平台，其特征在于，步骤1中，第一种仿生机器人模型中，仿生水下机器人有M个关节，表面皮肤有N个顶点，顶点i在t时刻的三维空间位置向量由骨骼的所有关节综合影响，这一影响方式被描述为一个线性方程运算：其中：w
i，j
代表第j个关节对于顶点i的影响程度，是一个浮点数；代表第j个关节在t时刻的空间变换矩阵；代表顶点i在初始时刻t0的三维空间位置向量；对于骨骼的物理仿真和驱动的具体实施上，建模为铰...

【专利技术属性】
技术研发人员：刘晓培，刘文基，柏凯，
申请(专利权)人：上海科技大学，
类型：发明
国别省市：