基于强化学习的多无人机与多无人船巡检控制系统技术方案

本发明专利技术涉及一种基于强化学习的多无人机与多无人船巡检控制系统，属于机器人控制领域。本系统包括若干无人机和若干无人船；在巡检过程中，利用无人机搭载的深度相机感知异常点，离异常点最近的无人机作为领航者将采集的数据进行信息融合，领航者发送融合后的位置信息给未感知到异常点的无人机并进行基于事件触发的有限时间编队控制。随着部分无人船搭载的激光雷达感知到异常点，领航者将再次把激光雷达和深度相机两者感知信息进行融合，从而驱动所有无人船协同趋近异常点。利用无人机或无人船配置的执行机构处理异常点。本发明专利技术采用异构多智能体组合，运用深度学习、强化学习和信息融合技术进行巡检作业，直接实现无人化水域监控、异常情况处理。异常情况处理。异常情况处理。

【技术实现步骤摘要】
基于强化学习的多无人机与多无人船巡检控制系统


[0001]本专利技术属于机器人控制领域，涉及基于强化学习的多无人机与多无人船巡检控制系统。

技术介绍

[0002]对于水域巡检而言，目前大多数还是采用步行、乘船等方式巡查，不仅工作强度大、效率低，也容易受到河湖地形环境等条件的限制，存在巡查盲区死角、问题发现不全等问题。人工驾驶船的方式若在开放水域作业存在一定危险性。较为先进的是采用无人机水域巡检方式，通过遥控操作，利用无线图传技术，作业员根据无人机采集回来的图像判别异常，然后采取相应的措施。虽无人机具有很强的灵活性、机动能力，能快速发现实际问题时，但无人机由于其自身结构，或续航能力等因素影响，可搭载的执行机构有限，当要实际去解决问题时，其自身处理问题的能力是一个瓶颈。
[0003]根据面对的采用人工作业及无人机作业二者共同面对的问题。因此采用同时结合无人船和无人机各自的优点。组建异构多智能体系统，则可避免无人机执行能力不足和人工工作方式效率低等问题。而且，无人机还可利用无人船来作为自身的中继站，进行更换电池或临时停靠场所。若遇到实际问题时，多个智能体则协同开展工作。实现真正的无人化作业。

技术实现思路

[0004]有鉴于此，本专利技术的目的在于提供一种基于强化学习的多无人机与多无人船巡检控制系统。
[0005]为达到上述目的，本专利技术提供如下技术方案：
[0006]基于强化学习的多无人机与多无人船巡检控制系统，包括若干无人机和若干无人船；
[0007]所述若干无人机设置有D435i视觉机构和JetsonXavierNX计算平台；
[0008]所述若干多无人船设置有RPLIDAR
‑
A3激光雷达和TX2计算平台；
[0009]所述若干无人机和若干多无人船设置有惯性测量单元IMU和GPS；
[0010]所述若干无人机和若干多无人船还设置有动力电池；
[0011]所述D435i视觉机构与JetsonXavierNX计算平台信号连接；
[0012]所述RPLIDAR
‑
A3激光雷达与和TX2计算平台信号连接；
[0013]所述惯性测量单元IMU和GPS分别与JetsonXavierNX计算平台和TX2计算平台信号连接；
[0014]所述若干无人机和若干多无人船还设置有执行机构；
[0015]若干无人机和若干多无人船进行水域巡检，当无人机发现异常时，离异常点最近的无人机将作为领航者，通过D435i视觉机构感知物体的位置信息，在领航者处进行位置信息融合，引导若干无人机趋近异常点；
[0016]在无人船运动时，利用搭载的RPLIDAR
‑
A3激光雷达感知异常点，在领航者处将无人船采集数据的进行信息融合，无人机发送融合后的位置信息给无人船，从而驱动无人船协同趋近异常点，利用无人机或无人船配置的执行机构处理异常点。
[0017]可选的，所述执行机构包括机械臂、水质采样仪、备用电池和喊话器。
[0018]可选的，所述若干无人机和若干多无人船进行水域巡检，当无人机发现异常时，离异常点最近的无人机将作为领航者，通过D435i视觉机构感知物体的位置信息，在领航者处进行位置信息融合，引导若干无人机趋近异常点具体为：
[0019]离异常点距离最近的无人机作为领航者，作为信息处理平台；若所述若干无人机发现相同目标，则采用加权平均算法得到位置信息；
[0020]领航者引导其余若干无人机趋近异常点；
[0021]随着多无人船趋近并感知到异常点，则将能识别到物体的若干无人船激光雷达数据发送至作为领航者的节点，无人机将接收的激光点云数据和视觉机构数据进行融合，计算出异常点最终位置；
[0022]依据领航者位置融合后的信息，引导地面无人船实现位置趋近目标异常点，再进行后续的异常点处理。
[0023]可选的，所述Jetson Xavier NX计算平台构建标准尺寸的水域巡检图片数据集，含已标注的训练集和测试集，比例为3：1；训练数据集送入深度卷积神经网络学习优化内部结构权重；
[0024]将目标检测结果进行目标性评分，利用非极大值抑制的方法对检测结果进行筛选，选取置信度最高的检测框作为第一输出边界框，选取其他检测框计算与第一输出边界框的重叠率，若大于预设阈值，则舍弃，否则保留；继续选取除第一输出边界框外置信度最高的预测边框重复上述步骤，直到没有剩余检测框，留下来的就是图像中目标检测结果；
[0025]输出的结果中，每个网格对应3个先验框，每个先验框预测信息包含4个边框位置参数，1个目标评价和5个类别预测；边框位置参数包括中心坐标、宽和高；
[0026]计算损失函数，通过反向传播，利用梯度下降法对模型参数进行不断调整，最终得到最佳的网络模型；
[0027]输入测试集中的图像，利用训练好的模型提取目标特征，并输出多尺度预测结果，通过分类器进行目标性评分，非极大值抑制法筛选检测结果，最终得到基于深度卷积神经网络的物体识别结果。
[0028]可选的，若所述若干无人机发现相同目标，根据目标在世界坐标下的唯一性，结合GPS、D435i对多个感知的物体位置(a
i
,b
i
)进行加权平均得出最终的定位位置(a
t
,b
t
)，n为识别到异常点的无人机个数；
[0029][0030]若干无人机基于事件触发的有限时间编队趋近控制，建立无人机动力学模型：
[0031]无人机选择四旋翼飞行器，其动力学模型建立后具体形式如下：
[0032][0033]式中：x、y、z表示无人机在空间的位置；φ、θ、ψ表示滚转角、俯仰角、偏航角；m表示无人机的质量；I
xx
、I
yy
、I
zz
分别表示关于x，y，z轴的转动惯量；L表示电机轴与机身中心的距离；g表示重力加速度；u1、u2、u3、u4表示无人机控制输入，定义为：
[0034][0035]其中：b表示升力系数；d表示扭矩系数；ω1、ω2、ω3、ω4分别表示旋翼1、2、3、4的转速；u1表示垂直于机身方向的总升力；u2表示影响飞机俯仰运动的升力差；u3表示影响飞机滚转运动的升力差；u4表示影响飞机偏航运动的扭矩；
[0036]由于在水域巡检中更看重的是协同处理能力，而不是无人机本身的位置姿态控制；
[0037]将模型线性化处理，得到如下二阶积分器模型：
[0038][0039]其中u
i
＝[u
xi
,u
yi
,u
zi
]T
分别表示位置、速度、和控制输入；矩阵形式为：
[0040][0041]其中
[0042]作为领航者把自身融合后的位置信息，发布给待编队的无人机，随后若干无人机在基于事件触发的有限时间编队控制协议下趋近异常点，便于后续执行作业；...

【技术保护点】

【技术特征摘要】
1.基于强化学习的多无人机与多无人船巡检控制系统，其特征在于：包括若干无人机和若干无人船；所述若干无人机设置有D435i视觉机构和Jetson Xavier NX计算平台；所述若干多无人船设置有RPLIDAR
‑
A3激光雷达和TX2计算平台；所述若干无人机和若干多无人船设置有惯性测量单元IMU和GPS；所述若干无人机和若干多无人船还设置有动力电池；所述D435i视觉机构与Jetson Xavier NX计算平台信号连接；所述RPLIDAR
‑
A3激光雷达与和TX2计算平台信号连接；所述惯性测量单元IMU和GPS分别与Jetson Xavier NX计算平台和TX2计算平台信号连接；所述若干无人机和若干多无人船还设置有执行机构；若干无人机和若干多无人船进行水域巡检，当无人机发现异常时，离异常点最近的无人机将作为领航者，通过D435i视觉机构感知物体的位置信息，在领航者处进行位置信息融合，引导若干无人机趋近异常点；在无人船运动时，利用搭载的RPLIDAR
‑
A3激光雷达感知异常点，在领航者处将无人船采集数据的进行信息融合，无人机发送融合后的位置信息给无人船，从而驱动无人船协同趋近异常点，利用无人机或无人船配置的执行机构处理异常点。2.根据权利要求1所述的基于强化学习的多无人机与多无人船巡检控制系统，其特征在于：所述执行机构包括机械臂、水质采样仪、备用电池和喊话器。3.根据权利要求1所述的基于强化学习的多无人机与多无人船巡检控制系统，其特征在于：所述若干无人机和若干多无人船进行水域巡检，当无人机发现异常时，离异常点最近的无人机将作为领航者，通过D435i视觉机构感知物体的位置信息，在领航者处进行位置信息融合，引导若干无人机趋近异常点具体为：离异常点距离最近的无人机作为领航者，作为信息处理平台；若所述若干无人机发现相同目标，则采用加权平均算法得到位置信息；领航者引导其余若干无人机趋近异常点；随着多无人船趋近并感知到异常点，则将能识别到物体的若干无人船激光雷达数据发送至作为领航者的节点，无人机将接收的激光点云数据和视觉机构数据进行融合，计算出异常点最终位置；依据领航者位置融合后的信息，引导地面无人船实现趋近目标异常点，再进行后续的异常点处理。4.根据权利要求3所述的基于强化学习的多无人机与多无人船巡检控制系统，其特征在于：所述JetsonXavierNX计算平台构建标准尺寸的水域巡检图片数据集，含已标注的训练集和测试集，比例为3：1；训练数据集送入深度卷积神经网络学习优化内部结构权重；将目标检测结果进行目标性评分，利用非极大值抑制的方法对检测结果进行筛选，选取置信度最高的检测框作为第一输出边界框，选取其他检测框计算与第一输出边界框的重叠率，若大于预设阈值，则舍弃，否则保留；继续选取除第一输出边界框外置信度最高的预测边框重复上述步骤，直到没有剩余检测框，留下来的就是图像中目标检测结果；输出的结果中，每个网格对应3个先验框，每个先验框预测信息包含4个边框位置参数，
1个目标评价和5个类别预测；边框位置参数包括中心坐标、宽和高；计算损失函数，通过反向传播，利用梯度下降法对模型参数进行不断调整，最终得到最佳的网络模型；输入测试集中的图像，利用训练好的模型提取目标特征，并输出多尺度预测结果，通过分类器进行目标性评分，非极大值抑制法筛选检测结果，最终得到基于深度卷积神经网络的物体识别结果。5.根据权利要求4所述的基于强化学习的多无人机与多无人船巡检控制系统，其特征在于：若所述若干无人机发现相同目标，根据目标在世界坐标下的唯一性，结合GPS、D435i对多个感知的物体位置(a
i
,b
i
)进行加权平均得出最终的定位位置(a
t
,b
t
)，n为识别到异常点的无人机个数；若干无人机基于事件触发的有限时间编队趋近控制，建立无人机动力学模型：无人机选择四旋翼飞行器，其动力学模型建立后具体形式如下：式中：x、y、z表示无人机在空间的位置；φ、θ、ψ表示滚转角、俯仰角、偏航角；m表示无人机的质量；I
xx
、I
yy
、I
zz
分别表示关于x，y，z轴的转动惯量；L表示电机轴与机身中心的距离；g表示重力加速度；u1、u2、u3、u4表示无人机控制输入，定义为：其中：b表示升力系数；d表示扭矩系数；ω1、ω2、ω3、ω4分别表示旋翼1、2、3、4的转速；u1表示垂直于机身方向的总升力；u2表示影响飞机俯仰运动的升力差；u3表示影响飞机滚转运动的升力差；u4表示影响飞机偏航运动的扭矩；由于在水域巡检中更看重的是协同处理能力，而不是无人机本身的位置姿态控制；将模型线性化处理，得到如下二阶积分器模型：
其中u
i
＝[u
xi
,u
yi
...

【专利技术属性】
技术研发人员：陈刚，乔永龙，
申请(专利权)人：重庆大学，
类型：发明
国别省市：