【技术实现步骤摘要】
本专利技术属于农田区域勘察，具体涉及一种用于农田区域勘察的无人车协同探测方法。
技术介绍
1、随着人工智能和自动驾驶技术的快速发展，未来智能无人探测车辆将广泛应用于勘探田地资源、检测作物生长、预防病虫害。而农田环境和路况远比城市环境复杂，农田环境中存在大量的极端区域和复杂的地理条件约束，如坡度、水坑、光照、土壤特性差异等。现有协同探测策略主要基于规则开展协同规划，不适应具有高度不确定性的未知区域，缺乏智能自主策略调整能力。多智能体环境中的每个智能体都在不断学习，同时策略和所处环境也在不断变化。在此条件下，传统强化学习方法由于无法学习到稳定的策略，也很难应用到多智能体环境中。
2、综上所述，由于现有探测方法缺乏智能自主策略调整能力，无法学习到稳定的策略，因此现有探测方法难以保证无人车的安全性能，无人车的安全性能较差。
技术实现思路
1、本专利技术的目的是为解决将现有探测方法应用于农田环境时，无人车存在安全性差的问题，而提出了一种用于农田区域勘察的无人车协同探测方法。
2、本专利技术为解决上述技术问题所采取的技术方案是：
3、一种用于农田区域勘察的无人车协同探测方法，所述方法具体包括以下步骤：
4、步骤一、利用各无人车对农田区域进行协同探测，且每个无人车上均搭载有视觉相机和激光雷达，建立无人车协同探测问题模型；
5、步骤二、根据无人车协同探测问题模型设计奖励函数，再基于设计的奖励函数训练深度确定性策略梯度算法的策略网络πa、批
6、步骤三、利用搭载的视觉相机与激光雷达获取各无人车当前所处的环境信息，根据各无人车当前所处的环境信息分别构造状态空间，再将各无人车的状态空间分别输入训练好的策略网络，通过训练好的策略网络输出各无人车的动作空间；
7、同理，分别得到每一时刻的各无人车的动作空间，根据动作空间分别对各无人车进行控制，实现各无人车的协同探测。
8、进一步地，所述无人车协同探测问题模型为：
9、
10、其中，tmission为无人车协同探测任务耗时，dvehicle为无人车间的距离，dobst为无人车到障碍物的距离，dsafe为安全距离，dcom为协同车辆间的最大通信距离，θmax为俯仰角阈值，γmax为滚转角阈值，θ是无人车的俯仰角，γ是无人车的滚转角。
11、进一步地，所述步骤三中，视觉相机获取的是无人车当前所处环境的rgb图像oc，激光雷达获取的是距离信息ol以及栅格地图信息og；
12、距离信息ol包括无人车与障碍物的距离、无人车间的距离；
13、栅格地图信息og包括无人车当前所处环境的栅格地图、仅包含搭载有当前激光雷达的无人车的位置的栅格地图以及仅包含其它无人车位置的栅格地图。
14、进一步地，所述奖励函数为：
15、
16、其中，rvehicle(t)为无人车在t时刻接收到的奖励值，μ(t)为无人车在t时刻对指定区域的探测率，μ(t-1)为无人车在t-1时刻对指定区域的探测率。
17、进一步地，所述无人车的状态空间为：
18、ovehicle＝[oc,ol,og] (3)
19、其中，ovehicle为无人车的状态空间。
20、进一步地，所述无人车的动作空间为：
21、avehicle＝[v,ω] (4)
22、其中，avehicle为无人车的动作空间，v为无人车的速度，ω为无人车的转动角速度。
23、进一步地，所述深度确定性策略梯度算法的策略网络πa、批评家网络πcritic、目标策略网络以及目标批评家网络的训练过程为：
24、步骤1、初始化经验回放池为空，初始化策略网络πa、批评家网络πcritic、目标策略网络以及目标批评家网络的参数；
25、步骤2、设置最大训练回合为emax，每回合探测时间上限为tmax；
26、步骤3、初始化当前回合数e＝1；
27、步骤4、将无人车当前t时刻的状态空间ovehicle(t)输入策略网络πa，通过策略网络πa输出当前时刻的动作空间avehicle(t)，无人车执行动作avehicle(t)进入下一状态ovehicle(t+1)，将无人车执行动作avehicle(t)得到的奖励函数值记为rvehicle(t)；
28、将ovehicle(t)、avehicle(t)、rvehicle(t)和ovehicle(t+1)作为一个元组保存到经验回放池中；
29、步骤5、判断无人车执行当前回合内的动作所耗费的累积探测时间是否达到上限tmax；
30、若达到上限tmax，则从经验回放池中随机采样固定数量的元组，利用采样的元组对策略网络πa和批评家网络πcritic进行训练，并根据训练结果对目标策略网络以及目标批评家网络的参数进行更新；再执行步骤6；
31、若未达到上限tmax，则令t＝t+1，返回执行步骤4；
32、步骤6、判断训练回合数是否达到emax；
33、若未达到emax，则令e＝e+1，t＝t+1，返回执行步骤4；
34、若达到emax，则结束训练过程，获得训练好的策略网络πa。
35、进一步地，所述策略网络πa包括三个通道；
36、第一个通道的输入为图像信息oc，且在第一个通道内，图像信息oc依次经过第一卷积层、第二卷积层和全连接层；第一卷积层有4个卷积核大小为(4,4)的二维卷积核，卷积滑动步长为2；第二卷积层有8个卷积核大小为(3,3)的二维卷积核，卷积滑动步长为2；全连接层具有128个非线性处理单元；
37、第二个通道的输入为距离信息ol，且在第二个通道内，距离信息ol依次经过第一卷积层、第二卷积层和全连接层；第一卷积层有32个卷积核大小为5的一维卷积核，卷积滑动步长为1；第二卷积层有32个卷积核大小为3的一维卷积核，卷积滑动步长为1；全连接层具有32个非线性处理单元；
38、第三个通道的输入为栅格地图信息og，且在第三个通道内，栅格地图信息og依次经过第一卷积层、第二卷积层和全连接层；第一卷积层有4个卷积核大小为(4,4)的二维卷积核，卷积滑动步长为2；第二卷积层有5个卷积核大小为(3,3)的二维卷积核，卷积滑动步长为2；全连接层具有64个非线性处理单元；
39、对第一个通道的输出、第二个通道的输出以及第三个通道的输出进行融合后，融合结果再依次经过三个全连接层，通过最后一个全连接层输出动作空间。
40、更进一步地，所述无人车的动作空间满足如下的无人车运动学模型：
41、
42、其中，x和y为无人车在二维平面本文档来自技高网...
【技术保护点】
1.一种用于农田区域勘察的无人车协同探测方法，其特征在于，所述方法具体包括以下步骤：
2.根据权利要求1所述的一种用于农田区域勘察的无人车协同探测方法，其特征在于，所述无人车协同探测问题模型为：
3.根据权利要求2所述的一种用于农田区域勘察的无人车协同探测方法，其特征在于，所述步骤三中，视觉相机获取的是无人车当前所处环境的RGB图像OC，激光雷达获取的是距离信息OL以及栅格地图信息OG；
4.根据权利要求3所述的一种用于农田区域勘察的无人车协同探测方法，其特征在于，所述奖励函数为：
5.根据权利要求4所述的一种用于农田区域勘察的无人车协同探测方法，其特征在于，所述无人车的状态空间为：
6.根据权利要求5所述的一种用于农田区域勘察的无人车协同探测方法，其特征在于，所述无人车的动作空间为：
7.根据权利要求6所述的一种用于农田区域勘察的无人车协同探测方法，其特征在于，所述深度确定性策略梯度算法的策略网络πA、批评家网络πCritic、目标策略网络以及目标批评家网络的训练过程为：
8.根据权利要求7所述
9.根据权利要求8所述的一种用于农田区域勘察的无人车协同探测方法，其特征在于，所述无人车的动作空间满足如下的无人车运动学模型：
...【技术特征摘要】
1.一种用于农田区域勘察的无人车协同探测方法，其特征在于，所述方法具体包括以下步骤：
2.根据权利要求1所述的一种用于农田区域勘察的无人车协同探测方法，其特征在于，所述无人车协同探测问题模型为：
3.根据权利要求2所述的一种用于农田区域勘察的无人车协同探测方法，其特征在于，所述步骤三中，视觉相机获取的是无人车当前所处环境的rgb图像oc，激光雷达获取的是距离信息ol以及栅格地图信息og；
4.根据权利要求3所述的一种用于农田区域勘察的无人车协同探测方法，其特征在于，所述奖励函数为：
5.根据权利要求4所述的一种用于农田区域勘察的无人车协同探测方法，其特征在...
【专利技术属性】
技术研发人员：周宏宇，刘鹏，刘佳琪，张宇航，刘睿，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。