【技术实现步骤摘要】
本专利技术涉及港口物流自动化装备和智能决策控制的，尤其是涉及一种自动化集装箱码头agv路径规划方法。
技术介绍
1、自动化集装箱码头是集装箱物流供应链实现高效转运的枢纽，水平运输系统以自动导引车辆(automated guided vehicles,agv)作为转运设备，是实现集装箱在岸桥工作区与堆场区域之间转运的关键系统。随着集装箱船大型化，对码头运作效率提出了更高的要求，agv数量和运行环境的复杂程度持续增加，如何提升agv路径规划的效率和性能，并在提高集装箱装卸搬运效率的同时避免agv之间的冲突，是自动化集装箱码头运营中的关键问题。
2、agv路径规划技术是指通过算法计算出agv在特定环境下最优路径的技术。现有agv系统中，agv路径规划主要基于传统算法和启发式算法。基于传统算法的路径规划方法通常使用a*、dijkstra等算法来计算最短路径或最优路径，算法求解效率较高，但对于复杂的环境和动态变化的场景，其规划效果不佳。基于启发式智能优化算法的路径规划方法通常使用遗传算法、粒子群算法、蚁群算法等优化算法对agv行驶路径进行优化。此类方法相对于基于传统算法的方法在适应复杂场景方面具有优势，但计算复杂度较高，规划时间较长。随着人工智能的发展，基于强化学习的优化技术正在兴起，为解决agv路径规划问题提供了新途径。
3、虽然自动化集装箱码头领域的agv路径规划技术得到了较大的发展，但仍然存在一些难题有待解决：一是混合装卸箱任务场景下的agv数量增多、运作环境空间复杂度增加，导致问题求解时间较长；二是agv路
技术实现思路
1、本专利技术的目的就是为了提高多个agv小车协同工作时的防冲突性，并提高多个agv小车的路径的求解速度而提供的一种自动化集装箱码头agv路径规划方法。
2、本专利技术的目的可以通过以下技术方案来实现：
3、一种自动化集装箱码头agv路径规划方法，方法包括：
4、agv小车接收实际装卸箱任务，将实际装卸箱任务输入训练完成的路径规划模型，输出agv路径方案；
5、其中，路径规划模型的训练过程为：
6、s1、接收用于训练的任务，在网格化地图中确定任务的起点和终点；
7、s2、设置agv小车的动作空间、状态空间、奖励函数、价值网络和策略网络；
8、s3、采用近端策略优化算法更新价值网络和策略网络的参数，迭代更新直至达到训练轮数阈值。
9、进一步地，agv小车的状态空间为：
10、state＝[k0,k1,k2,k3,xnow,ynow,xgoal-now,ygoal-now,dmin]
11、其中，state表示agv小车的状态，[k0,k1,k2,k2,xnow,ynow,xgoal-now,ygoal-now,dmin]表示小车的状态空间，ki,i∈{0,1,2,3}表示当前时刻agv执行动作i时，是否会超出地图边界，若会，ki为1，否则为0，xnow和ynow分别agv小车当前所处位置的横坐标和纵坐标，xgoal-now和ygoal-now分别为agv小车当前位置与终点的相对横坐标和相对纵坐标，dmin表示当前agv与附近最近agv之间的距离。
12、进一步地，奖励函数为：
13、
14、其中，dgoal-now表示目前agv小车与终点之间的距离，dgoal-next表示下一步的agv小车与终点之间的距离。
15、进一步地，采用近端策略优化算法更新价值网络和策略网络的参数，迭代更新直至达到训练轮数阈值的具体步骤为：
16、a1、初始化经验数组，所述经验数组表示存储采样数据的缓冲区；
17、a2、获取当前状态，将当前状态输入策略网络，策略网络输出概率分布；
18、a3、从概率分布中采样一个动作，并在环境中执行该动作；
19、a4、执行该动作后，环境反馈奖励和下一个状态；
20、a5、将a3得到的采样的动作、采样的动作对应的概率、a4的奖励、当前状态以及下一个状态存入经验数组，判断此时的agv小车是否到达终点，若是，则训练轮数加1，设置当前状态为agv小车位于起点的初始状态，然后执行a6，若否，则直接执行a6；
21、a6、检查经验数组的大小是否达到事先设定的批次大小，若是，则执行a7，反之，返回a2；
22、a7、从经验数组中计算每个样本的优势函数值，其中一个样本表示执行一次a5时存储的数据；
23、a8、基于优势函数值计算重要性采样权重；
24、a9、使用重要性采样权重计算价值网络和策略网络的损失函数；
25、a10、对损失函数进行反向传播计算梯度，更新价值网络和策略网络的参数；
26、a11、重复a2～a11，直至达到指定的训练轮数。
27、进一步地，a3和a4的具体步骤为：
28、从概率分布中采样一个动作，通过该动作和当前状态中agv小车当前位置计算执行该动作后的agv小车坐标q，判断坐标q是否会超出地图边界，若坐标q超出地图边界，则：
29、判断agv小车当前位置周围的四个方向是否都不可通行，若是，则执行停止agv小车的操作，返回a2，若否，则直接返回a2；
30、若坐标q未超出地图边界，判断坐标q上是否还有其他avg小车，若坐标q上还有其他avg小车，则：
31、判断agv小车当前位置周围的四个方向是否都不可通行，若是，则执行停止agv小车的操作，返回a2，若否，则直接返回a2；
32、若坐标q上没有其他avg小车，则：
33、执行该动作，将坐标q作为该agv小车的新的当前位置，环境反馈奖励和下一个状态。
34、进一步地，所述策略网络为5层的神经网络，其中前四层为线性激活函数网络，最后一层为输出层，每层线性激活函数网络包括依次连接的线性层和relu激活函数层，输出层包括依次连接的线性层和hardswish激活函数层；
35、将当前状态输入策略网络，策略网络输出概率分布的具体步骤为：
36、当前状态输入策略网络后，依次经过神经网络的前四层线性激活函数网络，最后进入输出层，输出层输出概率分布。
37、进一步地，重要性采样权重基于广义优势估计计算，所述重要性采样权重为：
38、
39、其中，γ为折扣系数，λadvantage为超参数，t为经验数组的长度，δt+l表示当前时间步t的第l个样本的td误差。
40、进一步地，价值网络的损失函数为均方差损失函数。
41、进一步地，本文档来自技高网...
【技术保护点】
1.一种自动化集装箱码头AGV路径规划方法，其特征在于，方法包括：
2.根据权利要求1所述的一种自动化集装箱码头AGV路径规划方法，其特征在于，AGV小车的动作空间为：
3.根据权利要求2所述的一种自动化集装箱码头AGV路径规划方法，其特征在于，AGV小车的状态空间为：
4.根据权利要求3所述的一种自动化集装箱码头AGV路径规划方法，其特征在于，奖励函数为：
5.根据权利要求4所述的一种自动化集装箱码头AGV路径规划方法，其特征在于，采用近端策略优化算法更新价值网络和策略网络的参数，迭代更新直至达到训练轮数阈值的具体步骤为：
6.根据权利要求5所述的一种自动化集装箱码头AGV路径规划方法，其特征在于，A3和A4的具体步骤为：
7.根据权利要求5所述的一种自动化集装箱码头AGV路径规划方法，其特征在于，所述策略网络为5层的神经网络，其中前四层为线性激活函数网络，最后一层为输出层，每层线性激活函数网络包括依次连接的线性层和ReLU激活函数层，输出层包括依次连接的线性层和Hardswish激活函数层；
9.根据权利要求5所述的一种自动化集装箱码头AGV路径规划方法，其特征在于，价值网络的损失函数为均方差损失函数。
10.根据权利要求5所述的一种自动化集装箱码头AGV路径规划方法，其特征在于，策略网络的损失函数为：
...【技术特征摘要】
1.一种自动化集装箱码头agv路径规划方法，其特征在于，方法包括：
2.根据权利要求1所述的一种自动化集装箱码头agv路径规划方法，其特征在于，agv小车的动作空间为：
3.根据权利要求2所述的一种自动化集装箱码头agv路径规划方法，其特征在于，agv小车的状态空间为：
4.根据权利要求3所述的一种自动化集装箱码头agv路径规划方法，其特征在于，奖励函数为：
5.根据权利要求4所述的一种自动化集装箱码头agv路径规划方法，其特征在于，采用近端策略优化算法更新价值网络和策略网络的参数，迭代更新直至达到训练轮数阈值的具体步骤为：
6.根据权利要求5所述的一种自动化集装箱码头agv路径规划方法，其特征在于，a3和a4的具体...
【专利技术属性】
技术研发人员：肖世昌，张文月，蒋厚鑫，黄颖莹，胡鸿韬，
申请(专利权)人：上海海事大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。