本发明专利技术提供一种物料控制系统的天车搬运指令调度方法及装置，通过确定当前系统状态，其中当前系统状态包括当前每个未调度的天车搬运指令的指令信息、当前可用天车数量以及表示了当前各个轨道的繁忙程度的当前轨道热图，然后将当前系统状态输入至指令调度模型，使得指令调度模型综合考虑上述指令状态、天车状态以及轨道状态，并输出当前每个未调度的天车搬运指令的调用分数，并据此确定当前被调用指令，利用指令调度模型在训练阶段基于特殊设计的奖励值学习到的调度策略，结合当前系统的各种状态进行指令调度，即使AMHS系统随着天车搬运指令的执行出现各种复杂情形，也能实现针对当前系统状态的准确的指令调度，实现搬运系统整体性能的最优。
【技术实现步骤摘要】
本专利技术涉及调度，尤其涉及一种物料控制系统的天车搬运指令调度方法及装置。
技术介绍
1、amhs（automated material handling system，自动物料搬送系统）系统中的物料控制系统（material control system，mcs）是该系统中的一个关键组成部分，用于对物料进行控制和管理。其中，物料控制系统的一个重要功能在于接收客户端下发的批量搬运指令并将该批量搬运指令合理的下发给天车控制系统，以控制相应天车执行当前调度的搬运指令。物料控制系统的智能调度算法需要调度整个半导体车间的所有指令，实现每小时20000个指令的需求。如何设计调度算法，使得在客户端下发批量指令且批量指令的数量显著高于可调度天车数量的情况下，调度得到最优解，以实现最终全局的平均搬送时间小于150秒，是提升天车系统运行效率以满足客户需求的重要一环。
2、目前的调度算法多考虑基于指令创建时间确定指令优先级，通过对各个搬运指令进行优先级排序的方式确定每个时间步调度的搬运指令。然而，随着系统运行，天车系统的情况会变得复杂，例如未调度指令的状态、轨道的状态均会随着时间变化，目前基于指令优先级进行排序的调度方式显然难以适应该复杂环境，导致调度结果难以满足半导体车间的搬运需求，因此需要一个能够实时适应复杂情况变化的调度算法。
技术实现思路
1、本专利技术提供一种物料控制系统的天车搬运指令调度方法及装置，用以解决现有技术中基于指令优先级进行排序的调度方式显然难以适应复杂环境的缺陷。</p>2、本专利技术提供一种物料控制系统的天车搬运指令调度方法，包括：
3、状态更新步骤：确定当前系统状态；所述当前系统状态包括当前每个未调度的天车搬运指令的指令等待时间、指令起始地、指令目的地、指令要求执行时间、当前可用天车数量以及当前轨道热图；所述当前轨道热图表示了当前各个轨道的繁忙程度；
4、指令调度步骤：将所述当前系统状态输入至指令调度模型，得到所述指令调度模型输出的所述当前每个未调度的天车搬运指令的调用分数，并基于所述当前每个未调度的天车搬运指令的调用分数以及所述当前可用天车数量确定当前被调用指令，将所述当前被调用指令下发至天车控制系统；
5、迭代步骤：重复执行所述状态更新步骤以及所述指令调度步骤，直至达到预设调度截止条件。
6、根据本专利技术提供的一种物料控制系统的天车搬运指令调度方法，所述指令调度模型是基于如下方式训练的：
7、样本状态更新步骤：确定当前样本系统状态；所述当前样本系统状态包括当前每个未调度的样本天车搬运指令的指令等待时间、指令起始地、指令目的地、指令要求执行时间、当前样本可用天车数量以及当前样本轨道热图；
8、指令模拟调度步骤：将所述当前样本系统状态输入至初始调度模型，得到所述初始调度模型输出的所述当前每个未调度的样本天车搬运指令的调用分数，基于所述当前每个未调度的样本天车搬运指令的调用分数以及所述当前样本可用天车数量确定当前模拟被调用指令，并模拟执行所述当前模拟被调用指令；
9、模型更新步骤：基于所述当前模拟被调用指令的模拟执行结果计算当轮奖励值，基于所述当轮奖励值更新所述初始调度模型的参数；
10、迭代训练步骤：重复执行所述样本状态更新步骤、所述指令模拟调度步骤以及所述模型更新步骤，直至达到预设训练截止条件；其中，训练完毕后的所述初始调度模型为所述指令调度模型。
11、根据本专利技术提供的一种物料控制系统的天车搬运指令调度方法，所述基于所述当前模拟被调用指令的模拟执行结果计算当轮奖励值，具体包括：
12、基于所述当前模拟被调用指令的模拟执行结果中包含的指令执行时间，确定各个当前模拟被调用指令的执行时间奖励，并基于所述各个当前模拟被调用指令的执行时间奖励以及所述各个当前模拟被调用指令的平均指令执行时间，确定时间奖励总值；任一当前模拟被调用指令的指令执行时间越长，所述任一当前模拟被调用指令的执行时间奖励越小；
13、基于所述当前模拟被调用指令的指令等待时间，确定各个当前模拟被调用指令的等待时间奖励，并基于所述各个当前模拟被调用指令的等待时间奖励确定等待奖励总值；任一当前模拟被调用指令的指令等待时间越长，所述任一当前模拟被调用指令的等待时间奖励越小；
14、基于各个当前模拟被调用指令的指令起始地和指令目的地以及所述当前样本轨道热图，确定系统负载平衡奖励；所述各个当前模拟被调用指令的路径间重叠程度越大，或者所述各个当前模拟被调用指令的路径与繁忙路段的繁忙路段重叠程度越大，所述系统负载平衡奖励越小；
15、基于所述时间奖励总值、所述等待奖励总值以及所述系统负载平衡奖励，确定所述当轮奖励值。
16、根据本专利技术提供的一种物料控制系统的天车搬运指令调度方法，所述基于各个当前模拟被调用指令的指令起始地和指令目的地以及所述当前样本轨道热图，确定系统负载平衡奖励，具体包括：
17、基于各个当前模拟被调用指令的指令起始地和指令目的地，分别确定各个当前模拟被调用指令的最短可选路径；
18、基于各个当前模拟被调用指令的最短可选路径，确定各个当前模拟被调用指令的路径间重叠程度；
19、基于各个当前模拟被调用指令的最短可选路径和所述当前样本轨道热图，分别确定各个当前模拟被调用指令的最短可选路径与繁忙路段的繁忙路段重叠程度；
20、基于各个当前模拟被调用指令的路径间重叠程度以及各个当前模拟被调用指令的最短可选路径与繁忙路段的繁忙路段重叠程度，确定系统负载平衡奖励。
21、根据本专利技术提供的一种物料控制系统的天车搬运指令调度方法，若任一当前模拟被调用指令的指令执行时间大于所述任一当前模拟被调用指令的指令要求执行时间，则所述任一当前模拟被调用指令的执行时间奖励为0。
22、根据本专利技术提供的一种物料控制系统的天车搬运指令调度方法，所述基于所述时间奖励总值、所述等待奖励总值以及所述系统负载平衡奖励，确定所述当轮奖励值，具体包括：
23、基于所述时间奖励总值及其权重、所述等待奖励总值及其权重，和所述系统负载平衡奖励及其权重，确定所述当轮奖励值；
24、其中，若当前模拟被调用指令的等待时间奖励为0，则减小所述时间奖励总值的权重；若模拟执行当前模拟被调用指令的天车的平均等待时间大于预设等待阈值，则减小所述系统负载平衡奖励的权重。
25、根据本专利技术提供的一种物料控制系统的天车搬运指令调度方法，所述基于所述当前每个未调度的天车搬运指令的调用分数以及所述当前可用天车数量确定当前被调用指令，具体包括：
26、获取一个大于0且小于1的随机值；
27、若所述随机值小于预设选择阈值，则基于所述当前可用天车数量，从所述当前每个未调度的天车搬运指令中随机选择所述当前被调用指令；
28、若所述随机值大于预设选择阈值，则基于所述当前可用天车数量以及所述当前每个未调度的天车搬运指本文档来自技高网
...
【技术保护点】
1.一种物料控制系统的天车搬运指令调度方法，其特征在于，包括：
2.根据权利要求1所述的一种物料控制系统的天车搬运指令调度方法，其特征在于，所述指令调度模型是基于如下方式训练的：
3.根据权利要求2所述的一种物料控制系统的天车搬运指令调度方法，其特征在于，所述基于所述当前模拟被调用指令的模拟执行结果计算当轮奖励值，具体包括：
4.根据权利要求3所述的一种物料控制系统的天车搬运指令调度方法，其特征在于，所述基于各个当前模拟被调用指令的指令起始地和指令目的地以及所述当前样本轨道热图，确定系统负载平衡奖励，具体包括：
5.根据权利要求3所述的一种物料控制系统的天车搬运指令调度方法，其特征在于，若任一当前模拟被调用指令的指令执行时间大于所述任一当前模拟被调用指令的指令要求执行时间，则所述任一当前模拟被调用指令的执行时间奖励为0。
6.根据权利要求5所述的一种物料控制系统的天车搬运指令调度方法，其特征在于，所述基于所述时间奖励总值、所述等待奖励总值以及所述系统负载平衡奖励，确定所述当轮奖励值，具体包括：
7.根据权利要求1所述的一种物料控制系统的天车搬运指令调度方法，其特征在于，所述基于所述当前每个未调度的天车搬运指令的调用分数以及所述当前可用天车数量确定当前被调用指令，具体包括：
8.一种物料控制系统的天车搬运指令调度装置，其特征在于，包括：
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述一种物料控制系统的天车搬运指令调度方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述一种物料控制系统的天车搬运指令调度方法。
...
【技术特征摘要】
1.一种物料控制系统的天车搬运指令调度方法，其特征在于，包括：
2.根据权利要求1所述的一种物料控制系统的天车搬运指令调度方法，其特征在于，所述指令调度模型是基于如下方式训练的：
3.根据权利要求2所述的一种物料控制系统的天车搬运指令调度方法，其特征在于，所述基于所述当前模拟被调用指令的模拟执行结果计算当轮奖励值，具体包括：
4.根据权利要求3所述的一种物料控制系统的天车搬运指令调度方法，其特征在于，所述基于各个当前模拟被调用指令的指令起始地和指令目的地以及所述当前样本轨道热图，确定系统负载平衡奖励，具体包括：
5.根据权利要求3所述的一种物料控制系统的天车搬运指令调度方法，其特征在于，若任一当前模拟被调用指令的指令执行时间大于所述任一当前模拟被调用指令的指令要求执行时间，则所述任一当前模拟被调用指令的执行时间奖励为0。
6.根据权利要求5所述的...
【专利技术属性】
技术研发人员：王瑞骥，余君山，
申请(专利权)人：华芯嘉兴智能装备有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。