【技术实现步骤摘要】
本专利技术涉及智慧城市领域，尤其涉及一种基于强化学习的城市垃圾收运方法及系统。
技术介绍
1、随着城市化进程的不断加速，城市生活垃圾的规模呈现持续增长的趋势，这对于城市环境的维护和居民生活质量的保障至关重要。然而，当前的垃圾处理系统面临着多方面的问题和挑战，垃圾收集、运输、处理等环节存在着效率低下的情况，这导致了资源的浪费和环境的污染，垃圾处理过程中的成本较高。此外，当前的垃圾管理往往是基于经验和简单的统计数据，缺乏科学性和系统性，导致了决策的盲目性和不确定性。
技术实现思路
1、有鉴于此，为了解决现有城市垃圾收运方法中大多依据简单的经验数据，进而导致垃圾收运效率不高的技术问题，本专利技术提出一种基于强化学习的城市垃圾收运方法，所述方法包括以下步骤：
2、基于马尔可夫决策过程，构建垃圾收运车与收发点的行驶模型；
3、基于所述行驶模型，根据优化目标，定义第一状态空间、第一动作空间和第一奖励函数；
4、基于马尔可夫决策过程，构建路径模型；
5、基于所述路径模型，限定搜索空间，划分第二状态空间、第二动作空间和第二奖励函数；
6、基于所述行驶模型和所述路径模型，对垃圾收运网络进行优化，调整行驶方案与收运点布置。
7、在该实施例中，引入了q学习算法使得垃圾收运网络具备了一定的智能化和自主学习能力，能够根据历史经验和实时数据做出合理的决策，提高了系统的智能化水平和自动化程度。
8、在一些实施例中，所述这基于马尔
9、获取垃圾收运网络中街道的连通情况、垃圾运收车位置和收发点的位置，将垃圾收运网络建模为马尔可夫决策过程，得到垃圾运收车与收发点的行驶模型。
10、在一些实施例中，所述基于所述行驶模型，根据优化目标，定义第一状态空间、第一动作空间和第一奖励函数这一步骤，其具体包括：
11、基于所述行驶模型，以减少垃圾收运车在垃圾收运网络中的行驶距离优化目标进行路径寻优；
12、所述第一状态空间包括垃圾收运车辆所在的路网顶点；
13、所述第一动作空间包括每个顶点对应的出发边；
14、所述第一奖励函数根据选择的边的成本定义。
15、在一些实施例中，所述基于所述路径模型，限定搜索空间，划分第二状态空间、第二动作空间和第二奖励函数这一步骤，其具体包括：
16、基于所述行驶模型，计算从初始状态到终端状态的所有可能路径，并确定预定义的子集，得到搜索空间；
17、所述第二状态空间包括初始状态、终端状态和时间步骤；
18、所述第二动作空间包括预定义的子集中的路径；
19、所述第二奖励函数根据路径成本和交通成本定义。
20、在一些实施例中，所述第一状态空间表示如下：
21、s＝[m11v11dt1lt1，n12v12dt1lt1....mijvijdtnltn，，] i＝1,2...n；j＝1,2...n
22、其中，n为此道路中社会车辆的兀余数量，v是当前道路的平均车速，dt为二维平面上运收点与车的总距离，定义lt为距离当前道路尽头边缘的距离，i为当前行驶的道路，j是道路上的小车标识，n是车道数总和。
23、本专利技术还提出了一种基于强化学习的城市垃圾收运系统，所述系统包括：
24、第一深度学习模块，基于马尔可夫决策过程，构建垃圾收运车与收发点的行驶模型；基于所述行驶模型，根据优化目标，定义第一状态空间、第一动作空间和第一奖励函数；
25、第二深度学习模块，基于马尔可夫决策过程，构建路径模型；基于所述路径模型，划分第二状态空间、第二动作空间和第二奖励函数；
26、优化模块，基于所述行驶模型和所述路径模型，对垃圾收运网络进行优化，调整行驶方案与收运点布置。
27、本专利技术还提出了一种基于强化学习的城市垃圾收运装置，包括：
28、至少一个处理器；
29、至少一个存储器，用于存储至少一个程序；
30、当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如上所述一种基于强化学习的城市垃圾收运方法。
31、基于上述方案，本专利技术提供了一种基于强化学习的城市垃圾收运方法及系统，利用了q学习算法，能够根据实时的路况和环境变化来动态地调整路径，从而提升了路径规划的精确性和准确性；基于q学习的行驶模型和路径模型能够实时地对当前路况进行评估和调整，使得垃圾收运车辆可以根据最新的信息做出决策，从而更有效地应对交通拥堵、道路封闭等突发情况，提高了系统的实时性和响应能力；最后，本专利技术通过最优化垃圾收运路径，可以有效减少垃圾收运车辆的行驶里程和时间，降低燃料消耗和运营成本，同时减少了交通拥堵和碳排放，具有显著的经济和环境效益。
32、此外，传统的路径规划方法往往缺乏对环境变化的适应性，而基于q学习的模型能够通过不断地学习和优化，自适应地调整垃圾收运路径，适应不同时间段和不同地区的交通情况，从而提高了系统的适应性和灵活性。
本文档来自技高网...【技术保护点】
1.一种基于强化学习的城市垃圾收运方法，其特征在于，包括以下步骤：
2.根据权利要求1所述一种基于强化学习的城市垃圾收运方法，其特征在于，所述这基于马尔可夫决策过程，构建垃圾运收车与收发点的行驶模型一步骤，其具体包括：
3.根据权利要求1所述一种基于强化学习的城市垃圾收运方法，其特征在于，所述基于所述行驶模型，根据优化目标，定义第一状态空间、第一动作空间和第一奖励函数这一步骤，其具体包括：
4.根据权利要求1所述一种基于强化学习的城市垃圾收运方法，其特征在于，所述基于所述路径模型，限定搜索空间，划分第二状态空间、第二动作空间和第二奖励函数这一步骤，其具体包括：
5.根据权利要求1所述一种基于强化学习的城市垃圾收运方法，其特征在于，所述第一状态空间表示如下：
6.根据权利要求1所述一种基于强化学习的城市垃圾收运方法，其特征在于，所述第一奖励函数表示如下：
7.根据权利要求1所述一种基于强化学习的城市垃圾收运方法，其特征在于，所述第二状态空间表示如下：
8.一种基于强化学习的城市垃圾收运系统，其特征在
9.一种基于强化学习的城市垃圾收运装置，其特征在于，包括：
...【技术特征摘要】
1.一种基于强化学习的城市垃圾收运方法，其特征在于，包括以下步骤：
2.根据权利要求1所述一种基于强化学习的城市垃圾收运方法，其特征在于，所述这基于马尔可夫决策过程，构建垃圾运收车与收发点的行驶模型一步骤，其具体包括：
3.根据权利要求1所述一种基于强化学习的城市垃圾收运方法，其特征在于，所述基于所述行驶模型，根据优化目标，定义第一状态空间、第一动作空间和第一奖励函数这一步骤，其具体包括：
4.根据权利要求1所述一种基于强化学习的城市垃圾收运方法，其特征在于，所述基于所述路径模型，限定搜索空间，划...
【专利技术属性】
技术研发人员：张鼎华，汤培新，张胜营，李硕，周德靖，郎旭涵，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。