【技术实现步骤摘要】
本专利技术涉及车载任务调度，特别是涉及一种基于混合强化学习的车载任务卸载调度方法及系统。
技术介绍
1、随着车路云一体化智能交通系统的发展，智能网联汽车担负着执行应用任务、与路/与云交互的功能，但随着计算密集型车载应用、传感器数据的增多，这些任务需要高频处理和较多能量消耗，智能网联汽车车载计算平台在短时间内任务计算量爆炸性增长。
2、mec(mobile edge computing移动边缘计算技术)作为一种新的小型数据存储处理中心，有效连接车端、路端、云端，车载任务卸载到mec上计算被认为是一种有效解决车载计算任务过大的有效方案。然而，将所有车载任务卸载到mec上则会导致mec处理信息传递信息的时延过长，因此，如何选择合适的任务卸载和资源调度机制是保障智能网联车的卸载任务在mec顺利完成计算的主要障碍和难点。
技术实现思路
1、本专利技术的目的是提供一种基于混合强化学习的车载任务卸载调度方法及系统，实现了对将车载任务卸载到边缘计算节点计算的合理调度。
2、为实现上述目的，本专利技术提供了如下方案。
3、一方面，本专利技术提供了一种基于混合强化学习的车载任务卸载调度方法，包括以下步骤。
4、根据路网信息建立车载任务协同处理网络；车载任务协同处理网络中包括若干个携带有车载任务的车辆和若干个边缘计算节点。
5、根据车载任务协同处理网络构建状态变量空间和动作变量空间；状态变量空间包括车辆位置、车载任务大小、车载任务复杂度、车载任
6、基于saddqn网络构建通信决策模型；saddqn网络为在ddqn网络后连接自注意力网络得到的网络；通信决策模型用于根据当前的状态变量空间，输出通信决策；通信决策包括车辆目标边缘计算节点。
7、基于ddpg网络构建任务分配决策模型；任务分配决策模型用于根据当前的状态变量空间和通信决策，输出任务分配决策；任务分配决策包括车辆任务卸载率、通信传输功率和分配算力比例。
8、以车载任务协同处理网络的总成本最小为目标，训练通信决策模型和任务分配决策模型，得到训练好的通信决策模型和训练好的任务分配决策模型。
9、根据实时的状态变量空间，通过训练好的通信决策模型输出通信决策，并根据实时的状态变量空间和通信决策，通过训练好的任务分配决策模型输出任务分配决策。
10、根据通信决策和任务分配决策，进行车载任务卸载调度。
11、另一方面，对应于前述的基于混合强化学习的车载任务卸载调度方法，本专利技术还提供了一种基于混合强化学习的车载任务卸载调度系统，所述基于混合强化学习的车载任务卸载调度系统在被计算机运行时，执行如前文所述的基于混合强化学习的车载任务卸载调度方法。
12、根据本专利技术提供的具体实施例，本专利技术公开了以下技术效果。
13、本专利技术提供的一种基于混合强化学习的车载任务卸载调度方法及系统，方法包括：根据路网信息建立车载任务协同处理网络，并构建状态变量空间和动作变量空间，基于通过自注意力网络改进ddqn后得到的saddqn网络构建通信决策模型，以确定车辆目标边缘计算节点，基于ddpg网络构建任务分配决策模型，以确定车辆任务卸载率、通信传输功率和分配算力比例；以车载任务协同处理网络的总成本最小为目标，优化通信决策模型和任务分配决策模型二者的参数，即可利用训练好的通信决策模型和训练好的任务分配决策模型，根据实时的状态变量空间，输出合理的通信决策和任务分配决策，以此进行车载任务卸载调度。相较于现有技术，本专利技术通过训练好的通信决策模型和任务分配决策模型在动作变量空间中确定合理的通信决策和任务分配决策，解决了将所有车载任务均不考虑后果的卸载到边缘计算节点上，导致边缘计算节点处理信息量及传递信息量过大，造成边缘计算节点处理任务时延过长的问题，对将车载任务卸载到边缘计算节点上计算的实施提供了坚实基础，进一步保障了车路云一体化智能交通系统的发展。
本文档来自技高网...【技术保护点】
1.一种基于混合强化学习的车载任务卸载调度方法，其特征在于，包括：
2.根据权利要求1所述的一种基于混合强化学习的车载任务卸载调度方法，其特征在于，根据下式计算车载任务协同处理网络的总成本：
3.根据权利要求2所述的一种基于混合强化学习的车载任务卸载调度方法，其特征在于，根据下式计算t时刻完成第i个车辆的车载任务的时间成本：
4.根据权利要求2所述的一种基于混合强化学习的车载任务卸载调度方法，其特征在于，根据下式计算t时刻完成第i个车辆的车载任务的能耗成本：
5.根据权利要求4所述的一种基于混合强化学习的车载任务卸载调度方法，其特征在于，以所述车载任务协同处理网络的总成本最小为目标，训练所述通信决策模型和所述任务分配决策模型，具体包括：
6.根据权利要求5所述的一种基于混合强化学习的车载任务卸载调度方法，其特征在于，所述通信决策模型包括评估通信决策模型和目标通信决策模型；以最小化通信决策模型的损失函数为目标，优化所述通信决策模型的参数，具体包括：
7.根据权利要求6所述的一种基于混合强化学习的车载任务卸载调度
8.根据权利要求6所述的一种基于混合强化学习的车载任务卸载调度方法，其特征在于，所述训练任务分配决策模型包括Actor训练模型和Critic训练模型；所述目标任务分配决策模型包括Actor目标模型和Critic目标模型；根据所述训练任务分配决策模型的参数，更新所述目标任务分配决策模型的参数，具体包括：
9.根据权利要求8所述的一种基于混合强化学习的车载任务卸载调度方法，其特征在于，根据下式更新所述Actor目标模型的参数：
10.一种基于混合强化学习的车载任务卸载调度系统，其特征在于，所述基于混合强化学习的车载任务卸载调度系统在被计算机运行时，执行如权利要求1-9任一项所述的基于混合强化学习的车载任务卸载调度方法。
...【技术特征摘要】
1.一种基于混合强化学习的车载任务卸载调度方法，其特征在于，包括：
2.根据权利要求1所述的一种基于混合强化学习的车载任务卸载调度方法，其特征在于，根据下式计算车载任务协同处理网络的总成本：
3.根据权利要求2所述的一种基于混合强化学习的车载任务卸载调度方法，其特征在于，根据下式计算t时刻完成第i个车辆的车载任务的时间成本：
4.根据权利要求2所述的一种基于混合强化学习的车载任务卸载调度方法，其特征在于，根据下式计算t时刻完成第i个车辆的车载任务的能耗成本：
5.根据权利要求4所述的一种基于混合强化学习的车载任务卸载调度方法，其特征在于，以所述车载任务协同处理网络的总成本最小为目标，训练所述通信决策模型和所述任务分配决策模型，具体包括：
6.根据权利要求5所述的一种基于混合强化学习的车载任务卸载调度方法，其特征在于，所述通信决策模型包括评估通信决策模型和目标通信决策模型；以最小化通信决...
【专利技术属性】
技术研发人员：邹渊，刘佳慧，张旭东，吴金铭，孙文景，杜国栋，张一伟，赵凯宇，杨鸣远，郭建统，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。