一种基于深度强化学习的边缘缓存替换方法技术

本发明专利技术属于通信技术领域，具体涉及一种基于深度强化学习的边缘缓存替换方法，包括：构建系统网络模型；获取系统网络模型中MEC服务器的缓存状态，根据MEC服务器的缓存状态计算单个用户获取缓存内容的总时延；根据单个用户的缓存内容总时延计算所有用户获取内容的总时延；根据用户获取内容的总时延构建优化目标函数；根据目标函数构建马尔科夫决策；根据马尔科夫决策采用基于深度强化学习的动态内容替换算法对MEC服务器的缓存进行替换；本发明专利技术针对流行度动态变化场景，结合深度强化学习技术制定一个动态内容缓存替代方案，根据MEC服务器的缓存空间的情况，使系统可以得到最小的用户获取内容的平均时延和并找到最合适的缓存替换策略。

【技术实现步骤摘要】

本专利技术属于移动通信，具体涉及一种基于深度强化学习的边缘缓存替换方法。

技术介绍

1、随着无线通信技术的不断发展，用户对内容的延迟要求越来越高，从远程数据中心获取内容可能无法满足用户低延迟的需求。移动边缘计算(mobile edge computing，mec)技术应运而生，移动边缘计算从网络边缘位置提供计算和缓存服务，可降低网络延迟、提高吞吐量和用户体验。因此，边缘缓存的研究已成为无线通信领域的热门研究课题之一，而解决边缘节点存储空间有限的问题是关键。缓存方案需要识别和缓存大多数用户感兴趣的流行内容，基于内容流行度，将热门内容缓存在边缘云上，能够减少网络链路拥塞和请求延迟，从而提高用户体验。内容缓存技术不仅是移动边缘计算的重要研究课题，也是解决用户低延迟需求的重要手段。

2、在mec边缘缓存中，缓存放置策略的执行通常会间隔很长时间，因此需要将缓存替换策略与其结合。在移动通信网络中，用户的位置变化会导致流行度的动态变化，制定一个高效的缓存替换方法非常重要。利用深度强化学习设计边缘缓存替代方法，可以在保护客户端数据隐私的同时，预测内容流行度，缓本文档来自技高网...

【技术保护点】

1.一种基于深度强化学习的边缘缓存替换方法，其特征在于，包括：

2.根据权利要求1所述的一种基于深度强化学习的边缘缓存替换方法，其特征在于，构建系统网络模型包括：核心网、基站、边缘服务器、远端服务器以及用户；用户向基站向基站发送请求，基站查看边缘服务器是否缓存请求内容，若存在，则将请求内容返回用户；否则将基站向核心网发送内容请求。

3.根据权利要求1所述的一种基于深度强化学习的边缘缓存替换方法，其特征在于，计算单个用户获取缓存内容的总时延包括：计算用户获取内容的传输时延，计算用户获取内容的计算时延；根据用户获取内容的传输时延和用户获取内容的计算时延得到用户获取内容...

【技术特征摘要】

1.一种基于深度强化学习的边缘缓存替换方法，其特征在于，包括：

2.根据权利要求1所述的一种基于深度强化学习的边缘缓存替换方法，其特征在于，构建系统网络模型包括：核心网、基站、边缘服务器、远端服务器以及用户；用户向基站向基站发送请求，基站查看边缘服务器是否缓存请求内容，若存在，则将请求内容返回用户；否则将基站向核心网发送内容请求。

3.根据权利要求1所述的一种基于深度强化学习的边缘缓存替换方法，其特征在于，计算单个用户获取缓存内容的总时延包括：计算用户获取内容的传输时延，计算用户获取内容的计算时延；根据用户获取内容的传输时延和用户获取内容的计算时延得到用户获取内容总时延。

4.根据权利要求1所述的一种基于深度强化学习的边缘缓存替换方法，其特征在于，计算所有用户获取内容的总时延为：

5.根据权利要求1所述的一种基于深度强化学习的边缘缓存替换方法，其特征在于，优化目标函数为：

【专利技术属性】
技术研发人员：刘倩，王四洪，刘期烈，祁智，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：