一种基于SAC的动态服务编排方法、装置及边缘服务器制造方法及图纸

本发明专利技术提供了一种基于SAC的动态服务编排方法，其包括如下步骤：S1，接收工业物联网设备和终端用户请求SFC；S2，使用基于最大熵框架的软演员评论家深度强化学习SAC学习最佳SFC部署和流量路由策略，所述SAC的目标函数包括通过优化部署和流量控制策略来最小化平均端到端延迟；所述端到端延迟包括VNF处理延迟、数据传输延迟和链路传播延迟；S3，将所述最佳SFC部署和流量路由策略发送NFV编排器和SDN控制器，使得NFV编排器和SDN控制器进行服务的具体实现，将服务提供给工业物联网设备和然后通过基于SAC解决马尔可夫决策问题，本发明专利技术进一步优化SAC算法，在提高算法探索能力的同时保证较好的模型输出。好的模型输出。好的模型输出。

【技术实现步骤摘要】
一种基于SAC的动态服务编排方法、装置及边缘服务器


[0001]本专利技术涉及领域，具体来说，涉及一种基于SAC的动态服务编排方法、装置及边缘服务器。

技术介绍

[0002]由于智能移动设备和5G/B5G网络技术的快速发展，物联网(IoT)技术的应用正在迅速普及。工业物联网(IIoT)是一种由物联网与工业制造系统的融合的新场景。工业物联网范式有可能显着提高一个行业的生产力、吞吐量和响应时间，推动包括制造、食品、医疗保健、农业等在内的各个行业的快速增长。同时，工业机器和网络规模的增加，刺激了工业过程的过度自动化和智能化，产生了海量的大数据。由于工业物联网设备的处理能力和电池寿命有限，计算密集型服务必须在具有足够能力的服务器上执行，这些服务器通常部署在云计算服务器中。尽管这种范式适用于传统应用程序，但来自云的通信延迟成为工业物联网应用的重要阻碍，工业物联网应用程序经常需要快速响应和移动协助。并且将数据发送到远程云服务器也增加了数据机密性和隐私泄露的风险。
[0003]近年来，移动边缘计算(MEC)的提出为学术界和产业界提供了一种有效的解决方案，它提供类似云的服务，包括工业物联网设备和云服务器之间的辅助处理和存储。由于边缘离数据源更近，边缘计算可以显著提高工业物联网应用程序处理的服务质量(QoS)。尽管如此，边缘计算仍然面临着在动态和异构工业物联网环境中提供服务时如何实现高效资源分配的挑战。边缘智能(EI)使机器学习算法部署到边缘成为可能，它集成了人工智能(AI)和边缘计算技术，结合软件定义网络(SDN)控制器的全球意识和网络功能虚拟化(NFV)灵活的资源分配能力，边缘将获得动态工业物联网业务的自适应部署和智能调度能力，为工业企业实现高效率、低延迟的工业生产服务保证。实现的高效的SFC编排对于工业物联网服务交付是必不可少的，基于NFV技术运营商为物联网设备定义了业务功能链(SFC)中的一系列虚拟网络功能(VNFs)，这些虚拟网络功能按照顺序连接和处理，以灵活处理海量异构物联网业务
[i]。在NFV赋能的网络中，NFV协调器将VNF映射到边缘物理节点(例如虚拟机)进行处理，SDN控制器将流量引导遍历每个VNF以提供不同的服务。尽管这种动态SFC编排问题一直是学术界和产业界关注的焦点，但是要广泛的应用到大规模的工业物联网中仍然需要克服一下挑战：
[0004]1)现有方法大多是采用离线训练模型，并且基于不真实的先验知识(例如，服务流量到达模式)和精心设计的模型。将它们应用到未知场景中，可能仍然需要专家手动调整。
[0005]2)最近的研究没有考虑工业物联网服务的独特属性，仍然将工业物联网服务作为传统服务处理，导致不适合实际工业物联网服务请求的解决方案。例如，工业物联网服务更经常需要特定的延迟约束而不是纯粹的延迟最小化，并且具有延迟约束的服务编排仍需要进一步研究。
[0006]3)近年来，深度强化学习(DRL)算法越来越多地用于资源分配，但它仍然面临着在连续空间场景中寻找最优策略、样本效率差、稳定困难、缺乏探索等诸多挑战等等。这些挑
战严重限制了DRL在实际任务中的适用性。
[0007]本文提供的背景描述用于总体上呈现本公开的上下文的目的。除非本文另外指示，在该章节中描述的资料不是该申请的权利要求的现有技术并且不要通过包括在该章节内来承认其成为现有技术。

技术实现思路

[0008]针对相关技术中的上述技术问题，本专利技术提出了一种基于SAC的动态服务编排方法，其包括如下步骤：
[0009]S1，接收工业物联网设备和终端用户请求SFC；
[0010]S2，使用基于最大熵框架的软演员评论家深度强化学习SAC学习最佳SFC部署和流量路由策略，所述SAC的目标函数包括通过优化部署和流量控制策略来最小化平均端到端延迟；所述端到端延迟包括VNF处理延迟、数据传输延迟和链路传播延迟；
[0011]S3，将所述最佳SFC部署和流量路由策略发送NFV编排器和SDN控制器，使得NFV编排器和SDN控制器进行服务的具体实现，将服务提供给工业物联网设备和终端用户。
[0012]具体的，所述步骤S2中使用改进SAC替换SAC，所述改进SAC算法在训练期间使用了判别机制，在奖励高于ω
·
max(reward)，则输出参数将仅使用当前训练集中的参数进行更新，其中ω控制过度拟合的灵活性水平。
[0013]具体的，所述VNFs处理延迟由任务处理的总计算需求与实例化节点分配的处理能力的比率计算；
[0014]具体的，所述数据传输延迟由数据量大小除以链路可用带宽决定；
[0015]具体的，所述链路传播延迟由下式确定：
[0016][0017]其中Δ
d
是两个节点之间的物理距离，c是由物理链路介质确定的信号传播速度，L为链路集合，S为所有可访问服务的集合。
[0018]具体的，所述SAC的马可夫链的奖励函数使用两个延迟标准，惩罚r
t
如下式所示：
[0019][0020]其中是所有VNF处理延迟的总和，是服务端到端延迟，包括VNF处理延迟和链路延迟，N是网络拓扑规模，D
sard
为硬截止时间，为软截止时间。
[0021]第二方面，本专利技术的另一个实施例公开了一种基于SAC的动态服务编排装置，其包括如下单元：
[0022]SFC请求接收单元，用于接收工业物联网设备和终端用户请求SFC；
[0023]最佳SFC部署和流量路由策略学习单元，用于使用基于最大熵框架的软演员评论家深度强化学习SAC学习最佳SFC部署和流量路由策略，所述SAC的目标函数包括通过优化部署和流量控制策略来最小化平均端到端延迟；所述端到端延迟包括VNF处理延迟、数据传输延迟和链路传播延迟；
[0024]部署单元，用于将所述最佳SFC部署和流量路由策略发送NFV编排器和SDN控制器，使得NFV编排器和SDN控制器进行服务的具体实现，将服务提供给工业物联网设备和终端用户。
[0025]具体的，所述最佳SFC部署和流量路由策略学习单元中使用改进SAC替换SAC，改进SAC算法，所述改进SAC算法在训练期间使用了判别机制，在奖励高于ω
·
max(reward)，则输出参数将仅使用当前训练集中的参数进行更新，其中ω控制过度拟合的灵活性水平。
[0026]具体的，所述SAC的马可夫链的奖励函数使用两个延迟标准，惩罚r
t
如下式所示：
[0027][0028]其中是所有VNF处理延迟的总和，是服务端到端延迟，包括VNF处理延迟和链路延迟，N是网络拓扑规模，D
sard
为硬截止时间，为软截止时间。
[0029]第三方面，本专利技术的另一个实施例公开了一种边缘服务器，其包括处理单元、存储单元，所述处理单元用于实现上述的于SAC的动态服务编排方法，或者还包括上述的于SAC的动态服务编排装置。
[0030]第四方面，本专利技术的另一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于SAC的动态服务编排方法，其包括如下步骤：S1，接收工业物联网设备和终端用户请求SFC；S2，使用基于最大熵框架的软演员评论家深度强化学习SAC学习最佳SFC部署和流量路由策略，所述SAC的目标函数包括通过优化部署和流量控制策略来最小化平均端到端延迟；所述端到端延迟包括VNF处理延迟、数据传输延迟和链路传播延迟；S3，将所述最佳SFC部署和流量路由策略发送NFV编排器和SDN控制器，使得NFV编排器和SDN控制器进行服务的具体实现，将服务提供给工业物联网设备和终端用户。2.根据权利要求1所述的方法，所述步骤S2中使用改进SAC替换SAC，所述改进SAC算法在训练期间使用了判别机制，在奖励高于ω
·
max(reward)，则输出参数将仅使用当前训练集中的参数进行更新，其中ω控制过度拟合的灵活性水平。3.根据权利要求1所述的方法，所述VNFs处理延迟由任务处理的总计算需求与实例化节点分配的处理能力的比率计算。4.根据权利要求1所述的方法，所述数据传输延迟由数据量大小除以链路可用带宽决定。5.根据权利要求1所述的方法，所述链路传播延迟由下式确定：其中Δ
d
是两个节点之间的物理距离，c是由物理链路介质确定的信号传播速度，L为链路的集合，S为所有可访问服务的集合。6.根据权利要求1所述的方法，所述SAC的马可夫链的奖励函数使用两个延迟标准，惩罚r
t
如下式所示：其中是所有VNF处理延迟的总和，是服务端到端延迟，包括VNF处理延迟和链路延迟，N是网络拓扑规模，D
sard
为...

【专利技术属性】
技术研发人员：任腾，吴辰颢，黄忠炜，高敏涵，
申请(专利权)人：谦行智慧珠海科技有限公司，
类型：发明
国别省市：