一种边缘计算下的复杂事件处理系统部署方法技术方案

本发明专利技术公开一种边缘计算环境下基于响应时间预测的复杂事件处理部署方法，包括以下步骤：步骤1、多个operator graph响应时间预测；步骤2、根据步骤1的结果，在一个响应时间最长的operator graph，选择从数据源到数据消费者的预测响应时间最高的路径。在此基础上，选择该路径上未被部署的下一个operator；步骤3、在边缘节点资源受限下的部署方法：监控数据源附近的满足资源条件的边缘节点作为候选节点。在这些候选节点中，选择作为operator的部署节点的条件是：operator部署在该节点后，其实际响应时间最小；步骤4、重复步骤1，2、3，直至所有operator都被部署。

【技术实现步骤摘要】
一种边缘计算下的复杂事件处理系统部署方法
本专利技术涉及一种边缘环境下基于响应时间预测的复杂事件处理部署方法，对代表多个用户的多个处理结构operatorgraph，通过其响应时间预测，部署在一个资源受限的边缘网络中，以获得这些operatorgraph平均响应时间最低的效果。
技术介绍
复杂事件处理技术通过处理大量实时数据流来发掘数据中潜在的语义，快速地将用户感兴趣的事件反馈给用户。边缘计算通过将云服务从远程云数据中心推向网络边缘，通过网络边缘的小型基站来提供服务，非常适合复杂事件处理这样的实时数据处理技术。现有的复杂事件处理框架中，一种用户感兴趣的事件对应着一个被称为operatorgraph的软件核心。每个operatorgraph又由若干个称为operator的处理节点以及其之间的数据流构成。每个operator负责检测用户感兴趣事件的一部分，处理前序operator发送来的事件，产生的结果传输给后续的operator进行处理。要将复杂事件处理部署在资源受限的边缘节点网络中，实质上是在求多个operatorgraph的有向无环图与边缘网络拓扑图的一个映射，使得多个operatorgraph的平均响应时间最小。在现有的边缘计算部署方案中，通常考虑将应用部署在最近的边缘节点中运行，以达到尽可能小的传输时延以及尽可能小的网络传输量。但是当数据量大幅度增加时，最近的边缘节点可能发生拥塞，无法满足响应时间需求。现有技术中仍然需要解决的问题。一方面，系统无法判断一种部署方式是否会发生拥塞。另一方面，系统无法判断如何部署是最合适的。若集中部署于最近的节点，当数据量增加时，会导致拥塞。若为了避免拥塞，分散地部署又会增加传输时延以及网络传输量，造成系统性能下降。
技术实现思路
专利技术目的：为了解决上述问题，本专利技术提出了一种边缘计算环境下的复杂事件处理部署方法来降低复杂事件处理的operatorgraph的平均响应时间。本专利技术监控附近的边缘节点之间的传输速率，边缘节点处理事件的吞吐率，以及各个operatorgraph的事件输入率，作为响应时间计算的参数，来进行多个operatorgraph响应时间预测公式的计算。根据预测的响应时间，选出operatorgraph中的关键路径中未部署的operator。为该operator选出响应时间最小的边缘节点。如此重复直至所有operator均被部署。技术方案：一种边缘计算下的复杂事件处理部署方法，其步骤包括：步骤1、多个operatorgraph响应时间预测：通过监控附近的边缘节点之间的传输速率，边缘节点处理事件的吞吐率，以及各个operatorgraph的事件输入率，作为响应时间计算的参数，来进行多个operatorgraph响应时间预测公式的计算；步骤2、根据步骤1的结果，在一个响应时间最高的operatorgraph，选择从数据源到数据消费者的预测响应时间最高的路径。在此基础上，选择该路径上未被部署的下一个operator；步骤3、在边缘节点资源受限下的部署方法：监控数据源附近(定义网络H以内的节点称为附近的边缘节点)的满足资源条件的边缘节点作为候选节点。在这些候选节点中，选择作为operator的部署节点的条件是：operator部署在该节点后，其实际响应时间最小；步骤4、重复步骤1，2、3，直至所有operator都被部署。进一步的，步骤1中监控方法为：在H跳(通常为2跳)以内的边缘网络环境下，对于一个边缘节点Vedge，会定期收集边缘节点之间的传输速率w，边缘节点处理事件的吞吐率λ，以及各个operatorgraph的事件输入率r。其中，对于一个operator的事件输入率，避免由于抖动导致变化过大，采用最近t时间内的平均值。各个operator最近t时间内每秒tk的数据输入量为n(tk)。从而计算出平均事件输入速率步骤1中响应时间计算方法包括以下步骤：步骤1.1，计算任意一条从数据源到数据消费者的路径path的网络传输时延d(path)。若已经决定operatorωi和ωi+1部署在边缘节点vl和vl+1上，则数据在operatorωi和ωi+1之间的传输时延公式为：公式参数解释：w(vl，vl+1)为节点vl和vl+1之间网络传输速率。若operatorωi和ωi+1处于待部署状态，则数据在operatorωi和ωi+1之间的传输时延公式为：公式参数解释：sz表示一个事件包的大小。表示候选边缘节点之间的平均带宽。对于一条路径上的数据传输时延，可由以下公式预测：公式参数解释：pn表示在路径path中的从数据源到数据消费者的operator数量。公式中，operator的排序顺序j为从数据源至数据消费者方向。步骤1.2，计算事件在一条路径中各个operator中的执行时间TE(path)。若已经决定operatorωi部署在边缘节点vl上，则事件在operatorωi中的执行时间可以由以下公式预测：若operatorωi处于待部署状态，则事件在operatorωi中的执行时间可以由以下公式预测：公式参数解释：λ(vi)表示边缘节点vl的平均吞吐率。表示候选边缘节点的平均吞吐率。一条路径中各个operator中的执行时间总和TE(path)可由以下公式预测：步骤1.3，计算事件在一条路径中各个operator中的队列延迟时间Tq(path)。由Erlang’sC公式，我们可以得知，对于一个边缘节点，其发送拥塞的概率为：其中，n表示处理单元的数量，u表示事件到达的速率与处理速率的比。而对于复杂事件处理，处理的瓶颈在于传输速度远远慢于处理速度。导致大量事件在传输队列中等待，而没有被处理。由此可知，一个operatorωi若被部署在边缘节点vl上，队列拥塞概率预测公式为：其中r(vl，v)为边缘节点vl到边缘节点v的事件产生速率。w(vl，v)为节点vl和v之间网络传输速率。若operatorωi处于未部署状态，则其队列拥塞概率预测公式为：公式参数解释：其中n(vi，v)表示边缘节点vi与传输源的边缘节点v之间的通道数量。表示候选边缘节点之间的平均通道数量。为处理单元operatorωi的平均事件输入速率。为边缘网络的平均传输速率。时间t内的Operatorωi的队列时延的预测公式为：一条路径中各个operator中的队列等待时间总和Tq(path)由以下公式预测：步骤1.4，一条路径上的响应时间总和由以下公式计算：T(path)＝d(path)+TE(path)+Tq(path)该公式忽略了传播时延，传播时延的计算公式为：其中，distance为传输距离，speed为电磁波在通讯线路上的速度。由于在边缘计算条件下，传输距离比较近，而电磁波在通讯线路上的速度接近光速，故在边缘计算环境下，该时延可以忽略。步骤1.5，一个operatorgraph的响应时间预测公式为各条路径中，响应时间最长那一条。公式为：其中Gcep表示上述operatorgraph。表示该operatorgraph以operator为节点，以数据流为连线的有向无环图结构中，从数据源到数据消费者的所有路径。T(path)表示从数据源到数据消费者响应时间最大的路径。进一步的，步骤2包括以下步骤：步骤2本文档来自技高网...

【技术保护点】
1.一种边缘计算下的复杂事件处理系统部署方法，其特征在于，包括以下步骤：步骤1、多个operator graph响应时间预测：通过监控附近的边缘节点之间的传输速率，边缘节点处理事件的吞吐率，以及各个operator graph的事件输入率，作为响应时间计算的参数，来进行多个operator graph响应时间预测公式的计算；步骤2、根据步骤1的结果，在一个响应时间最高的operator graph，选择从数据源到数据消费者的预测响应时间最高的路径；在此基础上，选择该路径上未被部署的下一个operator；步骤3、在边缘节点资源受限下的部署方法：监控数据源附近H跳以内的边缘节点且将满足资源条件的边缘节点作为候选节点；在这些候选节点中，选择作为operator的部署节点的条件是：operator部署在该节点后，其实际响应时间最小；步骤4、重复步骤1，2、3，直至所有operator都被部署。

【技术特征摘要】
1.一种边缘计算下的复杂事件处理系统部署方法，其特征在于，包括以下步骤：步骤1、多个operatorgraph响应时间预测：通过监控附近的边缘节点之间的传输速率，边缘节点处理事件的吞吐率，以及各个operatorgraph的事件输入率，作为响应时间计算的参数，来进行多个operatorgraph响应时间预测公式的计算；步骤2、根据步骤1的结果，在一个响应时间最高的operatorgraph，选择从数据源到数据消费者的预测响应时间最高的路径；在此基础上，选择该路径上未被部署的下一个operator；步骤3、在边缘节点资源受限下的部署方法：监控数据源附近H跳以内的边缘节点且将满足资源条件的边缘节点作为候选节点；在这些候选节点中，选择作为operator的部署节点的条件是：operator部署在该节点后，其实际响应时间最小；步骤4、重复步骤1，2、3，直至所有operator都被部署。2.如权利要求1所述的边缘计算下的复杂事件处理系统部署方法，其特征在于，步骤1中在H跳以内的边缘网络环境下，对于一个边缘节点Vedge，会定期收集边缘节点之间的传输速率w，边缘节点处理事件的吞吐率λ，以及各个operatorgraph的事件输入率r。3.如权利要求1所述的边缘计算下的复杂事件处理系统部署方法，其特征在于，步骤1中响应时间预测方法包括以下步骤：步骤1.1，计算任意一条从数据源到数据消费者的路径path的网络传输时延d(path)；步骤1.2，计算事件在一条路径中各个operator中的执行时间TE(path)；步骤1.3，计算事件在一条路径中各个operator中的队列延迟时间Tq(path)；步骤1.4，一条路径上的响应时间总和由以下公式计算：T(path)＝d(path)+TE(path)+Tq(path)步骤1.5，一个operatorgraph的响应时间预测公式为各条路径中，响应时间最长那一条；公式为：其中表示在上述operatorgraphGcep从数据源到数据消费者响应时间最长的路径。4.如权利要求2所述的边缘计算下的复杂事件处理系统部署方法，其特征在于，对于一个operator的事件输入率，避免由于抖动导致变化过大，采用最近t时间内的平均值；各个operator最近t时间内每秒tk的数据输入量为n(tk)；从而计算出平均事件输入速率5.如...

【专利技术属性】
技术研发人员：蔡昕辰，胡昊，匡宏宇，吕建，
申请(专利权)人：南京大学，
类型：发明
国别省市：江苏,32