一种基于边缘计算的大数据智能收集方法技术

本发明专利技术公开了一种基于边缘计算的大数据智能收集方法，首先，边缘计算节点根据收集到的前端数据特性，确定前端数据是否需要传输到云端服务器，通过多条链路同时发起对服务器的数据传输，服务器在接收到请求后，根据边缘计算节点所在区域的所有边缘计算节点各链路历史传输数据信息作为特征，进行预测，随后服务器将生成的预测表发送给边缘计算节点，边缘计算节点根据预测表和相关策略决定各链路的传输属性并开始传输，在传输完成后服务器会记录本次传输各链路情况，并以此更新该区域内各链路的历史数据。本发明专利技术充分利用区域内所有链路传输数据的历史信息预测边缘计算节点各链路的性能，能更合理地为多链路分配传输属性，提高大规模数据收集可靠性。

An Intelligent Collection Method of Large Data Based on Edge Computing

The invention discloses an intelligent method for collecting large data based on edge computing. Firstly, according to the characteristics of the collected front-end data, the edge computing node determines whether the front-end data needs to be transmitted to the cloud server, and initiates data transmission to the server through multiple links at the same time. After receiving the request, the server calculates all the edges of the region where the edge computing node is located. The historical transmission data information of each link of the node is used as a feature to predict, and then the server sends the generated prediction table to the edge computing node. The edge computing node decides the transmission attributes of each link according to the prediction table and related policies and starts to transmit. After the transmission is completed, the server records the transmission of each link and updates the historical data of each link in the region. \u3002 The method makes full use of the historical information of all links transmitting data in the region to predict the performance of each link of the edge computing node, distributes transmission attributes more reasonably for multiple links, and improves the reliability of large-scale data collection.

【技术实现步骤摘要】
一种基于边缘计算的大数据智能收集方法
本专利技术涉及大数据的
，尤其是指一种基于边缘计算的大数据智能收集方法。
技术介绍
随着信息技术的发展，边缘计算可以在靠近物或数据源头的一侧，就近提供最近端服务。边缘计算节点收集到前端数据后，具有与云端服务器实时大数据交互的需求，但是，边缘计算节点与服务器之间的各条链路受运营商网络速度，流量成本等因素影响，在数据传输时的性能有较大差别。在边缘计算节点发起传输前，往往并不能获得其与服务器建立的各链路性能信息。因此往往需要人工根据经验设置链路传输信息，或采取较普遍的平均传输方法，在实际传输中往往成本较高，花费时间较长，并且未能充分利用各网络资源，很难自动配置较为理想的各链路属性，实现大规模数据的可靠实时收集。
技术实现思路
本专利技术的目的在于克服现有技术的缺点与不足，提出了一种基于边缘计算的大数据智能收集方法，充分利用区域内所有链路传输数据的历史信息预测边缘计算节点各链路的性能，从而能更合理高效地为多链路分配传输属性，提高大规模数据收集可靠性。为实现上述目的，本专利技术所提供的技术方案为：一种基于边缘计算的大数据智能收集方法，包括以下步骤：S1、边缘计算节点根据收集到的前端数据特性，确定前端数据是否需要传输到云端服务器，如果不决定传输，则终止传输，传输过程结束；如果决定传输，接收数据采集点的数据，并进入S2；S2、边缘计算节点通过多条链路同时发起对服务器的数据传输请求，并向服务器发送其所有链路信息和传输数据信息；S3、服务器根据边缘计算节点所在区域的所有边缘计算节点的各链路历史数据计算各链路属性，生成相应的预测表；S4、服务器向边缘计算节点发送对应的包含各链路预测属性的预测表；S5、边缘计算节点根据收到的预测表，根据相关策略决定各链路的传输属性；S6、边缘计算节点根据所决定的链路属性进行多链路传输，同时，服务器对边缘计算节点多链路传输情况进行记录，并周期性根据各链路情况动态更新历史数据。在步骤S1中，前端数据特性包括数据总大小、数据形式和数据传输带宽信息；如果前端数据的特性不符合边缘计算节点所预设的传输条件，则终止传输；如果符合，则接收所对应的各数据采集点的数据。在步骤S2中，边缘计算节点向服务器发送的各链路信息包括以下参数：T＝(L，B)其中，T为链路传输信息向量，L为链路信息向量；B为数据传输的大小参数；所述链路信息向量L由以下参数决定：L＝(L1，L2，L3)其中，L1为链路区域信息，L2为链路类别信息，L3为链路发起传输请求的当前时间信息。在步骤S3中，服务器生成的链路预测表内各链路的预测属性包含了以下参数：R＝(R1，R2，R3，R4，R5)其中，R为所在区域内链路传输预测属性向量，R1为边缘计算节点到服务器链路传输带宽预测值，R2为边缘计算节点到服务器链路传输带宽预测稳定性参数，R3为边缘计算节点到服务器时延预测值，R4为边缘计算节点到服务器时延预测稳定性参数，R5为链路传输成本参数；所述预测表的生成方法基于大数据回归算法，构建过程如下：S31、服务器根据获取到的链路区域信息L1，读取所在区域内所有与链路类别信息L2相同的链路历史传输数据向量D，其中，链路历史传输数据向量D由下式确定：D＝(D1，D2，D3，D4，D5，L)其中，D1为链路传输数据大小参数，D2为链路传输时间参数，D3为链路传输成本参数，D4为链路传输带宽参数，D5为链路传输时延参数；L为链路信息向量；S32、将所有链路历史传输数据向量D中链路区域信息L1、链路类别信息L2与该链路相同的链路历史传输数据向量D的链路传输成本参数D3求其平均值，得到链路传输成本参数R5；S33、采用回归算法，以所有链路历史传输数据向量D的D1、D2、L3作为特征输入，以D4为目标变量，进行回归预测，得到边缘计算节点到服务器链路传输带宽预测值R1；S34、采用回归算法，以所有链路历史传输数据向量D的D1、D2、L3作为特征输入，以D5为目标变量，进行回归预测，得到边缘计算节点到服务器时延预测值R3；S35、对所有链路历史传输数据向量D的D4计算标准差，得到边缘计算节点到服务器链路传输带宽预测稳定性参数R2；S36，对所有链路历史传输数据向量D的D5计算标准差，得到边缘计算节点到服务器时延预测稳定性参数R4。在步骤S5中，边缘计算节点决定各链路传输属性的策略包含以下步骤：S51、根据获取的各链路预测属性，计算各链路的链路权重度量，链路权重度量按以下公式确定：C＝{[R1+R2]*R5}/[R3-R4]其中，C为链路权重度量值；S52、根据各链路的权重度量值C，计算各链路对应传输属性，各链路传输属性由下式确定：K＝(K1，K2)其中，K为链路特征向量；K1为该链路需传输数据大小信息，单位为千比特；K2为该链路传输的相对总成本参数；K1按以下公式确定：K1＝B*[C/Ck]其中，Ck为该边缘计算节点各链路权重度量之和；K2按以下公式确定：K2＝K1*R5。在步骤S6中，服务器记录的传输链路信息，即链路数据传输的历史数据向量A，其由下式确定：A＝(A1，A2，A3，A4，A5，L)其中，A1为本次传输该链路的数据大小参数；A2为本次传输该链路的时间参数；A3为本次传输该链路的成本参数；A4为本次传输该链路的带宽参数；A5为本次传输该链路的时延参数；L为本次传输前边缘计算节点向服务器发送的链路信息向量。本专利技术与现有技术相比，具有如下优点与有益效果：本专利技术针对目前数据采集的过程中，边缘计算节点往往不能提前预知链路传输情况而无法合理分配传输属性的现状，通过在服务器端对各链路包括传输成本、时延、带宽等历史大数据的分析和预测，帮助边缘计算节点在数据采集过程开始前能够动态分配各链路最佳传输属性，降低了数据采集的传输成本，减少了所需时间，并充分利用了网络资源。附图说明图1是本专利技术实施例所适用的服务器数据采集的示意图。图2是本专利技术方法的流程图。具体实施方式下面结合实施例及附图对本专利技术作进一步详细的描述，但本专利技术的实施方式不限于此。本专利技术实施例根据服务器端对各链路历史传输大数据的分析和预测，为边缘计算节点动态决定各链路最佳传输属性。如图1所示，在本专利技术实施例中，有多个数据采集点连接到边缘计算节点，而边缘计算节点和服务器端之间存在多个同类型连接链路。如图2所示，本实施例所提供的基于边缘计算的大数据智能收集方法，包括以下步骤：第一步：边缘计算节点根据收集到的前端数据特性，确定前端数据是否需要传输到云端服务器，如果不决定传输，则终止传输，传输过程结束；如果决定传输，接收数据采集点的数据，并进入第二步。在本专利技术实施例中，前端数据特性包括但不限于数据总大小，数据形式，数据传输带宽等信息。如果前端数据的特性不符合边缘计算节点所预设的传输条件，则终止传输；如果符合，则接收所对应的各数据采集点的数据。其中，边缘计算节点所预设的传输条件为如边缘计算节点所能缓存数据大小，前端数据传输所需时间等与边缘计算节点，前端数据传输特性相关的条件。第二步：边缘计算节点通过多条链路同时发起对云端服务器的数据传输请求，并向服务器发送其所有链路信息和传输数据信息。在本专利技术实施例中，边缘计算节点向云端服务器发送的各链路信息包括以下参数：T＝(L，B)其中，T为链路传输信本文档来自技高网...

【技术保护点】
1.一种基于边缘计算的大数据智能收集方法，其特征在于，包括以下步骤：S1、边缘计算节点根据收集到的前端数据特性，确定前端数据是否需要传输到云端服务器，如果不决定传输，则终止传输，传输过程结束；如果决定传输，接收数据采集点的数据，并进入S2；S2、边缘计算节点通过多条链路同时发起对服务器的数据传输请求，并向服务器发送其所有链路信息和传输数据信息；S3、服务器根据边缘计算节点所在区域的所有边缘计算节点的各链路历史数据计算各链路属性，生成相应的预测表；S4、服务器向边缘计算节点发送对应的包含各链路预测属性的预测表；S5、边缘计算节点根据收到的预测表，根据相关策略决定各链路的传输属性；S6、边缘计算节点根据所决定的链路属性进行多链路传输，同时，服务器对边缘计算节点多链路传输情况进行记录，并周期性根据各链路情况动态更新历史数据。

【技术特征摘要】
1.一种基于边缘计算的大数据智能收集方法，其特征在于，包括以下步骤：S1、边缘计算节点根据收集到的前端数据特性，确定前端数据是否需要传输到云端服务器，如果不决定传输，则终止传输，传输过程结束；如果决定传输，接收数据采集点的数据，并进入S2；S2、边缘计算节点通过多条链路同时发起对服务器的数据传输请求，并向服务器发送其所有链路信息和传输数据信息；S3、服务器根据边缘计算节点所在区域的所有边缘计算节点的各链路历史数据计算各链路属性，生成相应的预测表；S4、服务器向边缘计算节点发送对应的包含各链路预测属性的预测表；S5、边缘计算节点根据收到的预测表，根据相关策略决定各链路的传输属性；S6、边缘计算节点根据所决定的链路属性进行多链路传输，同时，服务器对边缘计算节点多链路传输情况进行记录，并周期性根据各链路情况动态更新历史数据。2.根据权利要求1所述的一种基于边缘计算的大数据智能收集方法，其特征在于：在步骤S1中，前端数据特性包括数据总大小、数据形式和数据传输带宽信息。3.根据权利要求1所述的一种基于边缘计算的大数据智能收集方法，其特征在于：在步骤S1中，如果前端数据的特性不符合边缘计算节点所预设的传输条件，则终止传输；如果符合，则接收所对应的各数据采集点的数据。4.根据权利要求1所述的一种基于边缘计算的大数据智能收集方法，其特征在于：在步骤S2中，边缘计算节点向服务器发送的各链路信息包括以下参数：T＝(L，B)其中，T为链路传输信息向量，L为链路信息向量；B为数据传输的大小参数。5.根据权利要求4所述的一种基于边缘计算的大数据智能收集方法，其特征在于：所述链路信息向量L由以下参数决定：L＝(L1，L2，L3)其中，L1为链路区域信息，L2为链路类别信息，L3为链路发起传输请求的当前时间信息。6.根据权利要求1所述的一种基于边缘计算的大数据智能收集方法，其特征在于：在步骤S3中，服务器生成的链路预测表内各链路的预测属性包含了以下参数：R＝(R1，R2，R3，R4，R5)其中，R为所在区域内链路传输预测属性向量，R1为边缘计算节点到服务器链路传输带宽预测值，R2为边缘计算节点到服务器链路传输带宽预测稳定性参数，R3为边缘计算节点到服务器时延预测值，R4为边缘计算节点到服务器时延预测稳定性参数，R5为链路传输成本参数。7.根据权利要求1所述的一种基于边缘计算的大数据智能收集方法，其特征在于：在步骤S3中，所述预测表的生成方法基于大数据回归算法，构建过程如下：S31、服务器根据获取到的链路区域信息L1，读取所在区域内所有与链路类别信息L2相同的链路历史传输数据向量D，其中，...

【专利技术属性】
技术研发人员：胡金龙，黄旸珉，邝岳臻，何杏萍，董守斌，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东,44