【技术实现步骤摘要】
本专利技术涉及计算机，具体涉及一种流数据处理方法、装置、设备及存储介质。
技术介绍
1、随着互联网和大数据时代的到来，各领域对人工智能性能需求的不断提升。人工智能性能的提升需要从庞大的数据集中学习复杂的规则和映射，而且大尺度规模物联网系统会产生庞大的分布数据。为了提高数据处理、计算以及存储效率，云服务器网络分布式在线机器学习框架应运而生。但由于分布式在线机器学习框架中各服务器的噪声不同，从而使得到的预测结果并不满足预测的一致性。
技术实现思路
1、有鉴于此，本专利技术提供了一种流数据处理方法、装置、设备及存储介质，以解决现有分布式在线机器学习框架中由于各服务器的噪声不同，从而使得到的预测结果并不满足预测一致性的问题。
2、第一方面，本专利技术提供了一种流数据处理方法，应用于云服务器网络中的目标管理节点，该方法包括：接收所连接的多个计算节点上传的局部预测数据，并对多个局部预测数据进行聚合得到第一全局预测数据；获取云服务器网络的有向图以及参考输入均值，有向图用于表示云服务器网络中各个管理节点之间以及各个管理节点与对应的多个计算节点之间的连接关系；基于有向图，获取与目标管理节点连接的其他管理节点的第二全局预测数据，第二全局预测数据是其他管理节点基于所连接的多个计算节点上传的局部预测数据聚合得到的；将第一全局预测数据与第二全局预测数据进行聚合，得到聚合数据；基于参考输入均值对聚合数据进行迭代更新，得到更新后的聚合数据；若更新后的聚合数据在参考输入均值对应的范围内，则确定更新后的
3、在一些可选的实施方式中，对多个局部预测数据进行聚合得到第一全局预测数据，包括：
4、基于多个计算节点所上传的局部预测数据及对应的第一计算权重，得到第一局部预测数据集及第一计算权重集；其中，第一局部预测数据集包括第一局部预测期望集和第一局部预测方差集，第一计算权重集包括与第一局部预测期望集对应的第一局部预测期望权重集以及与第一局部预测方差集对应的第一局部预测方差权重集；
5、基于第一局部预测数据集及第一计算权重集，确定第一全局预测数据。
6、在一些可选的实施方式中，基于第一局部预测数据集及第一计算权重集，确定第一全局预测数据，包括：
7、基于第一局部预测期望集中的局部预测期望与第一局部预测期望集中对应的局部预测期望权重，确定第一全局预测期望集；
8、基于第一局部预测方差集中的局部预测方差与第一局部预测方差权重集中对应的局部预测方差权重，确定第一全局预测方差集；
9、基于第一全局预测期望集及第一全局预测方差集，确定第一全局预测数据。
10、在一些可选的实施方式中，基于第一局部预测期望集中的局部预测期望与第一局部预测期望集中对应的局部预测期望权重，确定第一全局预测期望前，包括：
11、针对第一局部预测期望集中的任一局部预测期望，识别局部预测期望在第一局部预测期望集中的第一目标位置信息；
12、在局部预测期望权重集中确定与第一目标位置信息相匹配的局部预测期望权重。
13、在一些可选的实施方式中，基于第一局部预测方差集中的局部预测方差与第一局部预测方差权重集中对应的局部预测方差权重，确定第一全局预测方差前，包括：
14、针对第一局部预测方差集中的任一局部预测方差，识别局部预测方差在第一局部预测方差集中的第一目标位置信息；
15、在第一局部预测方差权重集中确定与第一目标位置信息相匹配的局部预测方差权重。
16、在一些可选的实施方式中，基于第一全局预测期望集及第一全局预测方差集，确定目标管理节点的第一全局预测数据，包括：
17、对第一全局预测期望集中的多个局部预测期望进行加权平均计算，得到第一全局预测期望；
18、对第一全局预测方差集中的多个局部预测方差进行加权平均计算，得到第一全局预测方差；
19、基于第一全局预测期望及第一全局预测方差，确定目标管理节点的第一全局预测数据。
20、在一些可选的实施方式中，第一全局预测数据的计算模型为：
21、
22、其中，为局部预测期望；为局部预测方差；为第一全局预测期望；为第一全局预测方差；为权重，，且；为任一管理节点，包括目标管理节点及其他管理节点；为计算节点；为计算节点所归属的目标管理节点。
23、在一些可选的实施方式中，局部预测数据及局部预测方差由计算节点基于目标训练集及核函数计算得到，目标训练集由计算节点接收到的流数据及存储的局部训练集确定。
24、在一些可选的实施方式中，基于流数据及局部训练集确定目标训练集，包括：
25、计算流数据与局部训练集中任意训练数据的数据距离，得到数据距离列表；
26、对数据距离列表中的各数据距离进行排序，并选取目标个数据距离最小的数据组成目标训练集。
27、在一些可选的实施方式中，将第一全局预测数据与第二全局预测数据进行聚合，得到聚合数据，包括：
28、获取第一全局预测数据的第一全局预测权重以及第二全局预测数据的第二全局预测权重；
29、基于第一全局预测数据及第一全局预测权重，得到第一全局预测输出数据；
30、基于第二全局预测数据及第二全局预测权重，得到第二全局预测输出数据；
31、将第一全局预测输出数据与第二全局预测输出数据进行聚合，得到聚合数据。
32、在一些可选的实施方式中，将第一全局预测输出数据与第二全局预测输出数据进行聚合，得到聚合数据，包括：
33、将第一全局预测输出数据与第二全局预测输出数据进行加权平均，得到聚合数据。
34、在一些可选的实施方式中，聚合数据的计算模型为：
35、
36、其中，为全局聚合期望；为全局聚合方差；是由个管理节点组成的集合。
37、在一些可选的实施方式中，参考输入均值包括期望参考输入均值及方差参考输入均值，基于参考输入均值对聚合数据进行迭代更新，得到更新后的聚合数据，包括：
38、基于期望参考输入均值对全局聚合期望进行迭代更新，得到第一聚合更新数据；
39、基于方差参考输入均值对全局聚合方差进行迭代更新，得到第二聚合更新数据；
40、基于第一聚合更新数据及第二聚合更新数据，得到更新后的聚合数据。
41、在一些可选的实施方式中，若更新后的聚合数据在参考输入均值对应的范围内，则确定更新后的聚合数据为目标管理节点的目标全局预测数据，包括：
42、若全局聚合期望在期望参考输入均值的第一邻域内时，得到管理节点的目标全局预测期望；
43、若全局聚合方差在方差参考输入均值的第二邻域内时，得到管理节点的目标全局预测方差；
44、基于目标全局预测本文档来自技高网...
【技术保护点】
1.一种流数据处理方法，其特征在于，应用于云服务器网络中的目标管理节点，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述对多个所述局部预测数据进行聚合得到第一全局预测数据，包括：
3.根据权利要求2所述的方法，其特征在于，所述基于所述第一局部预测数据集及所述第一计算权重集，确定所述第一全局预测数据，包括：
4.根据权利要求3所述的方法，其特征在于，所述基于所述第一局部预测期望集中的局部预测期望与所述第一局部预测期望集中对应的局部预测期望权重，确定第一全局预测期望前，包括：
5.根据权利要求3所述的方法，其特征在于，所述基于所述第一局部预测方差集中的局部预测方差与所述第一局部预测方差权重集中对应的局部预测方差权重，确定第一全局预测方差前，包括：
6.根据权利要求3所述的方法，其特征在于，所述基于所述第一全局预测期望集及所述第一全局预测方差集，确定所述目标管理节点的第一全局预测数据，包括：
7.根据权利要求3所述的方法，其特征在于，所述第一全局预测数据的计算模型为：
8.根据权利要求2所
9.根据权利要求8所述的方法，其特征在于，基于所述流数据及所述局部训练集确定所述目标训练集，包括：
10.根据权利要求7所述的方法，其特征在于，所述将所述第一全局预测数据与所述第二全局预测数据进行聚合，得到聚合数据，包括：
11.根据权利要求10所述的方法，其特征在于，所述将所述第一全局预测输出数据与所述第二全局预测输出数据进行聚合，得到所述聚合数据，包括：
12.根据权利要求7所述的方法，其特征在于，所述聚合数据的计算模型为：
13.根据权利要求12所述的方法，其特征在于，所述参考输入均值包括期望参考输入均值及方差参考输入均值，所述基于所述参考输入均值对所述聚合数据进行迭代更新，得到更新后的聚合数据，包括：
14.根据权利要求13所述的方法，其特征在于，所述若更新后的聚合数据在所述参考输入均值对应的范围内，则确定更新后的聚合数据为所述目标管理节点的目标全局预测数据，包括：
15.根据权利要求14所述的方法，其特征在于，所述方法还包括：
16.根据权利要求14所述的方法，其特征在于，所述目标全局预测期望的更新模型为：
17.根据权利要求1所述的方法，其特征在于，所述基于所述有向图，获取与所述目标管理节点连接的其他管理节点的第二全局预测数据，包括：
18.根据权利要求1所述的方法，其特征在于，所述方法还包括：
19.一种流数据处理装置，其特征在于，应用于云服务器网络中的目标管理节点，所述装置包括：
20.一种计算机设备，其特征在于，包括：
21.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机指令，所述计算机指令用于使计算机执行权利要求1至18中任一项所述的方法。
...【技术特征摘要】
1.一种流数据处理方法，其特征在于，应用于云服务器网络中的目标管理节点，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述对多个所述局部预测数据进行聚合得到第一全局预测数据，包括：
3.根据权利要求2所述的方法，其特征在于，所述基于所述第一局部预测数据集及所述第一计算权重集，确定所述第一全局预测数据，包括：
4.根据权利要求3所述的方法，其特征在于，所述基于所述第一局部预测期望集中的局部预测期望与所述第一局部预测期望集中对应的局部预测期望权重，确定第一全局预测期望前，包括：
5.根据权利要求3所述的方法，其特征在于，所述基于所述第一局部预测方差集中的局部预测方差与所述第一局部预测方差权重集中对应的局部预测方差权重，确定第一全局预测方差前，包括：
6.根据权利要求3所述的方法，其特征在于，所述基于所述第一全局预测期望集及所述第一全局预测方差集，确定所述目标管理节点的第一全局预测数据，包括：
7.根据权利要求3所述的方法，其特征在于，所述第一全局预测数据的计算模型为：
8.根据权利要求2所述的方法，其特征在于，所述局部预测数据及所述局部预测方差由所述计算节点基于目标训练集及核函数计算得到，所述目标训练集由所述计算节点接收到的流数据及存储的局部训练集确定。
9.根据权利要求8所述的方法，其特征在于，基于所述流数据及所述局部训练集确定所述目标训练集，包括：
10.根据权利要求7所述的方法，其特征在于，所述将所述第一全局预测数据与所述...
【专利技术属性】
技术研发人员：张旭，孙华锦，胡雷钧，王小伟，
申请(专利权)人：苏州元脑智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。