一种分布式预测方法、系统、服务器及存储介质技术方案

本发明专利技术提出了一种分布式预测方法、系统、服务器及存储介质，其中，方法包括：本发明专利技术通过步骤S1给出了一个测试样本集合的先验概率分布，而后在步骤S2中利用上述先验概率密度分布预测了一个新的测试样本的后验概率分布；并在步骤S3中给出了一种确定从先验概率分布到后验概率分布的熵的变化的方式，并以此作为每个分布节点的预测精度的权重系数；最后在步骤S5中利用本发明专利技术提出的广义PoE聚合算法（为每个因子增加了权重系数）聚合来自多个分布节点的预测结果，从而实现对该新的测试样本的全局预测。本发明专利技术方法能够避免使用深度神经网络模型时的诸多缺陷且能够实现在线学习。时的诸多缺陷且能够实现在线学习。时的诸多缺陷且能够实现在线学习。

【技术实现步骤摘要】
一种分布式预测方法、系统、服务器及存储介质


[0001]本专利技术设计机器学习领域，尤其涉及一种分布式预测方法、系统、服务器及存储介质。

技术介绍

[0002]分布式机器学习的诞生，主要解决几类问题：一是计算量太大，二是训练数据太多，三是模型规模太大。对于计算量太大的情形，可以采取基于共享内存（或虚拟内存）的多线程或多机并行运算。对于训练数据太多的情形，需要将数据进行划分，并分配到多个工作节点上进行训练，这样每个工作节点的局部数据都在容限之内。每个工作节点会根据局部数据训练出一个子模型，并且会按照一定的规律和其他工作节点进行通信（通信的内容主要是子模型参数或者参数更新），以保证最终可以有效整合来自各个工作节点的训练结果并得到全局的机器学习模型。对于模型规模太大的情形，则需要对模型进行划分，并且分配到不同的工作节点上进行训练。与数据并行不同，模型并行的框架下各个子模型之间的依赖关系非常强，因为某个子模型的输出可能是另外一个子模型的输入，如果不进行中间计算结果的通信，则无法完成整个模型训练。并且现有技术中多采用深度神经网络模型作为机器学习模型，其不本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式预测方法，其特征在于，所述方法包括：由分布节点对获得的测试样本集合进行高斯过程分析，获得符合高斯分布的局部预测模型以及针对所述测试样本集合的先验概率分布的第一期望和第一方差；响应于获得新的测试样本而将所述新的测试样本发送给多个所述分布节点，并由每个所述分布节点基于对应的局部预测模型通过高斯过程回归分析方法对所述新的测试样本进行局部预测，并获得针对新的测试样本集合的后验概率分布的第二期望及第二方差；以所述第一方差和所述第二方差的差值作为所述分布节点的权重系数；将多个所述分布节点的第二期望、第二方差以及对应的权重系数发送给云服务器；由所述云服务器采用PoE聚合算法根据多个所述分布节点的第二期望、第二方差以及对应的权重系数构建全局预测模型并输出对所述新的测试样本的全局预测结果。2.根据权利要求1所述的一种分布式预测方法，其特征在于，所述方法还包括：获取历史观测数据，所述历史观测数据包括观测输入及对应的观测输出；根据所述分布节点的个数，将所述历史观测数据划分到多个测试样本集合中并分派给各个分布节点。3.根据权利要求1所述的一种分布式预测方法，其特征在于，所述新的测试样本集合包括：在原始的所述测试样本集合中新增所述新的测试样本以及所述新的测试样本的局部预测输出后形成的测试样本集合。4.根据权利要求3所述的一种分布式预测方法，其特征在于，所述方法还包括对所述新的测试样本集合进行精简，精简步骤包括：将所述新的测试样本集合投影到更高维度的空间中；在更高维度的空间中以所述新的测试样本的投影点为中心，以预设领域半径获得邻域内的邻域投影点；获取对应所述邻域投影点的原始测试样本，并与所述新的测试样本组成精简后的测试样本集合。5.根据权利要求4所述的一种分布式预测方法，其特征在于，所述方法还包括：判断所述邻域投影点的个数是否大于等于预设值；响应于获得的邻域投影点的个数小于所述预设值，按照预设步长增大所述领域半径，直至获得邻域投影点的个数大于等于所述预设值。6.根据权利要求5所述的一种分布式预测方法，其特征在于，所述邻域投影点中应至少存在两个邻域投影点，且分别位于所述新的测试样本的投影点的不同方向上。7.根据权利要求3所述的一种分布式预测方法，其特征在于，所述方法还包括对所述新的测试样本集合进行精简，精简步骤包括：定义历史观测输入x和新的测试样本之间的距离为，历史观测输入x到集合的距离为；历史观测输入x到测试样本集合的投影集合为；获得每一个分布节点及其局部训练数据集，针对测试数据，计算测试数据到训练集的投影
；在每一个时刻，局部投影集合包含有个投影数据，即；对每一个分布节点及其投影集合，取出每一个投影点，其中，表示第个投影点，并针对每一个投影点，找出该投影点的一个邻域使得并保证，，；对每一个分布节点，构造新的训练集合。8.根据权利要求2所述的一种分布式预测方法，其特征在于，所述由分布节点对获得的测试样本集合进行高斯过程分析，获得符合高斯分布的局部预测模型，包括：定义符合高斯分布的目标函数，其中是维输入空间，不失一般性，设输出y为一维，即；在时刻t，给定，获得符合高斯分布的局部预测模型，其中，是服从均值为0，方差为的高斯概率分布的高斯噪声，即。9.根据权利要求8所述的一种分布式预测方法，其特征在于，所述由每个所述分布节点基于对应的局部预测模型通过高斯过程回归分析方法对所述新的测试样本进行局部预测，包括：确定对称正半定的核函数；利用所述正半定的核函数构建所述新的测试样本与所述样本集合中的观测输入之间的关系，其中，，x为测试样本集合中的观测输入，为新的测试样本,为测度；让返回列向量，使得所述列...

【专利技术属性】
技术研发人员：张旭，吴睿振，王小伟，孙华锦，王凛，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：