数据传输与处理方法、装置及系统制造方法及图纸

技术编号:32238218 阅读:19 留言:0更新日期:2022-02-09 17:42
本发明专利技术提供一种数据传输与处理方法、装置及系统。所述方法包括:移动终端采集样本数据,将所述样本数据发送至所述边缘服务器;所述边缘服务器对所述样本数据进行多粒度扫描,获得特征向量,将所述特征向量上传至云计算中心;所述云计算中心基于所述特征向量对级联森林进行训练,通过不断迭代优化每个层级每个森林中的各个参数,最终得到训练模型,将测试样本输入所述训练模型进行数据处理,并将处理结果发送至所述移动终端。本发明专利技术能够提高数据传输与处理的效率,降低时延。降低时延。降低时延。

【技术实现步骤摘要】
数据传输与处理方法、装置及系统


[0001]本专利技术涉及通信
,尤其涉及一种数据传输与处理方法、装置及系统。

技术介绍

[0002]目前,手机、5G通信模块等无线通信技术已经运用到各个领域。在5G的商业应用中,除了医疗领域对速率与时延都有高要求外,在自动驾驶、工业自动化、远程医疗、远程控制这些应用中,对于时延的实际要求也要高于速率,为用户提供毫秒级的端到端时延是这些应用能否高效安全运行的关键所在。针对各系统的数据处理与数据传输产生的时延,是评估系统安全的重要指标,低时延将关乎最终生产的产品是否合格、是否会引发生产事故。因此降低数据处理、传输过程中消耗的时间,是亟待解决的问题。
[0003]目前针对大型数据量处理通常采用云计算的方式,移动终端将需要处理的数据上传至互联网上的数据中心里,由数据中心进行处理后返回处理结果,这将花费大量的传输时间。因此,现有技术中的数据传输与处理方案存在效率较低、耗时长的问题。

技术实现思路

[0004]本专利技术提供的数据传输与处理方法、装置及系统,能够提高数据传输与处理的效率,降低时延。
[0005]第一方面,本专利技术提供一种数据传输与处理方法,所述方法应用于边缘服务器,所述方法包括:
[0006]接收移动终端发送的样本数据;
[0007]对所述样本数据进行多粒度扫描,获得特征向量;
[0008]将所述特征向量上传至云计算中心,以使云计算中心基于所述特征向量对级联森林进行训练,通过不断迭代优化每个层级每个森林中的各个参数,最终得到训练模型,将测试样本输入所述训练模型进行数据处理,并将处理结果发送至移动终端。
[0009]可选地,所述对所述样本数据进行多粒度扫描,获得特征向量包括:
[0010]采用不同维度的采样滑窗对训练样本的原始特征量进行多粒度扫描,通过随机森林和完全随机森林将扫描得到的特征量分别添加到每一层级的预测向量后,得到多粒度扫描后的增强特征向量。
[0011]第二方面,本专利技术提供另一种数据传输与处理方法,所述方法应用于云计算中心,所述方法包括:
[0012]接收边缘服务器上传的特征向量,其中,所述特征向量由边缘服务器对移动终端发送的样本数据进行多粒度扫描后得到;
[0013]基于所述特征向量对级联森林进行训练,通过不断迭代优化每个层级每个森林中的各个参数,最终得到训练模型,将测试样本输入所述训练模型进行数据处理,得到处理结果;
[0014]将所述处理结果发送至移动终端。
[0015]可选地,所述基于所述特征向量对级联森林进行训练,通过不断迭代优化每个层级每个森林中的各个参数,最终得到训练模型包括:
[0016]启动多粒度扫描与级联森林中的每棵子树进行自适应调整权值,优化森林中决策树的投票结果;
[0017]对级联森林进行逐级训练,计算子树在训练样本集上不同结果的概率向量;
[0018]计算级联森林各个层级在训练样本集上的预测结果;
[0019]判断准确率是否提升,若有提升,则增加级联森林的层数,继续训练随机森林中的每一棵决策树,直至获得准确率最高时的训练模型,最终得到自适应深度森林的训练模型。
[0020]第三方面,本专利技术提供一种数据传输与处理装置,所述装置位于边缘服务器,所述装置包括:
[0021]第一接收单元,用于接收移动终端发送的样本数据;
[0022]第一处理单元,用于对所述样本数据进行多粒度扫描,获得特征向量;
[0023]上传单元,用于将所述特征向量上传至云计算中心,以使云计算中心基于所述特征向量对级联森林进行训练,通过不断迭代优化每个层级每个森林中的各个参数,最终得到训练模型,将测试样本输入所述训练模型进行数据处理,并将处理结果发送至移动终端。
[0024]可选地,所述第一处理单元,还用于采用不同维度的采样滑窗对训练样本的原始特征量进行多粒度扫描,通过随机森林和完全随机森林将扫描得到的特征量分别添加到每一层级的预测向量后,得到多粒度扫描后的增强特征向量。
[0025]第四方面,本专利技术提供另一种数据传输与处理装置,所述装置位于云计算中心,所述装置包括:
[0026]第二接收单元,用于接收边缘服务器上传的特征向量,其中,所述特征向量由边缘服务器对移动终端发送的样本数据进行多粒度扫描后得到;
[0027]第二处理单元,用于基于所述特征向量对级联森林进行训练,通过不断迭代优化每个层级每个森林中的各个参数,最终得到训练模型,将测试样本输入所述训练模型进行数据处理,得到处理结果;
[0028]发送单元,用于将所述处理结果发送至移动终端。
[0029]可选地,所述第二处理单元,还用于启动多粒度扫描与级联森林中的每棵子树进行自适应调整权值,优化森林中决策树的投票结果;对级联森林进行逐级训练,计算子树在训练样本集上不同结果的概率向量;计算级联森林各个层级在训练样本集上的预测结果;判断准确率是否提升,若有提升,则增加级联森林的层数,继续训练随机森林中的每一棵决策树,直至获得准确率最高时的训练模型,最终得到自适应深度森林的训练模型。
[0030]第五方面,本专利技术提供一种数据传输与处理系统,所述系统包括移动终端、边缘服务器和云计算中心,其中,
[0031]所述移动终端,用于采集样本数据,将所述样本数据发送至所述边缘服务器;
[0032]所述边缘服务器,用于对所述样本数据进行多粒度扫描,获得特征向量,将所述特征向量上传至云计算中心;
[0033]所述云计算中心,用于基于所述特征向量对级联森林进行训练,通过不断迭代优化每个层级每个森林中的各个参数,最终得到训练模型,将测试样本输入所述训练模型进行数据处理,并将处理结果发送至所述移动终端。
[0034]第六方面,本专利技术提供一种边缘服务器,所述边缘服务器包括:
[0035]至少一个处理器;以及
[0036]与所述至少一个处理器通信连接的存储器;其中,
[0037]所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述应用于边缘服务器的数据传输与处理方法。
[0038]第七方面,本专利技术提供一种计算机可读存储介质,其中,所述计算机可读存储介质存储有计算机指令,所述计算机指令被处理器执行时实现上述应用于边缘服务器的数据传输与处理方法。
[0039]第八方面,本专利技术提供一种云计算中心,所述云计算中心包括:
[0040]至少一个处理器;以及
[0041]与所述至少一个处理器通信连接的存储器;其中,
[0042]所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述应用于云计算中心的数据传输与处理方法。
[0043]第九方面,本专利技术提供一种计算机可读存储介质,其中,所述计算机可读存储介质存储有计算机指令,所述计算机指令被处理器执行时实本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种数据传输与处理方法,其特征在于,所述方法应用于边缘服务器,所述方法包括:接收移动终端发送的样本数据;对所述样本数据进行多粒度扫描,获得特征向量;将所述特征向量上传至云计算中心,以使云计算中心基于所述特征向量对级联森林进行训练,通过不断迭代优化每个层级每个森林中的各个参数,最终得到训练模型,将测试样本输入所述训练模型进行数据处理,并将处理结果发送至移动终端。2.根据权利要求1所述的方法,其特征在于,所述对所述样本数据进行多粒度扫描,获得特征向量包括:采用不同维度的采样滑窗对训练样本的原始特征量进行多粒度扫描,通过随机森林和完全随机森林将扫描得到的特征量分别添加到每一层级的预测向量后,得到多粒度扫描后的增强特征向量。3.一种数据传输与处理方法,其特征在于,所述方法应用于云计算中心,所述方法包括:接收边缘服务器上传的特征向量,其中,所述特征向量由边缘服务器对移动终端发送的样本数据进行多粒度扫描后得到;基于所述特征向量对级联森林进行训练,通过不断迭代优化每个层级每个森林中的各个参数,最终得到训练模型,将测试样本输入所述训练模型进行数据处理,得到处理结果;将所述处理结果发送至移动终端。4.根据权利要求3所述的方法,其特征在于,所述基于所述特征向量对级联森林进行训练,通过不断迭代优化每个层级每个森林中的各个参数,最终得到训练模型包括:启动多粒度扫描与级联森林中的每棵子树进行自适应调整权值,优化森林中决策树的投票结果;对级联森林进行逐级训练,计算子树在训练样本集上不同结果的概率向量;计算级联森林各个层级在训练样本集上的预测结果;判断准确率是否提升,若有提升,则增加级联森林的层数,继续训练随机森林中的每一棵决策树,直至获得准确率最高时的训练模型,最终得到自适应深度森林的训练模型。5.一种数据传输与处理装置,所述装置位于边缘服务器,其特征在于,所述装置包括:第一接收单元,用于接收移动终端发送的样本数据;第一处理单元,用于对所述样本数据进行多粒度扫描,获得特征向量;上传单元,用于将所述特征向量上传至云计算中心,以使云计算中心基于所述特征向量对级联森林进行训练,通过不断迭代优化每个层级每个森林中的各个参数,最终得到训练模型,将测试样本输入所述训练模型进行数据处理,并将处理结果发送至移动终端。6.根据权利要求5所述的装置,其特征在于,所述第一处理单元,还用于采用不同维度的采样滑窗对训练样本的原始特征量进行多粒度扫描,通过随机森林和完全随机森林将扫描得到的特征量分别添加到每一层级的预测向量后,得到多粒度扫描后的增强特...

【专利技术属性】
技术研发人员:张杰
申请(专利权)人:展讯通信上海有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1