基于矩阵分解的宽度学习分布式方法技术

技术编号:41191009 阅读:26 留言:0更新日期:2024-05-07 22:21
本发明专利技术公开了一种基于矩阵分解的宽度学习分布式方法,包括以下步骤:S1:数据输入系统的主节点,使用稀疏自编码器对数据进行特征提取,得到特征矩阵;S2:根据特征矩阵对数据进行样本分解或属性分解,若进行属性分解,转至步骤S5;S3:若进行样本分解,选择是否增加数据关联,若增加数据关联,转至步骤S5;S4:若不增加数据关联,主节点和子节点计算得到局部权重,转至步骤S8;S5:子节点进行计算,并将中间结果返回主节点进行处理;S6:主节点整合中间结果计算关联函数,并将关联函数发送给各子节点,S7:子节点根据关联函数更新局部权重,并将局部权重返回主节点;S8:主节点更新并整合所有的局部权重,输出最终权重。

【技术实现步骤摘要】

本专利技术涉及无人驾驶,具体地说,尤其涉及一种基于矩阵分解的宽度学习分布式方法


技术介绍

1、目前,分布式方法主要分为基于深度学习的方法和基于迭代更新的方法以及基于分布式平台的方法。基于深度学习网络的分布式方法在大量的领域得到了应用,例如自然语言处理(natural language processing,nlp)、计算机视觉(computer vision,cv),大大缩短了训练的时间,加速了模型的训练。但是,深度学习具有庞大而复杂的网络结构,导致该类方法成本高、体量大,轻量化部署难度高。

2、基于迭代更新的方法,例如使用交替方向乘子法(alternating directionmethod of multipliers,admm),将数据分布输入到不同的节点计算,缓解了单节点计算的压力。但是每次迭代计算都需要广播各节点的参数,分布式进行运算得到中间结果,所以运行过程中需要各机器频繁进行通信,拖慢了训练速度,难以体现分布式系统的时间优势,降低了分布式系统的效率。

3、基于分布式平台的方法需要依赖各种已开发的分布式平台,例如spa本文档来自技高网...

【技术保护点】

1.一种基于矩阵分解的宽度学习分布式方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于矩阵分解的宽度学习分布式方法,其特征在于,特征提取过程包括:

3.根据权利要求2所述的基于矩阵分解的宽度学习分布式方法,其特征在于,样本分解分为无数据关联型分布式计算和数据关联型分布式计算,属性分解只能选择数据关联型分布式计算,数据关联是对网络中的节点数据进行相互约束。

4.根据权利要求3所述的基于矩阵分解的宽度学习分布式方法,其特征在于,无数据关联型分布式计算,包括:

5.根据权利要求3所述的基于矩阵分解的宽度学习分布式方法,其特征在于,数据...

【技术特征摘要】

1.一种基于矩阵分解的宽度学习分布式方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于矩阵分解的宽度学习分布式方法,其特征在于,特征提取过程包括:

3.根据权利要求2所述的基于矩阵分解的宽度学习分布式方法,其特征在于,样本分解分为无数据关联型分布式计算和数据关联型分布式计算,属性分解只能选择数据关联型分布式计算,数据关联是对网络中的节点数据进行相互约束。

4.根据权利要求3所述的基于矩阵分解的宽度学习分布式方法,其特征在于,无数据关联型分布式计算,包括:

5.根据权利要求3所述的基于矩阵分解的宽度学习分布式方法,其特征在于,数据关联型分布式计算包括大规模数据处理和高维数据处理,当数据的样本数目大于数据的维度时,即对于大规模数据场景,缩减每个节点上的样本数目,更大程度提升系统性能;当数据维度大于数据量时,即对于高维数据场景,对数据维度进行矩阵分解,更有利于提升系统性能。

6.根据权利要求5所述的基于矩阵分解的...

【专利技术属性】
技术研发人员:陈俊龙邹春霞刘竹琳
申请(专利权)人:华南理工大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1