多数据来源的数据融合方法、装置、电子设备及存储介质制造方法及图纸

技术编号:24252281 阅读:46 留言:0更新日期:2020-05-22 23:57
本发明专利技术涉及一种大数据技术,揭露了一种多数据来源的数据融合方法,包括:从客户端中获取原始待融合数据集、训练特征集和训练特征标签集,对所述原始待融合数据集进行数据映射操作,得到标准待融合数据集,利用所述训练特征集和所述训练特征标签集,训练预构建的原始融合模型,得到标准融合模型,将所述标准待融合数据集输入至所述标准融合模型进行融合操作得到融合数据,并将所述融合数据返回至所述客户端中。本发明专利技术还提出一种多数据来源的数据融合装置、电子设备以及一种计算机可读存储介质。本发明专利技术可以解决数据融合过程主观性强、融合准确率低的问题。

Data fusion methods, devices, electronic devices and storage media with multiple data sources

【技术实现步骤摘要】
多数据来源的数据融合方法、装置、电子设备及存储介质
本专利技术涉及大数据
,尤其涉及一种多数据来源的数据融合方法、装置、电子设备及可读存储介质。
技术介绍
随着大数据及人工智能的发展,数据来源越来越多且越来越复杂,对数据分析工作带了巨大的挑战,因此在数据分析工作开始之前,先对数据进行融合是必不可少的措施。目前对于数据融合的手段主要有经验值方法和非监督方法,两种方法都可以完成数据融合,但经验值方法具有较大的主观性,而非监督方法由于缺乏标签数据的指导作用,容易导致融合后的数据精确性不高。
技术实现思路
本专利技术提供一种多数据来源的数据融合方法、装置、电子设备及计算机可读存储介质,其主要目的在于解决数据融合过程主观性强、融合准确率低的问题。为实现上述目的,本专利技术提供的一种多数据来源的数据融合方法,包括:从客户端中获取原始待融合数据集、训练特征集和训练特征标签集,对所述原始待融合数据集进行数据映射操作,得到标准待融合数据集;利用所述训练特征集和所述训练特征标签集,训练预构建的原始融合模型,得到标准本文档来自技高网...

【技术保护点】
1.一种多数据来源的数据融合方法,其特征在于,所述方法应用于电子设备中,包括:/n从客户端中获取原始待融合数据集、训练特征集和训练特征标签集,对所述原始待融合数据集进行数据映射操作,得到标准待融合数据集;/n利用所述训练特征集和所述训练特征标签集,训练预构建的原始融合模型,得到标准融合模型;/n将所述标准待融合数据集输入至所述标准融合模型进行融合操作得到融合数据,并将所述融合数据返回至所述客户端。/n

【技术特征摘要】
1.一种多数据来源的数据融合方法,其特征在于,所述方法应用于电子设备中,包括:
从客户端中获取原始待融合数据集、训练特征集和训练特征标签集,对所述原始待融合数据集进行数据映射操作,得到标准待融合数据集;
利用所述训练特征集和所述训练特征标签集,训练预构建的原始融合模型,得到标准融合模型;
将所述标准待融合数据集输入至所述标准融合模型进行融合操作得到融合数据,并将所述融合数据返回至所述客户端。


2.如权利要求1所述的多数据来源的数据融合方法,其特征在于,所述利用所述训练特征集和所述训练特征标签集,训练预构建的原始融合模型,得到标准融合模型,包括:
初始化权重系数得到权重初始值,其中所述权重系数与所述训练特征集具有相同特征维度;
根据所述权重初始值构建原始逻辑回归模型;
构建求解所述原始逻辑回归模型损失值的损失函数;
将所述训练特征集作为所述损失函数的输入值、将所述训练特征标签集作为所述损失函数的标签值,最小化所述损失函数得到权重更新值;
将所述权重更新值替换所述原始逻辑回归模型的权重初始值,得到所述标准融合模型。


3.如权利要求2所述的多数据来源的数据融合方法,其特征在于,所述损失函数包括:



其中,J(θ)表示所述损失函数,k表示所述训练特征集的数量,yis表示利用所述原始逻辑回归模型预测第s个训练特征对应的预测融合数据,yjs表示第s个训练特征所对应的训练特征标签,θ表示所述权重系数。


4.如权利要求1所述的多数据来源的数据融合方法,其特征在于,所述数据映射操作包括:
采用下述计算方法进行数据归一化操作:



其中,x*为所述标准待融合数据集内的数据,min为所述原始待融合数据集的最小值,max为所述原始待融合数据集的最大值,x为所述原始待融合数据集内的数据。


5.如权利要求1所述的多数据来源的数据融合方法,其特征在于,所述方法还包括:
当所述融合数据返回至所述客户端成功时,在所述客户端内将所述融合数据与所述原始待融合数据集建立一对一对应关系;
根据所述一对一对应关系存储所述融合...

【专利技术属性】
技术研发人员:喻宁陈克炎朱艳乔
申请(专利权)人:平安科技深圳有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1