数据处理方法、装置、计算机设备及计算机可读存储介质制造方法及图纸

技术编号:20242229 阅读:29 留言:0更新日期:2019-01-29 23:18
本发明专利技术公开了一种数据处理方法、装置、计算机设备及计算机可读存储介质,涉及数据处理技术领域,可以通过主因子生成的标准模型,并通过主因子与待结合因子生成的调整模型,采用标准模型和调整模型,对待结合因子的权重进行调整,既保证了获取到的待结合因子的实际权重的准确性,还保证了后续建立的数据模型与实际情况相符。所述方法包括:在待处理数据中提取预设数目个主因子,确定标准模型;获取待结合因子,基于预设数目个主因子和待结合因子,生成调整模型;基于标准模型和调整模型,对待结合因子进行数据处理,生成待结合因子的实际权重。

【技术实现步骤摘要】
数据处理方法、装置、计算机设备及计算机可读存储介质
本专利技术涉及数据处理
,特别是涉及一种数据处理方法、装置、计算机设备及计算机可读存储介质。
技术介绍
随着信息技术的飞速发展,计算机和网络已经成为日常办公、通讯交流和协作互动的必备工具和途径,各公司在日常工作中通常会采用信息系统中的数据建立模型,便于对数据的统一管理。在基于数据建立模型时,通常需要确定每个数据中数据因子的权重,并基于权重进行数据模型的建立。其中,信息系统中包括的数据来自不同的数据源,属于混合数据,混合数据的饱和度使不同的,有些数据的饱和度极低,无法满足建立数据模型的需求,这样,需要对数据进行处理,提高数据的饱和度,并确定处理后数据中数据因子的实际权重,进而建立数据模型。相关技术中,对数据进行处理的实质为对数据中的空值进行处理,具体的方式大概有两类:移除空值和填补空值。在对数据中的空值进行移除时,需要将数据中所有含有空值的记录移除,随后确定移除空值后数据中数据因子的权重;在对数据中的空值进行填补时,常用方法诸如填0,填中位数,向前/向后填充等,还有基于统计学分布的填充方法,并确定填充空值后数据中数据因子的权重。本文档来自技高网...

【技术保护点】
1.一种数据处理方法,其特征在于,包括:在待处理数据中提取预设数目个主因子,确定标准模型,所述标准模型由预设数目个主因子通过模型训练生成,所述主因子的饱和度大于第一阈值;获取待结合因子,基于所述预设数目个主因子和所述待结合因子,生成调整模型,所述待结合因子的饱和度大于第二阈值且小于第一阈值;基于所述标准模型和所述调整模型,对所述待结合因子进行数据处理,生成所述待结合因子的实际权重。

【技术特征摘要】
1.一种数据处理方法,其特征在于,包括:在待处理数据中提取预设数目个主因子,确定标准模型,所述标准模型由预设数目个主因子通过模型训练生成,所述主因子的饱和度大于第一阈值;获取待结合因子,基于所述预设数目个主因子和所述待结合因子,生成调整模型,所述待结合因子的饱和度大于第二阈值且小于第一阈值;基于所述标准模型和所述调整模型,对所述待结合因子进行数据处理,生成所述待结合因子的实际权重。2.根据权利要求1所述的方法,其特征在于,所述在待处理数据中提取预设数目个主因子,确定标准模型,包括:在所述待处理数据中获取至少一个因子,并获取所述至少一个因子的至少一个饱和度;在所述至少一个因子中提取预设数目个饱和度大于所述第一阈值的因子作为所述预设数目个主因子;对所述预设数目个主因子进行模型训练,生成所述标准模型。3.根据权利要求1所述的方法,其特征在于,所述获取待结合因子,基于所述预设数目个主因子和所述待结合因子,生成调整模型,包括:在所述待处理数据的至少一个因子中获取饱和度大于所述第二阈值且小于第一阈值的因子作为所述待结合因子;在所述待结合因子中确定空值,将所述空值从所述待结合因子中删除,生成目标因子;对所述预设数目个主因子和所述目标因子进行模型训练,生成所述调整模型。4.根据权利要求1所述的方法,其特征在于,所述基于所述标准模型和所述调整模型,对所述待结合因子进行数据处理,生成所述待结合因子的实际权重,包括:根据所述标准模型和所述调整模型,生成所述待结合因子的调整比例;基于所述调整比例,对所述待结合因子的待调整权重进行调整,生成所述待结合因子的实际权重。5.根据权利要求4所述的方法,其特征在于,所述根据所述标准模型和所述调整模型,生成所述待结合因子的调整比例,包...

【专利技术属性】
技术研发人员:孙闳绅金戈徐亮肖京
申请(专利权)人:平安科技深圳有限公司
类型:发明
国别省市:广东,44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1