System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据处理方法、数据同步处理方法、装置和电子设备制造方法及图纸_技高网

数据处理方法、数据同步处理方法、装置和电子设备制造方法及图纸

技术编号:40025530 阅读:10 留言:0更新日期:2024-01-16 17:25
本公开的实施例公开了数据处理方法、数据同步处理方法、装置和电子设备。该方法的一具体实施方式包括:响应于接收到对侧数据源授权指令,获取对侧特征数据集;将上述对侧特征数据集与本地原始数据集融合为待处理数据集;调用与上述待处理数据集对应的程序接口,以生成与上述待处理数据集中各个待处理数据对应的数据特征值集;基于上述数据特征值集,对上述待处理数据集进行筛选处理,得到处理后特征数据集。该实施方式与联邦学习有关,可以提高数据处理的效率。

【技术实现步骤摘要】

本公开的实施例涉及计算机,具体涉及数据处理方法、数据同步处理方法、装置和电子设备


技术介绍

1、数据处理,可以是从原始数据中提取数据特征的一项技术。目前,在进行数据处理时,通常采用的方式为:以工作流的形式调用预设的特征工程,以对数据进行梳理,得到处理后特征数据。

2、然而,专利技术人发现,当采用上述方式进行数据处理时,经常会存在如下技术问题:

3、预设的特征工程中的某些算法存在重复性的调用情况,使得这种方式难以进行灵活性的数据处理,从而,导致数据处理的效率降低。

4、该
技术介绍
部分中所公开的以上信息仅用于增强对本专利技术构思的背景的理解,并因此,其可包含并不形成本国的本领域普通技术人员已知的现有技术的信息。


技术实现思路

1、本公开的内容部分用于以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征,也不旨在用于限制所要求的保护的技术方案的范围。

2、本公开的一些实施例提出了数据处理方法、数据同步处理方法、装置和电子设备,来解决以上
技术介绍
部分提到的技术问题。

3、第一方面,本公开的一些实施例提供了一种数据处理方法,该方法包括:响应于接收到对侧数据源授权指令,获取对侧特征数据集;将上述对侧特征数据集与本地原始数据集融合为待处理数据集;调用与上述待处理数据集对应的程序接口,以生成与上述待处理数据集中各个待处理数据对应的数据特征值集;基于上述数据特征值集,对上述待处理数据集进行筛选处理,得到处理后特征数据集。

4、可选的,上述获取对侧特征数据集,包括:将预设的数据请求信息发送至预设的数据获取接口,以获取对侧特征数据集。

5、可选的,在上述调用与上述待处理数据集对应的程序接口之前,上述数据处理方法还包括:调用预设的数据校对接口,以对上述待处理数据集进行数据校对,以及向目标数据端发送数据校对指令,以供目标数据端进行数据同步校对。

6、可选的,在上述调用与上述待处理数据集对应的程序接口之前,上述数据处理方法还包括:向目标数据端发送数据分箱指令,以对上述待处理数据集中待处理数据对应的对侧原始数据进行分箱处理,得到分箱后对侧原始数据集;获取与上述分箱后对侧原始数据集对应的分箱后对侧特征数据。

7、可选的,上述调用与上述待处理数据集对应的程序接口,以生成与上述待处理数据集中各个待处理数据对应的数据特征值集,包括:调用与上述待处理数据集对应的程序接口,以确定上述待处理数据集中每个待处理数据的数据特征值,以及向目标数据终端发送数据特征值生成指令,以供目标数据端同步生成数据特征值。

8、可选的,上述基于上述数据特征值集,对上述待处理数据集进行筛选处理,得到处理后特征数据集,包括:将上述数据特征值集中满足预设特征条件的数据特征值对应的待处理数据确定为处理后特征数据,得到处理后特征数据集,以及对上述处理后特征数据集进行存储。

9、第二方面,本公开的一些实施例提供了一种数据同步处理方法,该方法包括:响应于接收到数据获取指令,对上述数据获取指令对应的本侧数据进行数据抽象处理,得到本侧特征数据集;响应于接收到数据校对指令,调用数据校对接口,以对上述本侧特征数据集和目标特征数据集进行校对处理,得到校对后特征数据集;响应于接收到数据分箱指令,对上述校对后特征数据集中的校对后特征数据进行分箱处理,得到分箱后特征数据集;响应于接收到数据特征值生成指令,调用程序接口,以确定分箱后特征数据集中分箱后特征数据的数据特征值,得到数据特征值集。

10、第三方面,本公开的一些实施例提供了一种数据处理装置,装置包括:获取单元,被配置成响应于接收到对侧数据源授权指令,获取对侧特征数据集;融合单元,被配置成将上述对侧特征数据集与本地原始数据集融合为待处理数据集;调用单元,被配置成调用与上述待处理数据集对应的程序接口,以生成与上述待处理数据集中各个待处理数据对应的数据特征值集;筛选处理单元,被配置成基于上述数据特征值集,对上述待处理数据集进行筛选处理,得到处理后特征数据集。

11、可选的,上述获取单元被进一步配置成:将预设的数据请求信息发送至预设的数据获取接口,以获取对侧特征数据集。

12、可选的,在调用单元之前,上述数据处理装置还可以包括数据校对单元。其中,数据校对单元被配置成:调用预设的数据校对接口,以对上述待处理数据集进行数据校对,以及向目标数据端发送数据校对指令,以供目标数据端进行数据同步校对。

13、可选的,在调用单元之前,上述数据处理装置还可以包括数据校对单元。其中,数据校对单元被配置成:调用预设的数据校对接口,以对上述待处理数据集进行数据校对,以及向目标数据端发送数据校对指令,以供目标数据端进行数据同步校对。

14、可选的,上述调用单元被进一步配置成:调用与上述待处理数据集对应的程序接口,以确定上述待处理数据集中每个待处理数据的数据特征值,以及向目标数据终端发送数据特征值生成指令,以供目标数据端同步生成数据特征值。

15、可选的,上述筛选处理单元被进一步配置成:将上述数据特征值集中满足预设特征条件的数据特征值对应的待处理数据确定为处理后特征数据,得到处理后特征数据集,以及对上述处理后特征数据集进行存储。

16、第四方面,本公开的一些实施例提供了一种数据同步处理装置,装置包括:数据抽象处理单元,被配置成响应于接收到数据获取指令,对上述数据获取指令对应的本侧数据进行数据抽象处理,得到本侧特征数据集;校对处理单元,被配置成响应于接收到数据校对指令,调用数据校对接口,以对上述本侧特征数据集和目标特征数据集进行校对处理,得到校对后特征数据集;分箱处理单元,被配置成响应于接收到数据分箱指令,对上述校对后特征数据集中的校对后特征数据进行分箱处理,得到分箱后特征数据集;调用以及确定单元,被配置成响应于接收到数据特征值生成指令,调用程序接口,以确定分箱后特征数据集中分箱后特征数据的数据特征值,得到数据特征值集。

17、第五方面,本公开的一些实施例提供了一种电子设备,包括:一个或多个处理器;存储装置,其上存储有一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现上述第一方面或第二方面任一实现方式所描述的方法。

18、第六方面,本公开的一些实施例提供了一种计算机可读介质,其上存储有计算机程序,其中,程序被处理器执行时实现上述第一方面或第二方面任一实现方式所描述的方法。

19、第七方面,本公开的一些实施例提供了一种计算机程序产品,包括计算机程序,计算机程序在被处理器执行时实现上述第一方面或第二方面任一实现方式所描述的方法。

20、本公开的上述各个实施例具有如下有益效果:通过本公开的一些实施例的数据处理方法,可以提高数据处理的效率。具体来说,造成数据处理效率降低的原因在于:预设的特征工程中的某些算法存在重复性的调用情况,本文档来自技高网...

【技术保护点】

1.一种数据处理方法,包括:

2.根据权利要求1所述的方法,其中,所述获取对侧特征数据集,包括:

3.根据权利要求1所述的方法,其中,在所述调用与所述待处理数据集对应的程序接口之前,所述方法还包括:

4.根据权利要求1所述的方法,其中,在所述调用与所述待处理数据集对应的程序接口之前,所述方法还包括:

5.根据权利要求1所述的方法,其中,所述调用与所述待处理数据集对应的程序接口,以生成与所述待处理数据集中各个待处理数据对应的数据特征值集,包括:

6.根据权利要求1所述的方法,其中,所述基于所述数据特征值集,对所述待处理数据集进行筛选处理,得到处理后特征数据集,包括:

7.一种数据同步处理方法,用于如权利要求1-6之一所述数据处理方法,其中:

8.一种数据处理装置,包括:

9.一种数据同步处理装置,包括:

10.一种电子设备,包括:

11.一种计算机可读介质,其上存储有计算机程序,其中,所述程序被处理器执行时实现如权利要求1-6或7中任一所述的方法。

12.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-6或7中任一项所述的方法。

...

【技术特征摘要】

1.一种数据处理方法,包括:

2.根据权利要求1所述的方法,其中,所述获取对侧特征数据集,包括:

3.根据权利要求1所述的方法,其中,在所述调用与所述待处理数据集对应的程序接口之前,所述方法还包括:

4.根据权利要求1所述的方法,其中,在所述调用与所述待处理数据集对应的程序接口之前,所述方法还包括:

5.根据权利要求1所述的方法,其中,所述调用与所述待处理数据集对应的程序接口,以生成与所述待处理数据集中各个待处理数据对应的数据特征值集,包括:

6.根据权利要求1所述的方法,其中,所述基于所述...

【专利技术属性】
技术研发人员:李乐雍兴辉
申请(专利权)人:北京沃东天骏信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1