数据处理方法及装置、电子设备制造方法及图纸

本申请实施例提供一种数据处理方法及装置、电子设备。所述方法包括：响应于用户配置的源库信息，基于所述源库信息向源库请求获取源表的第一数据标准；响应于用户配置的目的库信息，基于所述目的库信息向目的库请求获取目的表的第二数据标准；基于所述第一数据标准和第二数据标准中的字段差异，生成从所述第一数据标准的源字段转换为所述第二数据标准的目的字段的转换规则；基于所述转换规则，对从所述源库中获取到的所述第一数据标准的数据转换为所述第二数据标准的数据，并将所述第二数据标准的数据写入所述目的库的目的字段中。标准的数据写入所述目的库的目的字段中。标准的数据写入所述目的库的目的字段中。

【技术实现步骤摘要】
数据处理方法及装置、电子设备


[0001]本申请实施例涉及数据处理
，尤其涉及一种数据处理方法及装置、电子设备。

技术介绍

[0002]数据标准是指对数据的定义、组织、监督和保护进行标准化的过程。统一的数据标准可以有效解决数据治理过程中的数据一致性问题。通过对数据进行统一规范的管理，可以消除不同数据源之间的数据壁垒，方便数据的共享，减少重复数据和冗余数据，从而最大限度地降低数据处理和数据存储的成本。
[0003]然而，现有的一些数据源在建设时采用的是非行业公认的数据标准，从而在这些数据源内部形成了各自特有的数据标准。因此，针对这样的数据源进行跨数据源的数据集成时，无法直接将读取到的数据写到目的库中，而需要先将读取到的数据写到中间件中进行数据清洗，再根据目的库的数据标准进行数据清洗。

技术实现思路

[0004]本说明书实施例提供的一种数据处理方法及装置、电子设备。
[0005]根据本说明书实施例的第一方面，提供一种数据处理方法，所述方法包括：
[0006]响应于用户配置的源库信息，基于所述源库信息向源本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：响应于用户配置的源库信息，基于所述源库信息向源库请求获取源表的第一数据标准；其中，所述第一数据标准包括所述源表中的源字段的数据标准；所述源字段包括所述源表中待集成数据对应的字段；响应于用户配置的目的库信息，基于所述目的库信息向目的库请求获取目的表的第二数据标准；其中，所述第二数据标准包括所述目的表中的目的字段的数据标准；所述目的字段包括所述目的库中待写入所述待集成数据的字段；基于所述第一数据标准和第二数据标准中的字段差异，生成从所述第一数据标准的源字段转换为所述第二数据标准的目的字段的转换规则；基于所述转换规则，对从所述源库中获取到的所述第一数据标准的数据转换为所述第二数据标准的数据，并将所述第二数据标准的数据写入所述目的库的目的字段中。2.根据权利要求1所述的方法，其特征在于，所述基于所述源库信息向源库请求获取源表的第一数据标准，包括：基于所述源库信息中的连接信息，与所述源库对应的数据处理节点进行连接；向所述源库对应的数据处理节点请求获取源表的第一数据标准；所述基于所述目的库信息向目的库请求获取目的表的第二数据标准，包括：基于所述目的信息中的连接信息，与所述目的库对应的数据处理节点进行连接；向所述目的库对应的数据处理节点请求获取目的表的第二数据标准。3.根据权利要求1所述的方法，其特征在于，所述基于所述目的库信息向目的库请求获取目的表的第二数据标准，包括：如果所述目的表不存在，基于所述目的库信息向目的库请求创建目的表，并获取所述目的库为创建的所述目的表关联的第二数据标准。4.根据权利要求3所述的方法，其特征在于，所述为创建的目的表关联第二数据标准，包括：根据所述目的表中目的字段的字段描述，与所述目的库中其它数据表中的其它字段的字段描述进行匹配，以获取字段描述最相似的其它字段对应的数据标准；将每个目的字段与匹配到的数据标准进行关联，以构建所述目的表关联的第二数据标准。5.根据权利要求4所述的方法，其特征在于，所述根据所述目的表中目的字段的字段描述，与所述目的库中其它数据表中的其它字段的字段描述进行匹配，以获取字段描述最相似的其它字段对应的数据标准，包括：根据所述目的表中目的字段的字段描述，与所述目的库中其它数据表中的其它字段的字段描述进行...

【专利技术属性】
技术研发人员：林鹏程，叶姣荣，
申请(专利权)人：杭州数梦工场科技有限公司，
类型：发明
国别省市：