一种数据处理方法及装置、存储介质、计算机设备制造方法及图纸

本发明专利技术公开了一种数据处理方法及装置、存储介质、计算机设备，属于数据处理技术领域，主要在于解决独立的数据管理系统之间难以进行数据共享的问题，包括获取第一数据库数据和第二数据库数据，并基于所述第一数据库数据对所述第二数据库数据进行数据去重处理，得到去重后第二数据库数据；获取数据模板，并基于所述数据模板对所述去重后第二数据库数据进行标准化转换，得到标准化转换数据，以使得所述标准化转换数据与所述第一数据库数据具有相同的数据相关信息；基于所述标准化转换数据对所述第一数据库数据进行数据更新。述第一数据库数据进行数据更新。述第一数据库数据进行数据更新。

【技术实现步骤摘要】
一种数据处理方法及装置、存储介质、计算机设备


[0001]本专利技术涉及数据处理
，特别是涉及一种数据处理方法及装置、存储介质、计算机设备。

技术介绍

[0002]随着大型企业业务的不断改革深化，孵化了不少子公司。由于子公司与母公司在经营上是独立的，所以在生产经营上采用独立的数据管理系统进行数据管理操作。独立的数据管理系统之间存在数据库差异性、操作系统异构性等特点，导致母公司与子公司之间的数据难以进行交互和共享，形成数据孤岛。随着企业的不断进步和发展，需要依赖数据进行趋势分析、业务质量分析等分析操作，由于各个独立的数据管理系统之间无法进行数据共享，加大了数据分析的难度，不能满足管理人员对现有数据资源决策分析的需要。

技术实现思路

[0003]有鉴于此，本专利技术提供一种数据处理方法及装置、存储介质、计算机设备，主要目的在于解决独立的数据管理系统之间难以进行数据共享的问题。
[0004]依据本专利技术一个方面，提供了一种数据处理方法，包括：
[0005]获取第一数据库数据和第二数据库数据，并基于所述第一数据库数据对所述第二数据库数据进行数据去重处理，得到去重后第二数据库数据；
[0006]获取数据模板，并基于所述数据模板对所述去重后第二数据库数据进行标准化转换，得到标准化转换数据，以使得所述标准化转换数据与所述第一数据库数据具有相同的数据相关信息；
[0007]基于所述标准化转换数据对所述第一数据库数据进行数据更新。
[0008]进一步的，所述获取第一数据库数据和第二数据库数据之前，所述方法还包括：
[0009]将所述第一数据库数据和所述第二数据库数据划分为多个数据类别；
[0010]为具有相同数据类别的所述第一数据库数据和所述第二数据库数据添加相同的数据索引。
[0011]进一步的，所述基于所述第一数据库数据对所述第二数据库数据进行数据去重处理，得到去重后第二数据库数据包括：
[0012]获取所述第一数据库数据的第一数据索引，并获取所述第二数据库数据的第二数据索引；
[0013]对所述第一数据索引和所述第二数据索引进行匹配处理，并获取具有相同数据索引的目标第一数据库数据和目标第二数据库数据；
[0014]基于所述目标第一数据库数据对所述目标第二数据库数据进行数据去重处理，得到去重后第二数据库数据。
[0015]进一步的，所述获取数据模板之前，所述方法还包括：
[0016]获取所述第一数据库数据的数据相关信息，所述数据相关信息包括数据类别、数
据类型、数据格式和关联数据；
[0017]基于所述数据类别、所述数据类型、所述数据格式和所述关联数据构建与所述数据类别数量相同的数据模板；
[0018]在所述数据模板与所述数据类别之间建立关联关系。
[0019]进一步的，所述获取数据模板，并基于所述数据模板对所述去重后第二数据库数据进行标准化转换，得到标准化转换数据包括：
[0020]基于所述去重后第二数据库数据的数据类别，查询所述关联关系，确定目标数据模板；
[0021]获取所述目标数据模板的目标数据类型、目标数据格式和目标关联数据；
[0022]基于所述目标数据类型、所述目标数据格式和所述目标关联数据对所述去重后第二数据库数据进行标准化转换，得到标准化转换数据。
[0023]进一步的，所述基于所述标准化转换数据对所述第一数据库数据进行数据更新包括：
[0024]向第一数据库发送携带所述标准化转换数据的更新请求；以使得所述第一数据库基于所述更新请求进行审批操作，以及待所述更新请求审批通过后，将所述标准化转换数据更新至所述第一数据库中。
[0025]进一步的，所述方法还包括：
[0026]接收多个客户端对第二数据库的数据访问，以使得所述客户端获取到所述标准化转换数据；所述客户端通过企业服务总线与所述第二数据库相连接；
[0027]相对应的，接收多个所述客户端对所述第二数据库的数据更新操作，包括停用、新增和修改。
[0028]依据本专利技术另一个方面，提供了一种数据处理装置，包括：
[0029]去重模块，用于获取第一数据库数据和第二数据库数据，并基于所述第一数据库数据对所述第二数据库数据进行数据去重处理，得到去重后第二数据库数据；
[0030]转换模块，用于获取数据模板，并基于所述数据模板对所述去重后第二数据库数据进行标准化转换，得到标准化转换数据，以使得所述标准化转换数据与所述第一数据库数据具有相同的数据相关信息；
[0031]更新模块，用于基于所述标准化转换数据对所述第一数据库数据进行数据更新。
[0032]进一步的，所述装置还包括索引添加模块，用于：
[0033]将所述第一数据库数据和所述第二数据库数据划分为多个数据类别；
[0034]为具有相同数据类别的所述第一数据库数据和所述第二数据库数据添加相同的数据索引。
[0035]进一步的，所述去重模块还用于：
[0036]获取所述第一数据库数据的第一数据索引，并获取所述第二数据库数据的第二数据索引；
[0037]对所述第一数据索引和所述第二数据索引进行匹配处理，并获取具有相同数据索引的目标第一数据库数据和目标第二数据库数据；
[0038]基于所述目标第一数据库数据对所述目标第二数据库数据进行数据去重处理，得到去重后第二数据库数据。
[0039]进一步的，所述装置还包括模板创建模块，用于：
[0040]获取所述第一数据库数据的数据相关信息，所述数据相关信息包括数据类别、数据类型、数据格式和关联数据；
[0041]基于所述数据类别、所述数据类型、所述数据格式和所述关联数据构建与所述数据类别数量相同的数据模板；
[0042]在所述数据模板与所述数据类别之间建立关联关系。
[0043]进一步的，所述转换模块还用于：
[0044]基于所述去重后第二数据库数据的数据类别，查询所述关联关系，确定目标数据模板；
[0045]获取所述目标数据模板的目标数据类型、目标数据格式和目标关联数据；
[0046]基于所述目标数据类型、所述目标数据格式和所述目标关联数据对所述去重后第二数据库数据进行标准化转换，得到标准化转换数据。
[0047]进一步的，所述更新模块还用于：
[0048]向第一数据库发送携带所述标准化转换数据的更新请求；以使得所述第一数据库基于所述更新请求进行审批操作，以及待所述更新请求审批通过后，将所述标准化转换数据更新至所述第一数据库中。
[0049]进一步的，所述装置还包括接收及更新模块，用于：
[0050]接收多个客户端对第二数据库的数据访问，以使得所述客户端获取到所述标准化转换数据；所述客户端通过企业服务总线与所述第二数据库相连接；
[0051]相对应的，接收多个所述客户端对所述第二数据库的数据更新操作，包括停用、新增和修本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取第一数据库数据和第二数据库数据，并基于所述第一数据库数据对所述第二数据库数据进行数据去重处理，得到去重后第二数据库数据；获取数据模板，并基于所述数据模板对所述去重后第二数据库数据进行标准化转换，得到标准化转换数据，以使得所述标准化转换数据与所述第一数据库数据具有相同的数据相关信息；基于所述标准化转换数据对所述第一数据库数据进行数据更新。2.根据权利要求1所述的方法，其特征在于，所述获取第一数据库数据和第二数据库数据之前，所述方法还包括：将所述第一数据库数据和所述第二数据库数据划分为多个数据类别；为具有相同数据类别的所述第一数据库数据和所述第二数据库数据添加相同的数据索引。3.根据权利要求1所述的方法，其特征在于，所述基于所述第一数据库数据对所述第二数据库数据进行数据去重处理，得到去重后第二数据库数据包括：获取所述第一数据库数据的第一数据索引，并获取所述第二数据库数据的第二数据索引；对所述第一数据索引和所述第二数据索引进行匹配处理，并获取具有相同数据索引的目标第一数据库数据和目标第二数据库数据；基于所述目标第一数据库数据对所述目标第二数据库数据进行数据去重处理，得到去重后第二数据库数据。4.根据权利要求1所述的方法，其特征在于，所述获取数据模板之前，所述方法还包括：获取所述第一数据库数据的数据相关信息，所述数据相关信息包括数据类别、数据类型、数据格式和关联数据；基于所述数据类别、所述数据类型、所述数据格式和所述关联数据构建与所述数据类别数量相同的数据模板；在所述数据模板与所述数据类别之间建立关联关系。5.根据权利要求4所述的方法，其特征在于，所述获取数据模板，并基于所述数据模板对所述去重后第二数据库数据进行标准化转换，得到标准化转换数据包括：基于所述去重后第二数据库数据的数据类别，查询所述关联关系，确定目标数据...

【专利技术属性】
技术研发人员：夏斌，王博，石耀军，张超，李海波，郭嘉伟，
申请(专利权)人：陕西陕化煤化工集团有限公司，
类型：发明
国别省市：