数据处理方法、装置、设备及存储介质制造方法及图纸

本申请提供了一种数据处理方法、装置、设备及存储介质，应用于数据处理平台中多个执行器节点中每个执行器节点，数据处理平台中还具有驱动器节点，其中，该方法包括：采用驱动器节点获取待处理字段的信息，待处理字段的信息包括：待处理字段的字段名和对应的字段值，采用每个执行器节点，判断每个执行器节点的数据表中是否包括待处理字段的字段名，若多个执行器节点中目标执行器节点的数据表中包括待处理字段的字段名，则采用目标执行器节点，根据待处理字段的字段值，对目标执行器节点的数据表进行操作。无需进行数据迁移，采用多个执行器节点并行处理，提高了数据处理效率，并且适用于各种类型的关系型数据库。于各种类型的关系型数据库。于各种类型的关系型数据库。

【技术实现步骤摘要】
数据处理方法、装置、设备及存储介质


[0001]本申请涉及计算机
，具体而言，涉及一种数据处理方法、装置、设备及存储介质。

技术介绍

[0002]Spark是专为大规模数据处理而设计的快速通用的计算引擎，Spark支持操作多种类型的关系型数据库，比如支持从mysql、oralce、postgrsql等关系型数据库中读取和写入数据。
[0003]目前，基于Spark平台对关系型数据库执行插入更新操作往往使用合并（merge）的方法，其中，需要将数据落地，即将数据迁移至待执行插入更新的关系型数据库中，然后将该数据插入或更新到该关系型数据库中的数据表中。
[0004]然而，该方式不仅数据处理效率低下，并且由于不同数据库具有不同的限制条件，因此，该方式不适用于所有类型的关系型数据库，具有一定的局限性。

技术实现思路

[0005]有鉴于此，本申请实施例提供了一种数据处理方法、装置、设备及存储介质，以解决现有技术中数据处理效率低下，且具有一定局限性问题。
[0006]第一方面，本申请实施例提供了一种数据处理方法本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于数据处理平台中多个执行器节点中每个执行器节点，所述数据处理平台中还具有驱动器节点，所述方法包括：采用所述驱动器节点获取待处理字段的信息，所述待处理字段的信息包括：所述待处理字段的字段名和对应的字段值；采用所述每个执行器节点，判断所述每个执行器节点的数据表中是否包括所述待处理字段的字段名，其中，所述每个执行器节点的数据表为将预设数据库的数据表分割为多个分区中的任一数据表；若所述多个执行器节点中目标执行器节点的数据表中包括所述待处理字段的字段名，则采用所述目标执行器节点，根据所述待处理字段的字段值，对所述目标执行器节点的数据表进行操作。2.根据权利要求1所述的方法，其特征在于，所述若所述多个执行器节点中目标执行器节点的数据表中包括所述待处理字段的字段名，则采用所述目标执行器节点，根据所述待处理字段的字段值，对所述目标执行器节点的数据表进行操作，包括：若所述目标执行器节点的数据表中包括所述待处理字段的字段名，则采用所述目标执行器节点，比对所述目标执行器节点的数据表中所述待处理字段的数量和所述待处理字段的预设数量；若数量比对结果为相同，则采用所述目标执行器节点，根据所述待处理字段的字段值，对所述目标执行器节点的数据表进行操作。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：若所述数量比对结果为不相同，则采用所述目标执行器节点进行报错提示。4.根据权利要求1所述的方法，其特征在于，所述判断所述每个执行器节点的数据表中是否包括所述待处理字段的字段名之前，所述方法还包括：采用所述驱动器节点将至少一个所述预设数据库的数据存储至所述预设数据库的数据表；采用所述驱动器节点对所述预设数据库的数据表进行分割，得到多个分区；采用所述驱动器节点将所述多个分区分配至所述多个执行器节点。5.根据权利要求1所述的方法，其特征在于，所述采用所述目标执行器节点，根据所述待处理字段的字段值，对所述目标执行器节点的数据表进行操作，包括：采用所述目标执行器节点将所述待处理字段的信息存储至缓存数据表；若所述缓存数据表中字段满足预设数量条件，则采用所述缓存数据表中字段对应的执行器节点，根据所述缓存数据表中字段的字段值，对所述缓存数据表中字段对应的执...

【专利技术属性】
技术研发人员：闫长虎，张绍震，秦元，黄智浩，严羽，
申请(专利权)人：恒生电子股份有限公司，
类型：发明
国别省市：