【技术实现步骤摘要】
本专利技术的实施例一般涉及数据处理，尤其涉及一种通用数据交换配置方法、装置及设备。
技术介绍
1、目前，针对多源异构的海量数据的抽取、加工和分析支持，通常需要使用一系列开源的数据处理工具，这些工具提供了强大的数据处理和分析功能，可以应对大规模数据的挑战。然而，在复杂的业务场景中，数据处理需求往往更为特定和个性化。
2、针对特定的业务需求，人们通常需要编写大量的程序代码来实现数据处理、转换和加工的逻辑。这涉及到对工具的配置和参数设置，以及编写自定义的数据处理代码。这种方式虽然灵活，但对于非专业的开发人员来说，上手和理解这些配置和代码可能会相对困难。配置过程不够直观，容易出错，而且修改和调整配置也会比较复杂。
3、此外，由于不同业务场景的差异，需要根据具体需求进行大量定制化的配置和代码编写。这增加了开发和维护的复杂性，并且对技术人员的要求较高。需要有深入的了解和熟悉相关工具和编程语言，以及对数据处理和分析的领域知识有一定的掌握。
4、因此，需要一种更简化、可视化的通用数据交换配置方法及装置，以提高配置效率和降低配置成本。
技术实现思路
1、为解决以上问题，本专利技术通过可视化配置数据处理控件，将常见数据处理场景设计为模板，克隆后根据实际情况修改，做到了一次配置多次使用，从而提升研发效率，提速产品迭代，更快的支持公司各产品应用。
2、根据本专利技术的实施例，提供了一种通用数据交换配置的方法、装置及设备。
3、在本专利技术的第一方
4、s01：根据数据源读取、数据转换、数据存储的数据处理流程，设计出合理的各环节的数据处理控件的具体属性配置，所述的控件包括：source控件组、转换控件组、sink控件组，异常分流控件组；
5、s02：通过用户友好的配置界面，将各种数据处理控件按照业务需求组合定义出完整的数据交换流程，定义数据交换流程的步骤包括：
6、s021：数据源管理：从source控件组中选择若干个数据源控件用于对源表的字段进行字段映射；
7、s022：数据转换：从转换控件组中选择0至若干个数据转换控件，按照数据转换顺序自由组合，对数据源管理中设置的映射字段，配置具体的数据转换逻辑；
8、s023：结果存储：从sink控件组中选择若干个数据源控件用于存储数据交换的结果；
9、s024：异常配置：从异常分流控件组中选择若干个数据源控件用于存储数据交换过程中的异常信息；
10、s03：将配置好的数据交换流程发布，固化流程的相关配置数据，调度配置已发布的流程并设置该流程的调度执行信息；
11、s04：执行该流程的调度执行信息，实现该流程的实际数据交换。
12、进一步地，s01中所述的source控件组提供各种异构数据源的配置控件，其属性配置分为公共属性和私有属性，所述的公共属性通过程序直接实现，所述的私有属性通过控件属性管理页面根据控件编码进行配置，所述的私有属性包括：数据库、索引、日期解析、数据连接、数据库名、写入策略、写入模式、表名、集群名称、每个连接最大处理记录数、批大小、前置原生数据库sql、后置原生数据库sql；
13、s01中所述的转换控件组提供针对具体字段对数据进行各种操作和转换的配置控件，其属性配置分为公共属性和私有属性，所述的公共属性通过程序直接实现，所述的私有属性通过控件属性管理页面根据控件编码进行配置，所述的私有属性包括：字段、源时间格式、目标时间格式；
14、s01中所述的sink控件组结果数据存储的各种异构数据源的配置控件，其属性配置分为公共属性和私有属性，所述的公共属性通过程序直接实现，所述的私有属性通过控件属性管理页面根据控件编码进行配置，所述的私有属性包括：数据连接、数据库名、写入策略、写入模式、表名、集群名称、每个连接最大处理记录数、批大小、前置原生数据库sql、后置原生数据库sql；
15、s01中所述的异常分流控件组提供数据处理过程中异常情况管理的配置控件，其属性配置分为公共属性和私有属性，所述的公共属性通过程序直接实现，所述的私有属性通过控件属性管理页面根据控件编码进行配置，所述的私有属性包括：数据连接、编码、topic、分隔符、索引、写入模式、文档id、是否排除文档id字段。
16、进一步地，s021中所述的数据源管理的配置参数包括：根据控件编码调用后端服务获取该数据源控件配置的属性、自定义参数以及字段映射，所述的自定义参数是以键值对的形式配置该数据源控件对应的spark参数，所述的字段映射是根据配置的数据源连接、表名或索引的信息，获取需要处理的字段信息。
17、进一步地，s023中所述的结果存储的配置参数包括：该数据源控件配置的属性、自定义参数以及字段映射，所述的字段映射的默认数据为数据源管理中所有控件的映射后字段数据和数据转换配置中所有控件的目标字段数据的集合去重后的字段数据。
18、进一步地，s024中所述的异常配置的配置参数包括：根据控件编码调用后端服务获取该数据源控件配置的属性、自定义参数以及字段映射，所述的字段映射的字段是固定的，不可编辑，默认字段有：message，entityname，eventtime。
19、进一步地，s03中所述的调度执行信息包括基本信息和执行器相关参数配置，所述的基本信息包括：执行器、调度类型、调度cron表达式、路由策略、调度过期策略、阻塞处理、失败重试次数、超时时间、告警邮件发送邮箱，所述的执行器相关参数配置包括：执行器内存、执行器数量、执行器核心数、driver内存、主调度、队列、其他自定义参数。
20、进一步地，s04中所述的执行该流程的调度执行信息的具体步骤为：
21、s041：根据设定的定时任务，找到数据源管理中配置的数据源控件，根据数据源控件配置的具体数值，从数据实体中读取控件配置字段映射的映射前字段对应的符合条件的数据，将该数据传入到数据转换步骤中的第一个控件；
22、s042：如果数据转换步骤中第一个控件存在，根据控件配置的需要做转换的字段，对传入的数据中匹配到的字段数据按照转换控件配置的转换规则进行操作，之后将转换后的数据传入到下一个转换控件，按照顺序，依次进行数据转换，直到进入到结果存储步骤中；
23、s043：将传入的数据按照数据源控件中的配置的数据实体，写入模式，字段映射的映射前后字段，根据判断匹配写入到目标系统中，直至该执行调度任务执行流程结束；
24、s044：若在执行数据交换过程中出现错误或异常情况，则判断流程中如有没有配置异常分流控件，若没有配置异常分流控件，直接默认记录到预置的es数据库中，如果流程中已配置异常分流控件，则按照控件配置的具体数值，保存执行过程中的所有异常数据。
25、在本专利技术的第二方面，提供了一种通用数据交换配置的装置。该装置包括：...
【技术保护点】
1.一种通用数据交换配置的方法，其特征在于，该方法包括：
2.根据权利要求1所述的一种通用数据交换配置的方法，其特征在于，S01中所述的Source控件组提供各种异构数据源的配置控件，其属性配置分为公共属性和私有属性，所述的公共属性通过程序直接实现，所述的私有属性通过控件属性管理页面根据控件编码进行配置，所述的私有属性包括：数据库、索引、日期解析、数据连接、数据库名、写入策略、写入模式、表名、集群名称、每个连接最大处理记录数、批大小、前置原生数据库SQL、后置原生数据库SQL；
3.根据权利要求1所述的一种通用数据交换配置的方法，其特征在于，S021中所述的数据源管理的配置参数包括：根据控件编码调用后端服务获取该数据源控件配置的属性、自定义参数以及字段映射，所述的自定义参数是以键值对的形式配置该数据源控件对应的Spark参数，所述的字段映射是根据配置的数据源连接、表名或索引的信息，获取需要处理的字段信息。
4.根据权利要求1所述的一种通用数据交换配置的方法，其特征在于，S023中所述的结果存储的配置参数包括：该数据源控件配置的属性、自定义参数以
5.根据权利要求1所述的一种通用数据交换配置的方法，其特征在于，S024中所述的异常配置的配置参数包括：根据控件编码调用后端服务获取该数据源控件配置的属性、自定义参数以及字段映射，所述的字段映射的字段是固定的，不可编辑，默认字段有：message，entityName，eventTime。
6.根据权利要求1所述的一种通用数据交换配置的方法，其特征在于，S03中所述的调度执行信息包括基本信息和执行器相关参数配置，所述的基本信息包括：执行器、调度类型、调度Cron表达式、路由策略、调度过期策略、阻塞处理、失败重试次数、超时时间、告警邮件发送邮箱，所述的执行器相关参数配置包括：执行器内存、执行器数量、执行器核心数、Driver内存、主调度、队列、其他自定义参数。
7.根据权利要求1所述的一种通用数据交换配置的方法，其特征在于，S04中所述的执行该流程的调度执行信息的具体步骤为：
8.一种通用数据交换配置的装置，其特征在于，该装置包括：
9.一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1～7中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1～7中任一项所述的方法。
...【技术特征摘要】
1.一种通用数据交换配置的方法，其特征在于，该方法包括：
2.根据权利要求1所述的一种通用数据交换配置的方法，其特征在于，s01中所述的source控件组提供各种异构数据源的配置控件，其属性配置分为公共属性和私有属性，所述的公共属性通过程序直接实现，所述的私有属性通过控件属性管理页面根据控件编码进行配置，所述的私有属性包括：数据库、索引、日期解析、数据连接、数据库名、写入策略、写入模式、表名、集群名称、每个连接最大处理记录数、批大小、前置原生数据库sql、后置原生数据库sql；
3.根据权利要求1所述的一种通用数据交换配置的方法，其特征在于，s021中所述的数据源管理的配置参数包括：根据控件编码调用后端服务获取该数据源控件配置的属性、自定义参数以及字段映射，所述的自定义参数是以键值对的形式配置该数据源控件对应的spark参数，所述的字段映射是根据配置的数据源连接、表名或索引的信息，获取需要处理的字段信息。
4.根据权利要求1所述的一种通用数据交换配置的方法，其特征在于，s023中所述的结果存储的配置参数包括：该数据源控件配置的属性、自定义参数以及字段映射，所述的字段映射的默认数据为数据源管理中所有控件的映射后字段数据和数据转换配置中所有控件的目标字段数据的集合去重后的字段数据。
5.根据权利要求...
【专利技术属性】
技术研发人员：杨永萍，
申请(专利权)人：中盈优创资讯科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。