基于自定义规则的数据处理方法、系统、设备和存储介质技术方案

本发明专利技术涉及数据编辑处理领域，具体公开一种基于自定义规则的数据处理方法、系统、设备和存储介质，该方法包括：首先接收用户配置参数，包括数据源信息和业务规则参数；其中，业务规则参数为用户在预设自定义业务规则配置界面自定义选取的；然后基于业务规则参数生成目标业务规则；再对目标业务规则进行算子解析和数据字段选取，并基于解析结果、选取结果和数据源信息，生成FLink程序，以通过FLink程序获取和编辑处理数据。如此，业务人员只需要在业务规则自定义配置界面选取参数即可，预设系统自动生成用于获取和编辑处理数据的FLink程序，大大降低了开发难度，同时大大提高了开发效率。效率。效率。

【技术实现步骤摘要】
基于自定义规则的数据处理方法、系统、设备和存储介质


[0001]本专利技术涉及数据编辑处理
，具体涉及一种基于自定义规则的数据处理方法、系统、设备和存储介质。

技术介绍

[0002]现有技术中，关于数据编辑处理都是针对特定的ELT开发代码进行技术处理，在多数据源抽取到持久化存储平台，再制定机制进行库内代码开发和运算，或开发代码由其他数据引擎读取数据进行库外数据编辑处理。
[0003]但是，该方法中一旦数据需要转换不同数据源数据或业务人员不懂代码，系统的接入、转换、分析功能便会受到影响，影响数据编辑处理进程和效率。

技术实现思路

[0004]有鉴于此，本专利技术的目的在于提供一种基于自定义规则的数据处理方法、系统、设备和存储介质，以克服目前多源数据编辑处理过程中开发难度高和开发效率低的问题。
[0005]为实现以上目的，本专利技术采用如下技术方案：
[0006]第一方面，本申请实施例提供一种基于自定义规则的数据处理方法，包括：
[0007]接收用户配置参数，所述用户配置参数包括数据源信息和业务本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自定义规则的数据处理方法，其特征在于，包括：接收用户配置参数，所述用户配置参数包括数据源信息和业务规则参数；其中，所述业务规则参数为用户在预设自定义业务规则配置界面中选取的；基于所述业务规则参数生成目标业务规则；对所述目标业务规则进行算子解析和数据字段选取，并基于解析结果、选取结果和所述数据源信息，生成FLink程序。2.根据权利要求书1所述的基于自定义规则的数据处理方法，其特征在于，还包括：基于所述数据源信息，确定对应的连接器；基于所述连接器，生成数据来源对象和目标表对象。3.根据权利要求书1所述的基于自定义规则的数据处理方法，其特征在于，所述业务规则参数包括用户在预设自定义业务规则配置界面选取的业务运算子指标和逻辑条件；所述基于所述业务规则参数生成目标业务规则，包括：基于所述业务运算子指标和逻辑条件，生成包括目标指标和目标标签的目标业务规则。4.根据权利要求书2所述的基于自定义规则的数据处理方法，其特征在于，所述对所述目标业务规则进行算子解析和数据字段选取，并基于解析结果、选取结果和所述数据源信息，生成FLink程序，包括：通过预设FLink框架系统平台对所述目标业务规则进行算子解析和数据字段选取，通过预设FLink框架系统平台生成所述数据来源对象和所述目标表对象；基于所述解析结果、所述选取结果、所述数据来源对象和所述目标表对象生成所述FLink程序。5.根据权利要求书1所述的基于自定义规则的数据处理方法，其特征在于，还包括：将所述FLink程序以jar包的形式上传至预设FLink执行服务器中，以供所述FLink执行服务器基于所述FLink程序生成并执行目标程序任务。6.根据权利要求书5所述的基于自定义规则的数据处理方法，...

【专利技术属性】
技术研发人员：林佳翔，吴小前，
申请(专利权)人：北京滴普科技有限公司，
类型：发明
国别省市：