【技术实现步骤摘要】
一种数据处理方法、装置、计算机设备及存储介质
本专利技术涉及计算机
，更具体地说，涉及一种数据处理方法、装置、计算机设备及存储介质。
技术介绍
传统的大数据开发方法需要从业务系统的数据库中查询各类数据，然后在不同的平台处理不同数据源的数据。并且，各个平台的开发者需要使用单独的数据库，例如，关系型MySQL、Oracle等，非关系型Mongo、Redis等。平台的数据存储在一台或者多台机器上，并且有可能无法完全存储，开发者需要在来源多、格式多、体量大的数据集合中通过数据分析把有价值的数据处理筛选出来并在相应的平台进行数据处理，这样的流程和模式带来的问题显而易见。首先针对海量的数据没有一个统一数据开发的系统，这一点无疑极大增加了平台的开发难度，降低了开发效率。并且，当开发者一次数据处理要使用多家平台和多种类型数据库时，又要进行不同的配置，这样繁琐又耗时。另外，由于平台使用的机器数量的限制，很多数据无法完全存储与流动，这样导致“缺数据”现象，因此平台的在线处理的能力也极低。
技术实现思路
...
【技术保护点】
1.一种数据处理方法，其特征在于，应用于基于Springboot框架的数据开发系统，该方法包括：/n确定预先设置的至少一个插件中与目标业务系统的数据处理需求匹配的目标插件，所述目标业务系统为至少一个业务系统中的任一业务系统；/n展示所述目标插件的配置页面；/n响应在所述配置页面中对所述目标插件的作业属性的编辑操作生成用于对所述目标业务系统进行数据处理的作业，所述作业的编程语言与所述目标业务系统的编程语言相同；/n确定用于对所述目标业务系统进行数据处理的至少一个作业，根据所述至少一个作业生成所述目标业务系统的作业流；/n在发送数据处理请求的用户拥有对所述目标业务系统的处理权限...
【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于基于Springboot框架的数据开发系统，该方法包括：
确定预先设置的至少一个插件中与目标业务系统的数据处理需求匹配的目标插件，所述目标业务系统为至少一个业务系统中的任一业务系统；
展示所述目标插件的配置页面；
响应在所述配置页面中对所述目标插件的作业属性的编辑操作生成用于对所述目标业务系统进行数据处理的作业，所述作业的编程语言与所述目标业务系统的编程语言相同；
确定用于对所述目标业务系统进行数据处理的至少一个作业，根据所述至少一个作业生成所述目标业务系统的作业流；
在发送数据处理请求的用户拥有对所述目标业务系统的处理权限的情况下，调用所述目标业务系统的至少一个作业流中所述数据处理请求指示的目标作业流对数据库集群中拉取的所述目标业务系统的数据进行数据处理；
所述数据库集群用于拉取所述至少一个业务系统中的数据，且所述数据库集群中对目标数据类型的数据分配的存储空间与所述至少一个业务系统中所述目标数据类型的数据量有关。
2.根据权利要求1所述的方法，其特征在于，所述确定预先设置的至少一个插件中与目标业务系统的数据处理需求匹配的目标插件，包括：
确定至少一个业务系统中待生成作业流的目标业务系统；
从至少一个插件中确定编程语言和所述目标业务系统的编程语言相同的各个插件；
从所确定的各个插件中获取与对所述目标业务系统的数据处理类型匹配的目标插件。
3.根据权利要求2所述的方法，其特征在于，所述插件携带插件类型，所述插件类型为代码类型、向导式类型或支持算子类型，所述从所确定的各个插件中获取与对所述目标业务系统的数据处理类型匹配的目标插件，包括：
确定所述数据处理类型所属的目标插件类型；
将所述目标插件类型的插件确定为与所述数据处理类型匹配的目标插件。
4.根据权利要求1所述的方法，其特征在于，所述响应在所述配置页面中对所述目标插件的作业属性的编辑操作生成用于对所述目标业务系统进行数据处理的作业，包括：
在所述配置页面中提示所述目标业务系统的数据库信息；
响应用户基于所述数据库信息对所述目标插件的作业属性的编辑操作，生成所述目标业务系统的作业；所述编辑操作包括代码编辑操作、属性编辑操作、算子编辑操作或依赖包引入编辑操作。
5.根据权利要求1所述的方法，其特征在于，所述确定用于对所述目标业务系统进行数据处理的至少一个作业，根据所述至少一个作业生成所述目标业务系统的作业流，包括：
响应用户对所述目标业务系统的至少一个作业的拖拽操作，生成由所述至少一个作业构成的作业流。
6.根据权利要求1所述的方法，其特征在于，还包括：
解析并生成所述作业流中每个所述作业的作业实例；
根据所述作业流中各个作业的作业实例生成作业流实例；
所述在发送数据处理请求的用户拥有对所述...
【专利技术属性】
技术研发人员：何成睿，刘昌俊，郭玉章，
申请(专利权)人：中国建设银行股份有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。