数据处理方法、系统、电子设备和计算机可读存储介质技术方案

本公开提供了一种数据处理方法，包括获得基于非数据库语言编写的用于处理数据库中的数据的至少一个算法，以及集成所述至少一个算法到分布式计算框架中，以供用户在使用所述分布式计算框架时能够基于所述算法处理数据库中的待处理数据，获得目标数据。本公开的另一方面还提供了一种数据处理系统、电子设备和计算机可读存储介质。

Data processing method, system, electronic equipment and computer readable storage medium

【技术实现步骤摘要】
数据处理方法、系统、电子设备和计算机可读存储介质
本公开涉及计算机
，更具体地，涉及一种数据处理方法、系统、电子设备和计算机可读存储介质。
技术介绍
通过Hive等类SQL(StructuredQueryLanguage，结构化查询语言)技术，结合MapReduce大数据处理框架，再辅以任务调度系统及任务管理平台，构成了目前应用最多的大数据处理系统。在数据处理中，通常需要编写具体的SQL代码，经过Hive编译为MapReduce任务。在实现本公开构思的过程中，专利技术人发现现有技术中至少存在如下问题：难以通过SQL语言描述一些比较复杂的数据处理任务。
技术实现思路
有鉴于此，本公开提供了一种数据处理方法、系统、电子设备和计算机可读存储介质。本公开的一个方面提供了一种数据处理方法，包括获得基于非数据库语言编写的用于处理数据库中的数据的至少一个算法，以及集成所述至少一个算法到分布式计算框架中，以供用户在使用所述分布式计算框架时能够基于所述算法处理数据库中的待处理数据，获得目标数据。根据本公开的实施例，所述方法还包括基于集成到所述分布式计算框架中的至少一个算法，获取配置界面，所述配置界面用于接收配置操作，生成配置数据，其中，所述配置数据用于使所述分布式计算框架确定需要调用的算法，以处理所述待处理数据，获得目标数据。根据本公开的实施例，所述方法还包括根据所述配置数据指示的所述待处理数据的数据结构，解析所述待处理数据，获得第一解析数据，根据所述配置数据指示的求值方式，确定需要调用的算法，基于所述算法，处理所述第一解析数据，获得处理数据，以及基于所述处理数据，生成目标数据。根据本公开的实施例，所述方法还包括在根据所述配置数据，确定所述待处理数据包括多个相关联的表的情况下，根据所述配置数据指示的所述多个相关联的表的关联字段，基于所述第一解析结果，生成数据集合，所述基于所述算法，处理所述第一解析数据，获得处理数据包括，基于所述算法处理所述数据集合，获得处理数据。根据本公开的实施例，所述方法还包括根据所述配置数据中指示的过滤规则，对所述数据集合进行过滤，所述基于所述算法处理所述数据集合，获得处理数据包括基于所述算法处理过滤后的数据集合，获得处理数据。根据本公开的实施例，在所述配置数据指示所述分布式计算框架执行第一类型的计算的情况下，所述基于所述处理数据，获得目标数据包括，根据配置数据指示的目标数据的数据结构，将所述处理数据，转化为目标数据。根据本公开的实施例，在所述配置数据指示分布式计算框架执行第二类型的计算的情况下，所述基于所述处理数据，获得目标数据还包括，解析所述处理数据，获得第二解析数据，以及根据配置数据指示的任务类型，确定处理所述第二解析结果需要调用的计算方法，以基于所述计算方法，获得目标数据。根据本公开的实施例，所述方法还包括存储所述配置数据。本公开的另一个方面提供了一种数据处理系统包括，获得模块用于获得基于非数据库语言编写的用于处理数据库中的数据的至少一个算法，以及集成模块用于集成所述至少一个算法到分布式计算框架中，以供用户在使用所述分布式计算框架时能够基于所述算法处理数据库中的待处理数据，获得目标数据。根据本公开的实施例，所述系统还包括，获取模块用于基于集成到所述分布式计算框架中的至少一个算法，获取配置界面，所述配置界面用于接收配置操作，生成配置数据，其中，所述配置数据用于使所述分布式计算框架确定需要调用的算法，以处理所述待处理数据，获得目标数据。根据本公开的实施例，所述系统还包括，第一解析模块用于根据所述配置数据指示的所述待处理数据的数据结构，解析所述待处理数据，获得第一解析数据，第一确定模块用于根据所述配置数据指示的求值方式，确定需要调用的算法，处理模块用于基于所述算法，处理所述第一解析数据，获得处理数据，以及第一生成模块用于基于所述处理数据，生成目标数据。根据本公开的实施例，所述系统还包括，第二生成模块用于在根据所述配置数据，确定所述待处理数据包括多个相关联的表的情况下，根据所述配置数据指示的所述多个相关联的表的关联字段，基于所述第一解析结果，生成数据集合，所述处理模块包括第一处理子模块，用于基于所述算法处理所述数据集合，获得处理数据。根据本公开的实施例，所述系统还包括，过滤模块用于根据所述配置数据中指示的过滤规则，对所述数据集合进行过滤，所述第一处理子模块包括处理子单元，用于基于所述算法处理过滤后的数据集合，获得处理数据。根据本公开的实施例，在所述配置数据指示所述分布式计算框架执行第一类型的计算的情况下，所述处理模块包括第二处理子模块，用于根据配置数据指示的目标数据的数据结构，将所述处理数据，转化为目标数据。根据本公开的实施例，在所述配置数据指示分布式计算框架执行第二类型的计算的情况下，所述处理模块还包括，第二解析模块用于解析所述处理数据，获得第二解析数据，以及第二确定模块用于根据配置数据指示的任务类型，确定处理所述第二解析结果需要调用的计算方法，以基于所述计算方法，获得目标数据。根据本公开的实施例，所述系统还包括，存储模块用于存储所述配置数据。本公开的另一个方面提供了一种电子设备，包括一个或多个处理器，存储装置，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行上述任意一项的方法。本公开的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。本公开的另一方面提供了一种计算机程序，所述计算机程序包括计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。根据本公开的实施例，可以至少部分地解决SQL语言难以完成比较复杂的数据处理任务的问题，并因此可以实现方便处理比较复杂的数据处理任务的技术效果。附图说明通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：图1A示意性示出了根据本公开实施例的可以应用数据处理方法的示例性系统架构；图1B示意性示出了根据本公开实施例的配置界面的示意图；图2示意性示出了根据本公开实施例的数据处理方法的流程图；图3示意性示出了根据本公开另一实施例的数据处理方法的流程图；图4示意性示出了根据本公开另一实施例的数据处理方法的流程图；图5示意性示出了根据本公开另一实施例的数据处理方法的流程图；图6示意性示出了根据本公开的实施例的数据处理系统的框图；图7示意性示出了根据本公开的实施例的数据处理系统的框图；图8示意性示出了根据本公开的实施例的数据处理系统的框图；图9示意性示出了根据本公开另一实施例的数据处理系统的框图；以及图10示意性示出了根据本公开实施例的适于实现上文描述的方法的电子设备的方框图。具体实施方式以下，将参照附图来描述本公开的实施例。但是应该理解本文档来自技高网...

【技术保护点】
1.一种数据处理方法，包括：/n获得基于非数据库语言编写的用于处理数据库中的数据的至少一个算法；以及/n集成所述至少一个算法到分布式计算框架中，以供用户在使用所述分布式计算框架时能够基于所述算法处理数据库中的待处理数据，获得目标数据。/n

【技术特征摘要】
1.一种数据处理方法，包括：
获得基于非数据库语言编写的用于处理数据库中的数据的至少一个算法；以及
集成所述至少一个算法到分布式计算框架中，以供用户在使用所述分布式计算框架时能够基于所述算法处理数据库中的待处理数据，获得目标数据。


2.根据权利要求1所述的方法，还包括：
基于集成到所述分布式计算框架中的至少一个算法，获取配置界面，所述配置界面用于接收配置操作，生成配置数据，其中，所述配置数据用于使所述分布式计算框架确定需要调用的算法，以处理所述待处理数据，获得目标数据。


3.根据权利要求2所述的方法，还包括：
根据所述配置数据指示的所述待处理数据的数据结构，解析所述待处理数据，获得第一解析数据；
根据所述配置数据指示的求值方式，确定需要调用的算法；
基于所述算法，处理所述第一解析数据，获得处理数据；以及
基于所述处理数据，生成目标数据。


4.根据权利要求3所述的方法，还包括：
在根据所述配置数据，确定所述待处理数据包括多个相关联的表的情况下，根据所述配置数据指示的所述多个相关联的表的关联字段，基于所述第一解析结果，生成数据集合，
所述基于所述算法，处理所述第一解析数据，获得处理数据包括：基于所述算法处理所述数据集合，获得处理数据。


5.根据权利要求4所述的方法，还包括：
根据所述配置数据中指示的过滤规则，对所述数据集合进行过滤，
所述基于所述算法处理所述数据集合，获得处理数据包括：基于所述算法处理过滤后的数据集合，获得处理数据。


6.根据权利要求2所述的方法，在所述配置数据指示所述分布式计算框架执行第一类型的计算的情况下，所述基于所述处理数据，获得目标数据包括：
根据配置数据指示的目标数据的数据结构，将所述处理数据，转化为目标数据。


7.根据权利要求2所述的方法，在所述配置数据指示分布式计算框架执行第二类型的计算的情况下，所述基于所述处理数据，获得目标数据还包括：
解析所述处理数据，获得第二解析数据；以及
根据配置数据指示的任务类型，确定处理所述第二解析结果需要调用的计算方法，以基于所述计算方法，获得目标数据。


8.根据权利要求2所述的方法，还包括：存储所述配置数据。


9.一种数据处理系统，包括：
获得模块，用于获得基于非数据库语言编写的用于处理数据库中的数据的至少一个算法；以及
集成模块，用于集成所述至少一个算法到分布式计算框架中，以供用户在使用所述分布式计算框架时能够基于所述算法处理数据库中的待处理数据，获得目标数据...

【专利技术属性】
技术研发人员：李海涛，宋鹏，
申请(专利权)人：北京京东金融科技控股有限公司，
类型：发明
国别省市：北京;11