【技术实现步骤摘要】
本申请涉及计算机领域，尤其涉及一种数据处理方法、系统及相关设备。
技术介绍
1、数据库，或者大数据分析引擎，如spark、openlookeng、hadoop等，在接收到用户下发的结构化查询语言(structured query language,sql)请求后，会对sql请求进行一系列的分析和处理，生成sql请求对应的处理函数，然后通过引擎中的算子调用该处理函数对数据进行处理，实现用户请求的功能。
2、但是，算子调用处理函数处理数据时，可通过行处理模式或者批处理模式处理数据，其中，行处理模式指的是每次输入一行数据进行处理，批处理模式指的是每次输入一批数据进行处理，其中，一批数据可包括多行数据。但是，这两种处理模式均存在缺点，无论是使用行处理模式还是批处理模式都存在处理瓶颈，使得引擎的数据处理能力受限。
技术实现思路
1、本申请提供了一种数据处理方法、系统及相关设备，用于解决数据库或者大数据分析引擎的数据处理能力受限的问题。
2、第一方面，提供了一种数据处理方法，应...
【技术保护点】
1.一种数据处理方法，其特征在于，应用于数据处理系统，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述数据处理模式是批处理模式的情况下，所述配置信息还包括所述批处理模式下的处理行数。
3.根据权利要求1或2所述的方法，其特征在于，所述处理函数包括多个子处理函数，所述多个子处理函数是根据所述表达式的多个子表达式确定的，所述每个子处理函数与所述多个表达式中的每个子表达式之间存在一一对应关系，所述每个子表达式包括至少一个字符，所述子处理函数的处理模式是所述子表达式的处理模式。
4.根据权利要求3所述的方法，其特征在于，所述配...
【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于数据处理系统，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述数据处理模式是批处理模式的情况下，所述配置信息还包括所述批处理模式下的处理行数。
3.根据权利要求1或2所述的方法，其特征在于，所述处理函数包括多个子处理函数，所述多个子处理函数是根据所述表达式的多个子表达式确定的，所述每个子处理函数与所述多个表达式中的每个子表达式之间存在一一对应关系，所述每个子表达式包括至少一个字符，所述子处理函数的处理模式是所述子表达式的处理模式。
4.根据权利要求3所述的方法，其特征在于，所述配置信息是根据用户输入的配置模版确定的，所述配置模版包括子表达式的信息与配置信息之间的对应关系，所述子表达式的信息包括所述子表达式、所述子表达式的类型、所述子表达式的数据类型中的一种或者多种。
5.根据权利要求4所述的方法，其特征在于，所述配置信息是根据历史数据确定的，所述历史数据包括历史子表达式的信息与配置信息之间的对应关系，所述历史数据还包括使用配置信息处理数据时的处理开销，所述处理开销是根据所述历史子表达式对应的历史子处理函数运行时的运行参数确定的，所述运行参数包括运行时间、内存占用、缓存容量、中央处理器cpu占用中的一种或者多种。
6.根据权利要求5所述的方法，其特征在于，所述确定配置信息包括：
7.根据权利要求6所述的方法，其特征在于，无法根据所述配置模版确定数据处理模式的子表达式的第一处理模式为默认处理模式，无法根据所述历史数据确定数据处理模式的子表达式的第二处理模式为所述子表达式的第一处理模式，所述第二处理模式与所述第一处理模式不同时，所述子表达式的配置信息是所述子表达式的第二处理模式。
8.一种数据处理系统，其特征在于，所述系统包括：
9.根据权利要求8所述的系统，其特征在于，所述数据处理模式是批处理模式的情况下...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。