本发明专利技术提供了一种数据处理方法及装置；方法包括：接收到输入的针对数据表的查询语句，所述查询语句携带有所述数据表与数据文件的对应关系，用于指示对所述数据表中对应所述数据文件的数据进行处理，其中，所述数据表包括至少两个数据表分片；基于所述查询语句，获取所述数据文件中的数据，并获取对应所述数据表的分片规则；根据所述分片规则，对所述数据文件中的数据进行分片，得到至少两个数据文件分片；分别将各所述数据表分片与相应的数据文件分片进行匹配，得到所述数据表中与所述数据文件分片相匹配的数据；基于匹配得到的数据，返回对应所述查询语句的响应结果。通过本发明专利技术，能够简化开发流程，提高数据处理效率。提高数据处理效率。提高数据处理效率。
【技术实现步骤摘要】
数据处理方法及装置
[0001]本专利技术涉及数据库处理
，尤其涉及一种数据处理方法及装置。
技术介绍
[0002]随着信息技术的发展，产生了海量的数据，通常需要对这些数据进行数据分析，以对相应业务进行优化，进而满足用户的需求。在数据分析的过程中，存在大量基于数据文件的数据分析需求，也即需要根据数据文件中的数据，对数据表中的数据进行过滤，再对过滤后的数据进行处理。
[0003]相关技术中，通常是通过将数据文件作为数据表导入数据库或计算引擎中，以使用JOIN语句以表与表内关联的方式将数据表指定列与数据文件指定列相交，以实现根据数据文件中的数据，对数据表中的数据进行过滤。
[0004]由于上述方法需要将数据文件作为数据表导入数据库或计算引擎中，步骤较为繁琐，且JOIN语句的处理通常需要在数据表中的数据被全量加载后再进行数据过滤，会导致大量空间、时间的消耗。
技术实现思路
[0005]本专利技术实施例提供一种数据处理方法及装置，能够简化开发流程，提高数据处理效率。
[0006]本专利技术实施例的技术方案是这样实现的：
[0007]本专利技术实施例提供一种方法，包括：
[0008]接收到输入的针对数据表的查询语句，所述查询语句携带有所述数据表与数据文件的对应关系，用于指示对所述数据表中对应所述数据文件的数据进行处理，其中，所述数据表包括至少两个数据表分片；
[0009]基于所述查询语句，获取所述数据文件中的数据，并获取对应所述数据表的分片规则；
[0010]根据所述分片规则，对所述数据文件中的数据进行分片，得到至少两个数据文件分片；
[0011]分别将各所述数据表分片与相应的数据文件分片进行匹配，得到所述数据表中与所述数据文件分片相匹配的数据；
[0012]基于匹配得到的数据，返回对应所述查询语句的响应结果。
[0013]本专利技术实施例提供一种装置，包括：
[0014]接收模块，用于接收到输入的针对数据表的查询语句，所述查询语句携带有所述数据表与数据文件的对应关系，用于指示对所述数据表中对应所述数据文件的数据进行处理，其中，所述数据表包括至少两个数据表分片；
[0015]获取模块，用于基于所述查询语句，获取所述数据文件中的数据，并获取对应所述数据表的分片规则；
[0016]分片模块，用于根据所述分片规则，对所述数据文件中的数据进行分片，得到至少两个数据文件分片；
[0017]匹配模块，用于分别将各所述数据表分片与相应的数据文件分片进行匹配，得到所述数据表中与所述数据文件分片相匹配的数据；
[0018]响应模块，用于基于匹配得到的数据，返回对应所述查询语句的响应结果。
[0019]上述方案中，所述获取模块，还用于解析所述查询语句，得到所述数据文件的路径；
[0020]根据所述数据文件的路径，获取所述路径对应的数据文件；
[0021]读取所述数据文件中的数据。
[0022]上述方案中，所述获取模块，还用于根据所述查询语句的语句结构，生成对应所述查询语句的语法树，所述语法树包括对应所述数据文件的路径的标记信息；
[0023]基于所述语法树，生成对应所述查询语句的逻辑查询计划，并
[0024]在所述逻辑查询计划生成的过程中，将所述标记信息下推至所述数据表，以使生成的逻辑查询计划中的所述数据表携带有所述数据文件的路径；
[0025]基于所述逻辑查询计划中的所述数据表，确定所述数据文件的路径。
[0026]上述方案中，所述获取模块，还用于确定所述至少两个数据表分片中数据的存储方式；
[0027]基于所述至少两个数据表分片中数据的存储方式，确定对应所述数据表的分片规则。
[0028]上述方案中，所述匹配模块，还用于通过控制节点，将各所述数据文件分片分发至对应的计算节点；
[0029]通过各所述计算节点，加载相应的数据表分片，并
[0030]将加载的所述数据表分片与所述数据文件分片进行匹配。
[0031]上述方案中，所述匹配模块，还用于基于所述数据文件分片，生成相应的数据文件分片缓存；
[0032]将所述各所述数据表分片与相应的数据文件分片缓存进行匹配。
[0033]上述方案中，所述匹配模块，还用于分别将各所述数据表分片中对应主键的主键数据与所述数据文件分片中对应所述主键的数据进行匹配，得到所述数据表中与数据文件分片中对应所述主键的数据相同的主键数据；
[0034]获取匹配到的主键数据所对应的数据。
[0035]上述方案中，所述响应模块，还用于将匹配得到的数据以数据表的形式或数据文件的形式进行存储；
[0036]生成对应所述数据的数据存储提示信息，并
[0037]将所述数据存储提示信息作为对应所述查询语句的响应结果返回。
[0038]上述方案中，所述响应模块，还用于获取所述查询语句对应的逻辑查询计划，所述逻辑查询计划用于指示对应所述数据的数据处理逻辑；
[0039]基于所述逻辑查询计划，对匹配得到的数据依据所述数据处理逻辑进行处理，得到相应的数据处理结果；
[0040]将所述数据处理结果作为对应所述查询语句的响应结果返回。
[0041]本专利技术实施例提供一种电子设备，包括：
[0042]存储器，用于存储可执行指令；
[0043]处理器，用于执行所述存储器中存储的可执行指令时，实现本专利技术实施例提供的方法。
[0044]本专利技术实施例提供一种存储介质，存储有可执行指令，用于引起处理器执行时，实现本专利技术实施例提供的方法。
[0045]本专利技术实施例具有以下有益效果：基于所述查询语句，获取所述数据文件中的数据，并获取对应所述数据表的分片规则；根据所述分片规则，对所述数据文件中的数据进行分片，得到至少两个数据文件分片；分别将各所述数据表分片与相应的数据文件分片进行匹配，得到所述数据表中与所述数据文件分片相匹配的数据；如此，直接获取数据文件中的数据，而不需要数据文件作为数据表导入数据库或计算引擎中，简化了开发流程；同时，通过对数据文件中的数据进行分片，再与相应的数据表分片进行匹配，由于分片中包含的数据量较小，相对于全量数据的匹配，本专利技术的匹配速度更快，提高了数据处理的效率。
附图说明
[0046]图1是本专利技术实施例提供的数据处理系统100的一个可选的架构示意图；
[0047]图2是本专利技术实施例提供的电子设备的一个可选的结构示意图；
[0048]图3是本专利技术实施例提供的数据处理方法的一个可选的流程示意图；
[0049]图4是本专利技术实施例提供的匹配过程的一个可选的流程示意图；
[0050]图5是本专利技术实施例提供的数据处理方法的一个可选的流程示意图；
[0051]图6是本专利技术实施例提供的数据处理装置的一个可选的组成结构示意图；
[0052]图7是本专利技术实施例提供的SQL语句的解析过程的一个可选的流程本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：接收到输入的针对数据表的查询语句，所述查询语句携带有所述数据表与数据文件的对应关系，用于指示对所述数据表中对应所述数据文件的数据进行处理，其中，所述数据表包括至少两个数据表分片；基于所述查询语句，获取所述数据文件中的数据，并获取对应所述数据表的分片规则；根据所述分片规则，对所述数据文件中的数据进行分片，得到至少两个数据文件分片；分别将各所述数据表分片与相应的数据文件分片进行匹配，得到所述数据表中与所述数据文件分片相匹配的数据；基于匹配得到的数据，返回对应所述查询语句的响应结果。2.如权利要求1所述的方法，其特征在于，所述基于所述查询语句，获取所述数据文件中的数据，包括：解析所述查询语句，得到所述数据文件的路径；根据所述数据文件的路径，获取所述路径对应的数据文件；读取所述数据文件中的数据。3.如权利要求2所述的方法，其特征在于，所述解析所述查询语句，得到所述数据文件的路径，包括：根据所述查询语句的语句结构，生成对应所述查询语句的语法树，所述语法树包括对应所述数据文件的路径的标记信息；基于所述语法树，生成对应所述查询语句的逻辑查询计划，并在所述逻辑查询计划生成的过程中，将所述标记信息下推至所述数据表，以使生成的逻辑查询计划中的所述数据表携带有所述数据文件的路径；基于所述逻辑查询计划中的所述数据表，确定所述数据文件的路径。4.如权利要求1所述的方法，其特征在于，所述获取对应所述数据表的分片规则，包括：确定所述至少两个数据表分片中数据的存储方式；基于所述至少两个数据表分片中数据的存储方式，确定对应所述数据表的分片规则。5.如权利要求1所述的方法，其特征在于，所述分别将各所述数据表分片与相应的数据文件分片进行匹配，包括：通过控制节点，将各所述数据文件分片分发至对应的计算节点；通过各所述计算节点，加载相应的数据表分片，并将加载的所述数据表分片与所述数据文件分片进行匹配。6.如权利要求1所述的方法，其特征在于，所述分别将各所述...
【专利技术属性】
技术研发人员：杜钢，周东祥，熊峰，杨松青，李庆敏，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。