【技术实现步骤摘要】
本专利技术涉及计算机，具体涉及一种提升小文件高行数场景查询性能的方法、系统、电子设备及存储介质。
技术介绍
1、olap是一种用于处理和分析多维数据的计算机处理方式。允许用户从不同的维度和层次来观察和分析数据，以支持更深入的业务洞察。olap系统通常使用多维数据库，提供直观的界面和灵活的查询功能。mpp是一种计算机体系结构或处理数据的方法，旨在通过同时使用多个处理单元或节点来加速处理速度。在mpp系统中，任务被分解并分配到多个处理器或节点，每个处理器都能够独立执行其分配的任务。
2、在数据仓库和商业智能领域，olap借用mpp架构或者分布式计算框架(比如spark)以支持复杂的多维数据分析，而sql则是在这些系统中执行查询和分析操作的常用语言。为了实现高性能的数据查询和分析，通常会将数据分割成多个部分，由独立的处理单元(通常是节点或服务器)并行处理。对于计算机而言，并行指的是多个能同时执行的任务，由程序实现的调度系统负责任务划分和调度执行。任务个数的多少决定了并行处理能力，任务个数越多往往执行越快，任务个数越少往往执行的越慢
3、本文档来自技高网...
【技术保护点】
1.一种提升小文件高行数场景查询性能的方法，其特征在于，所述方法具体包括：
2.根据权利要求1所述提升小文件高行数场景查询性能的方法，其特征在于，所述获取高行数小文件，基于所述高行数小文件构建任务，包括；
3.根据权利要求1所述提升小文件高行数场景查询性能的方法，其特征在于，所述判断调度系统中是否存在空闲处理器，若是，基于所述空闲处理器的数量对所述任务进行拆分，得到对应数量的子任务，包括；
4.根据权利要求1所述提升小文件高行数场景查询性能的方法，其特征在于，所述将所述子任务下发至对应的空闲处理器，包括；
5.一种提升小...
【技术特征摘要】
1.一种提升小文件高行数场景查询性能的方法，其特征在于，所述方法具体包括：
2.根据权利要求1所述提升小文件高行数场景查询性能的方法，其特征在于，所述获取高行数小文件，基于所述高行数小文件构建任务，包括；
3.根据权利要求1所述提升小文件高行数场景查询性能的方法，其特征在于，所述判断调度系统中是否存在空闲处理器，若是，基于所述空闲处理器的数量对所述任务进行拆分，得到对应数量的子任务，包括；
4.根据权利要求1所述提升小文件高行数场景查询性能的方法，其特征在于，所述将所述子任务下发至对应的空闲处理器，包括；
5.一种提升小文件高行数场景查询性能的系统，其特征在于，包括：
6.根据权利要求5所述提升小文件高行数场景查询性能的系统，其特征在于，所述任务构建模块...
【专利技术属性】
技术研发人员：甘雨，李扬，韩卿，
申请(专利权)人：上海跬智信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。