一种基于位图存储的数据查询方法、系统、设备及介质技术方案

本发明专利技术公开了一种基于位图存储的数据查询方法、系统、设备及介质，其中，方法包括：获取业务数据；根据聚类函数对所述业务数据进行位图构建处理，得到位图数据；根据业务过程对所述位图数据进行模型构建处理，得到位图数据仓库；根据访问请求对所述位图数据仓库进行位图查询处理，得到数据查询结果。本发明专利技术实施例使用位图存储数据，再将位图存储关键指标于数据仓库，通过数据仓库进行数据查询，能够快速、高效地查询得到目标数据，提高了数据查询的效率，可广泛应用于大数据技术领域。可广泛应用于大数据技术领域。可广泛应用于大数据技术领域。

【技术实现步骤摘要】
一种基于位图存储的数据查询方法、系统、设备及介质


[0001]本专利技术涉及大数据
，尤其是一种基于位图存储的数据查询方法、系统、设备及介质。

技术介绍

[0002]随着计算机技术的不断发展，越来越多的数据不断被挖掘应用，这些海量的数据如何存储和分析处理成为了需要解决的一大难题。当前企业主流使用大数据分布式框架对海量数据的存储和海量数据的分析计算进行解决，但是因为分布式框架中的计算框架在运算过程中会对中间结果进行处理从而反复读存磁盘，因此查询效率较慢。综合上述，相关技术中存在的技术问题亟需得到解决。

技术实现思路

[0003]有鉴于此，本专利技术实施例提供一种低成本、高查询效率的基于位图存储的数据查询方法、系统、设备及介质。
[0004]一方面，本专利技术提供了一种基于位图存储的数据查询方法，包括：
[0005]获取业务数据；
[0006]根据聚类函数对所述业务数据进行位图构建处理，得到位图数据；
[0007]根据业务过程对所述位图数据进行模型构建处理，得到位图数据仓库；
[0008本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于位图存储的数据查询方法，其特征在于，所述方法包括：获取业务数据；根据聚类函数对所述业务数据进行位图构建处理，得到位图数据；根据业务过程对所述位图数据进行模型构建处理，得到位图数据仓库；根据访问请求对所述位图数据仓库进行位图查询处理，得到数据查询结果。2.根据权利要求1所述的方法，其特征在于，所述根据聚类函数对所述业务数据进行位图构建处理，得到位图数据，包括：根据聚合函数对所述业务数据的业务信息进行聚合处理，得到原子指标位图；对所述原子指标位图进行二次计算处理，得到派生指标位图；所述位图数据包括所述原子指标位图和所述派生指标位图。3.根据权利要求2所述的方法，其特征在于，所述根据聚合函数对所述业务数据的业务信息进行聚合处理，得到原子指标位图，包括：对所述业务数据的业务信息进行分析提取处理，得到事件维度和标识号；根据聚合函数对所述事件维度和所述标识号进行函数聚合处理，得到二进制位图；对所述二进制位图进行数据仓库预处理，得到原子指标位图。4.根据权利要求2所述的方法，其特征在于，所述对所述原子指标位图进行二次计算处理，得到派生指标位图，包括：对所述原子指标位图进行聚合运算处理，得到运算结果；对所述运算结果以字节流类型进行存储处理，得到派生指标位图。5.根据权利要求1所述的方法，其特征在于，所述根据业务过程对所述位图数据进行模型构建处理，得到位图数据仓库，包括：根据业务过程对数据仓库模型进行分层构建，生成分层模型，所述分层模型包括数据明细层、数据基础层和数据服务层；根据所述数据明细层对所述位图数据进行数据汇聚处理，得到数据宽表；根据所述数据基础层对所述位图数据的维度进行汇总处理，并对所述数据宽表进行指标统计...

【专利技术属性】
技术研发人员：麦俊豪，
申请(专利权)人：天翼爱音乐文化科技有限公司，
类型：发明
国别省市：