数据处理方法、装置、计算设备及计算机可读存储介质制造方法及图纸

本发明专利技术实施例涉及数据处理技术领域，公开了一种数据处理方法，该方法包括：接收分析处理请求，所述分析处理请求中包括筛选条件和分析需求信息；根据所述筛选条件，从基于动态斜率的存储模型中获取目标数据；所述基于动态斜率的存储模型包括以所述动态斜率为分界线的上方存储空间及下方存储空间；所述上方存储空间用于存储各个数据列在列级别下的高频访问数据，所述下方存储空间的每行存储空间用于存储多列组合的高频访问数据；根据分析需求信息及所述目标数据进行数据处理，得到分析处理结果。通过上述方式，本发明专利技术实施例实现了数据处理的效率。理的效率。理的效率。

【技术实现步骤摘要】
数据处理方法、装置、计算设备及计算机可读存储介质


[0001]本专利技术实施例涉及数据处理
，具体涉及一种数据处理方法、数据处理装置、计算设备及计算机可读存储介质。

技术介绍

[0002]目前，针对海量数据进行复杂的多维在线分析查询处理，现有技术方案在底层存储层面通常会采用列式存储的方式替代传统关系型数据库基于行式的数据存储，然而本申请的专利技术人在实施本专利技术实施例的过程中发现：在这种场景下，需要读取大量的行，但多数据情况下仅需要很少的列数据，且通常单个查询需要极高的吞吐量。

技术实现思路

[0003]鉴于上述问题，本专利技术实施例提供了一种数据处理方法、数据处理装置、计算设备及计算机可读存储介质，用于解决现有技术中存在的数据处理效率低的技术问题。
[0004]根据本专利技术实施例的一个方面，提供了一种数据处理方法，所述方法包括：
[0005]接收分析处理请求；所述分析处理请求中包括筛选条件和分析需求信息；
[0006]根据所述筛选条件，从基于动态斜率的存储模型中获取目标数据；所述基于动态斜率的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：接收分析处理请求；所述分析处理请求中包括筛选条件和分析需求信息；根据所述筛选条件，从基于动态斜率的存储模型中获取目标数据；所述基于动态斜率的存储模型包括以所述动态斜率为分界线的上方存储空间及下方存储空间；所述上方存储空间用于存储各个数据列在列级别下的高频访问数据，所述下方存储空间的每行存储空间用于存储多列组合的高频访问数据；根据所述分析需求信息及所述目标数据进行数据处理，得到分析处理结果。2.根据权利要求1所述的方法，其特征在于，所述接收分析处理请求之前，所述方法包括：获取原始数据；构建所述原始数据的数据量K倍存储空间的动态窗体空间，K大于1；在所述动态窗体空间内，以所述动态斜率为参照形成基准分界线；将所述原始数据中各个数据列在列级别下的高频访问数据存储在所述上方存储空间；将所述原始数据中的源数据在所述下方存储空间中按照斜率梯度存储在所述斜率分界线下方，形成源数据块；在所述下方存储空间中所述源数据块下方存储多列组合的高频访问数据。3.根据权利要求2所述的方法，其特征在于，所述根据所述分析处理请求，基于动态斜率的存储模型获取目标数据之后，所述方法还包括：更新所述存储模型中的高频访问数据；根据所述高频访问数据调整所述存储模型中数据位置，以调整所述存储模型的动态斜率。4.根据权利要求1
‑
3任一项所述的方法，其特征在于，所述动态斜率通过一组反映基准分界线上的多个存储数据块在所述存储模型的动态窗体空间内位置的二维坐标值和指针索引值所构成的向量构成；所述二维坐标值为所述存储数据块在存储模型中的位置坐标，所述索引值为所述动态斜率中上一个所述存储数据块的位置坐标。5.根据权利要求4所述的方法，其特征在于，所述根据所述筛选条件，从基于动态斜率的存储模型中获取目标数据，包括：对所述筛选条件进行解析，获取任务计算所需要的数据列信息、筛选范围及计算筛选条件；根据所述数据列信息从所述下方存储空间中按照梯度顺序定位到一个或多个具体行；依次获取对应具体行的行数据并与所述计算筛选条件做比对；若对应具体行的行数据符合所述计...

【专利技术属性】
技术研发人员：韩宇龙，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：