【技术实现步骤摘要】
基于Druid宽表的关联数据处理方法及装置
本专利技术涉及数据处理
，尤其涉及一种基于Druid宽表的关联数据处理方法及装置。
技术介绍
随着大数据技术的稳步发展，面向海量数据具有实时查询与分析功能的OLAP存储系统也得到了广泛的运用，比如Druid，现有的Druid一般采用宽表方案，也既所有字段在宽表中全部铺开的反范式设计模式，此种模式具有查询速度快的优点。但是，在Druid上游系统的某个维度数据出现变更时，需要刷新存储在Druid中segment(存储块)的数据才能实现相应维度数据的更新，众所周知，由于宽表中的维度数据量巨大，若Druid上游系统的维度数据发生频繁变更，同步采取频繁刷新segment的方案将会消耗巨大的机器资源，显然，对于频繁变更的维度数据采用同步刷新segment的方案已不能满足实际使用需求。
技术实现思路
本专利技术的目的在于提供一种基于Druid宽表的关联数据处理方法及装置，能够解决上游系统的某个维度数据频繁变更时，需要同步刷新Druid宽表导致机器资源消耗大的缺陷。
【技术保护点】
1.一种基于Druid宽表的关联数据处理方法，其特征在于，包括：/n获取包括维度字段和维值字段的Druid数据源，将所述Druid数据源通过宽表方式列出后得到Druid宽表存储在存储块中；/n基于当前Druid宽表中频繁变更的维值字段，构建用于管理维度中维值频繁变更的配置表；/n定时从新产生Druid数据源中获取维度在配置表中管理且发生数据变更的维值字段，并将所述维度字段及对应的所述维值字段加载至内存中缓存；/n根据查询请求从存储块中获取当前Druid宽表的维度字段和维值字段，和/或，从内存中获取与维度字段对应且发生变更的维值字段，汇总统计后输出查询结果。/n
【技术特征摘要】
1.一种基于Druid宽表的关联数据处理方法，其特征在于，包括：
获取包括维度字段和维值字段的Druid数据源，将所述Druid数据源通过宽表方式列出后得到Druid宽表存储在存储块中；
基于当前Druid宽表中频繁变更的维值字段，构建用于管理维度中维值频繁变更的配置表；
定时从新产生Druid数据源中获取维度在配置表中管理且发生数据变更的维值字段，并将所述维度字段及对应的所述维值字段加载至内存中缓存；
根据查询请求从存储块中获取当前Druid宽表的维度字段和维值字段，和/或，从内存中获取与维度字段对应且发生变更的维值字段，汇总统计后输出查询结果。
2.根据权利要求1所述的方法，其特征在于，将维度在配置表中管理且发生数据变更的维值字段加载至内存中缓存之后还包括：
将缓存的维度字段及对应的维值字段植入所述Druid宽表，更新Druid宽表的版本后重新存储于存储块中；
清空内存中缓存的加载数据。
3.根据权利要求2所述的方法，其特征在于，基于当前Druid宽表中频繁变更的维值字段，构建用于管理维度中维值频繁变更的配置表的方法包括：
获取存储块中最新版本的Druid宽表作为当前Druid宽表，并在当前Druid宽表中任一维度字段中的维值字段变更次数超过阈值时，构建用于匹配维度字段的维度字段定义配置表，以及构建用于管理维值字段缓存的对应关系配置表。
4.根据权利要求3所述的方法，其特征在于，定时从新产生Druid数据源中获取维度在配置表中管理且发生数据变更的维值字段，并将所述维度字段及对应的所述维值字段加载至内存中缓存的方法包括：
定时获取新产生的Druid数据源，将其与当前Druid宽表比较匹配出在所述维度字段定义配置表中管理且对应维值字段发生了数据变更的维度字段；
根据所述对应关系配置表从新产生的Druid数据源中提取出与维度字段相对应的维值字段；
将变更的维值字段和与之对应的维度字段加载至内存中缓存。
5.根据权利要求4所述的方法，其特征在于，根据查询请求从存储块中获取当前Druid宽表的维度字段和维值字段，和/或，从内存中获取与维度字段对应且发生变更的维值字段，汇总统计后输出查询结果的方法包括：
获取用户的查询请求，所述查询请求中包括查询维度字段信息、查询维值字段信息和查询过滤条件信息；
根据查询请求检索是否存在...
【专利技术属性】
技术研发人员：张美星，丁安国，李成，
申请(专利权)人：苏宁云计算有限公司，
类型：发明
国别省市：江苏;32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。