一种关联维表的方法和装置制造方法及图纸

本发明专利技术公开了一种关联维表的方法和装置，涉及大数据技术领域。该方法的一具体实施方式包括：将各个数据源的事实表汇聚成主数据宽表；从数据维表中获取属性编码及其对应的属性，生成以属性编码为键、属性为值的键值对；将所述主数据宽表与所述键值对关联，从而生成临时表；在所述临时表中，将所述主数据宽表中的属性编码与所述键值对中的键进行匹配，以获取所述键对应的值，并将所述值填充到所述临时表中。该实施方式能够解决维表多次关联带来的性能消耗和串行执行效率较低的技术问题。能消耗和串行执行效率较低的技术问题。能消耗和串行执行效率较低的技术问题。

【技术实现步骤摘要】
一种关联维表的方法和装置


[0001]本专利技术涉及大数据
，尤其涉及一种关联维表的方法和装置。

技术介绍

[0002]在大数据离线开发工作中，经常会存在相同属性的字段在一张事实表中出现多次的情况，比如城市名称。在一条完整的供应链信息中，从仓库开始，经过多级的分拣中心或转运中心，再到达站点，最终到达客户手中。其中，供应链信息中的每个组织或个人都有地址属性，都要展示城市名称，因此就会关联地址维表多次。
[0003]目前主流的处理方式是，在存储数据时，将某些维度信息或者特征信息统一放在维表中，然后设置编码作为唯一标识。例如城市信息，将城市名称、所在省份、国家以及经纬度信息等都统一存储在城市信息维表中，用城市编码作为唯一标识，然后在事实表中用城市编码代替其他城市信息，以达到减少冗余数据的目的。在统计数据时，事实表通过编码关联维表，获取其所需的相应信息。以城市名称为例，事实表使用表中的城市编码关联城市信息维表，获取城市名称，将城市名称填充到相应字段，生成最终展示的报表。一般使用left join子句关联维表，事实表中有多个城市编码就关联维本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种关联维表的方法，其特征在于，包括：将各个数据源的事实表汇聚成主数据宽表；从数据维表中获取属性编码及其对应的属性，生成以属性编码为键、属性为值的键值对；将所述主数据宽表与所述键值对关联，从而生成临时表；在所述临时表中，将所述主数据宽表中的属性编码与所述键值对中的键进行匹配，以获取所述键对应的值，并将所述值填充到所述临时表中。2.根据权利要求1所述的方法，其特征在于，从数据维表中获取属性编码及其对应的属性，生成以属性编码为键、属性为值的键值对，包括：根据需要填充的维度数据，查找出所述维度数据对应的数据维表；从所述数据维表中获取各个属性编码以及所述各个属性编码对应的属性；对于每个属性编码及其对应的属性，生成以所述属性编码为键、所述属性为值的键值对。3.根据权利要求1所述的方法，其特征在于，将所述主数据宽表与所述键值对关联，从而生成临时表，包括：将所述键值对作为一个字段，添加到所述主数据宽表每行的末尾，从而生成临时表。4.根据权利要求1所述的方法，其特征在于，在所述临时表中，将所述主数据宽表中的属性编码与所述键值对中的键进行匹配，以获取所述键对应的值，并将所述值填充到所述临时表中，包括：在所述临时表中，通过SELECT子句并行地将所述主数据宽表中的属性编码与所述键值对中的键进行匹配，以获取所述键对应的值；将所述值填充到所述临时表中。5.根据权利要求1所述的方法，其特征在于，将所述主数据宽表中的属性编码与所述键值对中的键进行匹配，以获取所述键对应的值，包括：对于所述主数据宽表中的每个属性编码，判断是否能够在所述键值对中匹配出属...

【专利技术属性】
技术研发人员：刘克伟，
申请(专利权)人：北京京东振世信息技术有限公司，
类型：发明
国别省市：