一种面向供应链采购的多视角数据维度模型的构建方法技术

本发明专利技术提供了一种面向供应链采购的多视角数据维度模型的构建方法，步骤如下：确定所有与指定主事务表相关的表之中的对象表和事务表，将连接关系加入图中，形成事务的关联链并生成事务对象图；逐一对事务对象图中每个事务表以及其外链表执行元组抽取处理并将抽取得到的目标字段加入对应的元组结构中，对各事务表或对象表的元组结构进行组合处理，生成每个事务表其对应视角的数据维度模型。本发明专利技术可依据数据表的特征生成初步的分析型数据维度模型并将业务型数据转换为分析型数据，降低了对业务专家的依赖度；自动生成多个围绕不同级别事务的维度模型，满足了多种业务视角的分析需求，可显著减少字段或数据视角缺失问题。可显著减少字段或数据视角缺失问题。可显著减少字段或数据视角缺失问题。

【技术实现步骤摘要】
一种面向供应链采购的多视角数据维度模型的构建方法


[0001]本专利技术涉及大数据处理及数据转换
，具体而言，涉及一种面向供应链采购的多视角数据维度模型的构建方法。
[0002]
技术介绍

[0003]大数据处理过程基本分为数据抽取、数据转换、数据载入、数据计算、数据展示等几个过程。其中在数据转换过程中，需要通过转换建模，将数据从业务支持型转换为分析支持型，其目的在于将不同维度、不同格式、不同业务含义的数据能够统一为同种数据模型，从而形成扁平化的数据维度模型，并存入数据集市或数据仓库，以便数据载入过程和数据计算过程可以进行相应的准备和计算。
[0004]在当前主流的数据工具或平台中，虽然基本原理和方法是公开的，但在具体业务场景上，依然是以提供工具支持，通过业务专家或数据专家进行手动建模的方式来开展数据转换工作的。该种方式主要存在手动建模效率低，专家业务场景知识依赖度过高的问题。且因人工建模过程的局限性，数据维度模型视角常常不够完整，容易出现在数据计算时才发现数据字段缺失或数据维度细粒度不够而被迫重新调整转换建模的情况，进而导致大数据处理的建模、计算整体过程反复调整的概率高，总体任务效率受影响。
[0005]此外，在供应链采购中，因数据统计分析需求的多样化，需要数据转换的业务类型繁多，更需要一种根据供应链采购场景的业务普遍特征进行初步数据维度模型自动化转换的方法，以减轻人工依赖，提高转换建模的设计效率。
[0006]
技术实现思路

[0007]本专利技术的目的在于提供一种面向供应链采购的多视角数据维度模型的构建方法，以解决
技术介绍
中所指出的问题。
[0008]本专利技术的实施例通过以下技术方案实现：一种面向供应链采购的多视角数据维度模型的构建方法，包括如下步骤：S1.确定与指定主事务表相关的表之中的对象表和事务表，将其连接关系加入图中，形成事务的关联链并生成事务对象图，其中，事务表指面向承载业务的事实表，对象表指在业务记录过程中，与业务或与业务相关对象有关联关系，且还具备属性特征的对象的数据模型表，所述关联链反应供应链采购过程中事务由大到小的逐层驱动关系；S2.逐一对所述事务对象图中每个事务表以及其外链表执行元组抽取处理并将抽取得到的目标字段加入对应的元组结构中，对各事务表或对象表的元组结构进行组合处理，生成每个事务表其对应视角的数据维度模型。
[0009]根据一种优选实施方式，步骤S1进一步包括如下步骤：S11.选择初始主事务表作为当前表；
S12.采用深度优先遍历当前表的所有外键ID，统计得到外键ID的数量WJ，若WJ=0，则当前表判断为对象表，将连接关系加入图中；若WJ＞0，则跳转S13；S13.根据所述外键ID遍历当前表所有的外链表，初始化统计量NMB和当前表的tList列表；若外链表的字段中无时间或日期字段，则该外链表判断为配置参数表，NMB保持不变；否则该外链表判断为对象表或事务表，将该外链表加入tList列表，NMB自加1；遍历完成后，若NMB=0，则当前表判断为对象表，将连接关系加入图中；若NMB＞0，则跳转S14；S14.若tList列表中所有表的类型均已完成判断，则跳转S15；否则，依次将tList列表中未判断的表作为当前表，跳转S12；S15.若tList列表中对象表数量大于或等于2，则当前表判断为事务表；否则当前表判断为对象表；S16.对事务连通图的连通程度进行判断，当连通程度不够时，选择未被遍历的事务表跳转S12；S17.循环步骤S11至S16，直至与初始主事务表相关的表均已被遍历并完成类型判断。
[0010]根据一种优选实施方式，步骤S16中采用如下方式对事务连通图的连通程度进行判断：计算事务对象图的连通程度C，公式表示为：上式中，m指事务对象图中事务表的数量，n指事务对象图中对象表的数量，LT
j
指某个事务表的外键数量，LO
i
指某个对象表的外键数量；其中，当C＜1时，认为事务连通图的连通程度不够。
[0011]根据一种优选实施方式，步骤S2进一步包括如下步骤：S21.选择初始主事务表作为当前生成事务表M
‑
table；S22.若M
‑
table不作为其它任何事务表的外链表，且尚未生成对应的数据维度模型，则跳转S4；否则，跳转S23；S23.将外链M
‑
table的另一事务表O
‑
table作为新的M
‑
table，并跳转S22；S24.读取M
‑
table中第一条业务数据，并根据M
‑
table的tList列表中的外键字段，找到对应的外链表；读取tList列表，将tList列表中属于事务表的外链表进行关联；并根据M
‑
table中第一条业务数据找到外链表中对应的数据，将该数据作为当前待抽取数据，跳转S25；S25.根据针对于当前待抽取数据的目标字段的抽取条件，从当前待抽取数据中抽取满足抽取条件的目标字段，并将抽取得到的目标字段加入对应的元组结构中，所述元组
结构包括对应事务表的事务元组结构filed
‑
T以及对应对象表的对象元组结构filed
‑
O；S26.循环步骤S24至S25，直至M
‑
table的tList列表中所有事务表的事务元组完成抽取；S27.将M
‑
table中第一条业务数据本身作为当前待抽取数据，跳转S25；S28.对各事务表或对象表的元组结构进行组合处理，生成元单位的维度模型；将元单位的维度模型的数据存入数据集市中的单独数据表中；S29.重复步骤S21至S28，直至M
‑
table中每一条数据均生成了其对应的维度模型，并存入数据集市中；S2910.重复步骤S21至S29，直至生成每个事务表其对应视角的数据维度模型。
[0012]根据一种优选实施方式，步骤S25进一步包括如下步骤：S251.为当前待抽取数据创建元组结构，并逐项遍历该事务表中的所有字段，当字段为字符串型字段、浮点型小数字段、整数型字段、事件或日期字段时，将满足抽取条件的字段加入事务元组结构filed
‑
T；S252.当字段为外键字段，且外键对应的外链表为对象表时，则通过计算变量L以判断是否进行对象元组抽取，公式表示为：上式中，LT
lk
指其它事务表外键包含当前对象表的数量，LO
lk
指其它对象表外键包含当前对象表的数量，LT
to
指当前对象表的外键关联事务表的数量，LO
to
指当前对象表的外键关联对象表的数量；其中，当L＜0时，跳转S253；否则，根据外键字段找到外链对象表对应的所有对象表，创建其元组结构，并逐项遍历对象表中的所有字段，当字段为字符串型字段、浮点型小数字段、整数型字段、事件或日期字段时，将满足抽取条件的字段加入对象元组结构filed
‑
O；当字段为外键字段，且外键对应的外链表本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向供应链采购的多视角数据维度模型的构建方法，其特征在于，包括如下步骤：S1.确定与指定主事务表相关的表之中的对象表和事务表，将其连接关系加入图中，形成事务的关联链并生成事务对象图，其中，事务表指面向承载业务的事实表，对象表指在业务记录过程中，与业务或与业务相关对象有关联关系，且还具备属性特征的对象的数据模型表，关联链反应供应链采购过程中事务由大到小的逐层驱动关系；S2.逐一对所述事务对象图中每个事务表以及其外链表执行元组抽取处理并将抽取得到的目标字段加入对应的元组结构中，对各事务表或对象表的元组结构进行组合处理，生成每个事务表其对应视角的数据维度模型。2.如权利要求1所述的面向供应链采购的多视角数据维度模型的构建方法，其特征在于，步骤S1进一步包括如下步骤：S11.选择初始主事务表作为当前表；S12.采用深度优先遍历当前表的所有外键ID，统计得到外键ID的数量WJ，若WJ=0，则当前表判断为对象表，将连接关系加入图中；若WJ＞0，则跳转S13；S13.根据所述外键ID遍历当前表所有的外链表，初始化统计量NMB和当前表的tList列表；若外链表的字段中无时间或日期字段，则该外链表判断为配置参数表，NMB保持不变；否则该外链表判断为对象表或事务表，将该外链表加入tList列表，NMB自加1；遍历完成后，若NMB=0，则当前表判断为对象表，将连接关系加入图中；若NMB＞0，则跳转S14；S14.若tList列表中所有表的类型均已完成判断，则跳转S15；否则，依次将tList列表中未判断的表作为当前表，跳转S12；S15.若tList列表中对象表数量大于或等于2，则当前表判断为事务表；否则当前表判断为对象表；S16.对事务连通图的连通程度进行判断，当连通程度不够时，选择未被遍历的事务表跳转S12；S17.循环步骤S11至S16，直至与初始主事务表相关的表均已被遍历并完成类型判断。3.如权利要求2所述的面向供应链采购的多视角数据维度模型的构建方法，其特征在于，步骤S16中采用如下方式对事务连通图的连通程度进行判断：计算事务对象图的连通程度C，公式表示为：上式中，m指事务对象图中事务表的数量，n指事务对象图中对象表的数量，LT
j
指某个事务表的外键数量，LO
i
指某个对象表的外键数量；其中，当C＜1时，认为事务连通图的连通程度不够。4.如权利要求1所述的面向供应链采购的多视角数据维度模型的构建方法，其特征在于，步骤S2进一步包括如下步骤：S21.选择初始主事务表作为当前生成事务表M
‑
table；
S22.若M
‑
table不作为其它任何事务表的外链表，且尚未生成对应的数据维度模型，则跳转S4；否则，跳转S23；S23.将外链M
‑
table的另一事务表O
‑
table作为新的M
‑
table，并跳转S22；S24.读取M
‑
table中第一条业务数据，并根据M
‑
tablet的List列表中的外键字段，找到对应的外链表；读取tList列表，将tList列表中属于事务表的外链表进行关联；并根据M
‑
table中第一条业务数据找到外链表中对应的数据，将该数据作为当前待抽取数据，跳转S25；S25.根据针对于当前待抽取数据的目标字段的抽取条件，从当前待抽取数据中抽取满足抽取条件的目标字段，并将抽取得到的目标字段加入对应的元组结构中，所述元组结构包括对应事务表的事务元组结构filed
‑
T以及对应对象表的对象元组结构filed
‑
O；S26.循环步骤S24至S25，直至M
‑
table的tList列表中所有事务表的事务元组完成抽取；S27.将M
‑
table中第一条业务数据本身作为当前待抽取数据，跳转S25；S28.对各事务表或对象表的元组结构进行组合处理，生成元单位的维度模型；将元单位的维度模型的数据存入数据集市中的单独数据表中；S29.重复步骤S21至S28，直至M
‑
table中每一条数据均生成了其对应的维度模型，并存入数据集市中；S2910.重复步骤S21至S29，直至生成每个事务表其对应视角的数据维度模型。5.如权利要求4所述的面向供应链采购的多视角数据维度模型的构建方法，其特征在于，步骤S25进一步包括如下步骤：S251.为当前待抽取数据创建元组结构，并逐项遍历该事务表中的所有字段，当字段为字符串型字段、浮点型小数字段、整数型字段、事件或日期字段时，将满足抽取条件的字段加入事务元组结构filed
‑
T；S252.当字段为外键字段，且外键对应的外链表为对象表时，则通过计算变量L以判断是否进行对象元组抽取，公式表示为：上式中，LT
lk
指其它事务表外键包含当前对象表的数量，LO
lk

【专利技术属性】
技术研发人员：杨艳丽，毛建新，范亚国，刘良，梁锦平，
申请(专利权)人：国能北京商务网络有限公司，
类型：发明
国别省市：