【技术实现步骤摘要】
本专利技术是一种子单站点扫描数据整合方法，属于数据整合领域。
技术介绍
1、当前数仓开发报表，都是直接扫描表抓取数据进行去重然后关联或者聚合之后来获得报表指标，这是因为以往扫描数据去重规则未能统一，公共指标不能重复利用所致，这就导致了数仓当中很多报表代码出现大量重复计算，服务器间资源日趋紧张，作业间相互竞争资源使得报表计算的速度越来越慢，最终会导致服务器无法再运行更多的报表，不得不申请新的服务器，针对如此现状，我们急需开发出子单站点扫描清洗大宽表来解决重复去重和计算相同指标的弊端。
2、本
技术实现思路
3、针对现有技术中的问题，本专利技术提供了一种子单站点扫描数据整合方法。
4、本专利技术解决其技术问题所采用的技术方案是：
5、提供了一种子单站点扫描数据整合方法，包括：
6、获取各种数据，得到对应的表格，包括原始扫描数据表、限期历史目标表、限期录单信息表以及路由信息表；
7、对原始扫描数据表进行预处理，得到回算周期21天的限期历史数据表；
8、依据设定的去重清洗规则从限期历史数据表提取对应数据，得到对应的表格，包括装车及发件扫描表、卸车及到件扫描表、集拖分拣扫描表、异常扫描表以及派签扫描表，并将得到的表格进行数据整合，得到子单站点框架表；
9、从原始扫描数据表中抓取同站点的两次卸车数据，得到对应表格，并将卸车数据与过程数据表关联，得到可重复装卸站点扫描表；
10、从子单站点框架表中排除两次卸车数据，得到不可重复站点框架表，
11、对可重复装卸站点扫描表和不可重复站点扫描表进行数据汇总得到站点扫描汇总表，并将站点扫描汇总表关联交接单服务表，用以补充交接单信息，得到站点扫描补充交接单表；
12、利用站点扫描补充交接单表关联限期历史目标表、分拨或者网点清场时间表以及派签扫描表，得到目标大宽表。
13、进一步地，所述获取各种数据，得到对应的表格包括：
14、获取原始扫描数据，得到原始扫描数据表；
15、获取历史目标大宽表中过去50天到过去21天之间的数据，得到限期历史目标表；
16、获取录单信息表最近半年并且最近21天有扫描记录的数据，得到限期录单信息表；
17、获取主路由或备用路由信息，得到路由信息表；
18、从原始扫描数据表中通过自关联方式得到同站点两次卸车的数据，得到同站点两次卸车数据表；
19、获取交接单服务数据，得到交接单服务表；
20、获取分拨或者网点清场时间数据，得到分拨或者网点清场时间表。
21、进一步地，所述对原始扫描数据表进行预处理，得到回算周期21天的限期历史数据表包括：
22、将原始扫描数据表中最近21天的全量扫描数据排除限期历史目标表中可重复标志为否或者同一站点数量为2的站点数据，得到限期历史数据表。
23、进一步地，所述从原始扫描数据表中抓取同站点的两次卸车数据，得到对应表格包括：
24、从原始扫描数据表中抓取子单和站点存在于同站点两次卸车数据表中的数据，得到同站点两次扫描明细表；
25、所述将卸车数据与过程数据表关联，得到可重复装卸站点扫描表包括：
26、利用同站点两次卸车数据表关联同站点两次扫描明细表、限期录单信息表以及路由信息表，按照设定的信息留存规则，得到可重复装卸站点扫描表。
27、进一步地，所述不可重复站点框架表左关联过程数据表中的过程数据表包括：装车及发件扫描表、卸车及到件扫描表、集拖分拣扫描表、异常扫描表、限期录单信息表以及路由信息表。
28、进一步地，所述依据设定的去重清洗规则从限期历史数据表提取对应数据，得到对应的表格包括；
29、将限期历史数据表中的装车及发件扫描数据按照子单在站点去重取最晚一条记录，得到装车及发件扫描表；
30、将限期历史数据表中的卸车及到件扫描数据按照子单在站点去重取最早一条记录，得到卸车及到件扫描表；
31、从限期历史数据表中拿出集拖扫描数据按照子单在站点去重取最早一条记录，得到集拖分拣扫描表；
32、从限期历史数据表中拿出派件及签收扫描按照主单维度取最早并且派件数据优先取在签收站点的记录，得到派签扫描表；
33、从限期历史数据表中拿出异常出入库扫描数据按照子单在站点取最早进行去重后形成的记录，得到异常扫描表。
34、进一步地，所述限期历史目标表的数据维度包含主单、子单、站点、可重复标志、站点顺序、装车交接单、同一站点数量以及站点逆序；
35、所述限期录单信息表的数据维度包含主单，通过其中的始发分拨及目的分拨计算扫描数据每一站的规定下一站指标；
36、所述限期历史数据表的数据维度包括主单、子单、站点以及扫描类型；
37、所述交接单服务表的数据维度包括车辆的各种实际进出站时间以及进出站类型；
38、所述同站点两次卸车数据表的数据维度包括主单、子单、站点、扫描类型、当前站点类型、入库时间、扫描员、签收类型以及签收类型；所述同站点两次扫描明细表的扫描类型包括装车、集拖、分拣、异常入库以及异常出库；
39、所述同站点两次卸车数据表中每个子单在站点的两条数据都包含第一次卸车扫描时间uld_tm1、第二次卸车扫描时间uld_tm2以及卸车次数uld_cnt。
40、进一步地，所述在可重复装卸站点扫描表中：
41、利用所述同站点两次卸车数据表关联同站点两次扫描明细表中不同扫描类型数据，同站点两次扫描明细表中扫描时间小于第二次卸车时间uld_tm2且uld_cnt＝1的数据，形成子单在站点的第一次详细扫描信息，所述同站点两次扫描明细表中扫描时间大于等于第二次卸车时间uld_tm2且uld_cnt＝2的数据形成子单在站点的第二次详细扫描信息；
42、所述同站点两次卸车数据表关联限期录单信息表以及和路由信息表得到规定下一站指标。
43、进一步地，所述在站点扫描补充交接单信息表中：
44、所述站点扫描汇总表中的装车交接单和卸车交接单分别关联交接单服务表补充子单在站点的实际进出站时间、进出站地磅秤重以及进出站刷卡，利用站点最早入库时间字段对每个子单进行站点排序得到字段site_seq，计算出子单在每个站点的实际上一站、实际下一站、上一站装车交接单以及下一站卸车交接单。
45、进一步地，所述在目标大宽表中：
46、所述站点扫描补充交接单信息表关联限期历史目标表中每个子单最后一个站点的数据，将当前批次中site_seq加上限期历史目标表中每个子单的站点顺序，利用限期历史目标表中每个子单最后的站点和装车交接单补充站点扫描补充交接单信息表中的实际上一站和上一站装车交接单字段，关联原单返货信息以补充原单返货时间，关联分拨或者网点清场时间表并按照业务算法本文档来自技高网...
【技术保护点】
1.一种子单站点扫描数据整合方法，其特征在于：包括：
2.根据权利要求1的子单站点扫描数据整合方法，其特征在于：所述获取各种数据，得到对应的表格包括：
3.根据权利要求1的子单站点扫描数据整合方法，其特征在于：所述对原始扫描数据表进行预处理，得到回算周期21天的限期历史数据表包括：
4.根据权利要求2的子单站点扫描数据整合方法，其特征在于：所述从原始扫描数据表中抓取同站点的两次卸车数据，得到对应表格包括：
5.根据权利要求1的子单站点扫描数据整合方法，其特征在于：所述不可重复站点框架表左关联过程数据表中的过程数据表包括：装车及发件扫描表、卸车及到件扫描表、集拖分拣扫描表、异常扫描表、限期录单信息表以及路由信息表。
6.根据权利要求3的子单站点扫描数据整合方法，其特征在于：所述依据设定的去重清洗规则从限期历史数据表提取对应数据，得到对应的表格包括；
7.根据权利要求2的子单站点扫描数据整合方法，其特征在于：所述限期历史目标表的数据维度包含主单、子单、站点、可重复标志、站点顺序、装车交接单、同一站点数量以及站点逆
8.根据权利要求7的子单站点扫描数据整合方法，其特征在于：所述在可重复装卸站点扫描表中：
9.根据权利要求8的子单站点扫描数据整合方法，其特征在于：所述在站点扫描补充交接单信息表中：
10.根据权利要求9的子单站点扫描数据整合方法，其特征在于：所述在目标大宽表中：
...【技术特征摘要】
1.一种子单站点扫描数据整合方法，其特征在于：包括：
2.根据权利要求1的子单站点扫描数据整合方法，其特征在于：所述获取各种数据，得到对应的表格包括：
3.根据权利要求1的子单站点扫描数据整合方法，其特征在于：所述对原始扫描数据表进行预处理，得到回算周期21天的限期历史数据表包括：
4.根据权利要求2的子单站点扫描数据整合方法，其特征在于：所述从原始扫描数据表中抓取同站点的两次卸车数据，得到对应表格包括：
5.根据权利要求1的子单站点扫描数据整合方法，其特征在于：所述不可重复站点框架表左关联过程数据表中的过程数据表包括：装车及发件扫描表、卸车及到件扫描表、集拖分拣扫描表、异常扫描表、限期录单信息...
【专利技术属性】
技术研发人员：杲先柱，苏战营，李晓军，连梦真，曾雨俊，
申请(专利权)人：上海乾臻信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。