数据中台流程制造技术

本发明专利技术公开了数据中台流程，包括如下步骤，将业务系统批量数据、VOC数据、实时数据进行适当处理后进行数据加载；将加载的数据、VOC数据中ASIN码与企业内部产品码对照表进行内外部数据融合处理；判断数据是否需要保留历史；判断数据是否只关键字段保留历史；判断数据是否增量数据接口；判断增量数据是否包含更新数据；将数据加载进各主题域；判断数据是否为多场景公共数据；进行报表数据加工，数据处理结束。本发明专利技术能够解决基层数据的快速分析、可视化呈现的问题，实现更快速更精细化的管理。理。理。

【技术实现步骤摘要】
数据中台流程


[0001]本专利技术涉及数据中台流程的
，特别是数据中台流程的


技术介绍

[0002]厨具制造制造行业生产设备多样，国产进口设备混合共存、各种工业协议标准不一、不兼容，部分生产环节对通信实时性要求高，控制环节多样、生产数据海量，数据信息来自多种数据接口和底层设备、在线质检环节多等问题。
[0003]为了完成面向厨具制造企业与数据中台设计，在各数据平台的基础上建成厨具制造企业与数据中台，解决基层数据的快速分析、可视化呈现的问题，实现更快速更精细化的管理，有必要提出数据中台流程。

技术实现思路

[0004]本专利技术的目的就是解决现有技术中的问题，提出数据中台流程，能够解决基层数据的快速分析、可视化呈现的问题，实现更快速更精细化的管理。
[0005]为实现上述目的，本专利技术提出了数据中台流程，包括如下步骤；
[0006]Step1:将业务系统批量数据、VOC数据、实时数据进行适当处理后进行数据加载；
[0007]Step2:将加载的数据、VOC数据中ASIN码与企业内部产品码对照表进行内外部数据融合处理；
[0008]Step3:判断数据是否需要保留历史；
[0009]S31.若数据需要保留历史，进入步骤四；
[0010]S32.若数据不需要保留历史，则数据进行Updata/Insert算法处理后，进入步骤Step7；
[0011]Step4:判断数据是否只关键字段保留历史；
[0012]S41.若数据只关键字段保留历史，则数据进行历史拉链算法处理后，进入步骤Step7；
[0013]S42.若数据不是只关键字段保留历史，进入步骤Step5；
[0014]Step5:判断数据是否增量数据接口；
[0015]S51.若数据增量数据接口，进入步骤Step6；
[0016]S52.若数据没有增量数据接口，则数据进行切片快照算法处理后，进入步骤Step7；
[0017]Step6:判断增量数据是否包含更新数据；
[0018]S61.若包含更新数据，则数据进行历史拉链算法处理后，进入步骤Step7；
[0019]S62.若不包含更新数据，则增量追加算法处理后，进入步骤Step7；
[0020]Step7:将数据加载进各主题域；
[0021]Step8:判断数据是否为多场景公共数据；
[0022]S81.若数据是多场景公共数据，则进行公共逻辑数据加工后，进入步骤Step9；
[0023]S82.若数据不是多场景公共数据，则直接进入步骤Step9；
[0024]Step9:进行报表数据加工，数据处理结束。
[0025]作为优选，所述步骤一中，将业务系统批量数据直接进行数据加载。
[0026]作为优选，所述步骤一中，将VOC数据进行VOC数据结构化处理后，再进行数据加载。
[0027]作为优选，所述步骤一中，将实时数据进行kafka实时数据采集后，进行数据持久化处理，然后进行数据加载。
[0028]作为优选，所述步骤二中，VOC为VOC
‑
voice of customer，VOC
‑
voice of customer是客户声音。
[0029]作为优选，所述步骤二中，ASIN为ASIN
‑
Amazon standard identification number，ASIN
‑
Amazon standard identification number是亚马逊标准识别号。
[0030]本专利技术的有益效果：本专利技术能够解决基层数据的快速分析、可视化呈现的问题，实现更快速更精细化的管理；融合的制造行业数据模具，除了生产、采购、库存、销售、财务、人力等主题，增加了客户声音主题，可以从市场上客户的反馈出发，挖掘产品改进点及质量提升点；全面的语以层模型，业务人员通过BI工具采用拖拉拽的方式，就可以实现快速的自助数据分析。
[0031]本专利技术的特征及优点将通过实施例结合附图进行详细说明。
【附图说明】
[0032]图1是本专利技术数据中台流程的流程图。
【具体实施方式】
[0033]参阅图1，本专利技术数据中台流程，包括如下步骤；
[0034]Step1:将业务系统批量数据、VOC数据、实时数据进行适当处理后进行数据加载；
[0035]Step2:将加载的数据、VOC数据中ASIN码与企业内部产品码对照表进行内外部数据融合处理；
[0036]Step3:判断数据是否需要保留历史；
[0037]S31.若数据需要保留历史，进入步骤四；
[0038]S32.若数据不需要保留历史，则数据进行Updata/Insert算法处理后，进入步骤Step7；
[0039]Step4:判断数据是否只关键字段保留历史；
[0040]S41.若数据只关键字段保留历史，则数据进行历史拉链算法处理后，进入步骤Step7；
[0041]S42.若数据不是只关键字段保留历史，进入步骤Step5；
[0042]Step5:判断数据是否增量数据接口；
[0043]S51.若数据增量数据接口，进入步骤Step6；
[0044]S52.若数据没有增量数据接口，则数据进行切片快照算法处理后，进入步骤Step7；
[0045]Step6:判断增量数据是否包含更新数据；
[0046]S61.若包含更新数据，则数据进行历史拉链算法处理后，进入步骤Step7；
[0047]S62.若不包含更新数据，则增量追加算法处理后，进入步骤Step7；
[0048]Step7:将数据加载进各主题域；
[0049]Step8:判断数据是否为多场景公共数据；
[0050]S81.若数据是多场景公共数据，则进行公共逻辑数据加工后，进入步骤Step9；
[0051]S82.若数据不是多场景公共数据，则直接进入步骤Step9；
[0052]Step9:进行报表数据加工，数据处理结束。
[0053]其中，所述步骤一中，将业务系统批量数据直接进行数据加载。
[0054]其中，所述步骤一中，将VOC数据进行VOC数据结构化处理后，再进行数据加载。
[0055]其中，所述步骤一中，将实时数据进行kafka实时数据采集后，进行数据持久化处理，然后进行数据加载。
[0056]其中，所述步骤二中，VOC为VOC
‑
voice of customer，VOC
‑
voice of customer是客户声音。
[0057]其中，所述步骤二中，ASIN为ASIN
‑
Amazon standard identification number，ASIN
‑
A本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.数据中台流程，其特征在于：包括如下步骤；Step1:将业务系统批量数据、VOC数据、实时数据进行适当处理后进行数据加载；Step2:将加载的数据、VOC数据中ASIN码与企业内部产品码对照表进行内外部数据融合处理；Step3:判断数据是否需要保留历史；S31.若数据需要保留历史，进入步骤四；S32.若数据不需要保留历史，则数据进行Updata/Insert算法处理后，进入步骤Step7；Step4:判断数据是否只关键字段保留历史；S41.若数据只关键字段保留历史，则数据进行历史拉链算法处理后，进入步骤Step7；S42.若数据不是只关键字段保留历史，进入步骤Step5；Step5:判断数据是否增量数据接口；S51.若数据增量数据接口，进入步骤Step6；S52.若数据没有增量数据接口，则数据进行切片快照算法处理后，进入步骤Step7；Step6:判断增量数据是否包含更新数据；S61.若包含更新数据，则数据进行历史拉链算法处理后，进入步骤Step7；S62.若不包含更新数据，则增量追加算法处理后，进入步骤Step7；Step7:将数据加载进各主题域；Step8:判断数据是否为多场景公共数据；S81.若数据是多场景公共数据，则进行公共...

【专利技术属性】
技术研发人员：袁军，梁郁庆，蔡德全，陈锡雁，王力，杨子勤，
申请(专利权)人：浙江天喜厨电股份有限公司，
类型：发明
国别省市：