用于处理数据的方法、系统、装置及存储介质制造方法及图纸

本申请实施例公开了一种用于处理数据的方法、系统、装置及存储介质，该方法应用于数据仓库，所述数据仓库依次包括数据准备层、细节数据层、数据服务层以及应用数据服务层，通过触发爬虫从存储设备中抓取元数据，以及触发细节数据层、数据服务层和应用数据服务层执行作业，实现了数据仓库的构建，减少了开发人员维护数据仓库各个组件之间的兼容性和底层的服务的工作量，使得开发人员可以专心于业务指标的开发，降低了数据仓库的构建和维护成本。降低了数据仓库的构建和维护成本。降低了数据仓库的构建和维护成本。

【技术实现步骤摘要】
用于处理数据的方法、系统、装置及存储介质


[0001]本申请涉及数据处理
，具体涉及一种用于处理数据的方法、一种用于处理数据的系统、一种用于处理数据的装置及一种机器可读存储介质。

技术介绍

[0002]企业通常基于分布式系统基础架构的原生Hadoop、高度集成化的Hadoop发行版(Cloudera
’
s Distribution Including Apache Hadoop，CDH)、MaxCompute或Dataworks构建数据仓库。
[0003]基于Hadoop的数据仓库开放性比较好，适合拥有庞大技术团队的巨头企业针对自己的业务做一些底层的修改和开发，然而，该数据仓库的维护成本非常高，需要有专业的运维团队，不适合中小型的初创企业。

技术实现思路

[0004]本申请实施例的目的是提供一种用于处理数据的方法、系统、装置及存储介质，旨在解决现有技术中企业构建数据仓库的成本较高的问题。
[0005]为了实现上述目的，本申请第一方面提供一种用于处理数据的方法，应用于数据仓库，数据仓库依次包括数据准备层、细节数据层、数据服务层以及应用数据服务层，方法包括：
[0006]在数据准备层，触发爬虫抓取存储在存储设备中的原始数据的元数据；
[0007]在细节数据层，监听数据准备层的抓取是否成功，在数据准备层抓取成功的情况下，触发本层基于数据准备层抓取的元数据执行作业，在得到本层的执行结果后输出至存储设备，并监听本层执行作业是否成功，在本层执行作业成功的情况下，触发爬虫抓取存储设备中本层的执行结果的元数据；
[0008]在数据服务层，监听细节数据层的抓取是否成功，在细节数据层抓取成功的情况下，触发本层基于细节数据层抓取的元数据执行作业，在得到本层的执行结果后输出至存储设备，并监听本层执行作业是否成功，在本层执行作业成功的情况下，触发爬虫抓取存储设备中本层的执行结果的元数据；
[0009]在应用数据服务层，监听数据服务层的抓取是否成功，在数据服务层抓取成功的情况下，触发本层基于数据服务层的执行结果的元数据执行作业，以得到原始数据对应的业务指标数据。
[0010]在本申请实施例中，触发本层基于数据准备层抓取的元数据执行作业，在得到本层的执行结果后输出至存储设备，包括：
[0011]触发执行对数据准备层抓取的元数据进行清洗的作业，以得到清洗后的数据；
[0012]将清洗后的数据输出至存储设备。
[0013]在本申请实施例中，触发本层基于细节数据层抓取的元数据执行作业，在得到本层的执行结果后输出至存储设备，包括：
[0014]触发执行对细节数据层抓取的元数据进行聚合的作业，以得到宽表；
[0015]将宽表输出至存储设备。
[0016]在本申请实施例中，存储设备为云计算服务AWS的存储单元S3。
[0017]在本申请实施例中，用于处理数据的方法还包括：
[0018]将业务指标数据输出至存储单元S3和业务数据库。
[0019]在本申请实施例中，用于处理数据的方法还包括：
[0020]在应用数据服务层，监听本层执行作业是否成功；
[0021]在本层执行作业成功的情况下，触发爬虫抓取存储单元S3中业务指标数据的元数据；
[0022]将业务指标数据的元数据输出至业务数据库。
[0023]在本申请实施例中，用于处理数据的方法还包括：
[0024]在数据准备层，通过定时触发器触发第一爬虫抓取原始数据的元数据；
[0025]在细节数据层，通过第一触发器监听数据准备层的抓取是否成功，在数据准备层抓取成功的情况下，触发本层基于数据准备层抓取的元数据执行作业，在得到本层的执行结果后输出至存储设备，并通过第二触发器监听本层执行作业是否成功，在本层执行作业成功的情况下，触发第二爬虫抓取存储设备中本层的执行结果的元数据；
[0026]在数据服务层，通过第三触发器监听细节数据层的抓取是否成功，在细节数据层抓取成功的情况下，触发本层基于细节数据层抓取的元数据执行作业，在得到本层的执行结果后输出至存储设备，并通过第四触发器监听本层执行作业是否成功，在本层执行作业成功的情况下，触发第三爬虫抓取存储设备中本层的执行结果的元数据；
[0027]在应用数据服务层，通过第五触发器监听数据服务层的抓取是否成功，在数据服务层抓取成功的情况下，触发本层基于数据服务层的执行结果的元数据执行作业，以得到原始数据对应的业务指标数据。
[0028]在本申请实施例中，用于处理数据的方法还包括：
[0029]创建数据仓库的工作流；
[0030]确定工作流中爬虫对应的节点的颜色；
[0031]在颜色为第一预设颜色的情况下，确定爬虫抓取成功；
[0032]在颜色为第二预设颜色的情况下，确定爬虫抓取失败。
[0033]本申请第二方面提供一种用于处理数据的装置，其特征在于，应用于数据仓库，数据仓库依次包括数据准备层、细节数据层、数据服务层以及应用数据服务层，装置包括：
[0034]第一数据处理模块，用于在数据准备层，触发爬虫抓取存储在存储设备中的原始数据的元数据；
[0035]第二数据处理模块，用于在细节数据层，监听数据准备层的抓取是否成功，在数据准备层抓取成功的情况下，触发本层基于数据准备层抓取的元数据执行作业，在得到本层的执行结果后输出至存储设备，并监听本层执行作业是否成功，在本层执行作业成功的情况下，触发爬虫抓取存储设备中本层的执行结果的元数据；
[0036]第三数据处理模块，用于在数据服务层，监听细节数据层的抓取是否成功，在细节数据层抓取成功的情况下，触发本层基于细节数据层抓取的元数据执行作业，在得到本层的执行结果后输出至存储设备，并监听本层执行作业是否成功，在本层执行作业成功的情
况下，触发爬虫抓取存储设备中本层的执行结果的元数据；
[0037]第四数据处理模块，用于在应用数据服务层，监听数据服务层的抓取是否成功，在数据服务层抓取成功的情况下，触发本层基于数据服务层的执行结果的元数据执行作业，以得到原始数据对应的业务指标数据。
[0038]本申请第三方面提供一种处理数据的设备，包括：
[0039]存储器，用于存储用于处理数据的程序；
[0040]处理器，被配置成从存储器调用用于处理数据的程序使得处理器能够执行上述的用于处理数据的方法。
[0041]本申请第四方面提供一种用于处理数据的系统，包括：
[0042]存储设备，用于存储原始数据；
[0043]上述的用于处理数据的设备。
[0044]在本申请实施例中，存储设备为AWS的存储单元S3，系统还包括：
[0045]AWS云服务器，用于接收原始数据；
[0046]存储单元S3，用于从AWS云服务器获取原始数据，并存储原始数据。
[0047]本申请第五方面提供一种机器可读存储介质，该机器可本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于处理数据的方法，其特征在于，应用于数据仓库，所述数据仓库依次包括数据准备层、细节数据层、数据服务层以及应用数据服务层，所述方法包括：在数据准备层，触发爬虫抓取存储在存储设备中的原始数据的元数据；在细节数据层，监听所述数据准备层的抓取是否成功，在所述数据准备层抓取成功的情况下，触发本层基于所述数据准备层抓取的元数据执行作业，在得到所述本层的执行结果后输出至所述存储设备，并监听本层执行作业是否成功，在本层执行作业成功的情况下，触发爬虫抓取所述存储设备中本层的执行结果的元数据；在数据服务层，监听所述细节数据层的抓取是否成功，在所述细节数据层抓取成功的情况下，触发本层基于所述细节数据层抓取的元数据执行作业，在得到所述本层的执行结果后输出至所述存储设备，并监听本层执行作业是否成功，在本层执行作业成功的情况下，触发爬虫抓取所述存储设备中本层的执行结果的元数据；在应用数据服务层，监听所述数据服务层的抓取是否成功，在所述数据服务层抓取成功的情况下，触发本层基于所述数据服务层的执行结果的元数据执行作业，以得到所述原始数据对应的业务指标数据。2.根据权利要求1所述的方法，其特征在于，所述触发本层基于所述数据准备层抓取的元数据执行作业，在得到所述本层的执行结果后输出至所述存储设备，包括：触发执行对所述数据准备层抓取的元数据进行清洗的作业，以得到清洗后的数据；将所述清洗后的数据输出至所述存储设备。3.根据权利要求2所述的方法，其特征在于，所述触发本层基于所述细节数据层抓取的元数据执行作业，在得到所述本层的执行结果后输出至所述存储设备，包括：触发执行对所述细节数据层抓取的元数据进行聚合的作业，以得到宽表；将所述宽表输出至所述存储设备。4.根据权利要求1至3中任意一项所述的方法，其特征在于，所述存储设备为云计算服务AWS的存储单元S3。5.根据权利要求4所述的方法，其特征在于，还包括：将所述业务指标数据输出至所述存储单元S3和业务数据库。6.根据权利要求5所述的方法，其特征在于，还包括：在应用数据服务层，监听本层执行作业是否成功；在本层执行作业成功的情况下，触发爬虫抓取所述存储单元S3中所述业务指标数据的元数据；将所述业务指标数据的元数据输出至所述业务数据库。7.根据权利要求1所述的方法，其特征在于，所述方法还包括：在数据准备层，通过定时触发器触发第一爬虫抓取所述原始数据的元数据；在细节数据层，通过第一触发器监听所述数据准备层的抓取是否成功，在所述数据准备层抓取成功的情况下，触发本层基于所述数据准备层抓取的元数据执行作业，在得到所述本层的执行结果后输出至所述存储设备，并通过第二触发器监听本层执行作业是否成功，在本层执行作业成功的情况下，触发第二爬虫抓取所述存储设备中本层的执行结果的元数据；在数据服务层，通过第三触发器监听所述细节数据层的抓取是否成功，在所述细节数
据层抓取成功的情况...

【专利技术属性】
技术研发人员：蔡伟民，
申请(专利权)人：北京镁伽科技有限公司，
类型：发明
国别省市：