本发明专利技术公开的一种用于垃圾回收的全流程管理方法、系统和可读存储介质，其中所述系统包括：数据治理模块，用于构建非标数据的标准化、统一化、准确化以及复用化；数据计算模块，用于采用Spark作为数据计算核心，结合Hadoop集群的分布式存储与计算来实现对数据的运算；数据存储模块，用于按照数据类型对各业务数据进行分类存储；数据资产模块，用于提供支持服务以支撑各种数据的应用以及拓展服务接口；数据共享模块，用于提供外部需求数据的API接口。本发明专利技术将非标的垃圾数据采用统一标准、标签等进行存储，降低人员学习成本，提高数据的复用性，减少重复开发量，通过数据共享实现不同业务需求的输入和API的开发、监控及维护，并且在出现异常时可以及时报警。出现异常时可以及时报警。出现异常时可以及时报警。
【技术实现步骤摘要】
用于垃圾回收的全流程管理方法、系统和可读存储介质
[0001]本专利技术涉及垃圾回收
，更具体的，涉及一种用于垃圾回收的全流程管理方法、系统和可读存储介质。
技术介绍
[0002]我国人口数量多、密度高，垃圾产生量高，预计2021年我国生活垃圾产量达27097.2万吨，为了建设可持续发展的生态环境、提升居民健康的生活方式，国家发改委和住建部提出相应的实施方案，当前以政企共治为依托，采用“互联网+垃圾分类”的理念进行全流程闭环管理，基于前端收集
‑
>中端转运
‑
>末端处置的各业务场景，构建相应的业务系统，例如业主端、回收端、ERP系统、业务后台、客服系统等。
[0003]目前现有的垃圾分类回收模式，主要是集中在部分链路的业务，如智能回收箱，需要业主自行投放，自行分开；如垃圾清运，只负责点对点的清运工作；如下游处理，只负责分拣和销售以及处置业务，不能形成体系化的数据业务结构。局部的业务数据，不能形成全链路的数据汇集和分析，在业务拓展和分析评估、预测上都具有局限性,各业务系统各自有一套数据体系，存在数据口径不一致、资源利用率低、业务拓展灵活度低、分析数据难体现、跨部门业务壁垒的缺点。
技术实现思路
[0004]鉴于上述问题，本专利技术的目的是提供一种用于垃圾回收的全流程管理方法、系统和可读存储介质，能够统一数据口径，提升资源利用率并且节约成本。
[0005]本专利技术第一方面提供了一种用于垃圾回收的全流程管理系统，所述系统包括：
[0006]数据治理模块，用于构建非标数据的标准化、统一化、准确化以及复用化；
[0007]数据计算模块，用于采用Spark作为数据计算核心，结合Hadoop集群的分布式存储与计算来实现对数据的运算；
[0008]数据存储模块，用于按照数据类型对各业务数据进行分类存储；
[0009]数据资产模块，用于提供支持服务以支撑各种数据的应用以及拓展服务接口；
[0010]大数据预测模块，用于对数据进行预测预判以及数据归因；
[0011]数据共享模块，用于提供外部需求数据的API接口。
[0012]本方案中，所述数据治理模块包括：
[0013]元数据管理单元，所述元数据管理单元用于对基础库和主题库中的数据项属性进行管理，并且将对应的相关业务的属性含义进行关联；
[0014]数据标准单元，用于制定统一的标准，将不同口径的数据标准化；
[0015]数据质量单元，用于校验数据，并将校验结果发送给对应的接收端；
[0016]数据安全单元，用于对数据的安全性进行多重校验和监控。
[0017]本方案中，所述数据计算模块包括:
[0018]实时处理单元，用于对数据进行实时计算以及实时展示；
[0019]离线计算单元，用于对批量数据、周期性批量数据进行计算和展示；
[0020]流式计算单元，用于对实时产生的数据进行传输、计算和展示。
[0021]本方案中，所述数据存储模块包括：
[0022]主题库单元，用于实现拆解业务按照不同的主题域进行划分，进而将同一类业务的数据进行集成；
[0023]资源库单元，用于实现资源的集成；
[0024]原始库单元，用于实现基础数据的集成。
[0025]本方案中，所述数据资产模块包括：
[0026]数据目录单元，用于提供查询与推荐，以满足数据使用者的需求；
[0027]数据标签单元，用于对业务实体进行标签化，通过从不同维度进行刻画，其中，所述数据标签单元包括标签分类、标签更新、标签权限、标签逻辑修改以及标签下线；
[0028]数据地图单元，用于以图形化形式将全流程数据进行可视化展示。
[0029]本方案中，所述大数据预测模块包括：
[0030]数据监测单元，用于对数据的波动进行监测，并实时识别异常情况进行报警，同时通过预设阈值的调控实现对数据波动的即时性反馈，其中，所述数据监测包括内部业务检测以及城市数据监测；
[0031]数据分析单元，用于对变量因素进行波动与权重两个角度的分析，从而进行因素影响度分析；
[0032]数据归因单元，用于对数据结果进行归因分析，获取数据标签影响度，其中，所述数据标签影响度包括现有变量标签影响度以及未知变量标签影响度；
[0033]数据预测单元，用于进行目标预测与资源合理性分配预测以及城市数据预测。
[0034]本方案中，所述数据共享模块包括：
[0035]需求管理单元，用于记录整合用户的需求信息，并抽象化所述需求信息进行管理；
[0036]开放平台单元，用于提供技术支持以对接支撑业务；
[0037]API监控单元，用于对API接口进行监控，包括对响应时长、可用性以及调度量的监控。
[0038]本方案中，所述系统还包括数据表功能，用于通过表格形式来实现回收全链路的数据显示。
[0039]本专利技术第二方面还提供一种用于垃圾回收的全流程管理方法，其特征在于，应用于上述任一项所述的用于垃圾回收的全流程管理系统，所述方法包括如下步骤：
[0040]构建非标数据的标准化、统一化、准确化以及复用化；
[0041]采用Spark作为数据计算核心，结合Hadoop集群的分布式存储与计算来实现对数据的运算；
[0042]按照数据类型对各业务数据进行分类存储；
[0043]提供支持服务以支撑各种数据的应用以及拓展服务接口；
[0044]对数据进行预测预判以及数据归因；
[0045]提供外部需求数据的API接口。
[0046]本专利技术第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质中包括机器的一种用于垃圾回收的全流程管理方法程序，所述用于垃圾回收的全流程管理方法
程序被处理器执行时，实现如上述所述的一种用于垃圾回收的全流程管理方法的步骤。
[0047]本专利技术公开的一种用于垃圾回收的全流程管理方法、系统和可读存储介质，能够将非标的数据采用统一标准、标签等进行存储，降低人员学习成本，提高数据的复用性，减少重复开发量；并且可以对政府需要对垃圾分类目标和情况进行实时监管，对站点、车辆、车间等进行全流程监管；通过大量并发数据的实时计算、各类业务数据的离线或流式计算，为企业和政府提供高质量的数据决策平台；同时实现不同业务需求的输入和API的开发、监控及维护，在出现异常情况可实现自动报警，帮助技术人员快速定位问题解决问题，从而节约开发成本；最后利用大数据预测功能可实现资源投入的合理化。
附图说明
[0048]图1示出了本专利技术一种用于垃圾回收的全流程管理方法的流程图；
[0049]图2示出了本专利技术一种用于垃圾回收的全流程管理系统的框图；
[0050]图3示出了本专利技术一种用于垃圾回收的全流程管理系统的功能主题域以及部门主题域的组成示意图。
具体实施方式
本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种用于垃圾回收的全流程管理系统，其特征在于，所述系统包括：数据治理模块，用于构建非标数据的标准化、统一化、准确化以及复用化；数据计算模块，用于采用Spark作为数据计算核心，结合Hadoop集群的分布式存储与计算来实现对数据的运算；数据存储模块，用于按照数据类型对各业务数据进行分类存储；数据资产模块，用于提供支持服务以支撑各种数据的应用以及拓展服务接口；大数据预测模块，用于对数据进行预测预判以及数据归因；数据共享模块，用于提供外部需求数据的API接口。2.根据权利要求1所述的一种用于垃圾回收的全流程管理系统，其特征在于，所述数据治理模块包括：元数据管理单元，所述元数据管理单元用于对基础库和主题库中的数据项属性进行管理，并且将对应的相关业务的属性含义进行关联；数据标准单元，用于制定统一的标准，将不同口径的数据标准化；数据质量单元，用于校验数据，并将校验结果发送给对应的接收端；数据安全单元，用于对数据的安全性进行多重校验和监控。3.根据权利要求1所述的一种用于垃圾回收的全流程管理系统，其特征在于，所述数据计算模块包括:实时处理单元，用于对数据进行实时计算以及实时展示；离线计算单元，用于对批量数据、周期性批量数据进行计算和展示；流式计算单元，用于对实时产生的数据进行传输、计算和展示。4.根据权利要求1所述的一种用于垃圾回收的全流程管理系统，其特征在于，所述数据存储模块包括：主题库单元，用于实现拆解业务按照不同的主题域进行划分，进而将同一类业务的数据进行集成；资源库单元，用于实现资源的集成；原始库单元，用于实现基础数据的集成。5.根据权利要求1所述的一种用于垃圾回收的全流程管理系统，其特征在于，所述数据资产模块包括：数据目录单元，用于提供查询与推荐，以满足数据使用者的需求；数据标签单元，用于对业务实体进行标签化，通过从不同维度进行刻画，其中，所述数据标签单元包括标签分类、标签更新、标签权限、标签逻辑修改以及标签下线；数据地图单元，用于以图形化形式将全流程数据进行可...
【专利技术属性】
技术研发人员：唐伟忠，王红军，高姗姗，
申请(专利权)人：浙江虎哥数字科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。