无效数据资源的清除方法、装置、设备及计算机可读介质制造方法及图纸

本发明专利技术提出一种无效数据资源的清除方法，按照无效挖掘规则在各种类型的数据资源进行查找，确定各种类型的数据资源中是否存在无效数据资源，若是，则按照无效数据资源对应的清除方式清除无效数据资源，无效数据资源包括无效查询作业、无效计算作业、无效数据存储和无效数据调用中的至少一种。有效清除无效数据资源，避免了在数据分析过程中重复计算作业、无效计算作业、数据存储、数据调用占用资源而导致的资源浪费。本发明专利技术还提供了一种无效数据资源的清除装置、一种无效数据资源的清除设备以及一种计算机可读存储介质，具有上述技术效果。

Method, device, device and computer readable medium for eliminating invalid data resource

The invention provides a method for eliminating invalid data resources, searches various types of data resources according to invalid mining rules, determines whether invalid data resources exist in various types of data resources, and if so, eliminates invalid data resources and invalid data resources according to the corresponding eliminating method of invalid data resources. Includes at least one of the invalid query jobs, invalid calculation jobs, invalid data storage, and invalid data calls. Effective removal of invalid data resources, avoid the data analysis process of repeated computing jobs, invalid computing jobs, data storage, data calls occupy resources caused by waste of resources. The invention also provides a cleaning device for invalid data resources, a cleaning device for invalid data resources and a computer readable storage medium, which has the above technical effect.

【技术实现步骤摘要】
无效数据资源的清除方法、装置、设备及计算机可读介质
本专利技术涉及计算机领域，涉及一种无效数据资源的清除方法，还涉及一种无效数据资源的清除装置，一种无效数据资源的清除设备以及一种计算机可读存储介质。
技术介绍
互联网及其他各行各业中，数据分析被使用的越来越多，尤其对于业务种类繁多的大公司，大公司中的各个部门、各条业务不仅都有数据计算、存储、调用等应用的需求场景，而且会出现数据交叉分析应用。对于这些数据的计算、存储、调用等的应用一旦缺乏有效的管理，就会出现资源的浪费，例如：无效计算、重复计算、无效存储、重复存储、无效调用等。目前，常规的管理方法是上报后人工梳理，或者是采用内部账单机制的方式进行处理。常规的管理方法主要问题在于：(1)效率低，由于需要人工上报及整理、判断，时效性和效率较差；(2)非自主性，涉及的计算作业、数据存储、数据调用等应用靠业务线自主上报，依赖自觉性无法严格确保合理性；(3)局限性，上报、内部账单机制都具有一定主观性、考察周期也无法做到灵活，具有一定的局限性。因此，如何避免由于数据分析应用过程中无效的计算、存储、调用等而造成资源浪费，是急需解决的技术问题。
技术实现思路
本专利技术实施例提供一种无效数据资源的清除方法，还涉及一种无效数据资源的清除装置，一种无效数据资源的清除设备以及一种计算机可读存储介质，以解决现有技术中的以上技术问题中的至少一个。第一方面，本专利技术实施例提供了一种无效数据资源的清除方法，包括：按照无效挖掘规则在各种类型的数据资源进行查找，确定各种类型的数据资源中是否存在无效数据资源；若是，则按照无效数据资源对应的清除方式清除无效数据资源，无效数据资源包括无效查询作业、无效计算作业、无效数据存储和无效数据调用中的至少一种。结合第一方面，本专利技术在第一方面的第一实施方式中，按照无效挖掘规则在各种类型的数据资源进行查找，确定各种类型的数据资源中是否存在无效数据资源，包括：当数据资源为查询作业时，计算各个所述查询作业之间的相似度；从所述相似度大于阈值的各查询作业中选择出一个查询作业，将未选择的查询作业确定为无效查询作业。结合第一方面的第一实施方式，本专利技术在第一方面的第二实施方式中，按照无效数据资源对应的清除方式清除无效数据资源，包括：执行选择出的查询作业，得到查询结果；根据所述查询结果建立公共数据集市表；删除无效查询作业。结合第一方面，本专利技术在第一方面的第三实施方式中，按照无效挖掘规则在各种类型的数据资源进行查找，确定各种类型的数据资源中是否存在无效数据资源，包括：当数据资源为数据存储时，扫描各个临时数据存储表；判断已扫描的所述临时数据存储表是否重复，从重复的临时数据存储表中选择出一个临时数据存储表，将未选择的临时数据存储表确定为无效数据存储。结合第一方面的第三实施方式，本专利技术在第一方面的第四实施方式中，按照无效数据资源对应的清除方式清除无效数据资源，包括：下线无效数据存储。结合第一方面，本专利技术在第一方面的第五实施方式中，按照无效挖掘规则在各种类型的数据资源进行查找，确定各种类型的数据资源中是否存在无效数据资源，包括：当数据资源为计算作业时，则根据所述计算作业的输出日志判断所述计算作业是否异常中断；若是，将异常中断的计算作业确定为无效计算作业。结合第一方面，本专利技术在第一方面的第六实施方式中，按照无效挖掘规则在各种类型的数据资源进行查找，确定各种类型的数据资源中是否存在无效数据资源，包括：根据各种类型的数据资源与人力资源系统的绑定关系，确定是否存在离职员工的无效数据资源，其中，离职员工的无效数据资源包括离职员工的无效计算作业、无效数据存储和无效数据调用中的至少一种。结合第一方面，本专利技术在第一方面的第七实施方式中，按照无效挖掘规则在各种类型的数据资源进行查找，确定各种类型的数据资源中是否存在无效数据资源，包括：根据各种类型的数据资源与业务管理系统的绑定关系，确定是否存在已关闭业务的无效数据资源，其中，已关闭业务的无效数据资源包括已关闭业务的无效算作业、无效数据存储和无效数据调用中的至少一种。结合第一方面的第五实施方式、第六实施方式以及第七实施方式中的一种，本专利技术在第一方面的第八实施方式中，按照无效数据资源对应的清除方式清除无效数据资源，包括：将无效计算作业下线关闭，并清理所述无效计算作业在历史计算中产生的垃圾；或将无效数据存储下线；或将无效数据调用下线。第二方面，本专利技术实施例提供了一种无效数据资源的清除装置，包括：无效数据资源查找模块，用于按照无效挖掘规则在各种类型的数据资源进行查找；无效数据资源确认模块，用于确定各种类型的数据资源中是否存在无效数据资源；无效数据资源清除模块，用于若在各种类型的数据资源中存在无效数据资源，则按照无效数据资源对应的清除方式清除无效数据资源，无效数据资源包括无效查询作业、无效计算作业、无效数据存储和无效数据调用中的至少一种。结合第二方面，本专利技术在第二方面的第一实施方式中，所述无效数据资源确认模块包括：相似度计算单元，用于当数据资源为查询作业时，计算各个所述查询作业之间的相似度；重复查询确认单元，用于从所述相似度大于阈值的各查询作业中选择出一个查询作业，将未选择的查询作业确定为无效查询作业。结合第二方面的第一实施方式，本专利技术在第二方面的第二实施方式中，所述无效数据资源清除模块包括：无效查询作业清除单元，用于执行选择出的查询作业，得到查询结果，根据所述查询结果建立公共数据集市表，删除无效查询作业。结合第二方面，本专利技术在第二方面的第三实施方式中，所述无效数据资源确认模块还包括：存储表扫描单元，用于当数据资源为数据存储时，扫描各个临时数据存储表；无效数据存储确认单元，用于从重复的临时数据存储表中选择出一个临时数据存储表，将未选择的临时数据存储表确定为无效数据存储。结合第二方面的第三实施方式，本专利技术在第二方面的第四实施方式中，所述无效数据资源清除模块还包括：无效数据存储下线单元，用于下线无效数据存储。结合第二方面，本专利技术在第二方面的第五实施方式中，所述无效数据资源确认模块还包括：无效计算确认单元，用于当数据资源为计算作业时，则根据所述计算作业的输出日志判断所述计算作业是否异常中断；若是，将异常中断的计算作业确定为无效计算作业。结合第二方面，本专利技术在第二方面的第六实施方式中，所述无效数据资源确认模块还包括：离职员工数据资源确认单元，用于根据各种类型的数据资源与人力资源系统的绑定关系，确定是否存在离职员工的无效数据资源，其中，离职员工的无效数据资源包括离职员工的无效计算作业、无效数据存储和无效数据调用中的至少一种。结合第二方面，本专利技术在第二方面的第七实施方式中，所述无效数据资源确认模块还包括：关闭业务数据资源确认单元，用于根据各种类型的数据资源与业务管理系统的绑定关系，确定是否存在已关闭业务的无效数据资源，其中，已关闭业务的无效数据资源包括已关闭业务的无效算作业、无效数据存储和无效数据调用中的至少一种。结合第二方面的第五实施方式、第六实施方式和第七实施方式中的一种，本专利技术在第二方面的第八实施方式中，所述无效数据资源清除模块还包括：无效数据资源下线单元，用于将无效计算作业下线关闭，并清理所述无效计算作业在历史计算中产生的垃圾，或将无效数据存储下线，或将无效数据调用下本文档来自技高网...

【技术保护点】
1.一种无效数据资源的清除方法，其特征在于，包括：按照无效挖掘规则在各种类型的数据资源进行查找，确定各种类型的数据资源中是否存在无效数据资源；若是，则按照无效数据资源对应的清除方式清除无效数据资源，无效数据资源包括无效查询作业、无效计算作业、无效数据存储和无效数据调用中的至少一种。

【技术特征摘要】
1.一种无效数据资源的清除方法，其特征在于，包括：按照无效挖掘规则在各种类型的数据资源进行查找，确定各种类型的数据资源中是否存在无效数据资源；若是，则按照无效数据资源对应的清除方式清除无效数据资源，无效数据资源包括无效查询作业、无效计算作业、无效数据存储和无效数据调用中的至少一种。2.根据权利要求1所述的方法，其特征在于，按照无效挖掘规则在各种类型的数据资源进行查找，确定各种类型的数据资源中是否存在无效数据资源，包括：当数据资源为查询作业时，计算各个所述查询作业之间的相似度；从所述相似度大于阈值的各查询作业中选择出一个查询作业，将未选择的查询作业确定为无效查询作业。3.根据权利要求2所述的方法，其特征在于，按照无效数据资源对应的清除方式清除无效数据资源，包括：执行选择出的查询作业，得到查询结果；根据所述查询结果建立公共数据集市表；删除无效查询作业。4.根据权利要求1所述的方法，其特征在于，按照无效挖掘规则在各种类型的数据资源进行查找，确定各种类型的数据资源中是否存在无效数据资源，包括：当数据资源为数据存储时，扫描各个临时数据存储表；判断已扫描的所述临时数据存储表是否重复，从重复的临时数据存储表中选择出一个临时数据存储表，将未选择的临时数据存储表确定为无效数据存储。5.根据权利要求1所述的方法，其特征在于，按照无效数据资源对应的清除方式清除无效数据资源，包括：下线无效数据存储。6.根据权利要求1所述的方法，其特征在于，按照无效挖掘规则在各种类型的数据资源进行查找，确定各种类型的数据资源中是否存在无效数据资源，包括：当数据资源为计算作业时，则根据所述计算作业的输出日志判断所述计算作业是否异常中断；若是，将异常中断的计算作业确定为无效计算作业。7.根据权利要求1所述的方法，其特征在于，按照无效挖掘规则在各种类型的数据资源进行查找，确定各种类型的数据资源中是否存在无效数据资源，包括：根据各种类型的数据资源与人力资源系统的绑定关系，确定是否存在离职员工的无效数据资源，其中，离职员工的无效数据资源包括离职员工的无效计算作业、无效数据存储和无效数据调用中的至少一种。8.根据权利要求1所述的方法，其特征在于，按照无效挖掘规则在各种类型的数据资源进行查找，确定各种类型的数据资源中是否存在无效数据资源，包括：根据各种类型的数据资源与业务管理系统的绑定关系，确定是否存在已关闭业务的无效数据资源，其中，已关闭业务的无效数据资源包括已关闭业务的无效算作业、无效数据存储和无效数据调用中的至少一种。9.根据权利要求6至8中任一项所述的方法，其特征在于，按照无效数据资源对应的清除方式清除无效数据资源，包括：将无效计算作业下线关闭，并清理所述无效计算作业在历史计算中产生的垃圾；或将无效数据存储下线；或将无效数据调用下线。10.一种无效数据资源的清除装置，其特征在于，包括：无效数据资源查找模块，用于按照无效挖掘规则在各种类型的数据资源进行查找；无效数据资源确认模...

【专利技术属性】
技术研发人员：李德禹，卫科，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：北京,11