确定数据处理过程老化状态的方法、装置及可读存储介质制造方法及图纸

本申请提供一种确定数据处理过程老化状态的方法、装置及可读存储介质，其中方法包括：确定能够被数据仓库系统调度的数据处理过程；确定所述数据处理过程的老化特征向量；将所述老化特征向量输入至已训练的二项分类模型中，通过所述二项分类模型计算出与所述数据处理过程对应的预测值；基于所述预测值确定所述数据处理过程的老化状态。本申请基于二项分类模型计算得到的预测值能够全面、准确地预测出数据处理过程的老化状态，及时主动发现老化的数据处理过程；还可以实时发现老化的数据处理过程，大大提高了数据处理过程检测的时效性和检测效果。

【技术实现步骤摘要】
确定数据处理过程老化状态的方法、装置及可读存储介质
本申请涉及数据处理
，尤其涉及一种确定数据处理过程老化状态的方法、装置及可读存储介质。
技术介绍
在数据仓库系统中，数据抽取(Extract)、转换(Transform)、加载(Load)(简称为ETL)等数据处理过程随着系统复杂度的提升不断叠加。为了降低系统复杂度，现有技术的一种实现方式是通过在数据处理过程上线前注册该数据处理过程的生命周期，当数据处理过程到达其对应的生命周期时，则对该数据处理过程对应的数据进行存档和销毁。然而，由于基于生命周期的处理方式不能准确地确定数据处理过程的老化状态，若生命周期已到达但数据处理过程仍具有业务价值，数据处理过程由于被销毁导致失去其业务价值，同时会导致部分数据处理过程本身已不具备业务价值，但由于生命周期配置的限制，没有得到及时的销毁。
技术实现思路
有鉴于此，本申请提供一种数据处理过程的检测方法、装置及可读存储介质，通过主动检测数据处理过程的老化状态，确保不具备业务价值的数据处理过程能够得到及时销毁，并避免仍具有业务价值的数据处理过程被销毁。为实现上述目的，本申请提供技术方案如下：根据本申请的本文档来自技高网...

【技术保护点】
1.一种确定数据处理过程老化状态的方法，其特征在于，所述方法包括：确定能够被数据仓库系统调度的数据处理过程；确定所述数据处理过程的老化特征向量；将所述老化特征向量输入至已训练的二项分类模型中，通过所述二项分类模型计算出与所述数据处理过程对应的预测值；基于所述预测值确定所述数据处理过程的老化状态。

【技术特征摘要】
1.一种确定数据处理过程老化状态的方法，其特征在于，所述方法包括：确定能够被数据仓库系统调度的数据处理过程；确定所述数据处理过程的老化特征向量；将所述老化特征向量输入至已训练的二项分类模型中，通过所述二项分类模型计算出与所述数据处理过程对应的预测值；基于所述预测值确定所述数据处理过程的老化状态。2.根据权利要求1所述的方法，其特征在于，所述基于所述预测值确定所述数据处理过程的老化状态，包括：确定所述预测值与预设阈值的大小关系；基于所述大小关系确定所述数据处理过程的老化状态。3.根据权利要求1所述的方法，其特征在于，所述确定所述数据处理过程的老化特征向量的步骤，包括：确定所述数据处理过程在预设周期内的特征参数；基于所述特征参数确定所述数据处理过程的老化特征向量。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：确定距离预设时间点之前的预设时间段内能够被数据仓库系统调度的数据处理过程；确定所述能够被数据仓库系统调度的数据处理过程对应的老化特征向量以及相应的状态变化；基于所述能够被数据仓库系统调度的数据处理过程对应的老化特征向量和所述相应的状态变化，生成训练样本集；基于所述训练样本集，训练所述二项分类模型。5.根据权利要求1所述的方法，其特征在于，所述二项分类模型为二项逻辑斯蒂回归模型，在所述通过所述二项分类模型计算出与所述数据处理过程对应的预测值的步骤中，通过如下公式计算所述预测值：其中，hθ(X)表示所述预测值，X表示所述老化特征向量，θ表示所述二项逻辑斯蒂回归模型中的参数向量，所述参数向量中的元素通过训练得到，T表示向量倒置。6.一种确定数据处理过程的状态的装置，其特征在于，所述装置包括：第一确定模块，用于确定能够被数据仓库系统调度的数据处理过程；第二确定模块，用于确定所述第一确定模块确定的所述数据处理过程的老化特征向量；计算模...

【专利技术属性】
技术研发人员：喻灿，夏睿，刘强，
申请(专利权)人：北京三快在线科技有限公司，
类型：发明
国别省市：北京,11