本申请涉及一种作业标签画像数据处理方法。所述方法包括：获取作业系统内与目标作业相关的作业数据；对目标作业数据进行校验，获取校验后的待处理数据；根据待处理数据的信息内容和作业设计需求信息对待处理数据进行信息组合，确定作业画像模型中的主题标签，作业画像模型包括基于作业在系统的实际运维数据进行筛选和组合后划分的不同标签类型的数据集合对各个标签类型进行打分的维度评分标签，主题标签的类型包括下述至少之一：基础属性标签、生命周期标签、作业影响标签、资源消耗标签、作业时效标签、数据血缘标签；基于所述主题标签和主题评分标签构建得所述作业画像模型中所述目标作业的实例。采用本方法能够更便捷的进行作业管理。的进行作业管理。的进行作业管理。
【技术实现步骤摘要】
一种作业标签画像数据处理方法、装置、计算机设备
[0001]本申请涉及数据处理
，特别是涉及一种作业标签画像数据处理方法、装置、计算机设备。
技术介绍
[0002]随着大数据平台的发展，平台的数据规模、作业数量、应用数目等迅速增加，对于大数据平台的服务质量和运营方式的要求日益提升。
[0003]相关技术中，大数据平台的运营方式是基于用户的需求和产生的问题，通过人工收集数据的方式获取相关数据，并且随着大数据平台的数据应用的增加，工作人员无法获取到每一个应用的相关数据。在分析需求和解决问题的过程中，一般都是依靠工作人员的经验进行判断，无法满足目前的大数据平台发展需求。
技术实现思路
[0004]基于此，有必要针对上述技术问题，提供了一种作业标签画像数据处理方法，可以对目标作业数据进行校验，根据待处理数据的信息内容和作业设计需求信息对待处理数据进行信息组合，得到不同的主题标签，再根据打分规则对标签进行打分，获得维度评分标签，获得作业标签画像。
[0005]第一方面，本申请提供了一种作业标签画像数据处理方法。所述方法包括：
[0006]获取作业系统内与目标作业相关的作业数据；
[0007]对所述目标作业数据进行校验，获取校验后的待处理数据；
[0008]根据所述待处理数据的信息内容和作业设计需求信息对所述待处理数据进行信息组合，确定作业画像模型中的主题标签，所述作业画像模型包括基于对作业在系统的实际运维数据进行筛选和组合后划分的不同标签类型的数据集合以及对各个所述标签类型进行打分的维度评分标签，所述主题标签的类型包括下述至少之一：基础属性标签、生命周期标签、作业影响标签、资源消耗标签、作业时效标签、数据血缘标签；
[0009]根据对目标作业的运维规则确定所述主题标签的打分规则；
[0010]基于所述主题标签和主题评分标签构建得所述作业画像模型中所述目标作业的实例。
[0011]在其中一个实施例中，所述校验至少包括：删除不符合预设标准的数据、补充缺失的关键字段为默认值。
[0012]在其中一个实施例中，所述资源消耗标签描述作业在作业系统上运行过程中的资源消耗的相关信息。
[0013]在其中一个实施例中，所述作业时效标签描述作业在作业系统上运行耗时、作业链路层级的相关信息。
[0014]第二方面，本申请还提供了一种作业标签画像数据处理装置，所述装置包括：
[0015]作业数据获取模块，用于获取作业系统内与目标作业相关的作业数据；
[0016]校验模块，用于对所述目标作业数据进行校验，获取校验后的待处理数据；
[0017]计算模块，用于根据所述待处理数据的信息内容和作业设计需求信息对所述待处理数据进行信息组合，确定作业画像模型中的主题标签，所述作业画像模型包括基于对作业在系统的实际运维数据进行筛选和组合后划分的不同标签类型的数据集合以及对各个所述标签类型进行打分的维度评分标签，所述主题标签的类型包括下述至少之一：基础属性标签、生命周期标签、作业影响标签、资源消耗标签、作业时效标签、数据血缘标签；
[0018]打分模块，用于根据对目标作业的运维规则确定所述主题标签的打分规则；
[0019]作业画像模块，用于基于所述主题标签和主题评分标签构建得所述作业画像模型中所述目标作业的实例。
[0020]在其中一个实施例中，所述校验至少包括：删除不符合预设标准的数据、补充缺失的关键字段为默认值。
[0021]在其中一个实施例中，所述资源消耗标签描述作业在作业系统上运行过程中的资源消耗的相关信息。
[0022]在其中一个实施例中，所述作业时效标签描述作业在作业系统上运行耗时、作业链路层级的相关信息。
[0023]第三方面，本公开还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现作业标签画像数据处理方法的步骤。
[0024]第四方面，本公开还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现作业标签画像数据处理方法的步骤。
[0025]第五方面，本公开还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现作业标签画像数据处理方法的步骤。
[0026]上述作业标签画像数据处理方法，至少包括以下有益效果：
[0027]本公开提供的实施例方案，可以对目标作业数据进行校验，根据待处理数据的信息内容和作业设计需求信息对待处理数据进行信息组合，得到不同的主题标签，再根据打分规则对标签进行打分，获得维度评分标签，获得作业标签画像。当某个作业发生问题，可以通过作业标签画像迅速获得问题位置。
[0028]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
[0029]为了更清楚地说明本公开实施例或传统技术中的技术方案，下面将对实施例或传统技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0030]图1为一个实施例中作业标签画像数据处理方法的应用环境图；
[0031]图2为一个实施例中作业标签画像数据处理方法的流程示意图；
[0032]图3为一个实施例中的作业画像模型；
[0033]图4为一个实施例中作业画像模型实现流程图；
[0034]图5为一个实施例中作业画像实施装置图；
[0035]图6为一个实施例中大数据平台的数据处理方法的装置图；
[0036]图7为一个实施例中计算机设备的内部结构图；
[0037]图8为一个实施例中一种服务器的内部结构图。
具体实施方式
[0038]为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
[0039]需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下，并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。例如若使用到第本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种作业标签画像数据处理方法，其特征在于，所述方法包括：获取作业系统内与目标作业相关的作业数据；对所述目标作业数据进行校验，获取校验后的待处理数据；根据所述待处理数据的信息内容和作业设计需求信息对所述待处理数据进行信息组合，确定作业画像模型中的主题标签，所述作业画像模型包括基于对作业在系统的实际运维数据进行筛选和组合后划分的不同标签类型的数据集合以及对各个所述标签类型进行打分的维度评分标签，所述主题标签的类型包括下述至少之一：基础属性标签、生命周期标签、作业影响标签、资源消耗标签、作业时效标签、数据血缘标签；根据对目标作业的运维规则确定所述主题标签的打分规则；基于所述主题标签和主题评分标签构建得所述作业画像模型中所述目标作业的实例。2.根据权利要求1所述的方法，其特征在于，所述校验至少包括：删除不符合预设标准的数据、补充缺失的关键字段为默认值。3.根据权利要求1所述的方法，其特征在于，所述资源消耗标签描述作业在作业系统上运行过程中的资源消耗的相关信息。4.根据权利要求1所述的方法，其特征在于，所述作业时效标签描述作业在作业系统上运行耗时、作业链路层级的相关信息。5.一种作业标签画像数据处理装置，其特征在于，所述装置包括：作业数据获取模块，用于获取作业系统内与目标作业相关的作业数据；校验模块，用于对所述目标作业数据进行校验，获取校验后的待处理数据；计算模块，用于根据所述待处理数据的信息内容和作业设计需求信息对所述...
【专利技术属性】
技术研发人员：王喆，张连明，
申请(专利权)人：上海浦东发展银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。