数据处理方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及大数据技术领域，提供一种数据处理方法、装置、设备及存储介质，方法包括：获取与作业场景对应的原始作业数据；将所述原始作业数据输入数据处理模型，得到所述数据处理模型输出的目标作业数据，所述数据处理模型通过原始作业数据样本和目标作业数据样本训练得到；基于所述作业场景的业务属性，确定所述原始作业数据与所述目标作业数据的关联关系；基于所述关联关系，生成血缘图谱。本发明专利技术用以解决现有技术中作业数据缺乏有效管理的缺陷，实现作业数据的高效管理。实现作业数据的高效管理。实现作业数据的高效管理。

【技术实现步骤摘要】
数据处理方法、装置、设备及存储介质


[0001]本专利技术涉及大数据
，尤其涉及一种数据处理方法、装置、设备及存储介质。

技术介绍

[0002]随着工程基建的大力发展，作业机械在作业时产生大量的作业数据。但现有技术中的作业数据分布分散且多样化，导致数据不规范、不一致、冗余以及无法实现共享等各种问题，并且，缺乏对作业数据的业务类别的针对性管理。另外，由于大数据技术的发展，数据的价值越来越高，数据成为了制定重要策略的基石。
[0003]因此，如何提高对作业数据的管理是目前业界亟待解决的重要课题。

技术实现思路

[0004]本专利技术提供一种数据处理方法、装置、设备及存储介质，用以解决现有技术中作业数据缺乏有效管理的缺陷，实现作业数据的高效管理。
[0005]第一方面，本专利技术提供一种数据处理方法，包括：
[0006]获取与作业场景对应的原始作业数据；
[0007]将所述原始作业数据输入数据处理模型，得到所述数据处理模型输出的目标作业数据，所述数据处理模型通过原始作业数据样本和目标作业数据样本训练得到；
[0008]基于所述作业场景的业务属性，确定所述原始作业数据与所述目标作业数据的关联关系；
[0009]基于所述关联关系，生成血缘图谱。
[0010]结合第一方面，在一种可能的实现方式中，所述数据处理模型包括：操作数据层、明细数据层、汇总数据层和应用数据层；
[0011]所述将所述原始作业数据输入数据处理模型，得到所述数据处理模型输出的目标作业数据，包括：
[0012]将所述原始作业数据输入所述操作数据层，得到所述操作数据层输出的待处理作业数据；
[0013]将所述待处理作业数据输入所述明细数据层，得到所述明细数据层输出的待使用作业数据；
[0014]将所述待使用作业数据输入所述汇总数据层，得到所述汇总数据层输出的待应用作业数据；
[0015]将所述待应用作业数据输入所述应用数据层，得到所述应用数据层输出的所述目标作业数据。
[0016]结合第一方面，在一种可能的实现方式中，所述将所述原始作业数据输入所述数据处理模型，得到所述数据处理模型输出的目标作业数据，包括：
[0017]将所述原始作业数据输入所述操作数据层，通过所述操作数据层对所述原始作业
数据进行异构数据同步处理，得到所述待处理作业数据；
[0018]将所述待处理作业数据输入所述明细数据层，通过所述明细数据层对所述待处理作业数据进行血缘关系提取操作，得到所述待使用作业数据；
[0019]将所述待使用作业数据输入所述汇总数据层，通过所述汇总数据层对所述待使用作业数据按照业务需求进行汇总处理，得到所述待应用作业数据；
[0020]将所述待应用作业数据输入所述应用数据层，通过所述应用数据层对所述待应用作业数据按照所述作业场景进行划分，得到所述目标作业数据。
[0021]结合第一方面，在一种可能的实现方式中，所述基于所述作业场景的业务属性，确定所述原始作业数据与所述目标作业数据的关联关系，包括：
[0022]基于所述作业场景的业务属性，确定所述原始作业数据与所述待处理作业数据之间的第一关联关系；
[0023]确定所述待处理作业数据与所述待使用作业数据之间的第二关联关系；
[0024]确定所述待使用作业数据与所述待应用作业数据之间的第三关联关系；
[0025]确定所述待应用作业数据与所述目标作业数据之间的第四关联关系；
[0026]将所述第一关联关系、所述第二关联关系、所述第三关联关系和所述第四关联关系作为所述关联关系。
[0027]结合第一方面，在一种可能的实现方式中，所述将所述原始作业数据输入数据处理模型，得到所述数据处理模型输出的目标作业数据之后，还包括：
[0028]将所述目标作业数据存储在与所述业务场景对应的数据集市中；
[0029]从所述数据集市中获取与业务需求对应的作业数据。
[0030]结合第一方面，在一种可能的实现方式中，所述基于所述关联关系，生成血缘图谱之后，还包括：
[0031]基于预先配置的业务处理节点，显示所述血缘图谱。
[0032]结合第一方面，在一种可能的实现方式中，所述从所述数据集市中获取与业务需求对应的作业数据之后，还包括：
[0033]若从所述数据集市中获取的所述作业数据存在问题，则接收查看指令；
[0034]响应于所述查看指令，显示所述血缘图谱；
[0035]基于所述血缘图谱，确定问题发生原因；
[0036]基于所述问题发生原因，优化所述数据处理模型。
[0037]第二方面，本专利技术还提供一种数据处理装置，包括：
[0038]获取模块，用于获取与作业场景对应的原始作业数据；
[0039]处理模块，用于将所述原始作业数据输入数据处理模型，得到所述数据处理模型输出的目标作业数据，所述数据处理模型通过原始作业数据样本和目标作业数据样本训练得到；
[0040]确定模块，用于基于所述作业场景的业务属性，确定所述原始作业数据与所述目标作业数据的关联关系；
[0041]生成模块，用于基于所述关联关系，生成血缘图谱。
[0042]第三方面，本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所
述的数据处理方法。
[0043]第四方面，本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述的数据处理方法。
[0044]本专利技术提供的数据处理方法、装置、设备及存储介质，通过获取与作业场景对应的原始作业数据，实现了原始作业数据基于作业场景的有效划分；进而，将原始作业数据输入数据处理模型，得到数据处理模型输出的目标作业数据；基于作业场景的业务属性，确定原始作业数据与目标作业数据的关联关系，可见，本专利技术能够对任意作业场景下的原始作业数据进行集中处理，以得到符合规范的目标作业数据，并基于关联关系，确定每个作业数据的来龙去脉，使作业数据具备可追溯性，方便追根溯源；最后，基于关联关系，生成血缘图谱，提高了作业数据管理的有效性和作业数据的可追溯性，为后续的业务治理，提供了有效的数据基础。
附图说明
[0045]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0046]图1是本专利技术一实施例提供的数据处理方法的流程示意图；
[0047]图2是本专利技术另一实施例提供的数据处理方法的流程示意图；
[0048]图3是本专利技术另一实施例提供的数据处理方法的流程示意图；
[0049]图4本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取与作业场景对应的原始作业数据；将所述原始作业数据输入数据处理模型，得到所述数据处理模型输出的目标作业数据，所述数据处理模型通过原始作业数据样本和目标作业数据样本训练得到；基于所述作业场景的业务属性，确定所述原始作业数据与所述目标作业数据的关联关系；基于所述关联关系，生成血缘图谱。2.根据权利要求1所述的数据处理方法，其特征在于，所述数据处理模型包括：操作数据层、明细数据层、汇总数据层和应用数据层；所述将所述原始作业数据输入数据处理模型，得到所述数据处理模型输出的目标作业数据，包括：将所述原始作业数据输入所述操作数据层，得到所述操作数据层输出的待处理作业数据；将所述待处理作业数据输入所述明细数据层，得到所述明细数据层输出的待使用作业数据；将所述待使用作业数据输入所述汇总数据层，得到所述汇总数据层输出的待应用作业数据；将所述待应用作业数据输入所述应用数据层，得到所述应用数据层输出的所述目标作业数据。3.根据权利要求2所述的数据处理方法，其特征在于，所述将所述原始作业数据输入所述数据处理模型，得到所述数据处理模型输出的目标作业数据，包括：将所述原始作业数据输入所述操作数据层，通过所述操作数据层对所述原始作业数据进行异构数据同步处理，得到所述待处理作业数据；将所述待处理作业数据输入所述明细数据层，通过所述明细数据层对所述待处理作业数据进行血缘关系提取操作，得到所述待使用作业数据；将所述待使用作业数据输入所述汇总数据层，通过所述汇总数据层对所述待使用作业数据按照业务需求进行汇总处理，得到所述待应用作业数据；将所述待应用作业数据输入所述应用数据层，通过所述应用数据层对所述待应用作业数据按照所述作业场景进行划分，得到所述目标作业数据。4.根据权利要求2所述的数据处理方法，其特征在于，所述基于所述作业场景的业务属性，确定所述原始作业数据与所述目标作业数据的关联关系，包括：基于所述作业场景的业务属性，确定所述原始作业数据与所述待处理作业数据之间的第一关联关系；确定...

【专利技术属性】
技术研发人员：黄健，胡海波，张佳，
申请(专利权)人：上海华兴数字科技有限公司，
类型：发明
国别省市：