本申请实施例提供一种数据处理方法、装置及设备。该方法可用于大数据领域。该方法应用于数据处理系统，数据处理系统中包括多个算子，获取待通过第一算子进行处理的第一业务数据，第一算子为多个算子中的任意一个算子；确定第一业务数据对应的目标追踪标识、以及第一算子的算子标识；根据目标追踪标识、第一系统时刻和第一业务数据生成第一追踪数据，并向数据存储系统发送算子标识和第一追踪数据；通过第一算子对第一业务数据进行处理，得到第二业务数据和第一算子的状态信息；根据目标追踪标识、第二系统时刻、第二业务数据和第一算子的状态信息生成第二追踪数据，并向数据存储系统发送算子标识和第二追踪数据，提高了业务数据的故障定位效率。的故障定位效率。的故障定位效率。
【技术实现步骤摘要】
数据处理方法、装置及设备
[0001]本申请实施例涉及大数据领域，尤其涉及一种数据处理方法、装置及设备。
技术介绍
[0002]在系统中运行业务数据的流式处理作业时，可能会出现业务数据处理中断或处理结果异常等故障情况。系统运维人员需要及时对上述故障情况进行定位分析，以在系统中恢复或优化业务数据的流式处理作业的运行过程。
[0003]在相关技术中，可以对业务数据添加通用唯一标识码等辅助字段的方式，获取业务数据在流式处理作业中的埋点数据，通过埋点数据实现对流式数据的全链路数据追踪，以便于及时发现运行过程中的故障情况并对故障情况进行定位分析。
[0004]然而，在上述过程中，需要在业务数据的处理代码中加入埋点数据和埋点数据的处理方式，这种处理方式不仅对业务数据的业务代码具有侵入影响，还需要浪费大量的人力和经济成本，导致对业务数据的故障定位效率低。
技术实现思路
[0005]本申请实施例提供一种数据处理方法、装置及设备，用于解决现有技术中需要在业务数据的处理代码中加入埋点数据和埋点数据的处理方式，这种方式不仅对业务数据的业务代码具有侵入影响，还需要浪费大量的人力和经济成本，导致对业务数据的故障定位效率低的问题。
[0006]第一方面，本申请实施例提供一种数据处理方法，应用于数据处理系统，所述数据处理系统中包括多个算子，所述方法包括：获取待通过第一算子进行处理的第一业务数据，所述第一算子为所述多个算子中的任意一个算子；确定所述第一业务数据对应的目标追踪标识、以及所述第一算子的算子标识；根据所述目标追踪标识、第一系统时刻和所述第一业务数据生成第一追踪数据，并向数据存储系统发送所述算子标识和所述第一追踪数据；通过所述第一算子对所述第一业务数据进行处理，得到第二业务数据和所述第一算子的状态信息；根据所述目标追踪标识、第二系统时刻、所述第二业务数据和所述第一算子的状态信息生成第二追踪数据，并向所述数据存储系统发送所述算子标识和所述第二追踪数据；所述第一追踪数据和所述第二追踪数据用于在所述多个算子中定位故障算子。
[0007]在一种可能的设计中，确定所述第一业务数据对应的目标追踪标识，包括：确定所述第一业务数据对应的M个源数据，所述M为大于或等于1的整数；根据所述M个源数据，确定所述第一业务数据对应的目标追踪标识。
[0008]在一种可能的设计中，根据所述M个源数据，确定所述第一业务数据对应的目标追踪标识，包括：若所述M为1，且所述源数据中存在第一追踪标识，则将所述源数据中的第一追踪标识确定为所述第一业务数据对应的目标追踪标识；若所述M为1，且所述源数据中不存在第一追踪标识，则生成所述第一业务数据对应的目标追踪标识；若所述M大于1，则生成所述第一业务数据对应的目标追踪标识。
[0009]在一种可能的设计中，所述M大于1；根据所述目标追踪标识、第一系统时刻和所述第一业务数据生成第一追踪数据，包括：在所述M个源数据中获取M个第一追踪标识；根据所述目标追踪标识、所述第一系统时刻和所述M个第一追踪标识，生成第一追踪数据。
[0010]在一种可能的设计中，所述方法还包括：
[0011]根据所述目标追踪标识，在数据存储系统中获取所述目标追踪标识对应的多个算子标识、以及每个算子标识对应的第一追踪数据和第二追踪数据；根据每个算子标识对应的第一追踪数据和第二追踪数据，确定所述每个算子标识对应的算子的处理信息，所述处理信息包括处理时长、处理前数据、处理后数据和状态信息；根据所述多个算子标识对应的多条第一追踪数据和多条第二追踪数据，确定多个算子标识对应的多个算子之间的处理顺序；根据所述多个算子标识、所述处理顺序和每个算子的处理信息，生成并显示所述目标追踪标识对应的处理链路图。
[0012]在一种可能的设计中，针对任意一个算子；根据所述算子标识对应的第一追踪数据和第二追踪数据，确定所述算子标识对应的算子的处理信息，包括：根据所述第一追踪数据中的第一系统时刻和所述第二追踪数据中的第二系统时刻，确定所述算子对应的处理时长；将所述第一追踪数据中的业务数据，确定为所述算子对应的处理前数据；将所述第二追踪数据中的业务数据，确定为所述算子对应的处理后数据，将所述第二追踪数据中的状态信息，确定为所述算子对应的状态信息。
[0013]在一种可能的设计中，根据所述多个算子标识对应的多条第一追踪数据和多条第二追踪数据，确定多个算子标识对应的多个算子之间的处理顺序，包括：针对任意两个算子，根据所述两个算子对应的第一追踪数据和第二追踪数据，在所述两个算子中确定前算子和后算子，所述前算子对应的第二追踪数据中的业务数据，与所述后算子对应的第一追踪数据中的业务数据相同；根据任意两个算子中的前算子和后算子，确定所述处理顺序。
[0014]第二方面，本申请实施例提供一种数据处理装置，包括：获取模块，用于获取待通过第一算子进行处理的第一业务数据，所述第一算子为多个算子中的任意一个算子；确定模块，用于确定所述第一业务数据对应的目标追踪标识、以及所述第一算子的算子标识；生成模块，用于根据所述目标追踪标识、第一系统时刻和所述第一业务数据生成第一追踪数据；发送模块，用于向数据存储系统发送所述算子标识和所述第一追踪数据；处理模块，用于通过所述第一算子对所述第一业务数据进行处理，得到第二业务数据和所述第一算子的状态信息；所述生成模块，还用于根据所述目标追踪标识、第二系统时刻、所述第二业务数据和所述第一算子的状态信息生成第二追踪数据，所述发送模块，还用于向所述数据存储系统发送所述算子标识和所述第二追踪数据；所述第一追踪数据和所述第二追踪数据用于在所述多个算子中定位故障算子。
[0015]在一种可能的设计中，所述确定模块具体用于：确定所述第一业务数据对应的M个源数据，所述M为大于或等于1的整数；根据所述M个源数据，确定所述第一业务数据对应的目标追踪标识。
[0016]在一种可能的设计中，所述确定模块具体用于：若所述M为1，且所述源数据中存在第一追踪标识，则将所述源数据中的第一追踪标识确定为所述第一业务数据对应的目标追踪标识；若所述M为1，且所述源数据中不存在第一追踪标识，则生成所述第一业务数据对应的目标追踪标识；若所述M大于1，则生成所述第一业务数据对应的目标追踪标识。
[0017]在一种可能的设计中，所述生成模块具体用于：在所述M个源数据中获取M个第一追踪标识；根据所述目标追踪标识、所述第一系统时刻和所述M个第一追踪标识，生成第一追踪数据。
[0018]在一种可能的设计中，所述数据处理装置还包括显示模块，其中：
[0019]所述获取模块还用于，根据所述目标追踪标识，在数据存储系统中获取所述目标追踪标识对应的多个算子标识、以及每个算子标识对应的第一追踪数据和第二追踪数据；所述确定模块还用于，根据每个算子标识对应的第一追踪数据和第二追踪数据，确定所述每个算子标识对应的算子的处理信息，所述处理信息包括处理时长、处理前数据、处理后数据和状态信息；所述确定模块还用于，根据所述多个算子标识对应的多条第一追踪数据本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于数据处理系统，所述数据处理系统中包括多个算子，所述方法包括：获取待通过第一算子进行处理的第一业务数据，所述第一算子为所述多个算子中的任意一个算子；确定所述第一业务数据对应的目标追踪标识、以及所述第一算子的算子标识；根据所述目标追踪标识、第一系统时刻和所述第一业务数据生成第一追踪数据，并向数据存储系统发送所述算子标识和所述第一追踪数据；通过所述第一算子对所述第一业务数据进行处理，得到第二业务数据和所述第一算子的状态信息；根据所述目标追踪标识、第二系统时刻、所述第二业务数据和所述第一算子的状态信息生成第二追踪数据，并向所述数据存储系统发送所述算子标识和所述第二追踪数据；所述第一追踪数据和所述第二追踪数据用于在所述多个算子中定位故障算子。2.根据权利要求1所述的方法，其特征在于，确定所述第一业务数据对应的目标追踪标识，包括：确定所述第一业务数据对应的M个源数据，所述M为大于或等于1的整数；根据所述M个源数据，确定所述第一业务数据对应的目标追踪标识。3.根据权利要求2所述的方法，其特征在于，根据所述M个源数据，确定所述第一业务数据对应的目标追踪标识，包括：若所述M为1，且所述源数据中存在第一追踪标识，则将所述源数据中的第一追踪标识确定为所述第一业务数据对应的目标追踪标识；若所述M为1，且所述源数据中不存在第一追踪标识，则生成所述第一业务数据对应的目标追踪标识；若所述M大于1，则生成所述第一业务数据对应的目标追踪标识。4.根据权利要求2或3所述的方法，其特征在于，所述M大于1；根据所述目标追踪标识、第一系统时刻和所述第一业务数据生成第一追踪数据，包括：在所述M个源数据中获取M个第一追踪标识；根据所述目标追踪标识、所述第一系统时刻和所述M个第一追踪标识，生成第一追踪数据。5.根据权利要求1
‑
4任一项所述的方法，其特征在于，所述方法还包括：根据所述目标追踪标识，在数据存储系统中获取所述目标追踪标识对应的多个算子标识、以及每个算子标识对应的第一追踪数据和第二追踪数据；根据每个算子标识对应的第一追踪数据和第二追踪数据，确定所述每个算子标识对应的算子的处理信息，所述处理信息包括处理时长、处理前数据、处理后数据和状态信息；根据所述多个算子标识对应的多条第一追踪数据和多条第二追踪数据，确定多个算子标识对应的多个算子之间的处理顺序；根据所述多个算子标识、所述处理顺序和每个算子的处理信息，生成并显示所述目标追踪标识对应的处理链路图...
【专利技术属性】
技术研发人员：苏毓仁，周明，翁世清，彭潇盟，
申请(专利权)人：建信金融科技有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。