本发明专利技术公开了一种数据处理方法、装置、设备及存储介质。本发明专利技术涉及大数据技术领域。该方法包括：在检测到变化节点和/或关联节点发生变化时，确定从系统中与变化相关联的待启动节点和/或待停用节点；从主系统中确定与待启动节点相关联的第一处理数据，和/或在从系统中确定与待停用节点相关联的第二处理数据；基于第一处理数据和/或第二处理数据更新从系统，以使在接收到待处理任务时，基于主系统和更新后的从系统处理待处理任务。本发明专利技术的技术方案，能够实现在保障任务处理连续性的同时，达到提高任务处理效率和准确性的技术效果。达到提高任务处理效率和准确性的技术效果。达到提高任务处理效率和准确性的技术效果。
【技术实现步骤摘要】
一种数据处理方法、装置、设备及存储介质
[0001]本专利技术实施例涉及计算机处理
，尤其涉及一种数据处理方法、装置、设备及存储介质。
技术介绍
[0002]近年来，为了减少因系统故障所带来的损失，通常会将信息系统进行双活部署，分别同等部署两个系统，以同步处理数据。
[0003]目前，双活部署的方式通常是基于异地存储设备的底层复制技术，复制出两个具有同样资源的系统，一个系统作为主系统，一个系统作为从系统，使得两个系统同步处理任务，在主系统发生故障时切换为从系统处理任务。
[0004]但是，这种基于底层复制技术将数据进行复制的方式，使得无法查看主从系统处理数据时的数据差异，难以满足在系统故障时业务处理连续性的需求。同时在需要对系统中的处理单元进行调度时，需要人工分析和操作系统中哪些处理单元需要被调度，影响业务处理连续性的同时，导致业务处理效率低和准确性低的问题。
技术实现思路
[0005]本专利技术实施例提供一种数据处理方法、装置、设备及存储介质，用以解决问题，实现在保障任务处理连续性的同时，达到提高任务处理效率和准确性的技术效果。
[0006]第一方面，本专利技术实施例提供了一种数据处理方法，应用于数据处理系统，所述数据处理系统包括主系统和从系统，所述主系统中包括节点维护列表以及所述节点维护列表中的全量节点数据，所述从系统用于存储所述节点维护列表中变化节点以及与所述变化节点相关联的关联节点，该方法包括：
[0007]在检测到目标处理节点发生变化时，确定所述从系统中与所述变化相关联的待更新处理节点；其中，所述目标处理节点包括所述变化节点和/或所述关联节点，所述待更新处理节点中包括待启动节点和/或待停用节点；
[0008]从所述主系统中确定与所述待启动节点相关联的第一处理数据，和/或在所述从系统中确定与所述待停用节点相关联的第二处理数据；
[0009]基于所述第一处理数据和/或第二处理数据更新所述从系统，以使在接收到待处理任务时，基于所述主系统和更新后的从系统处理所述待处理任务。
[0010]第二方面，本专利技术实施例还提供了一种数据处理装置，配置于数据处理系统，所述数据处理系统包括主系统和从系统，所述主系统中包括节点维护列表以及所述节点维护列表中的全量节点数据，所述从系统用于存储所述节点维护列表中变化节点以及与所述变化节点相关联的关联节点，该装置包括：
[0011]待更新处理节点确定模块，用于在检测到目标处理节点发生变化时，确定所述从系统中与所述变化相关联的待更新处理节点；其中，所述目标处理节点包括所述变化节点和/或所述关联节点，所述待更新处理节点中包括待启动节点和/或待停用节点；
[0012]处理数据确定模块，用于从所述主系统中确定与所述待启动节点相关联的第一处理数据，和/或在所述从系统中确定与所述待停用节点相关联的第二处理数据；
[0013]系统更新模块，用于基于所述第一处理数据和/或第二处理数据更新所述从系统，以使在接收到待处理任务时，基于所述主系统和更新后的从系统处理所述待处理任务。
[0014]第三方面，本专利技术实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本专利技术实施例中任一所述的数据处理方法。
[0015]第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本专利技术实施例中任一所述的数据处理方法。
[0016]第五方面，本专利技术实施例还提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如本专利技术实施例中任一所述的数据处理方法。
[0017]本专利技术实施例中，通过在检测到变化节点和/或关联节点发生变化时，确定从系统中与变化相关联的待启动节点和/或待停用节点；从主系统中确定与待启动节点相关联的第一处理数据，和/或在从系统中确定与待停用节点相关联的第二处理数据；基于第一处理数据和/或第二处理数据更新从系统，以使在接收到待处理任务时，基于主系统和更新后的从系统处理待处理任务，解决了现有技术中基于底层复制技术将数据进行复制，导致影响业务处理连续性，业务处理效率低和准确性低的问题，实现了根据高优业务需要配置变化节点，自动分析和调度全链路上的变化节点和关联节点，并监控变化节点以及相关联的关联节点的变化情况，避免了人工分析和手工操作，减少成本消耗。自动查找出从主系统中与变化相关联的待启动节点和/或待停用节点，进一步的，可以从主系统中确定与待启动节点相关联的第一处理数据，和/或在从系统中确定与待停用节点相关联的第二处理数据，进而基于第一处理数据和/或第二处理数据更新从系统，使得保障从系统任务处理的连续性，以及提高主系统和从系统处理待处理任务的一致性，达到提高任务处理效率和准确性的技术效果。
附图说明
[0018]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0019]图1是根据本专利技术实施例提供的一种数据处理方法的流程图；
[0020]图2是根据本专利技术实施例提供的一种数据处理方法的流程图；
[0021]图3是根据本专利技术实施例提供的一种数据处理方法的流程图；
[0022]图4是根据本专利技术实施例提供的一种数据处理方法的流程图；
[0023]图5是根据本专利技术实施例提供的一种数据处理方法的流程图；
[0024]图6是根据本专利技术实施例提供的一种数据处理方法的流程图；
[0025]图7是根据本专利技术实施例提供的一种数据处理装置的结构示意图；
[0026]图8是实现本专利技术实施例的数据处理方法的电子设备的结构示意图。
具体实施方式
[0027]下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。
[0028]应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本专利技术的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。本申请技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。
[0029]在介绍本技术方案之前，可以先对应用场景进行示例性说明。例如，在实际应用中，通常会为了提高数据处理系统的可用性、保证业务的连续性，将一套系统部署为双份，一个为主系统，一个为从系统，此时需要在这两个系统上分别同等部署用于处理业务的数据处理节点。每个数据处理节点均可以作为进行大数据处理的最小管理单元，例如，在执行某个大任务时，会涉及本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于数据处理系统，所述数据处理系统包括主系统和从系统，所述主系统中包括节点维护列表以及所述节点维护列表中的全量节点数据，所述从系统用于存储所述节点维护列表中变化节点以及与所述变化节点相关联的关联节点，所述方法包括：在检测到目标处理节点发生变化时，确定所述从系统中与所述变化相关联的待更新处理节点；其中，所述目标处理节点包括所述变化节点和/或所述关联节点，所述待更新处理节点中包括待启动节点和/或待停用节点；从所述主系统中确定与所述待启动节点相关联的第一处理数据，和/或在所述从系统中确定与所述待停用节点相关联的第二处理数据；基于所述第一处理数据和/或第二处理数据更新所述从系统，以使在接收到待处理任务时，基于所述主系统和更新后的从系统处理所述待处理任务。2.根据权利要求1所述的方法，其特征在于，检测所述目标处理节点发生变化，包括：检测到所述节点维护列表发生更新；和/或，检测到至少一条数据加工路径的所述变化节点所关联的关联节点发生更新；其中，所述更新包括新增和删除中的至少一种。3.根据权利要求1所述的方法，其特征在于，所述在检测到目标处理节点发生变化时，确定所述从系统中与所述变化相关联的待更新处理节点，包括：在检测到目标处理节点发生变化时，确定与所述变化相对应的当前节点维护列表；基于所述当前节点维护列表以及与所述当前节点维护列表相关联的待筛选关联节点，确定待筛选处理节点；基于所述从系统中的已启动处理节点和所述待筛选处理节点，确定与所述变化相关联的待更新处理节点。4.根据权利要求1所述的方法，其特征在于，所述从所述主系统中确定与所述待启动节点相关联的第一处理数据，包括：确定所述待启动节点在所述从系统中的未启动时长；从所述主系统中确定与所述待启动节点对应的在所述未启动时长内产生的第一处理数据。5.根据权利要求1所述的方法，其特征在于，所述基于所述第二处理数据更新所述从系统，包括：确定与所述待停用节点相对应的停用属性；其中，所述停用属性包含停用时刻和保留时长；若所述停用时刻对应的累计停用时长达到所述保留时长，则将所述第二处理数据从所述从系统中删除；若所述停用时刻对应的累计停用时长未达到所述保留时长，则将所述待停用节点标记为启动节点。6.根据权利要求1所述的方法，其特征在于，所述待处理任务包括与全量节点数据相对应的至少一个待处理子任务，所述基于所述主系统和更新后的从系统处理所述待处理任务，包括：针对各所述待处理子任务，在基于所述主系统和所述从系统同步处理当前待处理子任
务时，确定所述主系统生成的第一子处理数据以及所述从系统生成的第二子处理数据；基于与所述当前待处理子任务相对应的全量节点数据的第一核检规则对所述第一子处理数据和所述第二子处理数据进行核检处理，确定核检结果。7.根据权利要求6所述的方法，其特征在于，所述第一核检规则，包括：检测所述第一子处理数据和第二子处理数据中的处理结果是否一致；检测所述第一子处理数据和第二子处理数据中的处理子时长之间的差值是否未超过预设第一阈值；检测所...
【专利技术属性】
技术研发人员：杨辰凯，
申请(专利权)人：建信金融科技有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。