System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据处理方法、装置、存储介质和计算机设备制造方法及图纸_技高网

数据处理方法、装置、存储介质和计算机设备制造方法及图纸

技术编号:40114625 阅读:6 留言:0更新日期:2024-01-23 19:42
本发明专利技术公开了一种数据处理方法、装置、存储介质和计算机设备。其中,该方法包括:接收第一集群发送的第一元数据更改指令,其中,第一元数据更改指令表征第一集群中的第一元数据被更改为第二元数据,第一元数据更改指令包括第二元数据和第一集群的标识;基于第一元数据更改指令,缓存第二元数据和第一集群的标识;接收第二集群发送的元数据更新指令;基于元数据更新指令,将除了第二集群之外的其他集群中的元数据发送至第二集群,其中,其他集群中的元数据包括第二元数据,第二集群与第一集群分别基于第二元数据为目标账户提供不同的服务。本发明专利技术解决了由于相关技术中Trino集群的元数据因定时触发同步造成元数据同步效率较低的技术问题。

【技术实现步骤摘要】

本专利技术涉及数据处理,具体而言,涉及一种数据处理方法、装置、存储介质和计算机设备


技术介绍

1、trino集群是一种分布式结构化查询(structured query language,简称sql)引擎,旨在查询分布在一个或多个异构数据源上的大型数据集。它通过在整个集群的服务器上分配处理任务来实现横向扩展,基于这种架构,trino查询引擎可以在集群内的计算节点并行处理海量数据的sql查询。

2、在多个trino集群中进行数据同步,可以借助trino的分布式特性,通过在集群间进行数据分发和同步来实现。具体来说,可以在一个trino集群中执行sql查询,并将查询结果发送到其他trino集群进行并行处理。但是相关技术中,上述方案的实现过程需要依赖程序的定时触发操作,导致多个trino集群的元数据同步效率较低。

3、针对上述的问题,目前尚未提出有效的解决方案。


技术实现思路

1、本专利技术实施例提供了一种数据处理方法、装置、存储介质和计算机设备,以至少解决由于相关技术中trino集群的元数据因定时触发同步造成元数据同步效率较低的技术问题。

2、根据本专利技术实施例的一个方面,提供了一种数据处理方法,包括:hazelcast集群接收第一集群发送的第一元数据更改指令,其中,第一元数据更改指令表征第一集群中的第一元数据被更改为第二元数据,第一元数据更改指令包括第二元数据和第一集群的标识;基于第一元数据更改指令,hazelcast集群缓存第二元数据和第一集群的标识;hazelcast集群接收第二集群发送的元数据更新指令;基于元数据更新指令,hazelcast集群将除了第二集群之外的其他集群中的元数据发送至第二集群,其中,其他集群中的元数据包括第二元数据,第二集群与第一集群分别基于第二元数据为目标账户提供不同的服务;其中,hazelcast集群接收第一集群发送的第一元数据更改指令,包括:hazelcast集群在第一集群内建立协调器服务节点;hazelcast集群接收通过协调器服务节点发送的第一元数据更改指令。

3、可选地,缓存第二元数据和第一集群的标识,包括:在hazelcast集群内构建映射格式的目标对象;采用目标对象缓存第二元数据和第一集群的标识,其中,第二元数据存储在目标对象的键字段中,第一集群的标识存储在目标对象的值字段中。

4、可选地,还包括:在已存储的数据中,识别存储第一元数据的对象;更改存储第一元数据的对象的值字段的值。

5、可选地,在第二元数据为字段的情况下,目标对象的键字段包括第二元数据的字段名、第二元数据所属的表名,以及第二元数据所属的数据库名;目标对象的值字段包括标识数组,其中,标识数组包括多个有效位,多个有效位分别与第一集群和第二集群对应,多个有效位中与第一集群对应的有效位的值为有效值。

6、根据本专利技术实施例的另一方面,还提供了一种数据处理方法,包括:接收目标账户下发的第二元数据更改指令,其中,第二元数据更改指令表征目标账户将第一集群中的第一元数据更改为第二元数据;基于第二元数据更改指令,更改第一元数据为第二元数据;基于第二元数据更改指令,向第三集群发送第一元数据更改指令,其中,第一元数据更改指令表征第一集群中的第一元数据被更改为第二元数据,第一元数据更改指令包括第二元数据和第一集群的标识,第三集群用于缓存第二元数据和第一集群的标识,第三集群为hazelcast集群;其中,第三集群接收第一集群发送的第一元数据更改指令,包括:第三集群在第一集群内建立协调器服务节点;第三集群接收通过协调器服务节点发送的第一元数据更改指令。

7、根据本专利技术实施例的另一方面,还提供了一种数据处理方法,包括:接收目标账户下发的元数据查询指令;基于元数据查询指令,向第三集群发送元数据更新指令,其中,第三集群用于基于元数据更新指令,将除了第二集群之外的其他集群中的元数据发送至第二集群,第三集群为hazelcast集群;接收并缓存第三集群发送的除了第二集群之外的其他集群中的元数据;其中,第三集群接收第一集群发送的第一元数据更改指令,包括:第三集群在第一集群内建立协调器服务节点;第三集群接收通过协调器服务节点发送的第一元数据更改指令。

8、根据本专利技术实施例的另一方面,还提供了一种数据处理装置,包括:第一接收模块,用于采用hazelcast集群接收第一集群发送的第一元数据更改指令,其中,第一元数据更改指令表征第一集群中的第一元数据被更改为第二元数据,第一元数据更改指令包括第二元数据和第一集群的标识;缓存模块,用于基于第一元数据更改指令,hazelcast集群缓存第二元数据和第一集群的标识;第二接收模块,用于采用hazelcast集群接收第二集群发送的元数据更新指令;第一发送模块,用于基于元数据更新指令,hazelcast集群将除了第二集群之外的其他集群中的元数据发送至第二集群,其中,其他集群中的元数据包括第二元数据,第二集群与第一集群分别基于第二元数据为目标账户提供不同的服务;其中,第一接收模块,还用于:采用hazelcast集群在第一集群内建立协调器服务节点;采用hazelcast集群接收通过协调器服务节点发送的第一元数据更改指令。

9、根据本专利技术实施例的另一方面,还提供了一种数据处理装置,包括:第三接收模块,用于接收目标账户下发的第二元数据更改指令,其中,第二元数据更改指令表征目标账户将第一集群中的第一元数据更改为第二元数据;更改模块,用于基于第二元数据更改指令,更改第一元数据为第二元数据;第二发送模块,用于基于第二元数据更改指令,向第三集群发送第一元数据更改指令,其中,第一元数据更改指令表征第一集群中的第一元数据被更改为第二元数据,第一元数据更改指令包括第二元数据和第一集群的标识,第三集群用于缓存第二元数据和第一集群的标识,第三集群为hazelcast集群;其中,第三集群接收第一集群发送的第一元数据更改指令,包括:第三集群在第一集群内建立协调器服务节点;第三集群接收通过协调器服务节点发送的第一元数据更改指令。

10、根据本专利技术实施例的另一方面,还提供了一种数据处理装置,包括:第四接收模块,用于接收目标账户下发的元数据查询指令;更新模块,用于基于元数据查询指令,向第三集群发送元数据更新指令,其中,第三集群用于基于元数据更新指令,将除了第二集群之外的其他集群中的元数据发送至第二集群,第三集群为hazelcast集群;第五接收模块,用于接收并缓存第三集群发送的除了第二集群之外的其他集群中的元数据;其中,第三集群接收第一集群发送的第一元数据更改指令,包括:第三集群在第一集群内建立协调器服务节点;第三集群接收通过协调器服务节点发送的第一元数据更改指令。

11、根据本专利技术实施例的又一方面,还提供了一种非易失性存储介质,非易失性存储介质包括存储的程序,其中,在程序运行时控制非易失性存储介质所在设备执行上述中任意一项数据处理方法。

12、根据本专利技术实施例的再一方面,还提供了一种计算机设备,计算机设备包括本文档来自技高网...

【技术保护点】

1.一种数据处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述缓存所述第二元数据和所述第一集群的标识,包括:

3.根据权利要求2所述的方法,其特征在于,还包括:

4.根据权利要求2所述的方法,其特征在于,在所述第二元数据为字段的情况下,所述目标对象的键字段包括所述第二元数据的字段名、所述第二元数据所属的表名,以及所述第二元数据所属的数据库名;所述目标对象的值字段包括标识数组,其中,所述标识数组包括多个有效位,所述多个有效位分别与所述第一集群和所述第二集群对应,所述多个有效位中与所述第一集群对应的有效位的值为有效值。

5.一种数据处理方法,其特征在于,包括:

6.一种数据处理方法,其特征在于,包括:

7.一种数据处理装置,其特征在于,包括:

8.一种数据处理装置,其特征在于,包括:

9.一种数据处理装置,其特征在于,包括:

10.一种非易失性存储介质,其特征在于,所述非易失性存储介质包括存储的程序,其中,在所述程序运行时控制所述非易失性存储介质所在设备执行权利要求1至6中任意一项所述数据处理方法。

11.一种计算机设备,其特征在于,包括:存储器和处理器,

...

【技术特征摘要】

1.一种数据处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述缓存所述第二元数据和所述第一集群的标识,包括:

3.根据权利要求2所述的方法,其特征在于,还包括:

4.根据权利要求2所述的方法,其特征在于,在所述第二元数据为字段的情况下,所述目标对象的键字段包括所述第二元数据的字段名、所述第二元数据所属的表名,以及所述第二元数据所属的数据库名;所述目标对象的值字段包括标识数组,其中,所述标识数组包括多个有效位,所述多个有效位分别与所述第一集群和所述第二集群对应,所述多个有效位中与所述第一集群...

【专利技术属性】
技术研发人员:陶斐斐李超王富强贾志敏
申请(专利权)人:中国对外经济贸易信托有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1