跨集群的访问方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及数据迁移领域，公开了一种跨集群的访问方法、装置、设备及存储介质。该方法包括：接收N个数据初始表的数据查询指令；计算N个数据初始表对应的迁移成本值，以及依次计算M个数据集群对应存储的数据初始表的迁移成本值总和，得到M个数据集群对应的成本移除值；加总N个数据初始表对应的迁移成本值，得到迁移总值，以及将迁移总值分别与M个数据集群对应的成本移除值相减，得到M个数据集群对应的集群迁移总值；比较M个集群迁移总值，得到最小的集群迁移总值，并将集群迁移总值对应的数据集群确定为计算集群；创建N个数据初始表对应的数据中转表在计算集群中，并将N个数据初始表中的数据复制到数据中转表中。

【技术实现步骤摘要】
跨集群的访问方法、装置、设备及存储介质
本专利技术涉及数据迁移领域，尤其涉及一种跨集群的访问方法、装置、设备及存储介质。
技术介绍
数据处理过程中，数据越来越多的被政府和企业使用，大量数据被存储在各类数据库中。在数据实际使用中，大量数据分布在各个地点的数据库中。导致在查询和调用数据时，各类集群中进行相互调用，数据迁移会出现大量跨集群的访问。如果是突然增大数据量访问的情况下，各类调用访问极容易导致系统崩溃。在数据相互调用情况下，跨集群数据访问的性能和安全性都存在一定问题，不仅效率不高，而且各种重复的数据迁移导致成本居高不下，性能影响十分严重，调用各类接口和协议也直接影响跨集群的传输安全，因此需要一种能保证性能与传输安全的技术问题。
技术实现思路
本专利技术的主要目的在于解决现有跨集群数据传输过程中性能低下且不安全的技术问题。本专利技术第一方面提供了一种跨集群的访问方法，所述跨集群的访问方法包括：接收N个数据初始表的数据查询指令，其中，N个所述数据初始表分布存储在M个数据集群中，N不小于M，N、M为正整数；计算N个所述数据初始表对应的迁移成本值，以及依次计算M个所述数据集群对应存储的所述数据初始表的迁移成本值总和，得到M个所述数据集群对应的成本移除值；加总N个所述数据初始表对应的迁移成本值，得到迁移总值，以及将所述迁移总值分别与M个所述数据集群对应的成本移除值相减，得到M个所述数据集群对应的集群迁移总值；比较M个所述集群迁移总值，得到最小的集群迁移总值，并将所述集群迁移总值对应的数据集群确定为计算集群；创建N个所述数据初始表对应的数据中转表在所述计算集群中，并将N个所述数据初始表中的数据复制到所述数据中转表中，并在所述计算集群中执行所述数据查询指令。可选的，在本专利技术第一方面的第一种实现方式中，在所述接收N个数据初始表的数据查询指令之后，在所述计算N个所述数据初始表对应的迁移成本值，以及依次计算M个所述数据集群对应存储的所述数据初始表的迁移成本值总和，得到M个所述数据集群对应的成本移除值之前，包括：判断所述数据查询指令是否满足预置SQL语言结构；若不满足，则将无法进行数据查询的信息发送至预置端口；若满足，则解析所述数据查询指令中的SQL链接，根据所述SQL链接，访问N个所述数据初始表。可选的，在本专利技术第一方面的第二种实现方式中，所述计算N个所述数据初始表对应的迁移成本值，以及依次计算M个所述数据集群对应存储的所述数据初始表的迁移成本值总和，得到M个所述数据集群对应的成本移除值包括：读取所述数据初始表对应的有效行数、平均行长度；计算所述初始数据表对应的所述有效行数和所述平均行长度的乘积，得到所述初始数据表对应的迁移成本值；依次将M个所述数据集群存储的所述数据初始表对应迁移成本值加总，得到M个所述数据集群对应的成本移除值。可选的，在本专利技术第一方面的第三种实现方式中，，所述创建N个所述数据初始表对应的数据中转表在所述计算集群中，并将N个所述数据初始表中的数据复制到所述数据中转表中，并在所述计算集群中执行所述数据查询指令包括：读取所述计算集群中存储的L个数据初始表，并标记L个所述数据初始表，得到L个标记数据表，L为小于N的正整数；将N个所述数据初始表中L个所述标记数据表移出，得到N个所述数据初始表中的N-L个非标记数据初始表；在所述计算集群中创建N-L个所述非标记数据初始表对应的数据中转表，并将所述N-L个所述非标记数据初始表的数据复制到所述数据中转表中，在所述计算集群中执行所述数据查询指令。可选的，在本专利技术第一方面的第四种实现方式中，所述在所述计算集群中创建N-L个所述非标记数据初始表对应的数据中转表，并将所述N-L个所述非标记数据初始表的数据复制到所述数据中转表中包括：读取N-L个所述非标记数据初始表对应的验证字符串；在所述计算集群中创建N-L个数据中转表，并将N-L个所述验证字符串一一对应写入N-L个所述数据中转表中；根据所述验证字符串的匹配关系，将所述N-L个所述非标记数据初始表的数据复制到所述数据中转表中。可选的，在本专利技术第一方面的第五种实现方式中，在所述创建N个所述数据初始表对应的数据中转表在所述计算集群中，并将N个所述数据初始表中的数据复制到所述数据中转表中，并在所述计算集群中执行所述数据查询指令之后，还包括：接收终止查询指令，将所述计算集群中的所有所述数据中转表删除。可选的，在本专利技术第一方面的第六种实现方式中，所述比较M个所述集群迁移总值，得到最小的集群迁移总值，并将所述集群迁移总值对应的数据集群确定为计算集群包括：从M个所述集群迁移总值中选择两个集群迁移总值相互比较，标记较大的集群迁移总值为非目标选项，循环比较得到最小的集群迁移总值，其中，所述非目标选项不进入循环比较的集群迁移总值中；访问最小集群迁移总值对应的数据集群，并将所述数据集群标记为计算集群。本专利技术第二方面提供了一种跨集群的访问装置，包括：接收模块，用于接收N个数据初始表的数据查询指令，其中，N个所述数据初始表分布存储在M个数据集群中，N不小于M，N、M为正整数，；计算模块，用于计算N个所述数据初始表对应的迁移成本值，以及依次计算M个所述数据集群对应存储的所述数据初始表的迁移成本值总和，得到M个所述数据集群对应的成本移除值；加总相减模块，用于加总N个所述数据初始表对应的迁移成本值，得到迁移总值，以及将所述迁移总值分别与M个所述数据集群对应的成本移除值相减，得到M个所述数据集群对应的集群迁移总值；比较模块，用于比较M个所述集群迁移总值，得到最小的集群迁移总值，并将所述集群迁移总值对应的数据集群确定为计算集群；复制模块，用于创建N个所述数据初始表对应的数据中转表在所述计算集群中，并将N个所述数据初始表中的数据复制到所述数据中转表中，并在所述计算集群中执行所述数据查询指令。本专利技术第三方面提供了一种跨集群的访问设备，包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；所述至少一个处理器调用所述存储器中的所述指令，以使得所述跨集群的访问设备执行上述的跨集群的访问方法。本专利技术的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的跨集群的访问方法。附图说明图1为本专利技术实施例中跨集群的访问方法的第一个实施例示意图；图2为本专利技术实施例中跨集群的访问方法的第二个实施例示意图；图3为本专利技术实施例中跨集群的访问方法的第三个实施例示意图；图4为本专利技术实施例中跨集群的访问装置的一个实施例示意图；图5为本专利技术实施例中跨集群的访问装置的另一个实施例示意图；图6为本专利技术实施例中跨集群的访问设备的一个实施例示意图。具体实施方式本本文档来自技高网...

【技术保护点】
1.一种跨集群的访问方法，其特征在于，包括步骤：/n接收N个数据初始表的数据查询指令，其中，N个所述数据初始表分布存储在M个数据集群中，N不小于M，N、M为正整数；/n计算N个所述数据初始表对应的迁移成本值，以及依次计算M个所述数据集群对应存储的所述数据初始表的迁移成本值总和，得到M个所述数据集群对应的成本移除值；/n加总N个所述数据初始表对应的迁移成本值，得到迁移总值，以及将所述迁移总值分别与M个所述数据集群对应的成本移除值相减，得到M个所述数据集群对应的集群迁移总值；/n比较M个所述集群迁移总值，得到最小的集群迁移总值，并将所述集群迁移总值对应的数据集群确定为计算集群；/n创建N个所述数据初始表对应的数据中转表在所述计算集群中，并将N个所述数据初始表中的数据复制到所述数据中转表中，并在所述计算集群中执行所述数据查询指令。/n

【技术特征摘要】
1.一种跨集群的访问方法，其特征在于，包括步骤：
接收N个数据初始表的数据查询指令，其中，N个所述数据初始表分布存储在M个数据集群中，N不小于M，N、M为正整数；
计算N个所述数据初始表对应的迁移成本值，以及依次计算M个所述数据集群对应存储的所述数据初始表的迁移成本值总和，得到M个所述数据集群对应的成本移除值；
加总N个所述数据初始表对应的迁移成本值，得到迁移总值，以及将所述迁移总值分别与M个所述数据集群对应的成本移除值相减，得到M个所述数据集群对应的集群迁移总值；
比较M个所述集群迁移总值，得到最小的集群迁移总值，并将所述集群迁移总值对应的数据集群确定为计算集群；
创建N个所述数据初始表对应的数据中转表在所述计算集群中，并将N个所述数据初始表中的数据复制到所述数据中转表中，并在所述计算集群中执行所述数据查询指令。


2.根据权利要求1所述的跨集群的访问方法，其特征在于，在所述接收N个数据初始表的数据查询指令之后，在所述计算N个所述数据初始表对应的迁移成本值，以及依次计算M个所述数据集群对应存储的所述数据初始表的迁移成本值总和，得到M个所述数据集群对应的成本移除值之前，包括：
判断所述数据查询指令是否满足预置SQL语言结构；
若不满足，则将无法进行数据查询的信息发送至预置端口；
若满足，则解析所述数据查询指令中的SQL链接，根据所述SQL链接，访问N个所述数据初始表。


3.根据权利要求1所述的跨集群的访问方法，其特征在于，所述计算N个所述数据初始表对应的迁移成本值，以及依次计算M个所述数据集群对应存储的所述数据初始表的迁移成本值总和，得到M个所述数据集群对应的成本移除值包括：
读取所述数据初始表对应的有效行数、平均行长度；
计算所述初始数据表对应的所述有效行数和所述平均行长度的乘积，得到所述初始数据表对应的迁移成本值；
依次将M个所述数据集群存储的所述数据初始表对应迁移成本值加总，得到M个所述数据集群对应的成本移除值。


4.根据权利要求1所述的跨集群的访问方法，其特征在于，所述创建N个所述数据初始表对应的数据中转表在所述计算集群中，并将N个所述数据初始表中的数据复制到所述数据中转表中，并在所述计算集群中执行所述数据查询指令包括：
读取所述计算集群中存储的L个数据初始表，并标记L个所述数据初始表，得到L个标记数据表，L为小于N的正整数；
将N个所述数据初始表中L个所述标记数据表移出，得到N个所述数据初始表中的N-L个非标记数据初始表；
在所述计算集群中创建N-L个所述非标记数据初始表对应的数据中转表，并将所述N-L个所述非标记数据初始表的数据复制到所述数据中转表中，在所述计算集群中执行所述数据查询指令。


5.根据权利要求4所述的跨集群的访问方法，其特征在于，所述在所述计算集群中创建N-L个所述非标记...

【专利技术属性】
技术研发人员：黄李强，熊志强，
申请(专利权)人：深圳市汉云科技有限公司，
类型：发明
国别省市：广东;44