数据转移系统及方法技术方案

本案涉及一种数据转移系统及方法，应用于关联式数据节点以及多个分散式数据节点。数据转移系统包含记忆体以及处理器，处理器自记忆体存取并执行指令集。处理器包含关联分析模块、指令分析模块、效能分析模块及决策模块。关联分析模块根据关联式数据节点中的多个数据表格的相关性产生关联度信息。指令分析模块根据关联式数据节点的记录文件产生查询指令信息。效能分析模块根据分散式数据节点执行查询指令信息的时间产生节点效能信息。决策模块根据关联度信息、查询指令信息以及节点效能信息选择将这些数据表格转移至这些分散式数据节点。本案改善了在数据转移时关联度高的数据被分散至不同数据节点中所造成的存取延迟问题。

【技术实现步骤摘要】
数据转移系统及方法
本案涉及一种数据转移系统及方法，尤为一种应用于关联式数据库以及非关联式数据库之间的数据转移系统及方法。
技术介绍
在目前的非关联式(NoSQL)数据丛集当中，数据在各个数据节点(DataNode)当中是以数据块(Block)为单位的方式来储存，输入的数据将被切割为多个数据块，而每一个数据块将被分散地储存在丛集中的各个数据节点当中，而这些数据区块所存放的位置则是由主要节点(MasterNode)所部属的名称节点(NameNode)来管理。然而，在分散式的非关联数据丛集当中，仍存在着若干问题，例如，将数据分散存放于各个数据节点，将造成尔后存取时各个数据节点的存取时间不一致所导致的效能低落问题；或是，分散储存的数据在多节点运算时将造成数据冲突问题；或是，在运算过程中，丛集中的任一节点或是整体网路发生状况时所导致的数据调度问题。在上述问题中，各个数据节点的存取时间不一致所导致的效能低落问题是为分散式数据丛集最主要的待解决问题。因此，显然现行的数据转移系统及方法仍有关于上述问题的不足，亟需加以改良。
技术实现思路
本案的一实施态样是涉及一种数据转移系统，应用于一关联式数据节点以及多个分散式数据节点。该数据转移系统包含一记忆体以及一处理器。该记忆体储存一指令集。该处理器电性耦接于该记忆体，该处理器自该记忆体存取并执行该指令集。该处理器包含一关联分析模块、一指令分析模块、一效能分析模块以及一决策模块。该关联分析模块分析该关联式数据节点中的多个数据表格的被存取次数之间的相关性以产生一关联度信息。该指令分析模块搜寻该关联式数据节点的记录文件中的多个查询指令以产生一查询指令信息。该效能分析模块测试所述多个分散式数据节点各自执行该查询指令信息的时间以产生一节点效能信息。该决策模块根据该关联度信息以及该查询指令信息选择将所述多个数据表格中关联度高的至少二者为一第一数据表格集合，并根据该节点效能信息选择将该第一数据表格集转移至所述多个分散式数据节点中的一第一分散式数据节点。在一实施例中，该处理器还包含一转移模块，该转移模块判断该决策模块选择的该第一数据表格集合的数据量是否小于该第一分散式数据节点的容量，若判定该第一数据表格集合的数据量小于该第一分散式数据节点的容量，将该该第一数据表格集合转移至该第一分散式数据节点，若判定该第一数据表格集合的数据量不小于第一分散式数据节点的容量，将该第一数据表格集合中的至少一维度表格保留以对该第一数据表格集合进行切分，再将切分后的该第一数据表格集合转移至该第一分散式数据节点。在另一实施例中，该转移模块先将该第一数据表格集合的主要键(PrimaryKey)以及外来键(ForeignKey)转移至该第一分散式数据节点，再根据该查询指令信息当中所述多个查询指令的执行频率将该第一数据表格集合的各栏位依据使用率排序并转移至该第一分散式数据节点。在又一实施例中，该效能分析模块自所述多个数据表格中选取一测试数据表格，并将该测试数据表格复制至所述多个分散式数据节点，并测试所述多个分散式数据节点各自于该测试数据表格当中执行该查询指令信息的时间以产生该节点效能信息。在再一实施例中，该测试数据表格是于所述多个数据表格当中占一预设百分比或一预设笔数。在一实施例中，该决策模块是根据该查询指令信息当中所述多个查询指令的执行频率判断所述多个数据表格的使用率，并选择所述多个数据表格中使用率最高的一者以及相关于使用率最高的该者的至少另一者为该第一数据表格集合。在另一实施例中，当该第一数据表格集合被转移至该第一分散式数据节点后，该决策模块再选择使用率次高的所述多个数据表格中的其他至少二者为一第二数据表格集合，并将该第二数据表格集合转移到所述多个分散式数据节点中。在又一实施例中，该关联分析模块是根据记录所述多个数据表格被存取次数的一依存结构矩阵(DependencyStructureMatrix,DSM)判断所述多个数据表格被存取次数之间的相关性以产生该关联度信息。在再一实施例中，该指令分析模块搜寻该关联式数据节点的记录文件，并获取用于存取所述多个数据表格的所述多个查询指令，并选取所述多个查询指令当中执行频率高者以产生该查询指令信息。在一实施例中，该决策模块是根据该节点效能信息选择所述多个分散式数据节点中执行该查询指令信息当中的所述多个查询指令的时间最短者为该第一分散式数据节点。本案的另一实施态样是涉及一种数据转移方法，应用于一关联式数据节点以及多个分散式数据节点。该数据转移方法通过一处理器实施，该处理器包含一关联分析模块、一指令分析模块、一效能分析模块及一决策模块。所述数据转移方法包含下列步骤：该关联分析模块分析该关联式数据节点中的多个数据表格的被存取次数之间的相关性以产生一关联度信息；该指令分析模块搜寻该关联式数据节点的记录文件中的多个查询指令以产生一查询指令信息；该效能分析模块测试所述多个分散式数据节点各自执行该查询指令信息的时间以产生一节点效能信息；以及该决策模块根据该关联度信息以及该查询指令信息选择将所述多个数据表格中关联度高的至少二者为一第一数据表格集合，并根据该节点效能信息选择将该第一数据表格集合转移至所述多个分散式数据节点中的一第一分散式数据节点。在一实施例中，该处理器还包含一转移模块，该数据转移方法还包含：该转移模块判断该决策模块选择的该第一数据表格集合的数据量是否小于该第一分散式数据节点的容量；若判定该第一数据表格集合的数据量小于该第一分散式数据节点的容量，透过该转移模块将该第一数据表格集合转移至该第一分散式数据节点；以及若判定该第一数据表格集合的数据量不小于该第一分散式数据节点的容量，该转移模块将该第一数据表格集合中的至少一维度表格保留以对该第一数据表格集合进行切分，再将切分后的该第一数据表格集合转移至该第一分散式数据节点。在另一实施例中，该数据转移方法还包含：该转移模块先将该第一数据表格集合的主要键(PrimaryKey)以及外来键(ForeignKey)转移至该第一分散式数据节点；以及该转移模块根据该查询指令信息当中所述多个查询指令的执行频率将该第一数据表格集合的各栏位依据使用率排序并转移至该第一分散式数据节点。在又一实施例中，该数据转移方法还包含：该效能分析模块自所述多个数据表格中选取一测试数据表格；该效能分析模块将该测试数据表格复制至所述多个分散式数据节点；以及该效能分析模块测试所述多个分散式数据节点各自于该测试数据表格当中执行该查询指令信息的时间以产生该节点效能信息。在再一实施例中，该测试数据表格是于所述多个数据表格当中占一预设百分比或一预设笔数。在一实施例中，该数据转移方法还包含：该决策模块根据该查询指令信息当中所述多个查询指令的执行频率判断所述多个数据表格的使用率；以及该决策模块选择所述多个数据表格中使用率最高的一者以及相关于使用率最高的该者的至少另一者为该第一数据表格集合。在另一实施例中，该数据转移方法还包含：当该第一数据表格集合被转移至该第一分散式数据节点后，该决策模块选择使用率次高的所述多个数据表格中的其他至少二者为一第二数据表格集合；以及该决策模块将该第二数据表格集合转移到所述多个分散式数据节点中。在又一实施例中，该数据转移方法还包含：透过该关联分析模块根据记本文档来自技高网...

【技术保护点】
1.一种数据转移系统，应用于一关联式数据节点以及多个分散式数据节点，其特征在于，包含：一记忆体，储存一指令集；以及一处理器，电性耦接于该记忆体，自该记忆体存取并执行该指令集，其中该处理器包含：一关联分析模块，分析该关联式数据节点中的多个数据表格的被存取次数之间的相关性以产生一关联度信息；一指令分析模块，搜寻该关联式数据节点的记录文件中的多个查询指令以产生一查询指令信息；一效能分析模块，测试所述多个分散式数据节点各自执行该查询指令信息的时间以产生一节点效能信息；以及一决策模块，根据该关联度信息以及该查询指令信息选择所述多个数据表格中关联度高的至少二者为一第一数据表格集合，并根据该节点效能信息选择将该第一数据表格集合转移至所述多个分散式数据节点中的一第一分散式数据节点。

【技术特征摘要】
2017.11.27 TW 1061412181.一种数据转移系统，应用于一关联式数据节点以及多个分散式数据节点，其特征在于，包含：一记忆体，储存一指令集；以及一处理器，电性耦接于该记忆体，自该记忆体存取并执行该指令集，其中该处理器包含：一关联分析模块，分析该关联式数据节点中的多个数据表格的被存取次数之间的相关性以产生一关联度信息；一指令分析模块，搜寻该关联式数据节点的记录文件中的多个查询指令以产生一查询指令信息；一效能分析模块，测试所述多个分散式数据节点各自执行该查询指令信息的时间以产生一节点效能信息；以及一决策模块，根据该关联度信息以及该查询指令信息选择所述多个数据表格中关联度高的至少二者为一第一数据表格集合，并根据该节点效能信息选择将该第一数据表格集合转移至所述多个分散式数据节点中的一第一分散式数据节点。2.根据权利要求1所述的数据转移系统，其特征在于，该处理器还包含：一转移模块，判断该决策模块选择的该第一数据表格集合的数据量是否小于该第一分散式数据节点的容量，若判定该第一数据表格集合的数据量小于该第一分散式数据节点的容量，将该第一数据表格集合转移至该第一分散式数据节点，若判定该第一数据表格集合的数据量不小于第一分散式数据节点的容量，将该第一数据表格集合中的至少一维度表格保留以对该第一数据表格集合进行切分，再将切分后的该第一数据表格集合转移至该第一分散式数据节点。3.根据权利要求2所述的数据转移系统，其特征在于，该转移模块先将该第一数据表格集合的主要键以及外来键转移至该第一分散式数据节点，再根据该查询指令信息当中所述多个查询指令的执行频率将该第一数据表格集合的各栏位依据使用率排序并转移至该第一分散式数据节点。4.根据权利要求1所述的数据转移系统，其特征在于，该效能分析模块自所述多个数据表格中选取一测试数据表格，并将该测试数据表格复制至所述多个分散式数据节点，并测试所述多个分散式数据节点各自于该测试数据表格当中执行该查询指令信息的时间以产生该节点效能信息。5.根据权利要求4所述的数据转移系统，其特征在于，该测试数据表格是于所述多个数据表格当中占一预设百分比或一预设笔数。6.根据权利要求1所述的数据转移系统，其特征在于，该决策模块是根据该查询指令信息当中所述多个查询指令的执行频率判断所述多个数据表格的使用率，并选择所述多个数据表格中使用率最高的一者以及相关于使用率最高的该者的至少另一者为该第一数据表格集合。7.根据权利要求1所述的数据转移系统，其特征在于，当该第一数据表格集合被转移至该第一分散式数据节点后，该决策模块再选择使用率次高的所述多个数据表格中的其他至少二者为一第二数据表格集合，并将该第二数据表格集合转移到所述多个分散式数据节点中。8.根据权利要求1所述的数据转移系统，其特征在于，该关联分析模块是根据记录所述多个数据表格被存取次数的一依存结构矩阵判断所述多个数据表格被存取次数之间的相关性以产生该关联度信息。9.根据权利要求1所述的数据转移系统，其特征在于，该指令分析模块搜寻该关联式数据节点的记录文件，并获取用于存取所述多个数据表格的所述多个查询指令，并选取所述多个查询指令当中执行频率高者以产生该查询指令信息。10.根据权利要求1所述的数据转移系统，其特征在于，该决策模块是根据该节点效能信息选择所述多个分散式数据节点中执行该查询指令信息当中的所述多个查询指令的时间最短者为该第一分散式数据节点。11.一种数据转移方法，应用于一关联式数据节点以及多个分散式数据节点，其特征在于...

【专利技术属性】
技术研发人员：赖槿峰，赖盈勳，萧宇程，庄棨椉，
申请(专利权)人：财团法人资讯工业策进会，
类型：发明
国别省市：中国台湾,71