数据管理系统及方法技术方案

描述了示例数据管理系统和方法。在一个实现中，方法基于所接收的查询识别用于处理的多个文件，并且识别可用于处理多个文件的多个执行节点。方法最初创建多个扫描集，每个扫描集包括所述多个文件的一部分，并且基于文件分配模型将每个扫描集分配给执行节点中的一个。多个扫描集由多个执行节点处理。如果所述方法确定特定的执行节点已完成处理在其分配的扫描集中的所有的文件，将未处理文件从另一个执行节点重新分配到特定的执行节点。

Data Management System and Method

【技术实现步骤摘要】
数据管理系统及方法本申请是申请日为2015年2月18日，申请号为201580020409.2，专利技术名称为“数据管理系统及方法”的申请的分案申请。相关申请的交叉引用本申请要求于2014年2月19日提交的标题为“Apparatusandmethodforenterprisedatawarehousedataprocessingoncloudinfrastructure”的美国临时申请序列第61/941,986号的权益，该申请的公开内容通过引用以其整体并入本文。
本公开涉及管理数据的处理和其它任务的资源管理系统及方法。背景目前，许多现有的数据存储和检索系统是可用的。例如，在共享磁盘系统中，所有数据被存储在共享的存储设备上，其从数据集群中的所有处理节点是可访问的。在这种类型的系统中，所有的数据变化被写入到共享的存储设备，以确保数据集群中的所有的处理节点访问一致版本的数据。由于在共享磁盘系统中处理节点的数目增加，因此共享的存储设备(以及处理节点和共享的存储设备之间的通信链路)变成了减缓数据读取和数据写入操作的瓶颈。随着更多的处理节点的添加，进一步地加剧这种瓶颈。因此，由于该瓶颈问题，现本文档来自技高网...

【技术保护点】
1.一种管理系统，包括：用于识别待处理的多个文件以响应查询的工具；用于生成一个或更多个扫描集的工具，每个扫描集包括所述多个文件中的一个或更多个文件；用于基于一致性哈希算法将所述一个或更多个扫描集中的每个扫描集分配给执行节点的工具；以及用于响应于确定可用的执行节点已经完成处理了在给其分配的扫描集中的所有文件而给所述可用的执行节点重新分配未处理文件的工具。

【技术特征摘要】
2014.02.19 US 61/941,986;2014.10.20 US 14/518,8731.一种管理系统，包括：用于识别待处理的多个文件以响应查询的工具；用于生成一个或更多个扫描集的工具，每个扫描集包括所述多个文件中的一个或更多个文件；用于基于一致性哈希算法将所述一个或更多个扫描集中的每个扫描集分配给执行节点的工具；以及用于响应于确定可用的执行节点已经完成处理了在给其分配的扫描集中的所有文件而给所述可用的执行节点重新分配未处理文件的工具。2.根据权利要求1所述的管理系统，其中，用于给所述可用的执行节点重新分配所述未处理文件的所述工具包括用于基于一致性哈希算法进行重新分配的工具。3.根据权利要求1所述的管理系统，其中，用于基于一致性哈希算法将所述一个或更多个扫描集中的每个扫描集分配给执行节点的所述工具还包括：用于引用一致性哈希算法以识别哪个执行节点具有对于第一扫描集中的文件的最高所有权级别的工具；以及用于将所述第一扫描集分配给所识别的具有对于所述第一扫描集中的文件的最高所有权级别的执行节点的工具。4.根据权利要求1所述的管理系统，其中，用于响应于确定所述可用的执行节点已经完成处理了在给其分配的扫描集中的所有文件而给所述可用的执行节点重新分配所述未处理文件的所述工具还包括：用于引用一致性哈希算法以识别所述可用的执行节点是否具有所述未处理文件的第二级所有权的工具；以及用于仅响应于确定所述可用的执行节点具有所述未处理文件的第二级所有权而给所述可用的执行节点重新分配所述未处理文件的工具。5.根据权利要求1所述的管理系统，还包括用于定义一致性哈希算法的工具，定义一致性哈希算法的所述工具包括：用于给每个执行节点分配对于所述多个文件中的文件的集合的最高所有权级别的工具，使得具有对于特定的文件集合的最高所有权级别的执行节点将接收用于处理所述特定的文件集合的最初分配；以及用于给每个执行节点分配对于第二级文件集合的第二级所有权级别的工具，使得具有对于特定的第二级文件集合的第二级所有权级别的执行节点将仅在所述特定的第二级文件集合依然未被相邻的执行节点处理时才接收用于处理所述特定的第二级文件集合的分配。6.根据权利要求1所述的管理系统，还包括用于定义一致性哈希算法的工具，定义一致性哈希算法的所述工具包括：用于为所述多个文件到多个执行节点的分配定义多个可能的所有权级别的工具；以及用于定义文件分配模型使得每个执行节点具有所述多个文件中的每个文件的在所述多个可能的所有权级别中的一个级别的所有权的工具。7.根据权利要求6所述的管理系统，其中，用于为所述多个文件到所述多个执行节点的分配定义所述多个可能的所有权级别的所述工具还包括：用于定义最高所有权级别的工具，所述最高所有权级别表明执行节点将最初接收用于处理在其最高所有权级别的文件的分配；用于定义第二级所有权级别的工具，所述第二级所有权级别表明执行节点将仅在其第二级所有权级别的文件依然未被处理时才接收用于处理那些文件的分配；以及用于定义第三级所有权级别的工具，所述第三级所有权级别表明执行节点将仅在其第三级所有权级别的文件依然未被对于那些文件在最高所有权级别的执行节点和在第二级所有权级别的执行节点处理时才接收用于处理那些文件的分配。8.根据权利要求1所述的管理系统，其中，用于生成所述一个或更多个扫描集的所述工具包括用于基于所述多个文件中的每个文件的大小来生成的工具。9.根据权利要求1所述的管理系统，其中，用于生成所述一个或更多个扫描集的所述工具还包括用于优先化由执行节点缓存的文件的工具。10.根据权利要求1所述的管理系统，还包括用于响应于重新分配所述未处理文件而将所述未处理文件从其分配到的扫描集移除的工具。11.一种管理方法，包括：识别待处理的多个文件以响应查询；生成一个或更多个扫描集，每个扫描集包括所述多个文件中的一个或更多个文件；基于一致性哈希算法将所述一个或更多个扫描集中的每个扫描集分配给执行节点；以及响应于确定可用的执行节点已经完成处理了在给其分配的扫描集中的所有文件而给所述可用的执行节点重新分配未处理文件。12.根据权利要求11所述的管理方法，其中，给所述可用的执行节点重新分配所述未处理文件包括基于一致性哈希算法进行重新分配。13.根据权利要求11所述的管理方法，其中，基于一致性哈希算法将所述一个或更多个扫描集中的每个扫描集分配给执行节点包括：引用一致性哈希算法以识别哪个执行节点具有对于第一扫描集中的文件的最高所有权级别；以及将所述第一扫描集分配给所识别的具有对于所述第一扫描集中的文件的最高所有权级别的执行节点。14.根据权利要求11所述的管理方法，其中，响应于确定所述可用的执行节点已经完...

【专利技术属性】
技术研发人员：本诺特·戴奇维勒，蒂埃里·克吕安斯，马尔辛·祖科夫斯基，
申请(专利权)人：斯诺弗雷克公司，
类型：发明
国别省市：美国,US