一种一致性模型的创建方法及系统技术方案

本发明专利技术实施例涉及一种一致性模型的创建方法及系统，其中，所述方法包括：预先配置一致性模型的前置数据，所述前置数据包括一致性模型的应用对象、一致性模型的控制粒度以及多个一致性模型的偏差参数；基于所述一致性模型额控制粒度，确定所述多个一致性模型的偏差参数之间的关联关系；根据确定的所述关联关系，通过结合主成分分析法和逐步回归法，创建一致性模型。本申请提供的技术方案，能够更加灵活地调整元数据一致性维护粒度，应对突发高负载模式对分布式文件系统元数据性能影响的问题。

【技术实现步骤摘要】
一种一致性模型的创建方法及系统
本申请涉及数据处理
，特别涉及一种一致性模型的创建方法及系统。
技术介绍
一致性维护是元数据分布式管理技术的核心。当前大多数分布式文件系统采用元数据、数据分离架构设计实现，即采用两个服务器集群分别存储元数据、数据。在分布式文件系统中，元数据是指文件路径、状态、操作权限等信息的集合，这些信息存储于一个独立的服务器集群，采用树形语义结构管理。当多个元数据服务器共同管理元数据时，树形结构元数据需要划分为多个子树，每个子树之间存在必然的逻辑关系，即父节点与子节点之间的关系，父节点代表一个文件目录，子节点代表一个文件目录或者一个文件。当一个节点发生变化时，另外一个或者多个节点也需要同步为一致状态。强一致性对元数据分布式服务性能影响巨大。元数据分布式服务模型很好的为分布式文件系统解决了存储可扩展性问题，但随之而来的问题是高并发负载模式下系统元数据访问性能无法满足可扩展性，此问题是系统为保证元数据状态的强一致性而付出的性能开销过大。已有相关研究工作以可调一致性机制为基础，提出了各种方法、策略解决强一致性策略对分布式文件系统元数据性能的影响问题，但在一致性维护粒度方面，缺少一种灵活的调整方法和技术。已有工作的一致性维护粒度固定，尤其是在大数据背景下，元数据量大，采用同一策略控制全局元数据一致性的方法缺少灵活性，这类一致性机制不能体现不同类型元数据特点。
技术实现思路
本申请的目的在于提供一种一致性模型的创建方法及系统，能够更加灵活地调整元数据一致性维护粒度，应对突发高负载模式对分布式文件系统元数据性能影响的问题。为实现上述目的，本申请提供一种一致性模型的创建方法，所述方法包括：预先配置一致性模型的前置数据，所述前置数据包括一致性模型的应用对象、一致性模型的控制粒度以及多个一致性模型的偏差参数；基于所述一致性模型额控制粒度，确定所述多个一致性模型的偏差参数之间的关联关系；根据确定的所述关联关系，通过结合主成分分析法和逐步回归法，创建一致性模型。进一步地，所述一致性模型的应用对象为元数据本身，并非事务处理过程。进一步地，所述一致性模型的控制粒度为子树，并非全局树。进一步地，所述一致性模型的偏差参数包括数值偏差参数、顺序偏差参数以及时间偏差参数。进一步地，在创建所述一致性模型之前，所述方法还包括：建立两个假设条件，并基于建立的所述两个假设条件创建所述一致性模型；其中，所述两个假设条件为：假设每一个元数据项的写入、读取内存的速度相同；假设所有元数据项的应用价值权重相同。进一步地，确定所述多个一致性模型的偏差参数之间的关联关系包括：数值偏差参数用目录下的文件数量表示，顺序偏差程度用上层目录下的目录数量表示，时间偏差参数用本层目录的树深度表示。进一步地，根据确定的所述关联关系，通过结合主成分分析法和逐步回归法，创建一致性模型包括：对原始数据进行标准化处理，并将标准化处理后的变量逐个引入逐步回归模型，以得到最优变量组；通过对所述最优变量组中的各个变量线性加权得到若干具有最佳解释能力的新综合变量；将所述新综合变量作为回归变量进行最小二乘回归分析，得到线性预测模型。进一步地，所述方法还包括：将所述新综合变量作为回归变量采取非线性回归分析，构建一个面向主成分变量的完全二次多项式函数，所述完全二次多项式函数为：其中，y表示所述二次多项式函数，αi，βij，δi是回归参数，k是常量，Pi和Pj为主成分，n表示主成分的个数。进一步地，所述方法还包括：首先将元数据分为热点与非热点两类，判断是否为热点的规则是，与根节点的距离处于预设范围内或访问频率高于预设阈值的元数据为热点元数据，反之为非热点元数据，按照以下规则进行一致性策略的在线切换：规则一：设置响应时间阈值，当热点元数据平均响应时间低于所述响应时间阈值时，全局元数据采用最强一致性策略；规则二：给定应用性能需求前提下，将可调一致性模型中一致性偏差边界值，作为一致性策略切换的依据；规则三：同时满足规则一和规则二时，规则一优先级高于规则二。为实现上述目的，本申请还提供一种一致性模型的创建系统，所述系统包括：前置数据配置单元，用于预先配置一致性模型的前置数据，所述前置数据包括一致性模型的应用对象、一致性模型的控制粒度以及多个一致性模型的偏差参数；关联关系确定单元，用于基于所述一致性模型额控制粒度，确定所述多个一致性模型的偏差参数之间的关联关系；模型创建单元，用于根据确定的所述关联关系，通过结合主成分分析法和逐步回归法，创建一致性模型。由上可见，本申请提出了针对元数据树形结构特点的可调粒度一致性模型，有效解决了强一致性策略在突发高负载负载模式中产生的性能瓶颈问题，并且定义和分析了一系列规则，用于实现不同一致性策略的在线切换。附图说明图1为本申请实施例中一致性模型的创建方法示意图；图2为本申请实施例中树形结构的示意图；图3为本申请实施例中节点转换的示意图；图4为本申请实施例三节点元数据服务器集群的示意图。具体实施方式为了使本
的人员更好地理解本申请中的技术方案，下面将结合本申请实施方式中的附图，对本申请实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本申请一部分实施方式，而不是全部的实施方式。基于本申请中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施方式，都应当属于本申请保护的范围。请参阅图1，本申请提供一种一致性模型的创建方法，所述方法包括：S1：预先配置一致性模型的前置数据，所述前置数据包括一致性模型的应用对象、一致性模型的控制粒度以及多个一致性模型的偏差参数；S2：基于所述一致性模型额控制粒度，确定所述多个一致性模型的偏差参数之间的关联关系；S3：根据确定的所述关联关系，通过结合主成分分析法和逐步回归法，创建一致性模型。在实际应用中，数据一致性维护机制与系统可用性、性能之间的关系复杂而重要，随着一致性程度减弱，不一致性冲突数量的增加，性能与可用性随之提高。其中，可用性是指完成应用需求能力，即应用体验，而不是可靠性角度；性能是指应用请求的响应时间和吞吐量指标。分布式元数据的一致性问题分为两个方面，一方面是元数据服务器集群的副本之间的同步，另一方面是前端缓存与后端服务器之间的同步。元数据写操作路径为客户端、元数据服务器，读操作路径为客户端、元数据缓存层、元数据服务器，写操作、常规读操作采用强一致性策略，突发性高负载模式下采用可调一致性策略，可调参数为时间偏差和顺序偏差。为深入分析强一致性机制对树形结构元数据服务性能的影响，本章针对不同元数据访问请求模式进行了对比测试，全面分析强一致性策略对分布式元数据服务性能的影响。实验表明，随着并发访问数量的增加，不同的一致性策略对性能的影响程度是不同的，以读写锁机制实现的强一致性策略对元数据读操作性能的影响程度明显高于弱一致性策略对元数据读操作性能的影响程度。关键问题是，强一致性引起的性能开销是不是所有应用可以接受的？真实应用是否有性能开销与一致性保障之间存在权衡的需求？粗略的讲，涉及到经济财产、涉密信息的交易数据需要强一致性保障；反之，云存储中的图片文件等浏览数据的一致性保证机制存在可调空间。为了更加清晰的反应真实应用与分布式文件系统之间的逻辑关系，这里以应本文档来自技高网...

【技术保护点】
1.一种一致性模型的创建方法，其特征在于，所述方法包括：预先配置一致性模型的前置数据，所述前置数据包括一致性模型的应用对象、一致性模型的控制粒度以及多个一致性模型的偏差参数；基于所述一致性模型额控制粒度，确定所述多个一致性模型的偏差参数之间的关联关系；根据确定的所述关联关系，通过结合主成分分析法和逐步回归法，创建一致性模型。

【技术特征摘要】
1.一种一致性模型的创建方法，其特征在于，所述方法包括：预先配置一致性模型的前置数据，所述前置数据包括一致性模型的应用对象、一致性模型的控制粒度以及多个一致性模型的偏差参数；基于所述一致性模型额控制粒度，确定所述多个一致性模型的偏差参数之间的关联关系；根据确定的所述关联关系，通过结合主成分分析法和逐步回归法，创建一致性模型。2.根据权利要求1所述的方法，其特征在于，所述一致性模型的应用对象为元数据本身，并非事务处理过程。3.根据权利要求1所述的方法，其特征在于，所述一致性模型的控制粒度为子树，并非全局树。4.根据权利要求1所述的方法，其特征在于，所述一致性模型的偏差参数包括数值偏差参数、顺序偏差参数以及时间偏差参数。5.根据权利要求1所述的方法，其特征在于，在创建所述一致性模型之前，所述方法还包括：建立两个假设条件，并基于建立的所述两个假设条件创建所述一致性模型；其中，所述两个假设条件为：假设每一个元数据项的写入、读取内存的速度相同；假设所有元数据项的应用价值权重相同。6.根据权利要求1所述的方法，其特征在于，确定所述多个一致性模型的偏差参数之间的关联关系包括：数值偏差参数用目录下的文件数量表示，顺序偏差程度用上层目录下的目录数量表示，时间偏差参数用本层目录的树深度表示。7.根据权利要求1所述的方法，其特征在于，根据确定的所述关联关系，通过结合主成分分析法和逐步回归法，创建一致性模型包括：对原始数据进行标准化处理，并将标准化处理后的变量逐个引入逐步回归模型，以得到最优变量组；通过对所述最优...

【专利技术属性】
技术研发人员：孙耀，
申请(专利权)人：金陵科技学院，
类型：发明
国别省市：江苏,32