一种一致性模型的创建方法及系统技术方案

技术编号:21059972 阅读:50 留言:0更新日期:2019-05-08 06:50
本发明专利技术实施例涉及一种一致性模型的创建方法及系统,其中,所述方法包括:预先配置一致性模型的前置数据,所述前置数据包括一致性模型的应用对象、一致性模型的控制粒度以及多个一致性模型的偏差参数;基于所述一致性模型额控制粒度,确定所述多个一致性模型的偏差参数之间的关联关系;根据确定的所述关联关系,通过结合主成分分析法和逐步回归法,创建一致性模型。本申请提供的技术方案,能够更加灵活地调整元数据一致性维护粒度,应对突发高负载模式对分布式文件系统元数据性能影响的问题。

【技术实现步骤摘要】
一种一致性模型的创建方法及系统
本申请涉及数据处理
,特别涉及一种一致性模型的创建方法及系统。
技术介绍
一致性维护是元数据分布式管理技术的核心。当前大多数分布式文件系统采用元数据、数据分离架构设计实现,即采用两个服务器集群分别存储元数据、数据。在分布式文件系统中,元数据是指文件路径、状态、操作权限等信息的集合,这些信息存储于一个独立的服务器集群,采用树形语义结构管理。当多个元数据服务器共同管理元数据时,树形结构元数据需要划分为多个子树,每个子树之间存在必然的逻辑关系,即父节点与子节点之间的关系,父节点代表一个文件目录,子节点代表一个文件目录或者一个文件。当一个节点发生变化时,另外一个或者多个节点也需要同步为一致状态。强一致性对元数据分布式服务性能影响巨大。元数据分布式服务模型很好的为分布式文件系统解决了存储可扩展性问题,但随之而来的问题是高并发负载模式下系统元数据访问性能无法满足可扩展性,此问题是系统为保证元数据状态的强一致性而付出的性能开销过大。已有相关研究工作以可调一致性机制为基础,提出了各种方法、策略解决强一致性策略对分布式文件系统元数据性能的影响问题,但在一致性维护粒本文档来自技高网...

【技术保护点】
1.一种一致性模型的创建方法,其特征在于,所述方法包括:预先配置一致性模型的前置数据,所述前置数据包括一致性模型的应用对象、一致性模型的控制粒度以及多个一致性模型的偏差参数;基于所述一致性模型额控制粒度,确定所述多个一致性模型的偏差参数之间的关联关系;根据确定的所述关联关系,通过结合主成分分析法和逐步回归法,创建一致性模型。

【技术特征摘要】
1.一种一致性模型的创建方法,其特征在于,所述方法包括:预先配置一致性模型的前置数据,所述前置数据包括一致性模型的应用对象、一致性模型的控制粒度以及多个一致性模型的偏差参数;基于所述一致性模型额控制粒度,确定所述多个一致性模型的偏差参数之间的关联关系;根据确定的所述关联关系,通过结合主成分分析法和逐步回归法,创建一致性模型。2.根据权利要求1所述的方法,其特征在于,所述一致性模型的应用对象为元数据本身,并非事务处理过程。3.根据权利要求1所述的方法,其特征在于,所述一致性模型的控制粒度为子树,并非全局树。4.根据权利要求1所述的方法,其特征在于,所述一致性模型的偏差参数包括数值偏差参数、顺序偏差参数以及时间偏差参数。5.根据权利要求1所述的方法,其特征在于,在创建所述一致性模型之前,所述方法还包括:建立两个假设条件,并基于建立的所述两个假设条件创建所述一致性模型;其中,所述两个假设条件为:假设每一个元数据项的写入、读取内存的速度相同;假设所有元数据项的应用价值权重相同。6.根据权利要求1所述的方法,其特征在于,确定所述多个一致性模型的偏差参数之间的关联关系包括:数值偏差参数用目录下的文件数量表示,顺序偏差程度用上层目录下的目录数量表示,时间偏差参数用本层目录的树深度表示。7.根据权利要求1所述的方法,其特征在于,根据确定的所述关联关系,通过结合主成分分析法和逐步回归法,创建一致性模型包括:对原始数据进行标准化处理,并将标准化处理后的变量逐个引入逐步回归模型,以得到最优变量组;通过对所述最优...

【专利技术属性】
技术研发人员:孙耀
申请(专利权)人:金陵科技学院
类型:发明
国别省市:江苏,32

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1