【技术实现步骤摘要】
一种控制处理写操作的方法及装置
本申请涉及分布式存储系统数据处理
，特别是涉及一种控制处理写操作的方法及装置。
技术介绍
在如今的云计算时代，海量数据对分布式存储系统的存储性能要求越来越高。分布式存储系统的稳定性是极其重要的，只有稳定性足够高，才能长期为用户提供持续稳定的存储服务。由于应用的复杂性，存储系统中瞬间涌入大量写入操作的情况时有发生。这些大量的写操作由于处理不及时，容易堆积在分布式存储系统的内存中，导致集群的内存使用量暴增，严重时会占用Swap空间，不仅拖慢分布式存储的性能，严重时还会造成宕机事故。可见，这种大量写操作瞬间涌入的情况致使分布式存储系统稳定性较差。而如何处理瞬间大量的写操作，避免上述影响，已经成为了该领域急需解决的重要难题。
技术实现思路
基于上述问题，本申请提供了一种控制处理写操作的方法及装置，以解决分布式存储系统因大量写操作的涌入造成的稳定性差的问题。本申请实施例公开了如下技术方案：本申请第一方面，提供一种控制处理写操作的方法。该方法包括：利用处理阈值控制对写操作的处理，获得写操作处理完成的消息；所述处理阈值，包括：数目阈值和数据长度...
【技术保护点】
1.一种控制处理写操作的方法，其特征在于，包括：利用处理阈值控制对写操作的处理，获得写操作处理完成的消息；所述处理阈值，包括：数目阈值和数据长度阈值，所述数目阈值为预设的分布式存储系统同一时间处理的写操作最大数目，所述数据长度阈值为预设的所述分布式存储系统同一时间处理的写操作最大数据长度；所述消息中包括分布式存储系统的压力信息，所述压力信息包括：CPU负载，以及内存使用量；根据所述消息中的所述压力信息，调整所述处理阈值。
【技术特征摘要】
1.一种控制处理写操作的方法，其特征在于，包括：利用处理阈值控制对写操作的处理，获得写操作处理完成的消息；所述处理阈值，包括：数目阈值和数据长度阈值，所述数目阈值为预设的分布式存储系统同一时间处理的写操作最大数目，所述数据长度阈值为预设的所述分布式存储系统同一时间处理的写操作最大数据长度；所述消息中包括分布式存储系统的压力信息，所述压力信息包括：CPU负载，以及内存使用量；根据所述消息中的所述压力信息，调整所述处理阈值。2.根据权利要求1所述的方法，其特征在于，所述利用处理阈值控制对写操作的处理，具体包括：将正在处理的写操作的数目与所述数目阈值进行比较，以及，将正在处理的写操作的数据长度与所述数据长度阈值进行比较；如果所述正在处理的写操作的数目未达到所述数目阈值，且所述正在处理的写操作的数据长度未达到所述数据长度阈值，则处理新的写操作；如果所述正在处理的写操作的数目达到所述数目阈值，和/或，所述正在处理的写操作的数据长度达到所述数据长度阈值，则将所述新的写操作存入待处理队列中，继续处理所述正在处理的写操作。3.根据权利要求2所述的方法，其特征在于，所述将所述新的写操作存入待处理队列中之后，所述方法还包括：等待正在处理的一个或多个写操作处理完成后，优先处理所述待处理队列中较先存入的写操作。4.根据权利要求1-3任一项所述的方法，其特征在于，在所述调整所述处理阈值之前，所述方法还包括获取处理阈值的调整策略；所述调整策略包括：多个处理策略的调整值，以及与每个所述调整值相对应的CPU负载区间及内存使用量区间；各个所述CPU负载区间互不相交，各个所述内存使用量区间互不相交；所述调整值越小，所述调整值对应的CPU负载越大，且所述调整值对应的内存使用量越大；所述根据所述消息中的所述压力信息，调整所述处理阈值，具体包括：将所述压力信息中CPU负载对应的调整值，与所述压力信息中内存使用量对应的调整值进行比较，如果所述CPU负载对应的调整值与所述内存使用量对应的调整值相同，则将所述调整值作为处理阈值；如果所述CPU负载对应的调整值，与所述内存使用量对应的调整值不同，则将较小的调整值作为处理阈值。5.一种控制处理写操作的装置，其特征在于，包括：控制与处理模块，以及，调度模块；所述控制与处理模块，用于利用处理阈值控制对写操作...
【专利技术属性】
技术研发人员：方兰春，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。