System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种提升存储系统写性能的方法技术方案_技高网

一种提升存储系统写性能的方法技术方案

技术编号:40926037 阅读:2 留言:0更新日期:2024-04-18 14:49
本发明专利技术公开了一种提升存储系统写性能的方法,所述提升性能的方法包括以下几个步骤:第一步,进行数据和校验值的发送;第二步,服务端进行校验值验算;第三步,进行错误码回传;第四步,重新计算客户端数据校验值并进行故障逻辑处理;第五步,设置租约并开启数据拷贝选项。本发明专利技术一种提升存储系统写性能的方法,通过多次校验计算和交互,以及租约的方式实现了零拷贝机制的自动恢复,减少数据拷贝的次数,提升了存储系统的整体性能,同时该发明专利技术相比现有默认一直关闭零拷贝机制,或者关闭数据校验的机制的方法,在使用时通过对比校验值来判断数据的准确性,具备数据的准确性,避免出现储存的数据为错误数据。

【技术实现步骤摘要】

本专利技术涉及新兴信息,特别涉及一种提升存储系统写性能的方法


技术介绍

1、数据库在写binlog的过程,实际上就是调用写接口将用户态数据写入二进制文件,该文件会通过网络发送到存储系统中进行持久化保存,在对rdma零拷贝机制带来了挑战,因为网卡是直接对用户态内存进行操作,存在数据还未被成功发送就被修改的情况,从而出现数据校验值不一致的问题,传统的为解决此问题,第一种是增加一次数据拷贝的动作,即在数据库写binlog时,将其用户态内存数据拷贝到另外一块用户态内存当中,然后再由rdma进行发送,但这样数据库对其自己的用户态内存的复用修改,便不会影响到数据的发送,但这种方式是以牺牲存储系统性能为代价,第二种是在数据发送过程中不校验数据,但这样是以牺牲数据可靠性为代价,当程序出现缺陷、网络错误等问题时,无法及时的识别,导致存储错误的数据的情况产生。


技术实现思路

1、本专利技术的目的在于提供一种提升存储系统写性能的方法,以解决上述
技术介绍
中提出的问题。

2、为实现上述目的,本专利技术提供如下技术方案:一种提升存储系统写性能的方法,所述提升性能的方法包括以下几个步骤:

3、第一步,进行数据和校验值的发送,使用数据传输模块将客户端的数据和该数据的校验值向服务器进行发送,并将该次的校验值命名为value1;

4、第二步,服务端进行校验值验算,根据客户端传输的数据来重新计算校验值,将该次的校验值命名为value2,并将value1与value2进行对比,判断数据是否正常;

5、第三步,进行错误码回传,根据第二步得出的数据结果,当数据异常时,将错误码向客户端进行发送;

6、第四步,重新计算客户端数据校验值并进行故障逻辑处理,通过再次计算客户端数据的校验值,并将此次校验值与value1进行对比,通过对比结果来判断问题原因;

7、第五步,设置租约并开启数据拷贝选项,是通过设置租约时间,来定时关闭数据拷贝选项,并采用零拷贝机制来提升性能。

8、优选的,所述数据和校验值的发送包括原有数据校验值的计算和打包输送;

9、所述数据校验值的计算是通过校验和算法来计算出数据的校验值value1;

10、所述打包输送是将用户端的数据和通过数据校验值的计算得出的校验值一起向服务端进行发送。

11、优选的,所述服务端进行校验值验算包括数据的接收、接收数据校验值的计算、服务端的校验值对比和服务端数据的判断。

12、优选的,所述数据的接收是通过服务端的接收入口接收从客户端传来的数据和校验值value1,所述接收数据校验值的计算是根据校验和算法来计算出数据的校验值value2,所述服务端的校验值对比是将客户端得到的校验值value1与服务端得到的校验值value2进行对比,所述服务端数据的判断是根据两个校验值的对比来判断传入服务端的数据是否出错。

13、优选的,所述服务端数据的判断包括以下几种情况:

14、第一种,校验值value2与校验值value1相同,则表示数据正常;

15、第二种,校验值value2与校验值value1不相同,则表示数据异常。

16、优选的,所述重新计算客户端数据校验值包括调取数据和再次计算校验值;

17、所述调取数据是将第一步中向服务端传输的数据进行提取;

18、所述再次计算校验值是通过校验和算法来计算出数据的校验值value3。

19、优选的,所述故障逻辑处理包括客户端校验值对比和故障的判断;

20、所述客户端校验值对比,是将校验值value1与再次计算的校验值value3进行对比;

21、所述故障的判断,是根据客户端校验值对比的结果来判断故障原因。

22、优选的,所述故障的判断包括以下几种情况:

23、第一种,校验值value1与校验值value3相同,则表明数据在发送过程中未被修改,为传输过程中出现问题;

24、第二种,校验值value1与校验值value3不相同,则表示数据被修改。

25、优选的,所述设置租约并开启数据拷贝选项包括以下几个步骤:

26、s1,设置租约时间,是通过设定规定的时间来限制租约的时长;

27、s2,启动数据拷贝并开启租约,是将数据进行拷贝发送,并通过开启租约来限制拷贝时长;

28、s3,恢复零拷贝机制,通过s1设置的租约时间,租约时间到期后,关闭拷贝选项,继续采用零拷贝机制。

29、本专利技术的技术效果和优点:

30、该提升存储系统写性能的方法,通过多次校验计算和交互,以及租约的方式实现了零拷贝机制的自动恢复,减少数据拷贝的次数,提升了存储系统的整体性能,同时该专利技术相比现有默认一直关闭零拷贝机制,或者关闭数据校验的机制的方法,在使用时通过对比校验值来判断数据的准确性,具备数据的准确性,避免出现储存的数据为错误数据。

本文档来自技高网...

【技术保护点】

1.一种提升存储系统写性能的方法,其特征在于,所述提升性能的方法包括以下几个步骤:

2.根据权利要求1所述的一种提升存储系统写性能的方法,其特征在于,所述数据和校验值的发送包括原有数据校验值的计算和打包输送;

3.根据权利要求1所述的一种提升存储系统写性能的方法,其特征在于,所述服务端进行校验值验算包括数据的接收、接收数据校验值的计算、服务端的校验值对比和服务端数据的判断。

4.根据权利要求3所述的一种提升存储系统写性能的方法,其特征在于,所述数据的接收是通过服务端的接收入口接收从客户端传来的数据和校验值value1,所述接收数据校验值的计算是根据校验和算法来计算出数据的校验值value2,所述服务端的校验值对比是将客户端得到的校验值value1与服务端得到的校验值value2进行对比,所述服务端数据的判断是根据两个校验值的对比来判断传入服务端的数据是否出错。

5.根据权利要求1所述的一种提升存储系统写性能的方法,其特征在于,所述服务端数据的判断包括以下几种情况:

6.根据权利要求1所述的一种提升存储系统写性能的方法,其特征在于,所述重新计算客户端数据校验值包括调取数据和再次计算校验值;

7.根据权利要求6所述的一种提升存储系统写性能的方法,其特征在于,所述故障逻辑处理包括客户端校验值对比和故障的判断;

8.根据权利要求7所述的一种提升存储系统写性能的方法,其特征在于,所述故障的判断包括以下几种情况:

9.根据权利要求1所述的一种提升存储系统写性能的方法,其特征在于,所述设置租约并开启数据拷贝选项包括以下几个步骤:

...

【技术特征摘要】

1.一种提升存储系统写性能的方法,其特征在于,所述提升性能的方法包括以下几个步骤:

2.根据权利要求1所述的一种提升存储系统写性能的方法,其特征在于,所述数据和校验值的发送包括原有数据校验值的计算和打包输送;

3.根据权利要求1所述的一种提升存储系统写性能的方法,其特征在于,所述服务端进行校验值验算包括数据的接收、接收数据校验值的计算、服务端的校验值对比和服务端数据的判断。

4.根据权利要求3所述的一种提升存储系统写性能的方法,其特征在于,所述数据的接收是通过服务端的接收入口接收从客户端传来的数据和校验值value1,所述接收数据校验值的计算是根据校验和算法来计算出数据的校验值value2,所述服务端的校验值对比是将客户端得到的校验值value1与服务端得到的校验值val...

【专利技术属性】
技术研发人员:马建庭张宗全王珺蔡勇
申请(专利权)人:天翼云科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1