一种写操作控制方法、系统、装置及计算机可读存储介质制造方法及图纸

技术编号:18397920 阅读:34 留言:0更新日期:2018-07-08 19:04
本发明专利技术公开了一种写操作控制方法、系统、装置及计算机存储介质,应用于分布式存储系统,包括:在接收到写请求时,调用写线程将待写入数据按照条带方式分割成原始数据块,并根据条带对应的数据对象服务OSD信息将原始数据块发送到OSD节点上下盘;调用后台线程根据待写入数据生成校验数据块,并发送校验数据块到对应的OSD节点上下盘。本申请中每次写数据时,调用写线程只把待写入数据下盘,然后调用后台线程异步计算出校验数据块,再单独下盘。后台线程不工作在业务下盘的IO路径上,减少了业务IO路径的下盘数据量,这样就降低了业务每次写数据的时延,使得分布式存储系统能提供更高的性能,支撑更多路数的视频流业务,满足客户需求。

【技术实现步骤摘要】
一种写操作控制方法、系统、装置及计算机可读存储介质
本专利技术涉及分布式文件系统领域,特别是涉及一种写操作控制方法、系统、装置及计算机可读存储介质。
技术介绍
分布式存储系统中,通常采用EC(ErasureCode,纠删码)技术来实现数据的冗余可靠性,这种机制保障了在不超过冗余个数的硬盘出现故障时,数据是可恢复的。具体地,Client端每次写数据时,通过EC技术计算出原始数据块对应的校验数据块,然后同时把原始数据块和校验数据块一起发送至OSD(Object-basedStorage,数据对象服务)端下盘。校验数据块的下盘占用了业务下盘的IO(Input/Output,输入/输出)路径,使得业务IO路径的下盘数据量较多,从而导致写请求的时延较长,业务的吞吐量性能较低,难以支持成百上千路的视频流写入,可能出现业务阻塞的问题。因此如何提供一种解决上述技术问题的方案是本领域技术人员目前需要解决的问题。
技术实现思路
本专利技术的目的是提供一种写操作控制方法、系统、装置及计算机可读存储介质,每次写数据时,调用写线程只把待写入数据下盘,然后调用后台线程异步计算出校验数据块,再单独下盘。后台线程不工作在业务下盘的IO路径上,减少了业务IO路径的下盘数据量,降低了业务每次写数据的时延,使得分布式存储系统能提供更高的性能,支撑更多路数的视频流业务,满足客户需求。为解决上述技术问题,本专利技术提供了一种写操作控制方法,应用于分布式存储系统,包括:在接收到写请求时,调用写线程将待写入数据按照条带方式分割成原始数据块,并根据所述条带对应的数据对象服务OSD信息将所述原始数据块发送到所述OSD节点上下盘;调用后台线程根据所述待写入数据生成校验数据块,并发送所述校验数据块到对应的OSD节点上下盘。优选地,所述根据所述待写入数据生成校验数据块的过程具体为:判断所述待写入数据是否是首次写;如果是首次写,则根据当前所述待写入数据直接生成校验数据块;如果是修改写,则判断所述修改写是否是整条带覆盖写,当是所述整条带覆盖写时,根据当前所述待写入数据直接生成校验数据块,当不是所述整条带覆盖写时,合并所述待写入数据和原有数据,根据合并后的数据生成校验数据块。优选地,所述将所述原始数据块发送到所述OSD节点上下盘之后,该方法还包括:发送用于指示写入成功的返回结果至上层业务。优选地,所述发送所述校验数据块到对应的OSD节点上下盘之后,该方法还包括:释放缓存中保存的所述待写入的数据。为解决上述技术问题,本专利技术还提供了一种写操作控制系统,应用于分布式存储系统,包括:第一发送模块,用于在接收到写请求时,调用写线程将待写入数据按照条带方式分割成原始数据块,并根据所述条带对应的数据对象服务OSD信息将所述原始数据块发送到所述OSD节点上下盘;第二发送模块,用于调用后台线程根据所述待写入数据生成校验数据块,并发送所述校验数据块到对应的OSD节点上下盘。优选地,所述第二发送模块具体用于判断所述待写入数据是否是首次写;如果是首次写,则根据当前所述待写入数据直接生成校验数据块;如果是修改写,则判断所述修改写是否是整条带覆盖写,当是所述整条带覆盖写时,根据当前所述待写入数据直接生成校验数据块,当不是所述整条带覆盖写时,合并所述待写入数据和原有数据,根据合并后的数据生成校验数据块。优选地,该系统还包括返回模块,用于发送用于指示写入成功的返回结果至上层业务。优选地,该系统还包括删除模块,用于释放缓存中保存的所述待写入的数据。为解决上述技术问题,本专利技术还提供了一种写操作控制装置,应用于分布式存储系统,包括:存储器,用于存储计算机程序;处理器,用于执行所述计算机程序时实现上述任一项所述写操作控制方法的步骤。为解决上述技术问题,本专利技术还提供了一种计算机可读存储介质,应用于分布式存储系统,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项所述写操作控制方法的步骤。本专利技术提供了一种写操作控制方法,应用于分布式存储系统,包括:在接收到写请求时,调用写线程将待写入数据按照条带方式分割成原始数据块,并根据条带对应的数据对象服务OSD信息将原始数据块发送到OSD节点上下盘;调用后台线程根据待写入数据生成校验数据块,并发送校验数据块到对应的OSD节点上下盘。相比于现有技术中同时把原始数据块和校验数据块一起发送至OSD端下盘,本申请中每次写数据时,调用写线程只把待写入数据下盘,然后调用后台线程异步计算出校验数据块,再单独下盘。可见,后台线程不工作在业务下盘的IO路径上,减少了业务IO路径的下盘数据量,这样就降低了业务每次写数据的时延,使得分布式存储系统能提供更高的性能,支撑更多路数的视频流业务,满足客户需求。本专利技术还提供了一种写操作控制系统、装置及计算机存储介质,与上述写操作控制方法具有相同的有益效果。附图说明为了更清楚地说明本专利技术实施例中的技术方案,下面将对现有技术和实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本专利技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。图1为本专利技术提供的一种写操作控制方法的过程流程图;图2为本专利技术提供的一种写操作控制系统的结构示意图。具体实施方式本专利技术的核心是提供一种写操作控制方法、系统、装置及计算机可读存储介质,每次写数据时,调用写线程只把待写入数据下盘,然后调用后台线程异步计算出校验数据块,再单独下盘。后台线程不工作在业务下盘的IO路径上,减少了业务IO路径的下盘数据量,降低了业务每次写数据的时延,使得分布式存储系统能提供更高的性能,支撑更多路数的视频流业务,满足客户需求。为使本专利技术实施例的目的、技术方案和优点更加清楚,下面将结合本专利技术实施例中的附图,对本专利技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本专利技术一部分实施例,而不是全部的实施例。基于本专利技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本专利技术保护的范围。请参照图1,图1为本专利技术提供的一种写操作控制方法的过程流程图,该方法应用于分布式存储系统,包括:步骤S11:在接收到写请求时,调用写线程将待写入数据按照条带方式分割成原始数据块,并根据条带对应的数据对象服务OSD信息将原始数据块发送到OSD节点上下盘;需要说明的是,在视频监控场景中,绝大部分的数据写入后是很少被访问的,对数据可靠性要求不高,但此类场景对存储的时延和性能要求很高,要能支持成百上千路的视频流写入,并且不能阻塞业务。在此类场景下,同时把原始数据块和校验数据块一起发送至OSD端下盘就增加了每次下盘的IO次数,比较难以提升性能来满足此类场景的高并发的极致性能。具体地,本申请在接收到写请求时,调用写线程只把待写入数据下盘,相比于现有技术中同时把原始数据块和校验数据块一起发送至OSD端下盘,减少了业务IO路径的下盘数据量,对性能有较大的提升(低时延和高带宽),能支撑更多路数的视频流业务,满足客户需求。步骤S12:调用后台线程根据待写入数据生成校验数据块,并发送校验数据块到对应的OSD节点上下盘。具体地,调用后台线程异步计算校验数据块,再单独把校验数据块下盘,保证最终存储的数据的本文档来自技高网...

【技术保护点】
1.一种写操作控制方法,应用于分布式存储系统,其特征在于,包括:在接收到写请求时,调用写线程将待写入数据按照条带方式分割成原始数据块,并根据所述条带对应的数据对象服务OSD信息将所述原始数据块发送到所述OSD节点上下盘;调用后台线程根据所述待写入数据生成校验数据块,并发送所述校验数据块到对应的OSD节点上下盘。

【技术特征摘要】
1.一种写操作控制方法,应用于分布式存储系统,其特征在于,包括:在接收到写请求时,调用写线程将待写入数据按照条带方式分割成原始数据块,并根据所述条带对应的数据对象服务OSD信息将所述原始数据块发送到所述OSD节点上下盘;调用后台线程根据所述待写入数据生成校验数据块,并发送所述校验数据块到对应的OSD节点上下盘。2.根据权利要求1所述的写操作控制方法,其特征在于,所述根据所述待写入数据生成校验数据块的过程具体为:判断所述待写入数据是否是首次写;如果是首次写,则根据当前所述待写入数据直接生成校验数据块;如果是修改写,则判断所述修改写是否是整条带覆盖写,当是所述整条带覆盖写时,根据当前所述待写入数据直接生成校验数据块,当不是所述整条带覆盖写时,合并所述待写入数据和原有数据,根据合并后的数据生成校验数据块。3.根据权利要求2所述的写操作控制方法,其特征在于,所述将所述原始数据块发送到所述OSD节点上下盘之后,该方法还包括:发送用于指示写入成功的返回结果至上层业务。4.根据权利要求2所述的写操作控制方法,其特征在于,所述发送所述校验数据块到对应的OSD节点上下盘之后,该方法还包括:释放缓存中保存的所述待写入的数据。5.一种写操作控制系统,应用于分布式存储系统,其特征在于,包括:第一发送模块,用于在接收到写请求时,调用写线程将待写入数据按照条带方式分割成原始数...

【专利技术属性】
技术研发人员:孟祥瑞
申请(专利权)人:郑州云海信息技术有限公司
类型:发明
国别省市:河南,41

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1