基于纠删码的数据恢复控制方法、装置、设备及介质制造方法及图纸

本申请提供一种基于纠删码的数据恢复控制方法、装置、设备及介质，该方法包括：根据预设的纠删比存储数据，所述数据包括源数据和校验数据；当磁盘上线时，加载源数据索引信息，待加载完成后，通过源数据加载标识表示源数据索引加载状态；然后，加载校验数据的索引信息，待加载完成后，通过校验数据加载标识表示校验数据索引加载状态；根据所有源数据加载标识和校验数据加载标识，控制数据上报，并优先获取源数据，待源数据处理完毕后，再对校验数据进行处理，完成数据恢复。通过标识区分源数据与校验数据，采用先加载源数据再加载校验数据的方式，加快了文件系统加载过程和服务节点启动过程，减少了异常状况下服务节点的启动时间，提高了响应效率。

【技术实现步骤摘要】
基于纠删码的数据恢复控制方法、装置、设备及介质
本申请涉及数据存储
，特别是涉及一种基于纠删码的数据恢复控制方法、装置、设备及介质。
技术介绍
当今互联网高速发展，大数据及云技术的普遍应用，存储系统需要处理的数据越来越多。做为数据存储介质的磁盘，经过几次更新换代，单个磁盘可存储数据量更加庞大。但由于存储环境越来越复杂，常常出现掉电或者故障导致的磁盘重新上线。目前为了满足使用少量盘存储更多数据且实现灾备，市场上通常采用纠删方式实现数据灾备。然而，在数据容灾过程中，由于没有考虑磁盘上电时数据上报和磁盘掉电时数据恢复对前端业务的影响，即数据上报和数据恢复会使CPU和内存占用率高升高，最终导致前端业务出现响应超时、数据重传等现象；另外，由于文件系统没有针对纠删特定场景进行适配，磁盘上电时数据数据上报和磁盘下电时数据恢复没有区分源数据与校验数据，造成不必要的纠删计算过程和等待。因此，现有的基于纠删存储系统的磁盘存储方案没有考虑到纠删特性，节点重启或磁盘故障情况下会占用大量系统资源，造成前端业务响应慢，磁盘负载过大的现象。...

【技术保护点】
1.一种基于纠删码的数据恢复控制方法，其特征在于，包括：/n根据预设的纠删比存储数据，所述数据包括源数据和校验数据；/n当磁盘上线时，加载所述源数据索引信息，待加载完成后，通过源数据加载标识表示源数据索引加载状态；然后，加载所述校验数据的索引信息，待加载完成后，通过校验数据加载标识表示校验数据索引加载状态；/n根据所有的源数据加载标识和校验数据加载标识，控制数据上报，并优先获取源数据，待源数据处理完毕后，再对校验数据进行处理，完成数据恢复。/n

【技术特征摘要】
1.一种基于纠删码的数据恢复控制方法，其特征在于，包括：
根据预设的纠删比存储数据，所述数据包括源数据和校验数据；
当磁盘上线时，加载所述源数据索引信息，待加载完成后，通过源数据加载标识表示源数据索引加载状态；然后，加载所述校验数据的索引信息，待加载完成后，通过校验数据加载标识表示校验数据索引加载状态；
根据所有的源数据加载标识和校验数据加载标识，控制数据上报，并优先获取源数据，待源数据处理完毕后，再对校验数据进行处理，完成数据恢复。


2.根据权利要求1所述的基于纠删码的数据恢复控制方法，其特征在于，所述根据所有的源数据加载标识和校验数据加载标识，控制数据上报的步骤，包括：
根据所述源数据加载标识优先上报所述磁盘内的源数据，待所述源数据上报完后，再根据校验数据加载标识上报所述磁盘内的校验数据。


3.根据权利要求1所述的基于纠删码的数据恢复控制方法，其特征在于，所述优先获取源数据，待源数据处理完毕后，再对校验数据进行处理，完成数据恢复的步骤，包括：
当检测到磁盘恢复数据时，根据所述源数据加载标识恢复所述磁盘内的源数据，待所述源数据恢复完后，再根据所述校验数据加载标识恢复所述磁盘内的校验数据。


4.根据权利要求1所述的基于纠删码的数据恢复控制方法，其特征在于，所述根据预设的纠删比存储数据的步骤，包括：
根据存储对象在相应的磁盘上按照纠删比创建k+m个块文件，k、m均为整数；
根据块文件类型创建对应的源数据块文件或校验数据块文件；
将待写入的数据存储到缓存中，当所述缓存中源数据大小满足预设大小时，通过对所述源数据进行条带化处理，按序将原数据分割成多个条带单元，利用纠删方法计算相应的校验条带单元；
根据块文件名分别将源数据、校验数据按照顺序对应写入相应的条带单元，所述块文件名包含文件名、对象ID与块ID。


5.根据权利要求4所述的基于纠删码的数据恢复控制方法，其特征在于，所述根据块文件类型创建对应的源数据块文件或校验数据块文件的步骤，包括：
在所述磁盘的私有文件系统中创建块文件；
如果块文件类型是源数据，从所述磁盘的源数据位图表中寻找空闲块节点，根据空闲块节点和超级块信息计算磁盘上索引与数据块位置，利用所述磁盘上索引与数据块位置创建源数据块文件；
如果块文件类型是校验数据，从所述磁盘的校验数据位图表中寻找空闲块节点，根据空闲块节点和超级块信息计算磁盘上索引与数据块位置，利用所述磁盘上索引与数据块位置创建校验数据块文件。


6.根据权利要求3所述的基于纠删码的数据恢复控制方法，其特征在于，所述当检测到磁盘恢复数据时，根据所述源数据加载标识恢复所述磁盘内的源数据，待所述源数据恢复完后，再根据所述校验数据加载标识恢复所述磁盘内的校验数据的步骤，包括：
当监测到磁盘下线时，触发数据节点中的恢复扫描线程与恢复线程；
利用恢复扫描线程查询数据库中掉线磁盘的所有块文件，根据所述块文件的类型将其加入不同恢复链表；
优先恢复源数据块文件恢复链表中待恢复的块文件，直到所有源数据块文件恢复完后，再恢复校验数据块文件恢复链表中待恢复的块文件。

【专利技术属性】
技术研发人员：杜兴，
申请(专利权)人：重庆紫光华山智安科技有限公司，
类型：发明
国别省市：重庆;50