【技术实现步骤摘要】
本申请涉及大数据管理，具体而言，涉及一种基于ceph存储系统的数据读取处理、装置。
技术介绍
1、随着ai和大数据等新兴技术的不断发展，海量的业务数据便需要使用大规模存储集群进行存储。但在数据存储过程中，因磁盘坏道、数据位翻转等情况会导致静默数据损坏(silent data corruption，sdc)，致使数据不一致，对客户正常使用严重影响。
2、目前，针对静默数据损坏恢复有如下几种解决方案：
3、解决方案一：采用全局scrub扫描的方式检查静默数据损坏，周期性地全量对比各个副本的数据，读出主本数据及从本数据，完成数据一致性检查，当数据异常时，不一致的数据会被收集上报，并通过手动进行数据全量恢复。但该方法仍存在如下问题：(1)周期性检查机制使得恢复时间上有滞后性，也即当已经出现静默数据损坏但没有进行到扫描时，用户读数据时无法感知异常，因此，提供给用户的数据为错误数据，导致严重后果；(2)全量检查需要对全局所有数据进行读操作，不仅会挤压正常业务流量，还会产生资源浪费，并影响大数据存储集群的性能；(3)静默数据损...
【技术保护点】
1.一种基于Ceph存储系统的数据读取处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，在从Ceph存储系统内获取与所述数据读取请求对应的目标数据之前，所述方法还包括：
3.根据权利要求2所述的方法，其特征在于，在得到多个分片数据之后，所述方法还包括：
4.根据权利要求3所述的方法，其特征在于，确定各个所述分片数据的第一校验信息和第二校验信息的第一比较结果，并依据各个所述分片数据的第一比较结果对所述目标数据执行相应的读取处理操作，包括：
5.根据权利要求4所述的方法，其特征在于，直接输出所述目标数据
【技术特征摘要】
1.一种基于ceph存储系统的数据读取处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，在从ceph存储系统内获取与所述数据读取请求对应的目标数据之前，所述方法还包括：
3.根据权利要求2所述的方法，其特征在于，在得到多个分片数据之后，所述方法还包括：
4.根据权利要求3所述的方法，其特征在于，确定各个所述分片数据的第一校验信息和第二校验信息的第一比较结果，并依据各个所述分片数据的第一比较结果对所述目标数据执行相应的读取处理操作，包括：
5.根据权利要求4所述的方法，其特征在于，直接输出所述目标数据，包括：
6.根据权利要求4所述的方法，其特征在于，利用存储所述目标数据的次副本对所述异常...
【专利技术属性】
技术研发人员：谭常志，阮宜龙，秦凯悦，陈梦，
申请(专利权)人：中电信人工智能科技北京有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。