一种大数据平台的数据巡检及备份方法技术

本发明专利技术涉及数据管理技术，尤其是一种大数据平台的数据巡检及备份方法，当接收到运维管理人员的巡检指令时，获取存储节点存储的主数据分片对应的各个从存储节点，根据主数据分片的校验结果以及各个所述从数据分片的校验结果；运维管理人员根据校验结果，利用测试数据采集从疑似异常数据分片的运行数据，通过该运行数据对疑似异常数据分片的运行状态进行解析；对于正常状态的数据分片的存储节点对备份节点周期性发送备份数据，备份节点根据存储节点的请求删去服务器保存的存储节点的备份数据。该方法可实时掌握大数据平台中数据库的运行状态，并快速对异常数据分片进行定位，通过删除无效备份数据节约节点存储空间，节约了存储资源。储资源。

【技术实现步骤摘要】
一种大数据平台的数据巡检及备份方法


[0001]本专利技术涉及数据管理技术，尤其是涉及一种大数据平台的数据巡检及备份方法。

技术介绍

[0002]传统的数据巡检方法包括：1.确定巡检周期；2.定期触发巡检。传统数据巡检方法在实际使用时，并没有考虑到对用户读写性能的影响，容易造成数据资源读写延迟增加。而大数据平台的数据部署方式较为粗放，未对数据资源进行针对性的部署，使得每个访问大数据平台的用户的数据资源占有率高，硬件级别的数据资源巡检方法不能覆盖大数据平台的运维状况，大数据平台数据量变化异常数据中心设备也不能提供实时上报。而运维人员只有在数据中心设备上报过程中才可以根据上述统计出的运行状态数据，得知数据中心设备的异常，然后再查询异常的数据中心设备，对比异常之处，并人工录入数据库。另一方面，传统的备份方法在主备节点间进行，需要备份节点与主节点硬件一致，当主节点正常工作时，备份节点不接入系统，只具对主节点进行备份操作，当主节点故障时，直接将备份节点切换到系统中使用。对于大数据平台而言存在大量的备份节点，且备份节点不会删除已经失效的备份数据，导致占用了大量资源。以上数据巡检及备份存在的问题，导致整个数据中心设备效率较低，影响数据中心设备的正常使用。

技术实现思路

[0003]针对传统数据巡检方法和数据备份方法存在的问题，本专利技术提出一种大数据平台的数据巡检及备份方法。该方法实现了数据巡检和数据备份的最优融合，通过统一技术路线、统一技术支持，实现大数据平台数据服务平台化，保障了数据和业务的连续性。
[0004]本专利技术的大数据平台的数据巡检及备份方法，采用分布式存储系统，其特征在于包括以下步骤：存储节点基于纠删码策略存储数据，当接收到运维管理人员的巡检指令时，获取存储节点存储的主数据分片对应的各个从存储节点，然后向各个从存储节点获取主数据分片对应的从数据分片的校验结果，根据主数据分片的校验结果以及各个所述从数据分片的校验结果，向运维管理人员回复巡检结果；运维管理人员根据校验结果，利用测试数据采集从疑似异常数据分片的运行数据，通过该运行数据对疑似异常数据分片的运行状态进行解析；对于正常状态的数据分片的存储节点对备份节点周期性发送备份数据，存储节点与备份节点互为协同节点，备份节点根据存储节点的请求删去服务器保存的存储节点的备份数据；当存储节点离线时，备份节点向大数据平台发送数据恢复请求报文；在接收到大数据平台反馈的备份数据恢复接受报文后，备份节点向所述数据平台发送所述存储节点在本地保存的备份数据，备份数据为存储节点已经发送给所述数据平台的数据。
[0005]进一步的，所述利用测试数据采集从疑似异常数据分片的运行数据的具体方法为创建测试数据库，并在所述测试数据库中创建测试用表；在所述测试用表中插入目标数据，
并利用所述目标数据采集疑似异常数据分片的运行数据；若运行数据为目标数据返回的操作成功消息，则判定疑似异常数据分片为正常状态；若运行数据为标数据返回的操作失败消息，则确认疑似异常数据分片为异常状态，并确定异常数据分片的异常位置。
[0006]进一步的，备份节点在接收存储节点发送的备份数据时，删除本地保存的超出本地存储容量的其他备份数据，直到所述本地存储容量未超出为止。
[0007]利用本方法可实现对大数据平台中的数据按运维管理人员的指令巡检，实时掌握大数据平台中数据库的运行状态，并快速对异常数据分片进行定位，如此可以显著提高用户在使用大数据平台时的用户体验；该方法能够通过删除无效备份数据节约节点存储空间，在保证数据备份的前提下，节约了存储资源，提高了资源利用率。
具体实施方式
[0008]实施例1：大数据平台的数据巡检及备份方法，采用分布式存储系统，存储节点基于纠删码策略存储数据，当接收到运维管理人员的巡检指令时，获取存储节点存储的主数据分片对应的各个从存储节点，然后向各个从存储节点获取主数据分片对应的从数据分片的校验结果，根据主数据分片的校验结果以及各个所述从数据分片的校验结果，向运维管理人员回复巡检结果；运维管理人员根据校验结果，利用测试数据采集从疑似异常数据分片的运行数据，创建测试数据库，并在所述测试数据库中创建测试用表；在所述测试用表中插入目标数据，并利用所述目标数据采集疑似异常数据分片的运行数据；若运行数据为目标数据返回的操作成功消息，则判定疑似异常数据分片为正常状态；若运行数据为标数据返回的操作失败消息，则确认疑似异常数据分片为异常状态，并确定异常数据分片的异常位置。
[0009]对于正常状态的数据分片的存储节点对备份节点周期性发送备份数据，存储节点与备份节点互为协同节点，备份节点根据存储节点的请求删去服务器保存的存储节点的备份数据；当存储节点离线时，备份节点向大数据平台发送数据恢复请求报文；在接收到大数据平台反馈的备份数据恢复接受报文后，备份节点向所述数据平台发送所述存储节点在本地保存的备份数据，备份数据为存储节点已经发送给所述数据平台的数据；备份节点在接收存储节点发送的备份数据时，删除本地保存的超出本地存储容量的其他备份数据，直到所述本地存储容量未超出为止。
[0010]显然，本领域的技术人员应该明白，上述的各步骤可以用通用的计算机设备及网络实现，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，本专利技术不限制于任何特定的硬件和软件结合。以上所述仅为本专利技术的优选实施例而已，并不用于限制本专利技术，对于本领域的技术人员来说，本专利技术可以有各种更改和变化。凡在本专利技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本专利技术的保护范围之内。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大数据平台的数据巡检及备份方法，采用分布式存储系统，其特征在于包括以下步骤：存储节点基于纠删码策略存储数据，当接收到运维管理人员的巡检指令时，获取存储节点存储的主数据分片对应的各个从存储节点，然后向各个从存储节点获取主数据分片对应的从数据分片的校验结果，根据主数据分片的校验结果以及各个所述从数据分片的校验结果，向运维管理人员回复巡检结果；运维管理人员根据校验结果，利用测试数据采集从疑似异常数据分片的运行数据，通过该运行数据对疑似异常数据分片的运行状态进行解析；对于正常状态的数据分片的存储节点对备份节点周期性发送备份数据，存储节点与备份节点互为协同节点，备份节点根据存储节点的请求删去服务器保存的存储节点的备份数据；当存储节点离线时，备份节点向大数据平台发送数据恢复请求报文；在接收到大数据平台反馈的备份数据恢复接受报文后，...

【专利技术属性】
技术研发人员：任永辉，梅东晖，薛永军，何映军，
申请(专利权)人：云南电网有限责任公司信息中心，
类型：发明
国别省市：