数据处理的方法和节点设备技术

本发明专利技术实施例公开了一种数据处理的方法和节点设备，属于信息技术领域。所述方法包括：所述数据备份节点接收数据主节点发送的消息；所述数据备份节点判断所述消息是否为数据备份更新消息，如果是，则将所述数据备份更新消息存储到本地的非易失存储模块中，并向所述主数据节点返回备份成功响应。本发明专利技术数据备份节点识别出数据主节点发送的消息为数据备份更新消息时，将所述消息存储到非易失存储模块中，并立即组装备份成功响应返回给数据主节点，缩短了数据备份节点对数据备份更新消息的响应时间，从而减少了数据主节点等待备份成功响应的时间，提高了系统的事务响应能力。

【技术实现步骤摘要】
数据处理的方法和节点设备
本专利技术涉及信息
，特别涉及一种数据处理的方法和节点设备。
技术介绍
伴随着企业数据量呈几何级的增长以及计算机网络的发展，分布式数据库已经成为信息处理
中的重要组成部分。分布式数据库是用计算机网络将物理上分散的多个数据库单元连接起来组成的一个逻辑上统一的数据库。其中，对数据可靠性要求高的行业和应用,其数据库系统需采用备份机制来保障数据安全和系统的可用性，即将一份数据在多个节点备份，其中每个节点就是一个数据库单元，这样当一个节点失效时，其它节点能够接替该节点继续提供服务。现有技术中，分布式系统中包括数据主节点和数据备份节点，当对数据主节点的数据库操作改变了数据内容时，如进行了数据插入、删除、修改的操作，数据主节点发送备份更新消息到数据备份节点，数据备份节点根据该数据备份更新消息更新本地数据库应用层中的数据，并在完成数据的更新后，向数据主节点返回备份成功响应，数据主节点在接收到数据备份成功响应后获知数据备份成功，再继续执行其它操作。下面以数据插入操作为例，对现有技术中的数据更新流程进行说明：步骤1、数据主节点收到数据插入操作消息，完成该数据在本节点数据库应用层的插入；步骤2、数据主节点向该数据的备份节点发送数据备份更新消息；步骤3、数据备份节点的网卡的物理层接口收到备份更新消息后，将其转换为数据内部传递的PHY与MAC间的接口消息发送到MAC/数据处理模块，进而将其写入到缓存（FIFObuffer）模块；步骤4、当缓存模块中存储的数据达到门限值后，经主机接口模块通知操作系统，通过主机接口模块将数据写入到操作系统中；步骤5、数据备份节点的数据库应用层从操作系统中读取完整备份数据更新消息包，在数据库应用层中完成对消息的解析，并据此更新备份数据，写入到持久化介质中；步骤6、备份数据更新完成后，数据备份节点的数据库应用层将组装应答数据报文消息，即备份成功响应，返回给数据主节点；步骤7、数据主节点收到数据备份节点的备份成功响应后，返回数据插入成功响应。对现有技术的分析中可知，数据主节点需要等待数据备份节点数据更新成功后，才会收到数据备份节点返回的备份成功响应，而数据备份节点进行数据更新的时间包括：网卡到缓存模块的时间，缓存模块到操作系统的时间，操作系统到数据库应用层的时间、数据库应用层的数据处理时间以及数据库应用层将数据写入到持久化介质的更新时间，其中涉及计算机系统的多个总线接口以及在软硬件多层之间的交互，且还需要等到缓存模块达到门限值后，数据库应用层才会处理缓存模块中的数据，占用时间非常多，因此数据主节点的等待时间非常长，影响了数据主节点的后续其它操作，降低了系统的事务响应性能。
技术实现思路
本专利技术实施例提供了一种数据处理的方法和节点设备，以提高分布式数据库系统的事务响应性能。所述技术方案如下：一方面，提供了一种数据处理的方法，所述方法包括：所述数据备份节点接收数据主节点发送的消息；所述数据备份节点判断所述消息是否为数据备份更新消息，如果是，则将所述数据备份更新消息存储到本地的非易失存储模块中，并向所述主数据节点返回备份成功响应。所述数据备份节点判断所述消息是否为数据备份更新消息，包括：所述数据备份节点判断所述消息的帧类型中是否包含预设的数值标志位，如果是，则确认所述消息为数据备份更新消息；或，所述数据备份节点判断所述消息中是否包含预设的IP协议端口号，如果是，则确认所述消息为数据备份更新消息；或，所述数据备份节点判断所述消息的应用层字段中是否携带预设标识，如果是，则确认所述消息为数据备份更新消息。所述数据备份节点将所述数据备份更新消息存储到所本地的非易失存储模块中之后,还包括：所述数据备份节点判断所述存储的数据备份更新消息的格式是否正确，如果是，则执行向所述主数据节点返回备份成功响应的步骤。所述数据备份节点判断所述存储的数据备份更新消息的格式是否正确，包括：判断所述存储的数据备份更新消息的消息元素是否齐全，如果是，则确认所述存储的数据备份更新消息的格式正确；或，判断所述存储的数据备份更新消息的长度是否正确，如果是，则确认所述存储的数据备份更新消息的格式正确；或，判断所述存储的数据备份更新消息中的命令指示是否正确，如果是，则确认所述存储的数据备份更新消息的格式正确。所述数据备份节点将所述数据备份更新消息存储到本地的非易失存储模块中之后，还包括：所述数据备份节点的数据库应用模块根据所述非易失存储模块中存储的数据备份更新消息，更新本地存储的数据。所述数据库应用模块根据所述非易失存储模块中存储的数据备份更新消息，更新本地存储的数据，包括：所述数据备份节点的数据库应用模块接收所述非易失存储模块中有未处理的数据备份更新消息的通知，所述通知是所述数据备份节点的数据处理模块或所述非易失存储模块通过所述数据备份节点的主机接口模块发出的；所述数据库应用模块在接收到所述主机接口模块的通知后，触发所述非易失存储模块将所述未处理的数据备份更新消息通过所述主机接口模块读入到所述数据备份节点的操作系统模块；所述数据库应用模块读取所述操作系统模块中的未处理的数据备份更新消息，以更新本地数据。所述数据库应用模块根据所述非易失存储模块中存储的数据备份更新消息，更新本地存储的数据，包括：每隔预设时间所述数据库应用模块查询所述非易失存储模块中是否有未处理的数据备份更新消息，如果是，则触发所述非易失存储模块将所述未处理的数据备份更新消息通过所述主机接口模块读入到所述操作系统模块；所述数据库应用模块读取所述操作系统中的未处理的数据备份更新消息，以更新本地数据。所述方法还包括：如果所述数据备份节点判断所述接收的消息为主备切换消息，则所述数据备份节点中的数据处理模块将所述主备切换消息通知给所述数据备份节点的数据库应用模块，触发所述数据库应用模块查询所述非易失存储模块中是否有未处理的数据备份更新消息，如果是，则根据所述未处理的数据备份更新消息更新本地数据；所述数据备份节点在所述数据库应用模块更新本地数据后，根据所述主备切换消息执行所述主备切换操作。所述方法还包括：当所述数据备份节点启动时，所述数据备份节点的数据库应用模块查询所述非易失存储模块中是否有未处理的数据备份更新消息，如果是，则根据所述未处理的数据备份更新消息更新本地数据；所述数据备份节点在所述数据库应用模块更新本地数据后，执行所述启动操作。所述方法还包括：当所述数据备份节点接收到数据读取请求时，所述数据备份节点的数据库应用模块层将所述数据读取请求路由到所述数据主节点上，使所述数据主节点读取所述数据读取请求的数据并返回所述数据读取请求的数据；或，所述数据库应用模块查询所述非易失存储模块中是否有与所述数据读取请求的数据相关的未处理的数据备份更新消息，如果是，则所述数据库应用模块根据所述未处理的数据备份更新消息更新本地数据，读取并返回本地更新后的所述数据读取请求的数据；如果否，则读取并返回本地存储的所述数据读取请求的数据。另一方面，还提供了一种节点设备，所述节点设备包括：数据处理模块和非易失存储模块；所述数据处理模块，用于接收数据主节点发送的消息，并判断所述接收到的消息是否为数据备份更新消息，如果是，则将所述数据备份更新消息存储到所述非易失存储模块中，并向所述本文档来自技高网...

【技术保护点】
一种数据处理的方法，其特征在于，所述方法包括：数据备份节点接收数据主节点发送的消息；所述数据备份节点判断所述消息是否为数据备份更新消息，如果是，则将所述数据备份更新消息存储到本地的非易失存储模块中，并向所述主数据节点返回备份成功响应。

【技术特征摘要】
1.一种数据处理的方法，其特征在于，应用于分布式系统中，所述分布式系统包括数据主节点和数据备份节点，所述方法包括：所述数据备份节点接收所述数据主节点发送的消息；所述数据备份节点判断所述消息是否为数据备份更新消息，如果是，则将所述数据备份更新消息存储到本地的非易失存储模块中，并向所述数据主节点返回备份成功响应；所述数据备份节点的数据库应用模块根据所述非易失存储模块中存储的数据备份更新消息，更新本地存储的数据；其中，所述数据备份节点判断所述消息是否为数据备份更新消息，包括：所述数据备份节点判断所述消息的帧类型中是否包含预设的数值标志位，如果是，则确认所述消息为数据备份更新消息；或，所述数据备份节点判断所述消息中是否包含预设的IP协议端口号，如果是，则确认所述消息为数据备份更新消息；或，所述数据备份节点判断所述消息的应用层字段中是否携带预设标识，如果是，则确认所述消息为数据备份更新消息。2.根据权利要求1所述的方法，其特征在于，所述数据备份节点将所述数据备份更新消息存储到所本地的非易失存储模块中之后,还包括:所述数据备份节点判断所述存储的数据备份更新消息的格式是否正确，如果是，则执行向所述数据主节点返回备份成功响应的步骤。3.根据权利要求2所述的方法，其特征在于，所述数据备份节点判断所述存储的数据备份更新消息的格式是否正确，包括：判断所述存储的数据备份更新消息的消息元素是否齐全，如果是，则确认所述存储的数据备份更新消息的格式正确；或，判断所述存储的数据备份更新消息的长度是否正确，如果是，则确认所述存储的数据备份更新消息的格式正确；或，判断所述存储的数据备份更新消息中的命令指示是否正确，如果是，则确认所述存储的数据备份更新消息的格式正确。4.根据权利要求1所述的方法，其特征在于，所述数据库应用模块根据所述非易失存储模块中存储的数据备份更新消息，更新本地存储的数据，包括：所述数据备份节点的数据库应用模块接收所述非易失存储模块中有未处理的数据备份更新消息的通知，所述通知是所述数据备份节点的数据处理模块或所述非易失存储模块通过所述数据备份节点的主机接口模块发出的；所述数据库应用模块在接收到所述主机接口模块的通知后，触发所述非易失存储模块将所述未处理的数据备份更新消息通过所述主机接口模块读入到所述数据备份节点的操作系统模块；所述数据库应用模块读取所述操作系统模块中的未处理的数据备份更新消息，以更新本地数据。5.根据权利要求1所述的方法，其特征在于，所述数据库应用模块根据所述非易失存储模块中存储的数据备份更新消息，更新本地存储的数据，包括：每隔预设时间所述数据库应用模块查询所述非易失存储模块中是否有未处理的数据备份更新消息，如果是，则触发所述非易失存储模块将所述未处理的数据备份更新消息通过所述数据备份节点的主机接口模块读入到所述数据备份节点的操作系统模块；所述数据库应用模块读取所述操作系统中的未处理的数据备份更新消息，以更新本地数据。6.根据权利要求1-5任一项权利要求所述的方法，其特征在于，所述方法还包括：如果所述数据备份节点判断所述接收的消息为主备切换消息，则所述数据备份节点中的数据处理模块将所述主备切换消息通知给所述数据备份节点的数据库应用模块，触发所述数据库应用模块查询所述非易失存储模块中是否有未处理的数据备份更新消息，如果是，则根据所述未处理的数据备份更新消息更新本地数据；所述数据备份节点在所述数据库应用模块更新本地数据后，根据所述主备切换消息执行所述主备切换操作。7.根据权利要求1-5任一项权利要求所述的方法，其特征在于，所述方法还包括：当所述数据备份节点启动时，所述数据备份节点的数据库应用模块查询所述非易失存储模块中是否有未处理的数据备份更新消息，如果是，则根据所述未处理的数据备份更新消息更新本地数据；所述数据备份节点在所述数据库应用模块更新本地数据后，执行所述启动操作。8.根据权利要求1-5任一项权利要求所述的方法，其特征在于，所述方法还包括：当所述数据备份节点接收到数据读取请求时，所述数据备份节点的数据库应用模块层将所述数据读取请求路由到所述数据主节点上，使所述数据主节点读取所述数据读取请求的数据并返回所述数据读取请求的数据；或，所述数据库应用模块查询所述非易失存储模块中是否有与所述数据读取请求的数据相关的未处理的数据备份更新消息，如果是，则所述数据库应用模块根据所述未处理的数据备份更新消息更新本地数据，读取并返回本地更新后的所述数据读取请求的数据；如果否，则读取并返回本地存储的所述数据读取请求的数据。9.一种节点设备，其特征在于...

【专利技术属性】
技术研发人员：胡雪琴，叶松海，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：