一种提升数据库数据校验效率的系统及方法技术方案

本发明专利技术涉及数据校验技术领域，且公开了一种提升数据库数据校验效率的系统，包括：数据管理模块，接收数据，并且对不同的数据进行管理分类；数据传输模块，将多个传输相同数据的请求合并为多播请求进行传输；RPC处理模块，通过源节点字段和目标节点字段进行请求识别，从而判断该节点是否需要进行处理；数据校验模块，数据节点通过RPC处理模块处理后，可对崩溃的数据节点进行标记校验；数据存储模块，对RPC处理模块处理完成以及数据校验模块校验完成的数据节点进行区别储存。该提升数据库数据校验效率的系统及方法，通过设置数据传输模块和RPC处理模块，有效的提高了数据传输的灵活性，为系统各项功能提供了支持。为系统各项功能提供了支持。为系统各项功能提供了支持。

【技术实现步骤摘要】
一种提升数据库数据校验效率的系统及方法


[0001]本专利技术涉及数据校验
，具体为一种提升数据库数据校验效率的系统及方法。

技术介绍

[0002]数据校验是为保证数据的完整性进行的一种验证操作，通常用一种指定的算法对原始数据计算出的一个校验值，接收方用同样的算法计算一次校验值，如果两次计算得到的检验值相同，则说明数据是完整的。
[0003]随着大数据时代的发展，数据校验的方式越发完善，例如中国专利CN112749541A公开了一种数据校验系统、方法、装置、电子设备和计算机可读介质，该专利通过测试用例自动对第一数据集合和第二数据集合进行对比，确定对比后的目标数据，无需采用人工方式进行数据对比，提高了数据校验效率，但是在使用时，操作的目标节点较多时，需要占用大量的网卡资源，导致系统难以基于框架进行有效的扩展，故此，提出一种提升数据库数据校验效率的系统及方法来解决上述的问题。

技术实现思路

[0004](一)解决的技术问题
[0005]针对现有技术的不足，本专利技术提供了一种提升数据库数据校验效率的系统及方法，具备校验处理快速优点，解决了操作的目标节点较多时，需要占用大量的网卡资源，导致系统难以基于框架进行有效的扩展的问题。
[0006](二)技术方案
[0007]为实现上述校验处理快速的目的，本专利技术提供如下技术方案：一种提升数据库数据校验效率的系统，包括：
[0008]数据管理模块，接收数据，并且对不同的数据进行管理分类；
[0009]数据传输模块，将多个传输相同数据的请求合并为多播请求进行传输；
[0010]RPC处理模块，通过源节点字段和目标节点字段进行请求识别，从而判断该节点是否需要进行处理；
[0011]数据校验模块，数据节点通过RPC处理模块处理后，可对崩溃的数据节点进行标记校验；
[0012]数据存储模块，对RPC处理模块处理完成以及数据校验模块校验完成的数据节点进行区别储存。
[0013]优选的，所述数据传输模块会申请发送结构体，并根据写请求对应的数据地址和数据大小等元数据信息填写结构体的头部字段，同时将数据放入发送结构体的数据字段，然后数据传输模块会将传输信息添加到填写完毕的发送结构体中，并将其打包成工作请求放人发送队列进行传输，网卡依次对工作请求进行处理，将数据以数据报的形式发送到各个目标数据节点，由数据节点中的接收处理程序进行处理并写入持久内存，当发送操作完
成之后，元数据节点会触发中断通知发送完成处理程序，将工作完成从完成队列中移出，从中获取已完成的发送结构体地址并将对应空间释放回收。
[0014]优选的，所述RPC处理模块通过源节点字段和目标节点字段进行请求识别，从而判断该节点是否需要进行处理.由于RPC采用多播通信机制实现，多播组中的所有数据节点均可以接收到元数据节点的请求，为增强RPC的灵活性，请求头部标识了源节点与目标节点，数据节点收到请求后首先判断该节点是否需要执行操作，从而避免冗余的请求对数据节点资源的占用。
[0015]优选的，所述数据校验模块会将该崩溃后的数据节点标记成为故障节点，该请求将被分流到其他数据节点执行，不会影响系统正常运行，该数据节点中的数据可以通过元数据节点与其他数据节点进行恢复，当元数据节点崩溃时，系统停止提供服务，等待元数据节点重启，并通过文件的元数据，将系统恢复到崩溃前的状态。
[0016]优选的，所述数据管理模块可根据数据的不同传输来源进行管理分类，并且通过统一的文件名格式保证数据缓存功能可以进行统一处理，对于接收到的数据节点，可保证用户下载缓存数据的效率。
[0017]优选的，所述数据存储模块可对RPC处理模块处理后处理无误的数据节点，以及对RPC处理模块处理后有误的数据节点进行区别储存，所述数据管理模块包括数据缓存数据信息记录单元和缓存数据信息处理单元。
[0018]本专利技术要解决的另一技术问题是提供一种提升数据库数据校验效率的方法，包括以下步骤：
[0019]1)应用程序通过数据管理模块对可移植操作系统接口对文件系统进行访问以数据写入，并且对不同传输来源的数据进行管理分类；
[0020]2)当应用程序发起数据写入请求时，通过访问元数据节点在各目标数据节点分配持久性内存空间，然后将数据写入到各数据节点中；
[0021]3)待写入的数据通过数据传输模块以数据报的形式由网卡发出，网络交换机收到多播数据报时，会进行分发操作，将数据报发送到多播组中的每个数据节点；
[0022]4)数据节点通过RPC处理模块识别数据报请求体，并通过数据一致性保障模块将数据持久化到持久性内存与此同时，元数据节点会提交该次数据写入操作并返回用户；
[0023]5)文件系统的元数据访问则仅通过元数据节点进行，无需对数据节点进行远程访问。
[0024](三)有益效果
[0025]与现有技术相比，本专利技术提供了一种提升数据库数据校验效率的系统及方法，具备以下有益效果：
[0026]该提升数据库数据校验效率的系统及方法，通过设置数据传输模块和RPC处理模块，有效的提高了数据传输的灵活性，为系统各项功能提供了支持，又通过设置数据校验模块，引入轻量级一致性保障机制，使用冗余校验机制保证数据传输过程的可靠性，利用持久性内存字节寻址的特性实现错位的快速纠正，并为系统中的各个节点提供故障恢复功能，从而保证数据的靠性与一致性。
附图说明
[0027]图1为本专利技术提出的一种提升数据库数据校验效率的系统及方法系统图。
具体实施方式
[0028]下面将结合本专利技术的实施例，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0029]请参阅图1，一种提升数据库数据校验效率的系统，包括：
[0030]数据管理模块，接收数据，并且对不同的数据进行管理分类。
[0031]数据传输模块，将多个传输相同数据的请求合并为多播请求进行传输。
[0032]RPC处理模块，通过源节点字段和目标节点字段进行请求识别，从而判断该节点是否需要进行处理。
[0033]数据校验模块，数据节点通过RPC处理模块处理后，可对崩溃的数据节点进行标记校验。
[0034]数据存储模块，对RPC处理模块处理完成以及数据校验模块校验完成的数据节点进行区别储存。
[0035]其中，数据传输模块在使用的过程中为了避免网络堵塞引起的发送队列拥挤，当网卡处理速率小于工作请求的增加速率时，发送队列会被填满，导致之后的工作请求无法放入发送队列，并且数据传输模块会对发送队列中待发送的多播请求数目进行实时统计，并据此控制多播请求的发送速率，当网络拥塞时，发送队列中待发送的请求数目超过了预先设定的阈值.此时发送队列将暂缓接受工作请求直到待发送本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种提升数据库数据校验效率的系统，其特征在于，包括：数据管理模块，接收数据，并且对不同的数据进行管理分类；数据传输模块，将多个传输相同数据的请求合并为多播请求进行传输；RPC处理模块，通过源节点字段和目标节点字段进行请求识别，从而判断该节点是否需要进行处理；数据校验模块，数据节点通过RPC处理模块处理后，可对崩溃的数据节点进行标记校验；数据存储模块，对RPC处理模块处理完成以及数据校验模块校验完成的数据节点进行区别储存。2.根据权利要求1所述的一种提升数据库数据校验效率的系统，其特征在于，所述数据传输模块会申请发送结构体，并根据写请求对应的数据地址和数据大小等元数据信息填写结构体的头部字段，同时将数据放入发送结构体的数据字段，然后数据传输模块会将传输信息添加到填写完毕的发送结构体中，并将其打包成工作请求放人发送队列进行传输，网卡依次对工作请求进行处理，将数据以数据报的形式发送到各个目标数据节点，由数据节点中的接收处理程序进行处理并写入持久内存，当发送操作完成之后，元数据节点会触发中断通知发送完成处理程序，将工作完成从完成队列中移出，从中获取已完成的发送结构体地址并将对应空间释放回收。3.根据权利要求1所述的一种提升数据库数据校验效率的系统，其特征在于，所述RPC处理模块通过源节点字段和目标节点字段进行请求识别，从而判断该节点是否需要进行处理.由于RPC采用多播通信机制实现，多播组中的所有数据节点均可以接收到元数据节点的请求，为增强RPC的灵活性，请求头部标识了源节点与目标节点，数据节点收到请求后首先判断该节点是否需要执行操作，从而避免冗余的请求对数据节点资源的占用。4.根据权利要求1所述的一种提升数据库数据校验效率的系统，...

【专利技术属性】
技术研发人员：陈俊杰，赵倩，
申请(专利权)人：南京旭航信息科技有限公司，
类型：发明
国别省市：