一种数据读写系统及数据写入方法技术方案

本发明专利技术实施例公开了一种数据读写系统及数据写入方法，所述系统包括：控制设备、写入设备、共享设备、共享存储及日志服务器，其中：所述控制设备，用于响应于检测到的数据写入请求，确定所述数据写入请求关联的所述写入设备及所述共享设备，并将待写入数据发送至所述写入设备；所述写入设备，用于将所述待写入数据写入所述共享存储，并将写入信息上传至日志服务器；所述共享设备，用于获取所述日志服务器中的所述写入信息，并根据所述写入信息同步所述待写入数据。本发明专利技术实施例提供的系统采用计算与存储分离的结构，使得多个数据写入操作可以同时执行，避免了设备之间的数据传输，提高了系统的容错性。了系统的容错性。了系统的容错性。

【技术实现步骤摘要】
一种数据读写系统及数据写入方法


[0001]本专利技术实施例涉及计算机
，尤其涉及一种数据读写系统及数据写入方法。

技术介绍

[0002]目前的数据存储主要存储在单机上，或通过备份在备份机器上。在实现本专利技术的过程中，专利技术人发现现有技术中至少存在以下技术问题：当单机故障时，数据容易丢失；数据不能被其他机器共享，需要重新加载数据单机上，导致应用启动延迟大；备份机器读取数据不一致。

技术实现思路

[0003]本专利技术实施例提供了一种数据读写系统写入方法及数据写入方法，以实现数据共享，使得服务启动时可直接访问，且保证了数据的一致性。
[0004]第一方面，本专利技术实施例提供了一种数据读写系统，包括：控制设备、写入设备、共享设备及共享存储，其中：
[0005]所述控制设备，用于响应于检测到的数据写入请求，确定所述数据写入请求关联的所述写入设备及所述共享设备，并将待写入数据发送至所述写入设备；
[0006]所述写入设备，用于将所述待写入数据写入所述共享存储，并将写入信息上传至日志服务器；
[0007]所述共享设备，用于获取所述日志服务器中的所述写入信息，并根据所述写入信息同步所述待写入数据。
[0008]第二方面，本专利技术实施例还提供了一种数据写入方法，由本专利技术任意实施例所提供的数据读写系统中的控制设备执行，包括：
[0009]响应于检测到的数据写入请求，确定所述数据写入请求关联的所述写入设备及所述共享设备；
[0010]将待写入数据发送至所述写入设备，以使所述写入设备将所述待写入数据写入所述共享存储，并将写入信息上传至日志服务器，以及所述共享设备根据所述日志服务器中的写入信息进行数据同步。
[0011]本专利技术实施例提供的数据读写系统通过所述控制设备响应于检测到的数据写入请求，确定所述数据写入请求关联的所述写入设备及所述共享设备；所述写入设备将所述待写入数据写入所述共享存储，并将写入信息上传至日志服务器；所述共享设备获取所述日志服务器中的所述写入信息，并根据所述写入信息同步所述待写入数据，采用计算与存储分离的结构，使得多个数据写入操作可以同时执行，避免了设备之间的数据传输，提高了系统的容错性。
附图说明
[0012]图1是本专利技术实施例一所提供的一种数据读写系统的结构示意图；
[0013]图2a是本专利技术实施例二所提供的一种数据读写系统的系统架构图；
[0014]图2b是本专利技术实施例二所提供的一种块标识的生成示意图；
[0015]图2c是本专利技术实施例二所提供的一种数据写入方法的流程示意图；
[0016]图2d是本专利技术实施例二所提供的一种数据合并方法的流程示意图；
[0017]图3是本专利技术实施例三所提供的一种数据写入方法的流程图；
[0018]图4是本专利技术实施例四所提供的一种数据写入装置的结构示意图；
[0019]图5是本专利技术实施例五所提供的一种计算机设备的结构示意图。
具体实施方式
[0020]下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。
[0021]实施例一
[0022]图1是本专利技术实施例一所提供的一种数据读写系统的结构示意图。本实施例提供的系统可用于数据的读写。
[0023]如图1所示，该系统包括控制设备110、写入设备120、共享设备130、共享存储140及日志服务器150。其中：所述控制设备110，用于响应于检测到的数据写入请求，确定所述数据写入请求关联的所述写入设备及所述共享设备；所述写入设备120，用于将所述待写入数据写入所述共享存储140，并将写入信息上传至日志服务器；所述共享设备130，用于获取所述日志服务器中的所述写入信息，并根据所述写入信息同步所述待写入数据。
[0024]在本实施例中，通过控制设备确定待写入数据关联的写入设备和共享设备，写入设备将待写入数据写入共享存储并将写入信息上传至日志服务器，共享设备通过日志服务器中的写入信息进行待写入数据的同步，实现了计算与存储的解耦，使得多个写入操作能够同时进行，不会产生冲突，同时提高了系统的容错性。具体的，控制设备接收到数据写入请求后，根据分片数将数据写入请求中的待写入数据进行划分，得到多个分数据，针对每个分数据，确定分数据对应的写入设备及共享设备，将分数据发送至写入设备，写入设备将接收到的分数据写入共享存储，然后将写入信息上传至日志服务器，共享设备监听日志服务器中的写入信息，根据写入信息从共享存储获取数据进行同步。
[0025]在本专利技术的一种实施方式中，所述确定所述数据写入请求关联的所述写入设备及所述共享设备，包括：确定数据写入请求中待写入数据的写入分片，基于所述写入分片关联的副本设备确定所述写入设备及所述共享设备。可选的，共享设备包括多个分片，每个分片又对应多个副本设备，通过分片对应的副本设备进行数据的写入。将分片设置对应多个副本设备，能够通过该分片关联的多个副本设备分别执行该分片内不同的写操作，实现了同一分片的多个写操作同时进行。
[0026]具体的，获取所述写入分片关联的多个副本设备，选择其中一个副本设备作为所述写入设备，将所述写入设备之外的副本设备作为所述共享设备。可以随机选择分片关联的任一副本设备作为写入设备，将待写入数据写入共享存储，将除写入设备之外的副本设
备作为共享设备，监听日志服务器中的写入信息，以在写入设备将待写入数据写入共享存储后，通过日志服务器同步待写入数据。
[0027]在本专利技术的一种实施方式中，所述将所述待写入数据写入所述共享存储，并将写入信息上传至日志服务器，包括：将所述待写入数据写入所述共享存储，基于数据写入路径生成所述待写入数据对应的写入存储标识，基于所述写入存储标识生成所述写入信息上传至所述日志服务器。具体的，写入信息基于待写入数据的存储标识生成。在写入设备将待写入数据写入共享存储后，根据数据写入路径生成存储标识，根据存储标识生成写入信息，以使共享设备能够根据写入信息中的存储标识进行待写入数据的同步。
[0028]在本实施例中，所述写入存储标识包括所述待写入数据对应的分区标识以及所述待写入数据的块标识。其中，分区标识是待写入数据中携带的，用于表征待写入数据业务的标识；块标识是基于待写入数据的数据写入路径确定的。可选的，写入设备申请数据写入的基准块标识，基于申请的基准块标识生成自增标识，将生成的自增标识作为待写入数据的块标识。示例性的，存储标识可以通过分区标识+块标识表示。
[0029]在上述方案的基础上，考虑到每次数据写入都会产生一个数据块，导致数据写入次数增多时数据块的数量也增多，使数据库性能下降。因此，可以将小数据块进行合并。可选的，所述写入设备还用于：根据所述存储标识确定待合并数据；将所述待合并数据进行合并，得到合并数据，并确定所述合并数据对应的合并存储标识；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据读写系统，其特征在于，包括：控制设备、写入设备、共享设备、共享存储及日志服务器，其中：所述控制设备，用于响应于检测到的数据写入请求，确定所述数据写入请求关联的所述写入设备及所述共享设备，并将待写入数据发送至所述写入设备；所述写入设备，用于将所述待写入数据写入所述共享存储，并将写入信息上传至日志服务器；所述共享设备，用于获取所述日志服务器中的所述写入信息，并根据所述写入信息同步所述待写入数据。2.根据权利要求1所述的系统，其特征在于，所述确定所述数据写入请求关联的所述写入设备及所述共享设备，包括：确定数据写入请求中待写入数据的写入分片，基于所述写入分片关联的副本设备确定所述写入设备及所述共享设备。3.根据权利要求2所述的系统，其特征在于，所述基于所述写入分片关联的副本设备确定所述写入设备及所述共享设备，包括：获取所述写入分片关联的多个副本设备，选择其中一个副本设备作为所述写入设备，将所述写入设备之外的副本设备作为所述共享设备。4.根据权利要求1所述的系统，其特征在于，所述将所述待写入数据写入所述共享存储，并将写入信息上传至日志服务器，包括：将所述待写入数据写入所述共享存储，基于数据写入路径生成所述待写入数据对应的写入存储标识，基于所述写入存储标识生成所述写入信息上传至所述日志服务器。5.根据权利要求4所述的系统，其特征在于，所述写入存储标识...

【专利技术属性】
技术研发人员：陈福伟，
申请(专利权)人：北京京东世纪贸易有限公司，
类型：发明
国别省市：