本发明专利技术公开了一种基于分布式一致性协议实现的数据读写方法及装置，通过多种接入方式获取所要写入的数据，通过计算引擎，对所述写入数据进行解析，并将解析后的数据赋予标识符，将标识后的写入数据通过分布式存储引擎存储至相应的服务节点中，并将更新后的服务节点记录的数据版本号返回给客户端，建立数据索引集，将数据索引集同步存储至所有的服务节点中，当数据读取请求时，将读取请求携带的数据版本号与数据索引集中的数据版本号进行比对，根据比对结果响应数据读取请求，无需半数的服务节点达成一致，即可完成数据读取作业，克服了现有技术中基于分布式一致性协议读取数据时，需要超过半数的服务节点达成一致而导致的读数据的开销大的问题。读数据的开销大的问题。读数据的开销大的问题。
【技术实现步骤摘要】
一种基于分布式一致性协议实现的数据读写方法及装置
[0001]本专利技术涉及数据读写
，特别涉及一种基于分布式一致性协议实现的数据读写方法及装置。
技术介绍
[0002]图数据库是以点、边为基础存储单元，以高效存储、查询图数据为设计原理的数据管理系统，图概念对于图数据库的理解至关重要。图是一组点和边的集合，“点”表示实体，“边”表示实体间的关系。在图数据库中，数据间的关系和数据本身同样重要，它们被作为数据的一部分存储起来。这样的架构使图数据库能够快速响应复杂关联查询，因为实体间的关系已经提前存储到了数据库中。图数据库可以直观地可视化关系，是存储、查询、分析高度互联数据的最优办法。2017年开始，为了满足大数据量级下的查询返回效率，在快速变化的商业环境下提供实时的商业智能，同前几代产品相比，第三代图数据库为图数据实时更新、查询而设计，不但在存储上提升了扩展性，同时增加了并行计算的能力，能够实现实时的图分析。大规模原生图存储、分布式并行计算能力正逐渐成为图数据库行业的主流。
[0003]一个完整的分布式系统是由很多处在不同位置的服务节点通过网络连接在一起形成的，海量的数据分布在整个网络系统的不同服务节点中。连接到该分布式系统的所有客户端都可以访问任意一个服务节点中的数据。现有的基于分布式一致协议的数据读取方法，要求每一次读取数据的操作都要遵循分布式一致协议，即接收到数据读取请求的服务节点通过网络方式将请求发送给分布式系统的其它服务节点，分布式系统中的超半数的服务节点确认了数据读取请求对应的数据之后，才会将数据返回给客户端，而且还需要记录到服务节点日志，从而导致读取数据开销太大，影响读取性能。
[0004]因此，有必要提供一种基于分布式一致性协议实现的数据读写方法及装置解决上述技术问题。
技术实现思路
[0005]为解决上述技术问题，本专利技术提供一种基于分布式一致性协议实现的数据读写方法及装置。
[0006]本专利技术提供的一种基于分布式一致性协议实现的数据读写方法，包括：
[0007]获取数据：通过多种接入方式获取所要写入的数据；
[0008]数据标识：通过计算引擎，对所述写入数据进行解析，并将解析后的数据赋予标识符；
[0009]数据写入：当任一服务节点接收到客户端发送的数据写入请求时，执行数据写入操作，将标识后的写入数据通过分布式存储引擎存储至相应的服务节点中，并更新服务节点记录的数据版本号，并将更新后的服务节点记录的数据版本号返回给客户端；
[0010]建立索引：将解析后的数据、标识符与数据版本号之间进行对应映射，并根据映射建立数据索引集，并将数据索引集同步存储至所有的服务节点中；
[0011]数据读取：当任一服务节点接收到客户端发送的携带数据版本号的数据读取请求时，将读取请求携带的数据版本号与数据索引集中的数据版本号进行比对，根据比对结果响应数据读取请求。
[0012]优选的，根据比对结果响应数据读取请求具体流程为：
[0013]若读取请求携带的数据版本号等于数据索引集中的数据版本号，通过索引系统将存储有最新数据版本号的服务节点数据返回客户端；
[0014]若读取请求携带的数据版本号低于数据索引集中的数据版本号，判断所述数据读取请求是否为强一致性的数据读取请求，根据判断结果响应数据读取请求。
[0015]优选的，根据判断结果响应数据读取请求的具体流程为：
[0016]若否，将服务节点存储的数据返回给所述客户端，
[0017]若是，通过索引系统将最新数据版本号的数据返回客户端，并将客户端的数据版本号更新为数据索引集中的数据版本号。
[0018]优选的，通过计算引擎，对所述写入数据进行解析，并将解析后的数据赋予标识符的具体步骤为：
[0019]将写入数据解析，根据各个要素的经纬度将数据按照NDS瓦片分割，获取所属的瓦片编号；
[0020]将瓦片编号使用散列，再拼接采集时间和采集设备编号，构建为标识符；
[0021]将写入数据做结构化处理后，以标识符为图数据库的行键值，将数据存入图数据库。
[0022]优选的，数据同步：根据设定条件地对数据索引集中的数据版本号与服务节点的数据版本号进行对比，根据比对结果响应数据同步请求。
[0023]优选的，所述数据同步的步骤为：
[0024]通过存储引擎向所有服务节点发出数据同步请求；
[0025]对数据索引集中的数据版本号与服务节点的数据版本号进行对比，若服务节点的数据版本号低于数据索引集中的数据版本号，将高数据版本号的服务节点中的数据同步给低数据版本的服务节点，并将低数据版本的服务节点的数据版本号同步更新到高数据版本号；
[0026]若服务节点的数据版本号等于数据索引集中的数据版本号，数据不予同步维持原样。
[0027]一种基于分布式一致性协议实现的数据读写装置，装置应用于包含多个服务节点的分布式系统中，装置包括：
[0028]获取模块，可通过多种接入方式获取数据；
[0029]标识模块，可对待写入的数据进行解析，并将解析后的数据赋予标识符；
[0030]写入模块，适于当任一服务节点接收到客户端发送的数据写入请求时，执行数据写入操作并更新服务节点记录的数据版本号，并将更新后的数据版本号返回给客户端；
[0031]索引模块，可将解析后的数据、标识符与数据版本号之间进行对应映射，并根据映射建立数据索引集。
[0032]比对模块，适于当任一服务节点接收到客户端发送的携带数据版本号的数据读取请求时，将客户端发送的携带数据版本号与服务节点记录的数据版本号进行比对；
[0033]响应模块，适于根据比对结果响应数据读取请求。
[0034]优选的，还包括同步模块，可定时地将所有的服务节点的数据更新至最新的数据。
[0035]与相关技术相比较，本专利技术提供的一种基于分布式一致性协议实现的数据读写方法及装置具有如下有益效果：
[0036]1、根据本专利技术的技术方案，每一次执行数据写入操作，都需要对数据版本号进行更新，并将更新后的数据版本号写入到数据索引集中，对数据索引集进行同步更新，以方便在读取数据时根据数据版本号确定客户端所获知的数据是否为最新数据，并同步更新数据索引集的数据版本号，当任一服务节点接收到客户端发送的携带数据版本号的数据读取请求时，将读取请求携带的数据版本号与数据索引集中的数据版本号进行比对，根据比对结果响应数据读取请求，无需半数的服务节点达成一致，即可完成数据读取作业，克服了现有技术中基于分布式一致性协议读取数据时，需要超过半数的服务节点达成一致而导致的读数据的开销大的问题；
[0037]2、本专利技术可根据设定条件地对数据索引集中的数据版本号与服务节点的数据版本号进行对比，根据比对结果响应数据同步请求，可定时地将数据进行同步，防止服务节点出现问题时，无法对存储数据进行保存，并且通过将数据同步到服务节点，可提高数据读取的效率；
附图说本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于分布式一致性协议实现的数据读写方法，其特征在于，包括：获取数据：通过多种接入方式获取所要写入的数据；数据标识：通过计算引擎，对所述写入数据进行解析，并将解析后的数据赋予标识符；数据写入：当任一服务节点接收到客户端发送的数据写入请求时，执行数据写入操作，将标识后的写入数据通过分布式存储引擎存储至相应的服务节点中，并更新服务节点记录的数据版本号，并将更新后的服务节点记录的数据版本号返回给客户端；建立索引：将解析后的数据、标识符与数据版本号之间进行对应映射，并根据映射建立数据索引集，并将数据索引集同步存储至所有的服务节点中；数据读取：当任一服务节点接收到客户端发送的携带数据版本号的数据读取请求时，将读取请求携带的数据版本号与数据索引集中的数据版本号进行比对，根据比对结果响应数据读取请求。2.根据权利要求1所述的一种基于分布式一致性协议实现的数据读写方法，其特征在于，根据比对结果响应数据读取请求具体流程为：若读取请求携带的数据版本号等于数据索引集中的数据版本号，通过索引系统将存储有最新数据版本号的服务节点数据返回客户端；若读取请求携带的数据版本号低于数据索引集中的数据版本号，判断所述数据读取请求是否为强一致性的数据读取请求，根据判断结果响应数据读取请求。3.根据权利要求2所述的一种基于分布式一致性协议实现的数据读写方法，其特征在于，根据判断结果响应数据读取请求的具体流程为：若否，将服务节点存储的数据返回给所述客户端，若是，通过索引系统将最新数据版本号的数据返回客户端，并将客户端的数据版本号更新为数据索引集中的数据版本号。4.根据权利要求1所述的一种基于分布式一致性协议实现的数据读写方法，其特征在于，通过计算引擎，对所述写入数据进行解析，并将解析后的数据赋予标识符的具体步骤为：将写入数据解析，根据各个要素的经纬度将数据按照NDS瓦片分割，...
【专利技术属性】
技术研发人员：瞿珂，翟士丹，万澎江，周同生，邓德亮，
申请(专利权)人：北京海致科技集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。