数据存储方法、装置、非关系数据库系统及存储介质制造方法及图纸

技术编号:24888623 阅读:23 留言:0更新日期:2020-07-14 18:16
本发明专利技术实施例提供一种数据存储方法、装置、非关系数据库系统及存储介质,所述方法包括:获取待存储数据;确定当前使用的第一存储空间对应的第一索引标识;选择第二索引标识指向的当前未使用的第二存储空间执行所述待存储数据的存储操作,确定所述第二存储空间的存储操作完成时,将所述第二存储空间更新为当前使用的存储空间。

【技术实现步骤摘要】
数据存储方法、装置、非关系数据库系统及存储介质
本专利技术涉及数据存储技术,特别涉及一种数据存储方法、装置、非关系数据库系统及存储介质。
技术介绍
在大数据时代,各种用于大数据的云存储系统通过云平台的管理和运营机制,保障所提供服务的高可靠性;另一方面,通过将所有参与用户所贡献的存储资源汇集起来提供成本低廉且容量巨大的存储空间,以有效满足高速发展的互联网应用在大规模性、高效性、高可靠性、高可扩展性以及高性价比方面的需求。为了能够更好的利用大数据,需要有各种数据库系统能够从云存储系统定时拉取更新的数据信息到本地化存储,通过本地化存储便于满足用户对大数据进行快速搜索等使用需求,如在线商城平台系统,业务系统定时从商品中心拉取更新的商品数据信息到本地化存储,便于满足用户通过客户端可以直接访问业务系统,满足客户端进行数据查询等使用需求。
技术实现思路
本专利技术实施例提供一种数据存储方法、装置、非关系数据库系统及存储介质,能够提升数据读取性能。本专利技术实施例的技术方案是这样实现的:第一方面,本专利技术实施例提供一种数据存储方法,包括:获取待存储数据;确定当前使用的第一存储空间对应的第一索引标识;选择第二索引标识指向的当前未使用的第二存储空间执行所述待存储数据的存储操作,确定所述第二存储空间的存储操作完成时,将所述第二存储空间更新为当前使用的存储空间。第二方面,本专利技术实施例提供一种数据存储装置,包括获取模块,用于获取待存储数据;路由判断模块,用于确定当前使用的第一存储空间对应的第一索引标识;路由切换模块,用于选择第二索引标识指向的当前未使用的第二存储空间执行所述待存储数据的存储操作,确定所述第二存储空间的存储操作完成时,将所述第二存储空间更新为当前使用的存储空间。第三方面,本专利技术实施例提供一种非关系数据库系统,包括处理器和用于存储能够在处理器上运行的计算机程序的存储器;其中,所述处理器用于运行所述计算机程序时,执行本专利技术实施例所提供的数据存储方法。第四方面,本专利技术实施例提供一种存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现本专利技术实施例所提供的数据存储方法。本专利技术实施例具有以下有益效果:获取待存储数据,确定当前使用的第一存储空间对应的第一索引标识,选择第二索引标识指向的当前未使用的第二存储空间执行所述待存储数据的存储操作,确定所述第二存储空间的存储操作完成时,将所述第二存储空间更新为当前使用的存储空间,如此,实现了实现数据的当前使用和数据的存储更新的异步操作,从而即能够通过数据的分散存储满足高效率的高并发高频率使用需求,且能够确保对数据的分散存储对整体数据进行存储更新时数据的原子性和一致性,从而提升数据读取性能。附图说明图1为本专利技术一实施例提供的数据存储方法的应用场景示意图;图2为本专利技术一实施例提供的数据存储方法的流程示意图。图3为本专利技术一实施例提供的基于Redis的Hash数据类型实现覆盖存储的方法的流程示意图;图4为本专利技术一实施例提供的基于Redis的String数据类型存储大数据的搜索方法的流程示意图;图5为本专利技术一实施例提供的业务系统A与商品中心之间数据同步后数据结构转换后的数据存储方法的流程示意图;图6为本专利技术另一实施例提供的数据存储方法的流程图;图7为本专利技术一实施例提供的非关系数据库系统的硬件结构示意图;图8为本专利技术一实施例提供的数据存储装置实现数据存储方案和数据读取方案的结构示意图。具体实施方式为了使本专利技术的目的、技术方案和优点更加清楚,下面将结合附图对本专利技术作进一步地详细描述,所描述的实施例不应视为对本专利技术的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本专利技术保护的范围。除非另有定义,本文所使用的所有的技术和科学术语与属于本专利技术的
的技术人员通常理解的含义相同。本文中在本专利技术的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本专利技术。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。对本专利技术进行进一步详细说明之前,对本专利技术实施例中涉及的名词和术语进行说明,本专利技术实施例中涉及的名词和术语适用于如下的解释。1)原子性,数据库的特征之一,指事物包含的所有操作要么全部成功,要么全部失败回滚。2)一致性,数据库的特征之一,指事务必须使数据库从一个一致性状态变换到另一个一致性状态,也就是说一个事务执行之前和执行之后都必须处于一致性状态。3)Redis,是一个速度非常快的非关系数据库(non-relationaldatabase),它可以存储键(key)与5种不同类型的值(value)之间的映射(mapping),可以将存储在内存的键值对数据持久化到硬盘,可以使用复制特性来扩展读性能,还可以使用客户端分片1来扩展写性能。4)非关系数据库,又称NoSQL,意为不仅仅是SQL(StructuredQueryLanguage,结构化查询语言),主要是指非关系型、分布式、不提供数据库事务处理的四个基本要素:原子性(Atomicity)、一致性(Consistency)、隔离性(Isolation)、持久性(Durability)的数据库设计模式。如图1所示,为实现本专利技术实施例提供的数据存储方法的一个可选的应用场景示意图。在线商城平台系统通常包括商品中心、业务系统和客户端。用户通过客户端使用在线商品的业务数据存储于商品中心,业务系统定时从商品中心拉取更新的业务数据进行本地化存储,通过本地化存储以能够快速响应用户通过客户端的搜索、访问等使用需求。该在线商品平台系统实现客户端查询操作的一个可选的流程包括:步骤S11,业务系统定时商品同步任务,向商品中心按业务发送业务请求;步骤S12,商品中心处理业务请求,查询本地,并基于当前业务请求组装通用商品数据结构并返回;这里,通用商品数据结构设置商品中心内对业务数据进行存储所采用的数据结构,以便于能够提供全面的数据属性。步骤S13,业务系统将接收到的通用商品数据结构转换为业务商品数据结构,并进行本地化存储;这里,业务商品数据结构是指业务中心对业务数据进行存储所采用的数据结构,以便于能够重新定义数据属性字段以快速响应不同的搜索请求。步骤S14,客户端获取用户输入的搜索条件并发送给业务系统;步骤S15,业务系统基于搜索条件查询本地数据库,获取到对应的商品数据信息并返回。步骤S16,客户端接收业务系统的返回商品数据信息结果并向用户展示。其中,业务系统定时商品同步任务,从商品中心获取数据并本地化存储的方法即可以采用本申请实施例所提供的数据存储方法。其次,在线商品平台系统中,商品中心所存储的数据也需要从价格中心等其它数据系统获取并本地化存储,可以理解的是,商品中心从其它数据系统获取数据并本地化存储的方法也可以采用本申请实施例所提供的数据存储方法。请参阅图2,为本本文档来自技高网
...

【技术保护点】
1.一种数据存储方法,其特征在于,包括:/n获取待存储数据;/n确定当前使用的第一存储空间对应的第一索引标识;/n选择第二索引标识指向的当前未使用的第二存储空间执行所述待存储数据的存储操作,确定所述第二存储空间的存储操作完成时,将所述第二存储空间更新为当前使用的存储空间。/n

【技术特征摘要】
1.一种数据存储方法,其特征在于,包括:
获取待存储数据;
确定当前使用的第一存储空间对应的第一索引标识;
选择第二索引标识指向的当前未使用的第二存储空间执行所述待存储数据的存储操作,确定所述第二存储空间的存储操作完成时,将所述第二存储空间更新为当前使用的存储空间。


2.如权利要求1所述的方法,其特征在于,所述选择第二索引标识指向的当前未使用的第二存储空间执行所述待存储数据的存储操作,包括:
选择第二索引标识指向的当前未使用的第二存储空间,删除所述第二存储空间的历史全量数据,将所述待存储数据存储至所述第二存储空间。


3.如权利要求2所述的方法,其特征在于,所述将所述待存储数据存储至所述第二存储空间,包括:
将所述待存储数据以包含键值对的无序散列表的形式存储至所述第二存储空间。


4.如权利要求1所述的方法,其特征在于,所述选择第二索引标识指向的当前未使用的第二存储空间执行所述待存储数据的存储操作之前,包括:
将所述待存储数据的数据结构进行转换,对进行转换后的所述待存储数据根据设置条件进行过滤,得到更新后的所述待存储数据。


5.如权利要求1所述的方法,其特征在于,所述将所述第二存储空间更新为当前使用的存储空间之后,包括:
获取搜索请求,根据所述搜索请求确定当前使用的所述第二存储空间对应的所述第二索引标识,选择所述第二索引标识指向的所述第二存储空间执行响应所述搜索请求的搜索操作。


6.如权利要求5所述的方法,其特征在于,所述确定当前使用的第一存储空间对应的第一索引标识,包括:
确定当前搜索路由对应的存储空间为当前使用的第一存储空间,根据索引标识与存储空间的对应关系确定所述第一存储空间对应的第一索引标识。


7.一种数据存储装置,其特征在于,包括:
数据拉取模块,用于获取待存储数据;
路...

【专利技术属性】
技术研发人员:曲海龙丁琼周宁
申请(专利权)人:北京京东尚科信息技术有限公司北京京东世纪贸易有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1