数据缓存服务系统及方法、终端技术方案

一种数据缓存服务系统及方法、终端，所述系统包括：数据装载模块，适于将多数据源的多种数据进行装载，每一数据具有标签值和键值；至少一个数据缓存，适于在从所述数据装载模块获取所述多种数据时，对每一数据的标签值和/或键值进行编码，以使得编码后的标签值小于标签值占用的存储空间，编码后的键值占用的存储空间小于键值占用的存储空间，并存储所述多种数据的编码后的标签值和编码后的键值；至少一个数据查询模块，适于根据需求方的查询请求在所述至少一个数据缓存中对所述多种数据进行匹配查询。本发明专利技术技术方案可以避免缓存数据膨胀以及实现数据的快速查询。

【技术实现步骤摘要】
数据缓存服务系统及方法、终端
本专利技术涉及数据处理
，尤其涉及一种数据缓存服务系统及方法、终端。
技术介绍
在数据流通领域，在海量数据配送中，数据供应系统需要满足高并发、高吞吐量、低延时和数据实时性的要求。现有的供应数据的系统中，通常会将数据源的大数据全量加载至数据库。需求方在有数据需求时，可以从数据库获取数据。数据库中数据或文件的存取往往依赖磁盘输入/输出(Input/Output,IO)操作。但是，在数据高并发的情况下，现有的供应数据系统存在以下问题：1.大量的磁盘IO操作，导致数据库读取数据效率低下，无法满足数据配送的毫秒级低延时以及高吞吐量的要求。2.传统数据库、文件以及普通缓存系统很难实现随着业务发展而横向扩展。3.将数据加载入缓存后，往往存在数据膨胀，并占用大量内存。4.在硬件资源有限和海量数据前提下，数据库很难与数据源保持实时更新，并且在数据更新时段保持稳定的对外服务能力。
技术实现思路
本专利技术解决的技术问题是如何避免缓存数据膨胀以及实现数据的快速查询。为解决上述技术问题，本专利技术实施例提供一种数据缓存服务系统，数据缓存服务系统包括：数据装载模块，适于将多数据本文档来自技高网...

【技术保护点】
一种数据缓存服务系统，其特征在于，包括：数据装载模块，适于将多数据源的多种数据进行装载，每一数据具有标签值和键值；至少一个数据缓存，适于在从所述数据装载模块获取所述多种数据时，对每一数据的标签值和/或键值进行编码，以使得编码后的标签值小于标签值占用的存储空间，编码后的键值占用的存储空间小于键值占用的存储空间，并存储所述多种数据的编码后的标签值和编码后的键值；至少一个数据查询模块，适于根据需求方的查询请求在所述至少一个数据缓存中对所述多种数据进行匹配查询。

【技术特征摘要】
1.一种数据缓存服务系统，其特征在于，包括：数据装载模块，适于将多数据源的多种数据进行装载，每一数据具有标签值和键值；至少一个数据缓存，适于在从所述数据装载模块获取所述多种数据时，对每一数据的标签值和/或键值进行编码，以使得编码后的标签值小于标签值占用的存储空间，编码后的键值占用的存储空间小于键值占用的存储空间，并存储所述多种数据的编码后的标签值和编码后的键值；至少一个数据查询模块，适于根据需求方的查询请求在所述至少一个数据缓存中对所述多种数据进行匹配查询。2.根据权利要求1所述的数据缓存服务系统，其特征在于，所述数据缓存包括：标签值编码单元，适于对每一数据的标签值进行编码，以形成与该标签值对应的标识码，所述标识码包括字符和/或数字。3.根据权利要求1所述的数据缓存服务系统，其特征在于，所述数据缓存包括：键值处理单元，适于根据所述每一数据的键值得到两级键值对，以作为编码后的键值，所述两级键值对包括一级键值和二级键值，所述一级键值的类型数量小于键值的类型数量。4.根据权利要求3所述的数据缓存服务系统，其特征在于，所述键值处理单元包括：数量确定子单元，适于根据所述多种数据的键值的类型数量确定所述一级键值的类型数量；数值转换子单元，适于将所述多种数据的键值转换为第一数值串；一级键值确定子单元，适于将所述第一数值串对所述一级键值的类型数量取模，并将取模后的值转换为第二数值串，以作为所述一级键值；二级键值确定子单元，适于选取所述第一数值串中设定数量的字符，以作为所述二级键值。5.根据权利要求1所述的数据缓存服务系统，其特征在于，所述数据装载模块包括：排序单元，适于按照键值的大小对第二数据进行排序，其中，第一数据按照键值的大小排序，所述第二数据为所述数据源中的数据，所述第一数据为所述数据缓存中的数据；比对单元，适于顺序选取所述第一数据和排序后的所述第二数据，并至少对选取的第一数据和第二数据的键值进行比对，以得到比对结果；类型确定单元，适于根据所述比对结果确定所述第一数据的类型和/或所述第二数据的类型；更新单元，适于根据所述第一数据的类型和/或所述第二数据的类型对所述至少一个数据缓存进行数据更新。6.根据权利要求5所述的数据缓存服务系统，其特征在于，所述排序单元按照键值从小到大的顺序对所述第二数据进行排序，所述第一数据按照键值从小到大的顺序排序，所述类型确定单元包括：第一类型确定子单元，适于在所述比对结果表明所述第一数据的键值小于所述第二数据的键值时，确定所述第一数据为待删除数据；第二类型确定子单元，适于在所述比对结果表明所述第一数据的键值大于所述第二数据的键值时，确定所述第二数据为待新增数据。7.根据权利要求6所述的数据缓存服务系统，其特征在于，所述比对单元在所述第一数据的键值和所述第二数据的键值一致时，比对所述第一数据的标签值和所述第二数据的标签值，以得到所述比对结果；所述类型确定单元包括：第三类型确定子单元，适于在所述比对结果表明所述第一数据的标签值和所述第二数据的标签值不一致时，确定所述第二数据为变化数据；所述更新单元删除所述待删除数据，并将所述变化数据和所述待新增数据加载至所述至少一个数据缓存。8.根据权利要求1所述的数据缓存服务系统，其特征在于，所述数据装载模块采用管道传输、HTTP或CLI接口的方式将所述多种数据的键值和标签值存入所述至少一个数据缓存。9.根据权利要求1所述的数据缓存服务系统，其特征在于，所述数据查询模块预先建立协程池和连接池，所述协程池包括多个线程，所述连接池包括多个需求方访问接口到缓存接口的连接。10.根据权利要求1所述的数据缓存服务系统，其特征在于，还包括：反向代理和负载均衡模块，适于接收多个查询请求，并将所述多个查询请求均匀分发至所述至少一个数据查询模块。11.一种数据缓存服务方法，其特征在于，包括：将多数据源的多种数据进...

【专利技术属性】
技术研发人员：汤奇峰，邓仲举，
申请(专利权)人：上海数据交易中心有限公司，
类型：发明
国别省市：上海,31