一种数据存储方法、数据查询方法及相关设备技术

本发明专利技术实施例提供一种数据存储方法、数据查询方法及相关设备，该方法包括：获取至少一数据对象的原始数据；一所述原始数据包括：数据生成时间，数据值；每隔设定时间段，确定所获取的各数据对象的原始数据集合，一原始数据集合包括一数据对象的至少一原始数据，一设定时间段划分有多个时间点；确定各原始数据集合中的各原始数据的数据生成时间对应的时间点，并确定各原始数据集合所对应的各时间点的数据值；对各原始数据集合所对应的各时间点的数据值进行压缩，得到各原始数据集合对应的目标存储数据；存储各原始数据集合对应的目标存储数据。本发明专利技术实施例提供的数据存储方法，可降低数据存储占用的存储空间。

A data storage method, data query method and related equipment

The embodiment of the invention provides a method for data storage, data query method and device, the method includes: the original data acquiring at least one data object; one of the original data including: data generation time, data value; every set period of time, to determine the original data obtained by the data collection of objects, an original the data set at least one original data includes a data object, a set of time division multiple time points; the original data set in the original data generation time corresponding to the time point, and determine the data of the original data set at each time point corresponding to the value of the original data collection data; each time point corresponds to the value of the compression, the original data collection data corresponding to the target storage; storing the original data set corresponding to the target storage Data. The data storage method provided by the embodiment of the invention can reduce the storage space occupied by the data storage.

【技术实现步骤摘要】
一种数据存储方法、数据查询方法及相关设备
本专利技术涉及数据存储
，具体涉及一种数据存储方法、数据查询方法及相关设备。
技术介绍
随着数据的爆炸式增长，数据存储技术在各场景应用极广；一种典型的数据存储应用场景为，对云计算平台中不断产生的监控数据进行存储，云计算平台中包含有众多的计算设备(如物理服务器，虚拟机，交换机等)及服务程序(服务程序可能设置在某一计算设备中)，为保障云计算平台的正常运行，需要对云计算平台中计算设备或服务程序进行监控，而监控这些计算设备或服务程序将产生大量的监控数据，因此对这些不断产生的监控数据进行存储，显得尤为必要；数据存储的应用场景当然不仅是针对监控数据，还可能针对网络服务的用户数据、工厂设备运行日志等数据进行存储。在对数据进行存储时，要求数据存储占用的存储空间能够尽可能的小，；然而，目前的数据存储方式主要是，采用特定的压缩算法，将数据进行压缩后处理，这种数据存储方式能够降低的存储空间占用量较为有限；因此，提供一种新的数据存储方式，以进一步的降低数据存储占用的存储空间，成为了本领域技术人员需要考虑的问题。
技术实现思路
有鉴于此，本专利技术实施例提供一种数据存储方法、数据查询方法及相关设备，以降低数据存储占用的存储空间。为实现上述目的，本专利技术实施例提供如下技术方案：一种数据存储方法，包括：获取至少一数据对象的原始数据；一所述原始数据包括：数据生成时间，数据值；每隔设定时间段，确定所获取的各数据对象的原始数据集合，一原始数据集合包括一数据对象的至少一原始数据，一设定时间段划分有多个时间点；确定各原始数据集合中的各原始数据的数据生成时间对应的时间点，并确定各原始数据集合所对应的各时间点的数据值；对各原始数据集合所对应的各时间点的数据值进行压缩，得到各原始数据集合对应的目标存储数据；存储各原始数据集合对应的目标存储数据。本专利技术实施例还提供一种数据查询方法，包括：根据需查询数据的数据对象的标识生成第一哈希命名，根据需查询数据的数据生成时间对应的设定时间段的时间段标志生成第一哈希键；基于第一哈希命名，第一哈希键构建需查询数据的第一数据查询请求；根据所述第一数据查询请求在数据库中进行数据查询；从所述数据库中查询到哈希命名与所述第一哈希命名匹配，且哈希键与所述第一哈希键匹配的哈希数据，得到该哈希数据的哈希值。本专利技术实施例还提供一种数据存储设备，包括：数据获取模块，用于获取至少一数据对象的原始数据；一所述原始数据包括：数据生成时间，数据值；数据集合确定模块，用于每隔设定时间段，确定所获取的各数据对象的原始数据集合，一原始数据集合包括一数据对象的至少一原始数据，一设定时间段划分有多个时间点；集合对应时间点确定模块，用于确定各原始数据集合中的各原始数据的数据生成时间对应的时间点，并确定各原始数据集合所对应的各时间点的数据值；压缩处理模块，用于对各原始数据集合所对应的各时间点的数据值进行压缩，得到各原始数据集合对应的目标存储数据；存储模块，用于存储各原始数据集合对应的目标存储数据。本专利技术实施例还提供一种数据查询设备，包括：第一查询请求构建模块，用于根据需查询数据的数据对象的标识生成第一哈希命名，根据需查询数据的数据生成时间对应的设定时间段的时间段标志生成第一哈希键；基于第一哈希命名，第一哈希键构建需查询数据的第一数据查询请求；查询模块，用于根据所述第一数据查询请求在数据库中进行数据查询；查询结果确定模块，用于从所述数据库中查询到哈希命名与所述第一哈希命名匹配，且哈希键与所述第一哈希键匹配的哈希数据，得到该哈希数据的哈希值。基于上述技术方案，本专利技术实施例提供的数据存储方法包括：获取至少一数据对象的原始数据；一所述原始数据包括：数据生成时间，数据值；每隔设定时间段，确定所获取的各数据对象的原始数据集合，一原始数据集合包括一数据对象的至少一原始数据，一设定时间段划分有多个时间点；确定各原始数据集合中的各原始数据的数据生成时间对应的时间点，并确定各原始数据集合所对应的各时间点的数据值；对各原始数据集合所对应的各时间点的数据值进行压缩，得到各原始数据集合对应的目标存储数据；存储各原始数据集合对应的目标存储数据。可见，本专利技术实施例可将一设定时间段划分为多个时间点，进而每隔设定时间段，确定所获取的各数据对象的原始数据集合在各时间点的数据值，从而对各原始数据集合所对应的各时间点的数据值进行压缩，可极大的减小每隔设定时间段所获取的各数据对象的原始数据集合的存储占用空间。本专利技术实施例提供的数据存储方法，可降低数据存储占用的存储空间。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本专利技术实施例提供的数据存储系统的结构框图；图2为本专利技术实施例提供的数据存储方法的流程图；图3为本专利技术实施例提供的数据存储方法的另一流程图；图4为本专利技术实施例提供的数据存储方法的再一流程图；图5为带有本专利技术实施例提供的数据存储功能的云计算平台的示意图；图6为本专利技术数量提供的数据存储设备的组件示意图；图7为将编码数据转换为16进制字符串的示意图；图8为对16进制字符串进行压缩的示意图；图9为Mysql存储结构的示意图；图10为本专利技术实施例提供的数据查询方法的流程图；图11为本专利技术实施例提供的数据查询方法的另一流程图；图12为本专利技术实施例提供的数据查询方法的再一流程图；图13为本专利技术实施例提供的数据存储设备的结构框图；图14为本专利技术实施例提供的数据存储设备的硬件结构示意图；图15为本专利技术实施例提供的数据查询设备的结构框图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图1为本专利技术实施例提供的数据存储系统的结构框图，参照图1，该数据存储系统可以包括：数据存储设备10，至少一个数据上报设备20，在本专利技术实施例中，数据存储设备主要执行本专利技术实施例提供的数据存储方法，数据存储设备可以是具有数据处理功能的计算设备，可能是设置于网络端的服务器，也可能是设置于用户端的用户设备；数据上报设备可不断的向数据存储设备上传待存储的原始数据，以便数据存储设备针对数据上报设备上报的原始数据进行存储处理；可选的，在对云计算平台的监控数据进行存储的应用场景下，数据上报设备可以是设置于云计算平台的被监控服务器中的Agent(代理)；可选的，在对网络服务的用户数据进行存储的应用场景下，数据上报设备可以是能够采集用户数据的设备；值得注意的是，在数据存储设备存储的不是自身生成的数据的情况下，数据上报设备可以是任意的能够向数据存储设备上报数据的设备。作为一种替换方式，数据存储设备进行存储处理的原始数据也可以是，数据存储设备自生成的；如数据存储设备可以是用户使用的笔记本电脑等用户设备，用户设备可不断的监控本机的运行数据或者用户使用数据，从而对所监本文档来自技高网...

【技术保护点】
一种数据存储方法，其特征在于，包括：获取至少一数据对象的原始数据；一所述原始数据包括：数据生成时间，数据值；每隔设定时间段，确定所获取的各数据对象的原始数据集合，一原始数据集合包括一数据对象的至少一原始数据，一设定时间段划分有多个时间点；确定各原始数据集合中的各原始数据的数据生成时间对应的时间点，并确定各原始数据集合所对应的各时间点的数据值；对各原始数据集合所对应的各时间点的数据值进行压缩，得到各原始数据集合对应的目标存储数据；存储各原始数据集合对应的目标存储数据。

【技术特征摘要】
1.一种数据存储方法，其特征在于，包括：获取至少一数据对象的原始数据；一所述原始数据包括：数据生成时间，数据值；每隔设定时间段，确定所获取的各数据对象的原始数据集合，一原始数据集合包括一数据对象的至少一原始数据，一设定时间段划分有多个时间点；确定各原始数据集合中的各原始数据的数据生成时间对应的时间点，并确定各原始数据集合所对应的各时间点的数据值；对各原始数据集合所对应的各时间点的数据值进行压缩，得到各原始数据集合对应的目标存储数据；存储各原始数据集合对应的目标存储数据。2.根据权利要求1所述的数据存储方法，其特征在于，所述原始数据还包括：数据对象的标识；所述每隔设定时间段，确定所获取的各数据对象的原始数据集合包括：每隔设定时间段，根据已获取的原始数据的数据生成时间及数据对象的标识，确定数据生成时间处于当前设定时间段的各数据对象的至少一原始数据，得到当前设定时间段各数据对象的原始数据集合。3.根据权利要求1所述的数据存储方法，其特征在于，所述确定各原始数据集合中的各原始数据的数据生成时间对应的时间点包括：根据各原始数据集合中各原始数据的数据生成时间，确定各原始数据集合的各原始数据的数据生成时间所对应的时间点；将各原始数据集合中各原始数据的数据值与对应的时间点相对应，确定出各原始数据集合中的各原始数据的数据生成时间对应的时间点。4.根据权利要求1所述的数据存储方法，其特征在于，所述对各原始数据集合所对应的各时间点的数据值进行压缩包括：对于各原始数据集合，定义表示各时间点的数据值的长度，及各时间点的数据值的编码数据，得到各原始数据集合对应的编码数据；将各原始数据集合对应的编码数据按照字节顺序转换成十六进制字符串；将各原始数据集合对应的十六进制字符串，采用预定压缩算法进行压缩。5.根据权利要求1所述的数据存储方法，其特征在于，一个自然日划分有多个连续的设定时间段，且各个设定时间段定义有对应的时间段标志；所述原始数据还包括：数据对象的标识；所述方法还包括：至少根据各原始数据集合的数据对象的标识，生成各原始数据集合的目标哈希命名，至少根据各原始数据集合所对应的设定时间段的时间段标志，生成各原始数据集合的目标哈希键，至少根据各原始数据集合对应的目标存储数据，生成各原始数据集合的目标哈希值；所述存储各原始数据集合对应的目标存储数据包括：存储各原始数据集合的目标哈希值。6.根据权利要求5所述的数据存储方法，其特征在于，各原始数据集合的目标哈希命名还包括各原始数据集合的数据生成日期；所述数据对象的标识包括：被监控的服务器的标识，及被监控数据项的标识。7.根据权利要求1所述的数据存储方法，其特征在于，所述方法还包括：在获取至少一数据对象的原始数据后，至少根据获取的各原始数据的数据对象的标识，各原始数据的数据生成时间所对应的设定时间段的时间段标志，生成各原始数据的初始哈希命名；至少根据获取的各原始数据的数据生成时间对应的时间点，生成各原始时间的初始哈希键；至少根据获取的各原始数据的采集值，生成各原始时间的初始哈希值；根据各原始数据的初始哈希命名，初始哈希键，初始哈希值，生成各原始数据对应的初始哈希数据，并将各原始数据对应的初始哈希数据写入第一数据库。8.根据权利要求7所述的数据存储方法，其特征在于，各原始数据的初始哈希命名还包括：数据未压缩标识，各原始数据的数据生成日期。9.根据权利要求8所述的数据存储方法，其特征在于，所述每隔设定时间段，确定所获取的各数据对象的原始数据集合包括：在当前设定时间段结束时，从第一数据库中导出当前设定时间段所获取的各数据对象的原始数据的初始哈希数据集合，将所导出的各数据对象的对应的初始哈希数据集合，作为当前设定时间段所获取的各数据对象的原始数据集合。10.根据权利要求9所述的数据存储方法，其特征在于，所述从第一数据库中导出当前设定时间段所获取的各数据对象的原始数据的初始哈希数据集合包括：将初始哈希命名带有数据未压缩标识，初始哈希键的时间段标志与当前设定时间段相应，且初始哈希命名中数...

【专利技术属性】
技术研发人员：罗冬水，阳叶，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44