一种数据存储、数据检索方法、装置和电子设备制造方法及图纸

本发明专利技术实施例提供了一种数据存储、数据检索方法、装置和电子设备，所述方法包括：确定待存储数据；确定待存储数据的数据类别，并对属于同一数据类别的待存储数据进行连续排列；按照待存储数据的排列顺序，依次将待存储数据以第一数据文件的形式存储至指定存储空间，直至未存储的待存储数据的数据量小于指定数据量，其中，每个第一数据文件的数据量为指定数据量。应用本发明专利技术实施例提供的数据存储方法，可以提升数据检索的效率。以提升数据检索的效率。以提升数据检索的效率。

【技术实现步骤摘要】
一种数据存储、数据检索方法、装置和电子设备


[0001]本专利技术涉及数据检索
，特别是涉及一种数据存储、数据检索方法、装置和电子设备。

技术介绍

[0002]在大数据时代，数据库中存储有海量数据，从而，用户可以针对数据库中所存储的数据进行数据检索，以得到自身所需的数据。
[0003]相关技术中，在数据库中进行数据检索的方式通常为：对数据库中所存储的数据进行遍历，以判断所遍历到的数据是否满足数据筛选条件，从而，可以作为与数据检索请求相匹配的目标数据。
[0004]然而，在上述相关技术中，由于数据库中往往存储有大量的数据，因此，对数据库中的各个数据进行遍历会耗费大量的时间，导致数据检索效率较低，尤其是在数据检索任务量较大的情况下，数据检索效率较低的情况更为明显。

技术实现思路

[0005]本专利技术实施例的目的在于提供一种数据存储、数据检索方法、装置和电子设备，以提升数据检索的效率。具体技术方案如下：
[0006]第一方面，本专利技术实施例提供了一种数据存储方法，所述方法包括：
[0007]确定待存储数据；
[0008]确定所述待存储数据的数据类别，并对属于同一数据类别的所述待存储数据进行连续排列；
[0009]按照所述待存储数据的排列顺序，依次将待存储数据以第一数据文件的形式存储至指定存储空间，直至未存储的待存储数据的数据量小于指定数据量，其中，每个所述第一数据文件的数据量为所述指定数据量。
[0010]可选的，一种具体实现方式中，所述方法还包括：
[0011]合并所述指定存储空间内所存储的满足预设合并条件的指定文件，得到目标文件；
[0012]其中，所述指定文件包括：所述第一数据文件，或者，所存储的全部待存储数据属于同一数据类别的第一数据文件；所述预设合并条件包括以下条件中的至少一个：预设合并周期内存储的、数量达到预设数值和所包括的待存储数据的数据量之和达到预设数据量。
[0013]可选的，一种具体实现方式中，所述按照所述待存储数据的排列顺序，依次将待存储数据以第一数据文件的形式存储至指定存储空间，直至未存储的待存储数据的数据量小于指定数据量，包括：
[0014]针对每个数据类别，按照属于该数据类别的待存储数据的排列顺序，将属于该数据类别的待存储数据以所述第一数据文件的形式存储至指定存储空间，直至未存储的属于
该数据类别的待存储数据的数据量小于所述指定数据量。
[0015]可选的，一种具体实现方式中，所述方法还包括：
[0016]若存在未存储的待存储数据且所述未存储的待存储数据的数据量小于所述指定数据量，则将所述未存储的待存储数据以第二数据文件的形式存储至所述指定存储空间。
[0017]可选的，一种具体实现方式中，
[0018]在所述按照所述待存储数据的排列顺序，依次将待存储数据以第一数据文件的形式存储至指定存储空间，直至未存储的待存储数据的数据量小于指定数据量之前，所述方法还包括：
[0019]确定所述指定存储空间中数据量小于所述指定数据量的数据文件，作为待填充文件；
[0020]确定所述待填充文件中的数据的数据类别，作为填充数据类别；
[0021]将所述待存储数据中数据类别与所述填充数据类别相同的待存储数据存储至所述待填充文件，直至满足预设多个条件中的任一条件；其中，所述多个条件包括第一条件和第二条件，所述第一条件为：所述待填充文件中的数据的数据量达到所述指定数据量，所述第二条件为：所述待存储数据中不存在数据类别与所述填充数据类别相同的待存储数据；
[0022]所述按照所述待存储数据的排列顺序，依次将待存储数据以第一数据文件的形式存储至指定存储空间，直至未存储的待存储数据的数据量小于指定数据量，包括：
[0023]针对未存储至所述待填充文件中的剩余待存储数据，按照所述剩余待存储数据的排列顺序，依次将待存储数据以所述第一数据文件的形式存储至指定存储空间，直至未存储的待存储数据的数据量小于所述指定数据量。
[0024]可选的，一种具体实现方式中，所述指定存储空间为具有PCIE接口的SSD。
[0025]第二方面，本专利技术实施例提供了一种数据检索方法，所述方法包括：
[0026]获取数据检索请求，并确定所述数据检索请求所请求的数据的目标数据类别；
[0027]在目标存储空间，确定存储有属于所述目标数据类别的数据的目标文件，其中，所述目标存储空间中的数据是按照上述第一方面提供的任一数据存储的方法进行存储的；
[0028]基于所述数据检索请求所指示的检索条件，从所述目标文件中查找与所述检索请求相匹配的目标数据。
[0029]第三方面，本专利技术实施例提供了一种数据存储装置，所述装置包括：
[0030]数据确定模块，用于确定待存储数据；
[0031]数据排列模块，用于确定所述待存储数据的数据类别，并对属于同一数据类别的所述待存储数据进行连续排列；
[0032]第一数据存储模块，用于按照所述待存储数据的排列顺序，依次将待存储数据以第一数据文件的形式存储至指定存储空间，直至未存储的待存储数据的数据量小于指定数据量，其中，每个所述第一数据文件的数据量为所述指定数据量。
[0033]可选的，一种具体实现方式中，所述装置还包括：
[0034]文件合并模块，用于合并所述指定存储空间内所存储的满足预设合并条件的指定文件，得到目标文件；其中，所述指定文件包括：所述第一数据文件，或者，所存储的全部待存储数据属于同一数据类别的第一数据文件；所述预设合并条件包括以下条件中的至少一个：预设合并周期内存储的、数量达到预设数值和所包括的待存储数据的数据量之和达到
预设数据量。
[0035]可选的，一种具体实现方式中，所述第一数据存储模块具体用于：
[0036]针对每个数据类别，按照属于该数据类别的待存储数据的排列顺序，将每指定数据量的属于该数据类别的待存储数据以所述第一数据文件的形式存储至指定存储空间，直至未存储的属于该数据类别的待存储数据的数据量小于所述指定数据量。
[0037]可选的，一种具体实现方式中，所述装置还包括：
[0038]第二数据存储模块，用于在存在未存储的待存储数据且所述未存储的待存储数据的数据量小于所述指定数据量时，将所述未存储的待存储数据以第二数据文件的形式存储至所述指定存储空间。
[0039]可选的，一种具体实现方式中，所述装置还包括：
[0040]文件确定模块，用于确定所述指定存储空间中数据量小于所述指定数据量的数据文件，作为待填充文件；
[0041]类别确定模块，用于确定所述待填充文件中的数据的数据类别，作为填充数据类别；
[0042]文件填充模块，用于将所述待存储数据中数据类别与所述填充数据类别相同的待存储数据存储至所述待填充文件，直至满足预设多个条件中的任一条件；其中，所述多个条件包括第一条件和第二条件，所述第一条件为：所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据存储方法，其特征在于，所述方法包括：确定待存储数据；确定所述待存储数据的数据类别，并对属于同一数据类别的所述待存储数据进行连续排列；按照所述待存储数据的排列顺序，依次将待存储数据以第一数据文件的形式存储至指定存储空间，直至未存储的待存储数据的数据量小于指定数据量，其中，每个所述第一数据文件的数据量为所述指定数据量。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：合并所述指定存储空间内所存储的满足预设合并条件的指定文件，得到目标文件；其中，所述指定文件包括：所述第一数据文件，或者，所存储的全部待存储数据属于同一数据类别的第一数据文件；所述预设合并条件包括以下条件中的至少一个：预设合并周期内存储的、数量达到预设数值和所包括的待存储数据的数据量之和达到预设数据量。3.根据权利要求1所述的方法，其特征在于，所述按照所述待存储数据的排列顺序，依次将待存储数据以第一数据文件的形式存储至指定存储空间，直至未存储的待存储数据的数据量小于指定数据量，包括：针对每个数据类别，按照属于该数据类别的待存储数据的排列顺序，将属于该数据类别的待存储数据以所述第一数据文件的形式存储至指定存储空间，直至未存储的属于该数据类别的待存储数据的数据量小于所述指定数据量。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：若存在未存储的待存储数据且所述未存储的待存储数据的数据量小于所述指定数据量，则将所述未存储的待存储数据以第二数据文件的形式存储至所述指定存储空间。5.根据权利要求4所述的方法，其特征在于，在所述按照所述待存储数据的排列顺序，依次将待存储数据以第一数据文件的形式存储至指定存储空间，直至未存储的待存储数据的数据量小于指定数据量之前，所述方法还包括：确定所述指定存储空间中数据量小于所述指定数据量的数据文件，作为待填充文件；确定所述待填充文件中的数据的数据类别，作为填充数据类别；将所述待存储数据中数据类别与所述填充数据类别相同的待存储数据存储至所述待填充文件，直至满足预设多个条件中的任一条件；其中，所述多个条件包括第一条件和第二条件，所述第一条件为：所述待填充文件中的数据的数据量达到所述指定数据量，所述第二条件为：所述待存储数据中不存在数据类别与所述填充数据类别相同的待存储数据；所述按照所述待存储数据的排列顺序，依次将待存储数据以第一数据文件的形式存储至指定存储空间，直至未存储的待存储数据的数据量小于指定数据量，包括：针对未存储至所述待填充文件中的剩余待存储数据，按照所述剩余待存储数据的排列顺序，依次将待存储数据以所述第一数据文件的形式存储至指定存储空间，直至未存储的待存储数据的数据量小于所述指定数据量。6.根据权利要求1所述的方法，其特征在于，所述指定存储空间为具有PCIE接口的SSD。7.一种数据检索方法，其特征在于，所述方法包括：获取数据检索请求，并确定所述数据检索请求所请求的数据的目标数据类别；
在目标存储空间，确定存储有属于所述目标数据类别的数据的目标文件，其中，所述目标存储空间中的数据是按照权利要求1
‑
6任一所述的方法进行存储的；基于所述数据检索请求所指示的检索条件，从所述目标文件中查找与所述检索请求相匹配的目标数据。8.一种数据存储装置，其特征在于，所述装置包括：数据确定模块，用于确定待存储数据；数据排列模块，用于确定所述待存储数据...

【专利技术属性】
技术研发人员：董明，浦世亮，钱燕，刘静，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：