数据存储方法、数据检索方法、装置、设备以及介质制造方法及图纸

本公开提供了一种数据存储方法、数据检索方法、装置、设备以及存储介质，涉及云计算技术领域，尤其涉及数据检索等技术领域。具体实现方案为：获取原始数据和数据库标识；对原始数据进行标签提取操作，得到至少一个第一标签；将至少一个第一标签存储至与数据库标识对应的标签存储位置；对原始数据进行特征提取操作，得到第一特征数据；根据第一特征数据，在与数据库标识对应的索引存储位置中创建第一索引数据；以及在与数据库标识对应的数据存储位置中存储原始数据，并记录第一标签与原始数据的第一对应关系，以及第一索引数据与原始数据的第二对应关系。的第二对应关系。的第二对应关系。

【技术实现步骤摘要】
数据存储方法、数据检索方法、装置、设备以及介质


[0001]本公开涉及云计算
，尤其涉及数据检索等


技术介绍

[0002]随着信息化技术的不断进步，人们正经历爆炸式的数据增长。非结构数据是数据结构不规则或不完整，或者没有预定义的数据模型，如图片、视频、语音和文字等。非结构数据比传统的结构化数据增长更快，数据量更大。之所以称其为非结构数据，是因为这些数据无法以传统方式进行处理与价值挖掘。如何从非结构数据中提取有价值的内容与信息，已经逐渐成为企业进一步挖掘数据价值的关键。
[0003]基于此，如何对非结构数据进行存储和检索是亟需解决的问题。

技术实现思路

[0004]本公开提供了一种数据存储方法、数据检索方法、装置、设备、存储介质以及程序产品。
[0005]根据本公开的一方面，提供了一种数据存储方法，包括：获取原始数据和数据库标识；对所述原始数据进行标签提取操作，得到至少一个第一标签；将所述至少一个第一标签存储至与所述数据库标识对应的标签存储位置；对所述原始数据进行特征提取操作，得到第一特征数据；根据所述第一特征数据，在与所述数据库标识对应的索引存储位置中创建第一索引数据；以及在与所述数据库标识对应的数据存储位置中存储所述原始数据，并记录所述第一标签与所述原始数据之间的第一对应关系，以及所述第一索引数据与所述原始数据之间的第二对应关系。
[0006]根据本公开的另一方面，提供了一种数据检索方法，包括：响应于获取到检索数据和数据库标识，确定与所述检索数据对应的第二标签；根据第一对应关系、所述第二标签和与所述数据库标识对应的标签存储位置进行检索，得到至少一个原始数据，作为第一检索结果，其中，所述第一对应关系包括原始数据与标签之间的对应关系；对所述检索数据进行特征提取操作，得到第二特征数据；根据第二对应关系、所述第二特征数据和与所述数据库标识对应的索引存储位置进行检索，得到至少一个原始数据，作为第二检索结果，其中，所述第二对应关系包括原始数据与特征数据之间的对应关系；以及根据所述第一检索结果和所述第二检索结果，确定目标检索结果。
[0007]根据本公开的另一方面，提供了一种数据存储装置，包括：获取单元，用于获取原始数据和数据库标识；第一提取单元，用于对所述原始数据进行标签提取操作，得到至少一个第一标签；第一存储单元，用于将所述至少一个第一标签存储至与所述数据库标识对应的标签存储位置；第二提取单元，用于对所述原始数据进行特征提取操作，得到第一特征数据；创建单元，用于根据所述第一特征数据，在与所述数据库标识对应的索引存储位置中创建第一索引数据；以及第二存储单元，用于在与所述数据库标识对应的数据存储位置中存储所述原始数据。
[0008]根据本公开的另一方面，提供了一种数据检索装置，包括：标签确定单元，用于响应于获取到检索数据和数据库标识，确定与所述检索数据对应的第二标签；第一检索单元，用于根据第一对应关系、所述第二标签和与所述数据库标识对应的标签存储位置进行检索，得到至少一个原始数据，作为第一检索结果，其中，所述第一对应关系包括原始数据与标签之间的对应关系；第三提取单元，用于对所述检索数据进行特征提取操作，得到第二特征数据；第二检索单元，用于根据第二对应关系、所述第二特征数据和与所述数据库标识对应的索引存储位置进行检索，得到至少一个原始数据，作为第二检索结果，其中，所述第二对应关系包括原始数据与特征数据之间的对应关系；以及结果确定单元，用于根据所述第一检索结果和所述第二检索结果，确定目标检索结果。
[0009]本公开的另一个方面提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开实施例所示的方法。
[0010]根据本公开实施例的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行本公开实施例所示的方法。
[0011]根据本公开实施例的另一方面，提供了一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现本公开实施例所示方法的步骤。
[0012]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0013]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0014]图1示意性示出了根据本公开实施例的示例性系统架构；
[0015]图2示意性示出了根据本公开的实施例的数据存储方法的流程图；
[0016]图3示意性示出了根据本公开的实施例的数据检索方法的流程图；
[0017]图4示意性示出了根据本公开的实施例的对原始数据进行标签提取操作的方法的流程图；
[0018]图5示意性示出了根据本公开的实施例的确定与检索数据对应的第二标签的方法的流程图；
[0019]图6示意性示出了根据本公开的实施例的对原始数据进行特征提取操作的方法的流程图；
[0020]图7示意性示出了根据本公开的实施例的对检索数据进行特征提取操作的方法的流程图；
[0021]图8示意性示出了根据本公开的实施例的根据第一特征数据，在与数据库标识对应的索引存储位置中创建第一索引数据的方法的流程图；
[0022]图9示意性示出了根据本公开的实施例的根据第二特征数据，在与数据库标识对应的索引存储位置中检索，得到第二检索结果的方法的流程图；
[0023]图10示意性示出了根据本公开另一实施例的数据存储方法的示意图；
[0024]图11示意性示出了根据本公开另一实施例的数据检索方法的示意图；
[0025]图12示意性示出了根据本公开另一实施例的数据检索方法的示意图；
[0026]图13示意性示出了根据本公开实施例的数据存储装置的框图；
[0027]图14示意性示出了根据本公开实施例的数据检索装置的框图；
[0028]图15示意性示出了可以用来实施本公开的实施例的示例电子设备的框图。
具体实施方式
[0029]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0030]以下将结合图1对本公开提供的可以应用数据存储方法、数据检索方法、装置的系统架构进行描述。
[0031]图1示意性示出了根据本公开实施例的示例性系统架构100。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的
技术实现思路
，但并不意味着本公开实施例不可以用于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据存储方法，包括：获取原始数据和数据库标识；对所述原始数据进行标签提取操作，得到至少一个第一标签；将所述至少一个第一标签存储至与所述数据库标识对应的标签存储位置；对所述原始数据进行特征提取操作，得到第一特征数据；根据所述第一特征数据，在与所述数据库标识对应的索引存储位置中创建第一索引数据；以及在与所述数据库标识对应的数据存储位置中存储所述原始数据，并记录所述第一标签与所述原始数据之间的第一对应关系，以及所述第一索引数据与所述原始数据之间的第二对应关系。2.根据权利要求1所述的方法，应用于检索系统，其中，所述检索系统配置有核心引擎、多个通用处理模块和多个算法模块，所述多个通用处理模块与多个数据类型一一对应。3.根据权利要求2所述的方法，其中，所述对所述原始数据进行标签提取操作，得到至少一个第一标签，包括：确定所述原始数据的第一数据类型；利用所述核心引擎，加载所述多个通用处理模块中与所述第一数据类型对应的第一通用处理模块；以及利用所述第一通用处理模块，调用所述多个算法模块中与所述第一数据类型对应的至少一个第一算法模块，以对所述原始数据进行标签提取，得到所述至少一个第一标签。4.根据权利要求2所述的方法，其中，所述检索系统还配置有至少一个特征提取模块；所述对所述原始数据进行特征提取操作，得到第一特征数据，包括：利用所述核心引擎，加载所述至少一个特征提取模块中与所述数据库标识对应的第一特征提取模块；利用所述核心引擎，将所述原始数据发送至所述第一特征提取模块；以及利用所述第一特征提取模块，对所述原始数据进行特征提取，得到所述第一特征数据，并将所述第一特征数据发送至所述核心引擎。5.根据权利要求2所述的方法，其中，所述检索系统还配置有至少一个索引模块；所述根据所述第一特征数据，在与所述数据库标识对应的索引存储位置中创建第一索引数据，包括：利用所述核心引擎，加载所述至少一个索引模块中与所述数据库标识对应的第一索引模块；利用所述核心引擎，将所述第一特征数据和所述索引存储位置发送至所述第一索引模块；以及利用所述第一索引模块，生成与所述第一特征数据对应的第一索引数据，并将所述第一索引数据写入至所述索引存储位置。6.根据权利要求1所述的方法，其中，所述在与所述数据库标识对应的数据存储位置中存储所述原始数据，包括：将所述原始数据写入中间文件；确定所述中间文件的文件大小是否达到文件大小阈值；以及
在所述中间文件的文件大小达到文件大小阈值的情况下，将所述中间文件写入所述数据存储位置，并生成空白文件，作为新的中间文件。7.一种数据检索方法，包括：响应于获取到检索数据和数据库标识，确定与所述检索数据对应的第二标签；根据第一对应关系、所述第二标签和与所述数据库标识对应的标签存储位置进行检索，得到至少一个原始数据，作为第一检索结果，其中，所述第一对应关系包括原始数据与标签之间的对应关系；对所述检索数据进行特征提取操作，得到第二特征数据；根据第二对应关系、所述第二特征数据和与所述数据库标识对应的索引存储位置进行检索，得到至少一个原始数据，作为第二检索结果，其中，所述第二对应关系包括原始数据与特征数据之间的对应关系；以及根据所述第一检索结果和所述第二检索结果，确定目标检索结果。8.根据权利要求7所述的方法，应用于检索系统，其中，所述检索系统配置有核心引擎、多个通用处理模块和多个算法模块，所述多个所述通用处理模块与多个数据类型一一对应。9.根据权利要求8所述的方法，其中，所述确定与所述检索数据对应的第二标签，包括：确定所述检索数据的第二数据类型；利用所述核心引擎，加载所述多个通用处理模块中与所述第二数据类型对应的第二通用处理模块；以及利用所述第二通用处理模块，调用所述多个算法模块中与所述第二数据类型对应的至少一个第二算法模块，以对所述检索数据进行标签提取，得到所述第二标签。10...

【专利技术属性】
技术研发人员：杨咏臻，曹启云，叶翔，李灿，刘嘉裕，黄佳维，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：