【技术实现步骤摘要】
本申请涉及数据处理领域，尤其涉及一种数据存储方法、检索方法、系统、设备及存储介质。
技术介绍
1、随着互联网信息技术的不断发展与普及，传统纸质文件逐渐被数字化文档代替、传统业务逐渐转向电子商务平台、越来越多的用户选择在社交媒体平台以及在线论坛等发布数字化内容，这些都导致了包括文本、图像、音频等不同类型的数据在内的大量数据产生，因此，对这些数据的存储管理十分必要。
2、目前，不同类型的数据分别存放于不同的数据库中，当需要查找某一类型的数据时，首先需要找到对应的数据库，再根据原始数据中的关键信息进行检索，使用多个数据库存储不同类型的数据增加了数据在检索时的复杂性，并且，根据原始数据的关键信息进行检索需要逐个分析数据内容并进行匹配，可见，这样的存储与检索数据方式严重影响了数据的检索效率。
技术实现思路
1、本申请实施例的主要目的在于提出一种数据存储方法、检索方法、系统、设备及存储介质，能够实现目标数据的高效存储与快速检索。
2、为实现上述目的，本申请实施例的第一方面提出了一种数据存储方法，所述方法包括：获取待存储的目标数据集，并提取所述目标数据集的数据类型，其中，所述目标数据集包括原始数据特征；根据所述数据类型，对所述目标数据集进行高维转换，得到高维矢量数据集，其中，所述高维矢量数据集包括高维矢量特征；根据所述数据类型，对所述高维矢量数据集进行低维转换，得到低维矢量数据集，其中，所述低维矢量数据集包括低维矢量特征；根据预先设定好的索引结构，将所述低维矢量数据集、所
3、在一些实施例中，所述根据所述数据类型，对所述目标数据集进行高维转换，得到高维矢量数据集，包括：当所述数据类型为第一类型时，对所述目标数据集进行分词操作并得到分词结果，对所述分词结果进行高维矢量映射操作，得到高维矢量数据集；当所述数据类型为第二类型时，将所述目标数据集输入预先训练好的转换模型，根据所述转换模型对所述目标数据集进行特征提取操作，得到高维矢量特征，对所述高维矢量特征进行高维矢量化操作，得到高维矢量数据集。
4、在一些实施例中，所述根据所述数据类型，对所述目标数据集进行高维转换，得到高维矢量数据集，还包括：当待存储的所述目标数据集中包括至少两种互有关联的子目标数据集时，分别根据各所述子目标数据集的数据类型对各所述子目标数据集进行高维转换，得到多个包含子高维矢量特征的子高维矢量数据集；将多个所述子高维矢量数据集进行矢量融合，得到包括多个所述子高维矢量特征的高维矢量数据集。
5、在一些实施例中，所述根据所述数据类型，对所述高维矢量数据集进行低维转换，得到低维矢量数据集，包括：当所述数据类型为线性类型时，从所述高维矢量数据集中提取多个线性矢量特征，根据所述线性矢量特征对所述高维矢量数据集进行低维矢量映射操作，得到低维矢量数据集；当所述数据类型为非线性类型时，计算所述高维矢量数据集中各非线性矢量特征之间的相似度值，根据所述相似度值对所述非线性矢量特征进行低维矢量映射操作，得到低维矢量数据集。
6、在一些实施例中，所述根据预先设定好的索引结构，将所述低维矢量数据集、所述高维矢量数据集和所述目标数据集分别存储于数据库的第一矢量层、第二矢量层和原始数据层，包括：分别提取所述低维矢量数据集、所述高维矢量数据集和所述目标数据集的索引信息，并根据所述索引信息分别确定所述高维矢量数据集、所述低维矢量数据集和所述目标数据集对应的索引结构；将所述高维矢量数据集、所述低维矢量数据集和所述目标数据集分别划分为多个特征数据组，其中，所述特征数据组包括多个特征数据；对每一所述特征数据组的所述特征数据进行维度方差计算，得到维度最大方差值，并计算所述矢量数据的平均值或众数值，根据所述平均值或所述众数值得到维度划分值；获取各所述特征数据组的存储分区，根据所述最大方差值、所述维度划分值和所述存储分区，将所述高维矢量数据集、所述低维矢量数据集和所述目标数据集分别依据对应的所述索引结构存储于数据库的第一矢量层、第二矢量层和原始数据层。
7、在一些实施例中，在所述根据预先设定好的索引结构，将所述低维矢量数据集、所述高维矢量数据集和所述目标数据集分别存储于数据库的第一矢量层、第二矢量层和原始数据层之后，还包括：记录各所述高维矢量数据集、所述低维矢量数据集和所述目标数据集的检索次数；当所述检索次数超过预设的检索阈值时，将所述高维矢量数据集/所述低维矢量数据集/所述目标数据集调整至对应索引结构的优先节点，其中，所述优先节点用于表征数据的优先检索位置。
8、为实现上述目的，本申请实施例的第二方面提出了一种数据检索方法，所述方法包括：获取待检索目标数据集的目标检索特征；若所述目标检索特征为低维检索特征，根据所述低维检索特征，在数据库的第一矢量层中确定低维矢量数据集，以及所述低维矢量数据集对应的低维矢量特征；根据高维转换后的所述低维矢量特征，在数据库的第二矢量层中确定高维矢量数据集，以及所述高维矢量数据集对应的高维矢量特征；根据低维转换后的所述高维矢量特征，从数据库的原始数据层中确定所述高维矢量特征对应的目标数据集，其中，检索得到的所述目标数据集包括原始数据特征，所述原始数据特征与所述目标检索特征匹配，所述高维矢量特征、所述低维矢量特征和所述原始数据特征之间相互存在关联。
9、为实现上述目的，本申请实施例的第三方面提出了一种数据存储系统，所述系统包括：获取模块，用于获取待存储的目标数据集，并提取所述目标数据集的数据类型，其中，所述目标数据集包括原始数据特征；高维转换模块，用于根据所述数据类型，对所述目标数据集进行高维转换，得到高维矢量数据集，其中，所述高维矢量数据集包括高维矢量特征；低维转换模块，用于根据所述数据类型，对所述高维矢量数据集进行低维转换，得到低维矢量数据集，其中，所述低维矢量数据集包括低维矢量特征；存储模块，用于根据预先设定好的索引结构，将所述低维矢量数据集、所述高维矢量数据集和所述目标数据集分别存储于数据库的第一矢量层、第二矢量层和原始数据层，以使当根据所述低维矢量特征或所述高维矢量特征进行检索时，得到所述目标数据集，其中，所述高维矢量特征、所述低维矢量特征和所述原始数据特征之间相互存在关联。
10、为实现上述目的，本申请实施例的第四方面提出了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面实施例所述的方法或上述第二方面实施例所述的方法。
11、为实现上述目的，本申请实施例的第五方面提出了一种存储介质，所述存储介质为计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面实施例所述的方法或上述第二方面实施例所述的方本文档来自技高网...
【技术保护点】
1.一种数据存储方法，其特征在于，所述方法包括：
2.根据权利要求1所述的数据存储方法，其特征在于，所述根据所述数据类型，对所述目标数据集进行高维转换，得到高维矢量数据集，包括：
3.根据权利要求1所述的数据存储方法，其特征在于，所述根据所述数据类型，对所述目标数据集进行高维转换，得到高维矢量数据集，还包括：
4.根据权利要求1所述的数据存储方法，其特征在于，所述根据所述数据类型，对所述高维矢量数据集进行低维转换，得到低维矢量数据集，包括：
5.根据权利要求1所述的数据存储方法，其特征在于，所述根据预先设定好的索引结构，将所述低维矢量数据集、所述高维矢量数据集和所述目标数据集分别存储于数据库的第一矢量层、第二矢量层和原始数据层，包括：
6.根据权利要求1所述的数据存储方法，其特征在于，在所述根据预先设定好的索引结构，将所述低维矢量数据集、所述高维矢量数据集和所述目标数据集分别存储于数据库的第一矢量层、第二矢量层和原始数据层之后，还包括：
7.一种数据检索方法，其特征在于，所述方法包括：
8.一种数
9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1至6任一项所述的数据存储方法或权利要求7所述的数据检索方法。
10.一种计算机可读存储介质，所述存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6任一项所述的数据存储方法或权利要求7所述的数据检索方法。
...【技术特征摘要】
1.一种数据存储方法，其特征在于，所述方法包括：
2.根据权利要求1所述的数据存储方法，其特征在于，所述根据所述数据类型，对所述目标数据集进行高维转换，得到高维矢量数据集，包括：
3.根据权利要求1所述的数据存储方法，其特征在于，所述根据所述数据类型，对所述目标数据集进行高维转换，得到高维矢量数据集，还包括：
4.根据权利要求1所述的数据存储方法，其特征在于，所述根据所述数据类型，对所述高维矢量数据集进行低维转换，得到低维矢量数据集，包括：
5.根据权利要求1所述的数据存储方法，其特征在于，所述根据预先设定好的索引结构，将所述低维矢量数据集、所述高维矢量数据集和所述目标数据集分别存储于数据库的第一矢量层、第二矢量层和原始数据层，包括：
6.根据权...
【专利技术属性】
技术研发人员：郭玮，苏力强，廖定柏，
申请(专利权)人：博瀚智能深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。