一种数据存储方法技术

本申请涉及数据存储技术领域，尤其涉及一种数据存储方法

【技术实现步骤摘要】
一种数据存储方法、装置、电子设备和介质


[0001]本申请涉及数据存储
，尤其是涉及一种数据存储方法
、
装置
、
电子设备和介质
。

技术介绍

[0002]随着计算机技术的快速进步，为了更方便存储和应用数据，存储介质应运而生
。
在实际的使用过程中，人们会将大量数据存储到存储介质中，而在此过程中可能存在大量重复数据被存储至存储介质的情况，然而存储介质的存储空间是一定的，重复数据的存储会导致非重复数据的存储空间减小
。
[0003]相关技术中接收到数据存储请求时，会将待存储数据的所有内容与每一已存储数据的所有内容一一进行匹配，当确定待存储数据的内容与某一已存储数据的内容相同时，则确定待存储数据为重复数据，进而只存储不重复数据
。
然而，当存储介质中存在较多数据的已存储数据时，就需要花费较长的时间进行内容匹配，可见，相关技术确定重复数据的效率较低
。

技术实现思路

[0004]为了提高重复数据的确定效率，本申请提供一种数据存储方法
、
装置
、
电子设备和介质
。
[0005]第一方面，本申请提供一种数据存储方法，采用如下的技术方案：一种数据存储方法，包括：当接收到待存储数据写入请求时，获取所述待存储数据的属性信息；基于所述属性信息和预设已存储数据，筛选出与所述属性信息相匹配的若干已存储数据；提取所述待存储数据对应的第一关键数据，以及，提取所述已存储数据对应的第二关键数据，其中，关键数据为存在变化的数据；确定所述第一关键数据与所述第二关键数据的相似度，并判断所述相似度是否达到预设最大相似度阈值；若所述相似度达到预设最大相似度阈值，则利用所述待存储数据覆盖相似数据，以进行数据更新，所述相似数据为与所述第二关键数据对应的已存储数据；若所述相似度未达到预设最大相似度阈值，则写入所述待存储数据
。
[0006]本申请在一较佳示例中可以进一步配置为，所述提取所述待存储数据对应的第一关键数据，包括：基于所述属性信息和所述待存储数据，确定所述待存储数据是否为标准数据；若所述待存储数据不为标准数据，则基于预设的属性信息和提取模板的对应关系和所述属性信息，确定与所述属性信息对应的目标提取模板，并基于所述提取模板提取所述待存储数据对应的第一关键数据；
若所述待存储数据为标准数据，则基于预设的属性信息和转换策略和所述属性信息，确定与所述属性信息对应的目标转换策略；基于所述目标转换策略对所述待存储数据进行转换，并提取转换后的待存储数据对应的第一关键数据
。
[0007]本申请在一较佳示例中可以进一步配置为，所述确定所述第一关键数据与所述第二关键数据的相似度，包括：确定所述第一关键数据的第一字符与所述第二关键数据的第二字符的字符相似度，所述第一字符为从所述第一关键数据中提取到的，所述第二字符为从所述第二关键数据中提取到的；确定所述字符相似度是否达到预设最大字符相似度阈值；若所述字符相似度未达到预设最大字符相似度阈值，则对所述第一关键数据进行语义识别得到第一语义，以及，对所述第二关键数据进行语义识别得到第二语义；确定所述第一语义与所述第二语义的语义相似度，并将所述语义相似度确定为所述第一关键数据与所述第二关键数据的相似度
。
[0008]本申请在一较佳示例中可以进一步配置为，所述写入所述待存储数据，包括：获取数据存储分区信息，并基于所述数据存储分区信息和所述待存储数据确定存储区域数量；基于预设的存储区域数量和写入模式的对应关系和所述存储区域数量，确定与所述存储区域数量对应的目标写入模式；基于所述目标写入模式和所述待存储数据，写入所述待存储数据
。
[0009]本申请在一较佳示例中可以进一步配置为，所述基于所述目标写入模式和所述待存储数据，写入所述待存储数据，包括：基于预设的写入模式和写入模板的对应关系和所述写入模式，确定所述写入模式对应的目标写入模板；基于所述待存储数据和所述目标写入模板，生成写入代码；基于所述写入代码生成数据写入指令，以写入所述待存储数据
。
[0010]本申请在一较佳示例中可以进一步配置为，所述写入所述待存储数据之后，还包括
:
获取目标数据存储块的存储块标识，所述目标数据存储块为存储所述待存储数据的存储块；基于所述存储块标识生成校验信号，以校验所述目标数据存储块，并得到校验结果；若所述校验结果为所述待存储数据成功写入，则生成成功写入信号；若所述校验结果为所述待存储数据未成功写入，则生成数据存储异常信号，以进行异常提醒
。
[0011]本申请在一较佳示例中可以进一步配置为，所述获取待存储数据的属性信息之前，包括：检测所述待存储数据是否存在病毒信息，以及，检测所述待存储数据中是否存在敏感词汇；
若所述待存储数据存在病毒信息，或所述待存储数据存在敏感词汇，则确定所述待存储数据为危险数据，并生成拒绝写入信号；否则，则获取所述待存储数据的属性信息
。
[0012]第二方面，本申请提供一种数据存储装置，采用如下的技术方案：一种数据存储装置，包括：获取模块，用于当接收到待存储数据写入请求时，获取所述待存储数据的属性信息；匹配模块，用于基于所述属性信息和预设已存储数据，筛选出与所述属性信息相匹配的若干已存储数据；提取模块，用于提取所述待存储数据对应的第一关键数据，以及提取所述已存储数据对应的第二关键数据，其中，关键数据为存在变化的数据；相似度确定模块，用于确定所述第一关键数据与所述第二关键数据的相似度，并判断所述相似度是否达到预设最大相似度阈值；若所述相似度达到预设最大相似度阈值，则触发更新模块；若所述相似度未达到预设最大相似度阈值，则触发写入模块；更新模块，用于利用所述待存储数据覆盖相似数据，以进行数据更新，所述相似数据为与所述第二关键数据对应的已存储数据；写入模块，用于写入所述待存储数据
。
[0013]第三方面，本申请提供一种电子设备，采用如下的技术方案：至少一个处理器；存储器；至少一个应用程序，其中至少一个应用程序被存储在存储器中并被配置为由至少一个处理器执行，所述至少一个应用程序配置用于：执行如第一方面任一项所述的数据存储方法
。
[0014]第四方面，本申请提供一种计算机可读存储介质，采用如下的技术方案：一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令所述计算机执行如第一方面任一项所述的数据存储方法
。
[0015]综上所述，本申请包括以下有益技术效果：当接收到数据写入请求时，获取待存储数据的属性信息，以便从属性维度缩小筛选范围；再根据属性信息和预设已存储数据筛选出属性相同的若干已存储数据，并分别提取待存储数据的第一关键数据和已存储数据的第二关键数据，确定第一关键数据和第二关键数据的相似度，并判断相似度和预设最大相似度阈值，通过直接判断存在变化概率的数据之间的相似度以更快判断本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种数据存储方法，其特征在于，包括：当接收到待存储数据写入请求时，获取所述待存储数据的属性信息；基于所述属性信息和预设已存储数据，筛选出与所述属性信息相匹配的若干已存储数据；提取所述待存储数据对应的第一关键数据，以及，提取所述已存储数据对应的第二关键数据，其中，关键数据为存在变化的数据；确定所述第一关键数据与所述第二关键数据的相似度，并判断所述相似度是否达到预设最大相似度阈值；若所述相似度达到预设最大相似度阈值，则利用所述待存储数据覆盖相似数据，以进行数据更新，所述相似数据为与所述第二关键数据对应的已存储数据；若所述相似度未达到预设最大相似度阈值，则写入所述待存储数据
。2.
根据权利要求1所述的数据存储方法，其特征在于，所述提取所述待存储数据对应的第一关键数据，包括：基于所述属性信息和所述待存储数据，确定所述待存储数据是否为转换数据；若所述待存储数据不为转换数据，则基于预设的属性信息和提取模板的对应关系和所述属性信息，确定与所述属性信息对应的目标提取模板，并基于所述提取模板提取所述待存储数据对应的第一关键数据；若所述待存储数据为转换数据，则基于预设的属性信息和转换策略和所述属性信息，确定与所述属性信息对应的目标转换策略；基于所述目标转换策略对所述待存储数据进行转换，并提取转换后的待存储数据对应的第一关键数据
。3.
根据权利要求1所述的数据存储方法，其特征在于，所述确定所述第一关键数据与所述第二关键数据的相似度，包括：确定所述第一关键数据的第一字符与所述第二关键数据的第二字符的字符相似度，所述第一字符为从所述第一关键数据中提取到的，所述第二字符为从所述第二关键数据中提取到的；确定所述字符相似度是否达到预设最大字符相似度阈值；若所述字符相似度未达到预设最大字符相似度阈值，则对所述第一关键数据进行语义识别得到第一语义，以及，对所述第二关键数据进行语义识别得到第二语义；确定所述第一语义与所述第二语义的语义相似度，并将所述语义相似度确定为所述第一关键数据与所述第二关键数据的相似度
。4.
根据权利要求1所述的数据存储方法，其特征在于，所述写入所述待存储数据，包括：获取数据存储分区信息，并基于所述数据存储分区信息和所述待存储数据确定存储区域数量；基于预设的存储区域数量和写入模式的对应关系和所述存储区域数量，确定与所述存储区域数量对应的目标写入模式；基于所述目标写入模式和所述待存储数据，写入所述待存储数据
。5.
根据权利要求4所述的数据存储方法，其特征在于，所述基于所述目标写入模式和所述...

【专利技术属性】
技术研发人员：付万福，
申请(专利权)人：深圳市威科伟业电子科技有限公司，
类型：发明
国别省市：