【技术实现步骤摘要】
一种降低存储转存时间的数据存储方法
[0001]本专利技术涉及数据存储
,特别涉及一种降低存储转存时间的数据存储方法
。
技术介绍
[0002]目前,随着科技的发展,互联网企业对数据存储的需求越来越高,同时随着互联网金融模式的逐步扩展,现有的用户对数据时效性的要求也越来越高,用户对不同类型的数据要求的存储转存时间会有所不同,如银行卡等信息数据的存储时间会比较短,一些视频文件数据或文本文件数据的存储时间则会较长,但是现有的数据存储方法是按照数据上传时间等数据参数对数据进行分类存储,并不会按照数据的转存目标采取不同的数据存储格式,导致数据转存存储时间过长
。
[0003]因此,本专利技术提出一种降低存储转存时间的数据存储方法
。
技术实现思路
[0004]本专利技术提供一种降低存储转存时间的数据存储方法,通过将原始数据中的重复数据和无用数据剔除,获取目标数据,确定转存目标,基于转存目标确定目标数据的最终转存格式,根据目标数据的最终转存格式和当前转存格式确定当前转存方式的转存阶段和阶段参数,基于预设转存逻辑优化转存阶段和阶段参数,获取目标转存方式,并对目标数据进行存储,解决了
技术介绍
中现有的数据存储方法是按照数据上传时间等数据参数对数据进行分类存储,并不会按照数据的转存目标采取不同的数据存储格式,导致数据转存存储时间过长的问题
。
[0005]本专利技术提出一种降低存储转存时间的数据存储方法,该方法包括:步骤1:获取原始数据,剔除原始数据中的重复数据和无 ...
【技术保护点】
【技术特征摘要】
1.
一种降低存储转存时间的数据存储方法,其特征在于,该方法包括:步骤1:获取原始数据,剔除原始数据中的重复数据和无用数据,获取目标数据;步骤2:确定对于目标数据的转存目标,基于转存目标确定目标数据的最终转存格式;步骤3:根据目标数据的最终转存格式和当前转存格式确定当前转存方式的转存阶段和阶段参数;步骤4:基于预设转存逻辑优化转存阶段和阶段参数,获取目标转存方式,利用目标转存方式对目标数据进行存储
。2.
根据权利要求1所述的降低存储转存时间的数据存储方法,其特征在于,获取原始数据,剔除原始数据中的重复数据和无用数据,获取目标数据,包括:从数据源获取原始数据,并对原始数据进行统计;基于统计结果获取原始数据的多个数据项,将多个数据项中重复出现的第一数据项作为重复数据进行第一剔除;根据各个数据项之间的数据属性判断各个数据项之间的关联度,将关联度小于预设阈值的第二数据项作为无用数据进行第二剔除;获取第一剔除处理和第二剔除处理后的原始数据并将其作为目标数据
。3.
根据权利要求1所述的降低存储转存时间的数据存储方法,其特征在于,确定对于目标数据的转存目标,基于转存目标确定目标数据的最终转存格式,包括:获取客户端的数据转存请求,根据转存请求确定目标数据在客户端中的转存路径;基于所述转存路径确定对于目标数据的转存目标;基于所述目标数据的转存目标确定对于目标数据的转存需求配置信息;根据对于目标数据的转存需求配置信息确定对于目标数据对应的转存策略;根据所述转存策略确定目标数据的最终转存格式
。4.
根据权利要求3所述的降低存储转存时间的数据存储方法,其特征在于,在获取客户端的数据转存请求之后,还包括:获取所述数据转存请求的请求发出时间;判断所述数据转存请求的请求发出时间是否处于预设时间段;若是,则获取对于目标数据的第一存储安全策略;若否,则获取对于目标数据的第二存储安全策略
。5.
根据权利要求1所述的降低存储转存时间的数据存储方法,其特征在于,根据目标数据的最终转存格式和当前转存格式确定当前转存方式的转存阶段和阶段参数,包括:获取目标数据的最终转存格式的第一转存过程和当前转存格式的第二转存过程;根据第一转存过程和第二转存过程确定目标数据由当前转存格式转存为最终转存格式的第三转存过程;获取所述第三转存过程对应的阶段转存特征;根据所述阶段转存特征确定阶段参数
。6.
根据权利要求1所述的降低存储转存时间的数据存储方法,其特征在于,基于预设转存逻辑优化转存阶段和阶段参数,获取目标转存方式,利用目标转存方式对目标数据进行存储,包括:获取预设转存逻辑的目标逻辑参数信息;
基于所述目标逻辑参数信息提取目标转存步骤和目标阶段参数;将所述目标转存步骤和转存阶段进行第一对比,获取过...
【专利技术属性】
技术研发人员:何亘,李辰辉,何立军,杨琨,吴文娣,苏建新,汪进,杨立寨,王凯飞,葛大伟,李健,刘奎阳,余纪良,王振宇,段国强,张颜开,
申请(专利权)人:北京云成金融信息服务有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。