基于数据压缩的业务数据动态存储方法及装置制造方法及图纸

本发明专利技术提供了一种基于数据压缩的业务数据动态存储方法及装置。首先，确定目标数据业务的数据容量均值并结合动态存储设备的存储区的剩余存储容量值确定存储溢出容量值。其次，确定存储区中的每个业务数据集的数据活跃度并根据数据活跃度的大小顺序以及存储溢出容量值对确定得到的待压缩数据进行特征提取得到数据特征向量。最后，在对当前业务数据进行存储时，根据每个数据特征向量将每个待压缩数据进行压缩存储以释放目标存储容量值，使得动态存储设备可以将当前业务数据进行完整地存储。如此，可以将存储区中已存储的业务数据进行压缩以实现动态存储，从而释放存储区的存储容量，确保将当前业务数据完整地进行存储，避免当前业务数据的丢失。

Dynamic storage method and device of business data based on data compression

【技术实现步骤摘要】
基于数据压缩的业务数据动态存储方法及装置
本专利技术涉及大数据存储
，具体而言，涉及一种基于数据压缩的业务数据动态存储方法及装置。
技术介绍
随着大数据通信的迅速发展，大数据资源的类型不断增多且数据规模不断增大，对数据存储设备的各方面要求也在不断提高。在对海量数据进行存储管理时，数据存储设备的存储性能和存储效率是应对不同存储需求的关键。然而数据存储设备在对数据进行存储时，可能因为存储性能刻板且存储效率低下而导致部分数据的丢失。
技术实现思路
为了改善上述问题，本专利技术提供了一种基于数据压缩的业务数据动态存储方法及装置。本专利技术实施例的第一方面，提供了一种基于数据压缩的业务数据动态存储方法，应用于与业务终端通信的动态存储设备，所述方法包括：根据所述动态存储设备的业务数据存储记录确定历史业务数据的数据容量均值，所述历史业务数据是指所述业务终端临时存储在所述动态存储设备中的业务数据；根据所述数据容量均值以及所述动态存储设备的存储区的剩余存储容量值，确定所述数据容量均值相对于所述剩余存储容量值的存储溢出容量值；基于所述动态存储设备的数据调用记录，确定存储于所述动态存储设备的存储区中的每个业务数据集的数据活跃度；根据数据活跃度由小到大的顺序以及所述存储溢出容量值从所述存储区中的所有业务数据集中确定待压缩数据，并对所述待压缩数据进行特征提取，得到每个待压缩数据对应的数据特征向量；在接收到所述业务终端发送的用于储存当前业务数据的数据存储请求时，根据每个数据特征向量将每个待压缩数据进行压缩存储；向所述业务终端发送响应信息，接收所述业务终端发送的当前业务数据并将当前业务数据存储至所述存储区中。在一种可替换的实施方式中，所述方法还包括：判断在设定时长内是否接收到所述业务终端发送的用于获取所述存储区中的当前业务数据的第一数据获取指令；若在所述设定时长内接收到所述第一数据获取指令，则将当前业务数据发送给所述业务终端，并在从所述存储区中删除当前业务数据后，根据每个数据特征向量将压缩存储的每个待压缩数据进行还原；若在所述设定时长内未接收到所述第一数据获取指令，则将当前业务数据从所述存储区中删除后，根据每个数据特征向量将压缩存储的每个待压缩数据进行还原。在一种可替换的实施方式中，所述方法还包括：判断在设定时长内是否接收到其它终端发送的用于获取所述存储区中的当前业务数据的第二数据获取指令；在所述设定时长内接收到所述第二数据获取指令时，解析所述第二数据获取指令得到所述第二数据获取指令中包括的校验字段；从存储于所述存储区的当前业务数据中获取用于对所述校验字段进验证的动态随机数；根据所述动态随机数对所述校验字段进行校验得到校验结果；在所述校验结果表征所述第二数据获取指令为合法指令时，将当前业务数据发送给所述其它终端，并在从所述存储区中删除当前业务数据后，根据每个数据特征向量将压缩存储的每个待压缩数据进行还原，在所述校验结果表征所述第二数据获取指令为非法指令时，向所述业务终端发送用于提示存在对当前业务数据进行非法获取行为的提示信息；在所述设定时长内未接收到所述第二数据获取指令时，则将当前业务数据从所述存储区中删除后，根据每个数据特征向量将压缩存储的每个待压缩数据进行还原。在一种可替换的实施方式中，根据所述动态存储设备的业务数据存储记录确定历史业务数据的数据容量均值，包括：根据所述动态存储设备的资源配置信息确定所述业务数据存储记录的结构化描述信息，所述资源配置信息为所述动态存储设备的运行日志信息，所述结构化描述信息包括用于表征所述业务数据存储记录中每个存储交互记录在所述业务数据存储记录对应的关联列表中的行列位置，所述关联列表存储于所述动态存储设备中，所述行列位置为二维数组，所述二维数组包括用于表示所述存储交互记录在所述关联列表中的行数的第一数值以及用于表示所述存储交互记录在所述关联列表中的列数的第二数值；基于所述结构化描述信息中的每个存储交互记录的行列位置，确定每个存储交互记录包括的历史业务数据的参数信息在所述动态存储设备中的存储位置；根据所述存储位置获取每个存储交互记录包括的历史业务数据的数据容量值；根据每个存储交互记录中包括的所述业务终端与所述动态存储设备的交互时段为每个存储交互记录对应的数据容量值设置加权系数，并对每个数据容量值进行加权求和得到所述数据容量均值。在一种可替换的实施方式中，基于所述动态存储设备的数据调用记录，确定存储于所述动态存储设备的存储区中的每个业务数据集的数据活跃度，包括：针对所述动态存储设备的存储区中的每个业务数据集，基于该业务数据集在预设时段内被调用的第一累计值以及各所述业务数据集在所述预设时段内被调用的第二累计值，确定该业务数据集在所述预设时段内的影响因子，所述影响因子用于表征该业务数据集在所述预设时段内的调用活跃度或在所述预设时段内的调用率，所述第一累计值和所述第二累计值通过所述数据调用记录获得；根据该业务数据集在两个连续的预设时段内的影响因子确定该业务数据集在两个连续的预设时段之间被调用的影响轨迹，所述影响轨迹用于表征影响因子的变化趋势；基于所述影响轨迹确定所述该业务数据集的活跃系数，所述活跃系数用于表征该业务数据集相对于所述存储区中的除该业务数据集之外的业务数据集的活跃度；基于所述活跃系数确定该业务数据集的数据活跃度。在一种可替换的实施方式中，根据数据活跃度由小到大的顺序以及所述存储溢出容量值从所述存储区中的所有业务数据集中确定待压缩数据，并对所述待压缩数据进行特征提取，得到每个待压缩数据对应的数据特征向量，包括：将所述存储区中的所有业务数据集按照数据活跃度由小到大的顺序进行排列得到排序序列；判断所述排序序列中前N个待压缩数据在所述存储区中所占用的存储容量总和是否达到所述存储溢出容量值，N为正整数，N的初始值为一；若是，则将对前N个待压缩数据进行特征提取，得到N个数据特征向量；若否，则使N自加一并返回判断所述排序序列中前N个待压缩数据在所述存储区中所占用的存储容量总和是否达到所述存储溢出容量值的步骤。在一种可替换的实施方式中，在接收到所述业务终端发送的数据存储请求时，根据每个数据特征向量将每个待压缩数据进行压缩存储，包括：建立每个数据特征向量与其对应的待压缩数据的映射关系，并将映射关系通过一个映射关系列表进行记录；将存储于所述存储区的每个待压缩数据替换为对应的数据特征向量。本专利技术实施例的第二方面，提供了一种基于数据压缩的业务数据动态存储装置，应用于与业务终端通信的动态存储设备，所述装置包括：均值确定模块，用于根据所述动态存储设备的业务数据存储记录确定历史业务数据的数据容量均值，所述历史业务数据是指所述业务终端临时存储在所述动态存储设备中的业务数据；溢出值确定模块，用于根据所述数据容量均值以及所述动态存储设备的存储区的剩余存储容量值，确定所述数据本文档来自技高网...

【技术保护点】
1.一种基于数据压缩的业务数据动态存储方法，其特征在于，应用于与业务终端通信的动态存储设备，所述方法包括：/n根据所述动态存储设备的业务数据存储记录确定历史业务数据的数据容量均值，所述历史业务数据是指所述业务终端临时存储在所述动态存储设备中的业务数据；/n根据所述数据容量均值以及所述动态存储设备的存储区的剩余存储容量值，确定所述数据容量均值相对于所述剩余存储容量值的存储溢出容量值；/n基于所述动态存储设备的数据调用记录，确定存储于所述动态存储设备的存储区中的每个业务数据集的数据活跃度；/n根据数据活跃度由小到大的顺序以及所述存储溢出容量值从所述存储区中的所有业务数据集中确定待压缩数据，并对所述待压缩数据进行特征提取，得到每个待压缩数据对应的数据特征向量；/n在接收到所述业务终端发送的用于储存当前业务数据的数据存储请求时，根据每个数据特征向量将每个待压缩数据进行压缩存储；/n向所述业务终端发送响应信息，接收所述业务终端发送的当前业务数据并将当前业务数据存储至所述存储区中。/n

【技术特征摘要】
1.一种基于数据压缩的业务数据动态存储方法，其特征在于，应用于与业务终端通信的动态存储设备，所述方法包括：
根据所述动态存储设备的业务数据存储记录确定历史业务数据的数据容量均值，所述历史业务数据是指所述业务终端临时存储在所述动态存储设备中的业务数据；
根据所述数据容量均值以及所述动态存储设备的存储区的剩余存储容量值，确定所述数据容量均值相对于所述剩余存储容量值的存储溢出容量值；
基于所述动态存储设备的数据调用记录，确定存储于所述动态存储设备的存储区中的每个业务数据集的数据活跃度；
根据数据活跃度由小到大的顺序以及所述存储溢出容量值从所述存储区中的所有业务数据集中确定待压缩数据，并对所述待压缩数据进行特征提取，得到每个待压缩数据对应的数据特征向量；
在接收到所述业务终端发送的用于储存当前业务数据的数据存储请求时，根据每个数据特征向量将每个待压缩数据进行压缩存储；
向所述业务终端发送响应信息，接收所述业务终端发送的当前业务数据并将当前业务数据存储至所述存储区中。


2.根据权利要求1所述的基于数据压缩的业务数据动态存储方法，其特征在于，所述方法还包括：
判断在设定时长内是否接收到所述业务终端发送的用于获取所述存储区中的当前业务数据的第一数据获取指令；
若在所述设定时长内接收到所述第一数据获取指令，则将当前业务数据发送给所述业务终端，并在从所述存储区中删除当前业务数据后，根据每个数据特征向量将压缩存储的每个待压缩数据进行还原；
若在所述设定时长内未接收到所述第一数据获取指令，则将当前业务数据从所述存储区中删除后，根据每个数据特征向量将压缩存储的每个待压缩数据进行还原。


3.根据权利要求1所述的基于数据压缩的业务数据动态存储方法，其特征在于，所述方法还包括：
判断在设定时长内是否接收到其它终端发送的用于获取所述存储区中的当前业务数据的第二数据获取指令；
在所述设定时长内接收到所述第二数据获取指令时，解析所述第二数据获取指令得到所述第二数据获取指令中包括的校验字段；
从存储于所述存储区的当前业务数据中获取用于对所述校验字段进验证的动态随机数；
根据所述动态随机数对所述校验字段进行校验得到校验结果；
在所述校验结果表征所述第二数据获取指令为合法指令时，将当前业务数据发送给所述其它终端，并在从所述存储区中删除当前业务数据后，根据每个数据特征向量将压缩存储的每个待压缩数据进行还原，在所述校验结果表征所述第二数据获取指令为非法指令时，向所述业务终端发送用于提示存在对当前业务数据进行非法获取行为的提示信息；
在所述设定时长内未接收到所述第二数据获取指令时，则将当前业务数据从所述存储区中删除后，根据每个数据特征向量将压缩存储的每个待压缩数据进行还原。


4.根据权利要求1-3任一项所述的业务数据动态存储方法，其特征在于，根据所述动态存储设备的业务数据存储记录确定历史业务数据的数据容量均值，包括：
根据所述动态存储设备的资源配置信息确定所述业务数据存储记录的结构化描述信息，所述资源配置信息为所述动态存储设备的运行日志信息，所述结构化描述信息包括用于表征所述业务数据存储记录中每个存储交互记录在所述业务数据存储记录对应的关联列表中的行列位置，所述关联列表存储于所述动态存储设备中，所述行列位置为二维数组，所述二维数组包括用于表示所述存储交互记录在所述关联列表中的行数的第一数值以及用于表示所述存储交互记录在所述关联列表中的列数的第二数值；
基于所述结构化描述信息中的每个存储交互记录的行列位置，确定每个存储交互记录包括的历史业务数据的参数信息在所述动态存储设备中的存储位置；根据所述存储位置获取每个存储交互记录包括的历史业务数据的数据容量值；
根据每个存储交互记录中包括的所述业务终端与所述动态存储设备的交互时段为每个存储交互记录对应的数据容量值设置加权系数，并对每个数据容量值进行加权求和得到所述数据容量均值。


5.根据权利要求1所述的业务数据动态存储方法，其特征在于，基于所述动态存储设备的数据调用记录，确定存储于所述动态存储设备的存储区中的每个业务数据集的数据活跃度，包括：
针对所述动态存储设备的存储区中的每个业务数据集，基于该业务数据集在预设时段内被调用的第一累计值以及各所述业务数据集在所述预设时段内被调用的第二累计值，确定该业务数据集在所述预设时段内的影响因子，所述影响因子用于表征该业务数据集在所述预设时段内的调用活跃度或在所述预设时段内的调用率，所述第一累计值和所述第二累计值通...

【专利技术属性】
技术研发人员：杨贻宏，
申请(专利权)人：上海飞旗网络技术股份有限公司，
类型：发明
国别省市：上海;31