一种时序数据条目的数量维护方法及系统技术方案

本发明专利技术提供了一种时序数据条目的数量维护方法及系统，其方法包括：步骤1：按照数据拆分规则，将时序数据拆分为第一数据表与历史数据表；步骤2：在第一数据表中添加最大插入字段以及最小插入字段，当第一数据表每插入一次新数据时，更新最大插入字段，并获取最新最大插入字段与最小插入字段的差值；步骤3：当每插入一次新数据时，都将对应的差值与预设阈值进行比较，若对应差值大于预设阈值，则判定需要对最新第一数据表进行旧数据的清理，并基于旧数据对历史数据表进行更新。通过对时序数据进行历史数据表与第一数据表的拆分，并在第一数据表中设置字段以及对表的更新，降低对数据维护逻辑的难度。逻辑的难度。逻辑的难度。

【技术实现步骤摘要】
一种时序数据条目的数量维护方法及系统


[0001]本专利技术涉及数据维护
，特别涉及一种时序数据条目的数量维护方法及系统。

技术介绍

[0002]目前，维护数据条目的方法是在插入时扫描全表，查询条目id最大值与最小值的差值，判断是否超过条目数阈值，并由此启动delete逻辑。
[0003]但是每次插入都需要全表扫描，如果数据表过大，会导致扫描性能降低，对于复杂数据的维护逻辑及的实现难度就会变大。
[0004]因此，本专利技术提出一种时序数据条目的数量维护方法及系统。

技术实现思路

[0005]本专利技术提供一种时序数据条目的数量维护方法及系统，用以通过对时序数据进行历史数据表与第一数据表的拆分，并在第一数据表中设置字段以及对表的更新，降低对数据维护逻辑的难度。
[0006]本专利技术一种时序数据条目的数量维护方法，包括：
[0007]步骤1：按照数据拆分规则，将时序数据拆分为第一数据表与历史数据表；
[0008]步骤2：在所述第一数据表中添加最大插入字段以及最小插入字段，当所述第一数据表每插入一次新数据时，更新所述最大插入字段，并获取最新最大插入字段与最小插入字段的差值；
[0009]步骤3：当每插入一次新数据时，都将对应的差值与预设阈值进行比较，若对应差值大于预设阈值，则判定需要对最新第一数据表进行旧数据的清理，并基于所述旧数据对所述历史数据表进行更新。
[0010]优选的，按照数据拆分规则，将时序数据拆分为第一数据表与历史数据表，包括：
[0011]获取所述时序数据的当下条目数量以及所述当下条目数量中每个条目的条目类型；
[0012]对同类条目类型的类型条目数量以及同类条目类型中每个条目的名称、内容、占用空间以及出现时间进行解析，得到对应条目的可拆分因素；
[0013]加载所有可拆分因素，获取得到针对同类条目类型的子拆分策略，进而得到对应的数据拆分规则；
[0014]按照所述数据拆分规则，对所述时序数据执行表拆分任务，获取得到第一数据表以及历史数据表。
[0015]优选的，对同类条目类型的类型条目数量以及同类条目类型中每个条目的名称、内容、占用空间、出现时间以及出现位置进行解析，包括：
[0016]确定同类型条目类型中的第一条目在对应同类型条目类型中的出现位置，并建立位置映射关系，同时，根据所述第一条目的出现时间，并建立时间映射关系；
[0017]根据所述第一条目的名称、内容以及占用空间，计算第一条目的条目重要性；
[0018][0019]其中，max表示最大值函数；a2表示针对第一条目的内容的内容值；a3表示针对第一条目的占用空间的占用值；
∝
1表示针对第一条目的名称的权重值；
∝
2表示针对第一条目的内容的权重值；
∝
3表示针对第一条目的占用空间的权重值；W为条目重要性；
[0020]根据条目重要性，建立重要映射关系；
[0021]根据所述位置映射关系、时间映射关系以及重要映射关系，获取得到解析结果。
[0022]优选的，根据所述位置映射关系、时间映射关系以及重要映射关系，获取得到解析结果，包括：
[0023]根据所述位置映射关系，判断所述第一条目的相邻位置是否为同类型条目，若是，判定所述第一条目不可单独拆分；
[0024]否则，判定所述第一条目可单独拆分；
[0025]根据所述时间映射关系，判断所述第一条目的出现时间与上一条目的出现时间之间的出现时间差是否大于预设时间差，若是，判定对应第一条目可单独拆分；
[0026]否则，若所述第一条目的出现时长大于预设时长，则判定对应第一条目可单独拆分，否则，判定所述第一条目不可单独拆分；
[0027]根据所述重要映射关系，判断所述第一条目的条目重要性是否大于预设重要性，若是，则判定所述第一条目可单独拆分，否则，判定所述第一条目可随意拆分，其中，所述可随意拆分指的是可单独拆分或者是结合相邻条目一同拆分；
[0028]根据判定结果，确定对应第一条目的可拆分因素；
[0029]其中，所述可拆分因素与判定结果为可单独拆分所对应的映射条件相关。
[0030]优选的，在所述第一数据表中添加最大插入字段以及最小插入字段，包括：
[0031]确定所述第一数据表的首次出现条目的第一位置以及末次出现条目的第二位置；
[0032]判断所述第一数据表中第一位置之前是否存在空闲位置，若不存在，在所述第一位置添加最小插入字段；
[0033]若存在，则获取所述空闲位置的第一空闲空间，以及第一位置与第二位置之间所存在的第二空闲空间；
[0034]基于所述第二位置所匹配的总空间减去所述第一空闲空间与第二空闲空间，得到剩余空间，并将所述剩余空间对应的剩余表示作为最大插入字段的一部分，并在第二位置添加最大插入字段。
[0035]优选的，当每插入一次新数据时，都将对应的差值与预设阈值进行比较，若对应差值大于预设阈值，则判定需要对最新第一数据表进行旧数据的清理，包括：
[0036]当插入一次新数据时，统计所述新数据的数据空间，并与之前全部占用数据空间进行累加，得到新的数据空间，同时，获取插入一次新数据之后，对应第一数据表中的数据条目的第一数量；
[0037]当所述新的数据空间大于预设空间时，保留第一数据表中第一最新时段内的条目，并将第一剩余条目作为旧数据进行清理；
[0038]否则，当所述第一数量大于预设数量时，保留所述第一数据表中第二最新时段内
的条目，并将第二剩余条目作为旧数据进行清理。
[0039]优选的，基于所述旧数据对所述历史数据表进行更新，包括：
[0040]获取清理的旧数据，并确定历史数据表的当下剩余条目数量；
[0041]当所述当下剩余条目数量不足以容纳所述清理的旧数据的条目数量时，则对所述历史数据表按照所述清理的旧数据的条目数量与当下剩余条目数量的条目数量差进行第一扩充；
[0042]获取所述清理的旧数据的历史清理次数以及每次历史清理过程中所存在的清理条目数量，来获取平均清理数量；
[0043]当所述条目数量差的数量小于平均清理数量时，按照所述平均清理数量在第一扩充的基础上进行双倍扩充；
[0044]否则，按照所述平均清理数量在第一扩充的基础上进行单倍扩充。
[0045]本专利技术提供一种时序数据条目的数量维护系统，包括：
[0046]表拆分模块，用于按照数据拆分规则，将时序数据拆分为第一数据表与历史数据表；
[0047]字段插入模块，用于在所述第一数据表中添加最大插入字段以及最小插入字段，当所述第一数据表每插入一次新数据时，更新所述最大插入字段，并获取最新最大插入字段与最小插入字段的差值；
[0048]表更新模块，用于当每插入一次新数据时，都将对应的差值与预设阈值进行比较，若对应差值大于预设阈值，则判定需要对最新第本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种时序数据条目的数量维护方法，其特征在于，包括：步骤1：按照数据拆分规则，将时序数据拆分为第一数据表与历史数据表；步骤2：在所述第一数据表中添加最大插入字段以及最小插入字段，当所述第一数据表每插入一次新数据时，更新所述最大插入字段，并获取最新最大插入字段与最小插入字段的差值；步骤3：当每插入一次新数据时，都将对应的差值与预设阈值进行比较，若对应差值大于预设阈值，则判定需要对最新第一数据表进行旧数据的清理，并基于所述旧数据对所述历史数据表进行更新。2.如权利要求1所述的时序数据条目的数量维护方法，其特征在于，按照数据拆分规则，将时序数据拆分为第一数据表与历史数据表，包括：获取所述时序数据的当下条目数量以及所述当下条目数量中每个条目的条目类型；对同类条目类型的类型条目数量以及同类条目类型中每个条目的名称、内容、占用空间以及出现时间进行解析，得到对应条目的可拆分因素；加载所有可拆分因素，获取得到针对同类条目类型的子拆分策略，进而得到对应的数据拆分规则；按照所述数据拆分规则，对所述时序数据执行表拆分任务，获取得到第一数据表以及历史数据表。3.如权利要求2所述的时序数据条目的数量维护方法，其特征在于，对同类条目类型的类型条目数量以及同类条目类型中每个条目的名称、内容、占用空间、出现时间以及出现位置进行解析，包括：确定同类型条目类型中的第一条目在对应同类型条目类型中的出现位置，并建立位置映射关系，同时，根据所述第一条目的出现时间，并建立时间映射关系；根据所述第一条目的名称、内容以及占用空间，计算第一条目的条目重要性；其中，max表示最大值函数；a2表示针对第一条目的内容的内容值；a3表示针对第一条目的占用空间的占用值；
∝
1表示针对第一条目的名称的权重值；
∝
2表示针对第一条目的内容的权重值；
∝
3表示针对第一条目的占用空间的权重值；W为条目重要性；根据条目重要性，建立重要映射关系；根据所述位置映射关系、时间映射关系以及重要映射关系，获取得到解析结果。4.如权利要求3所述的时序数据条目的数量维护方法，其特征在于，根据所述位置映射关系、时间映射关系以及重要映射关系，获取得到解析结果，包括：根据所述位置映射关系，判断所述第一条目的相邻位置是否为同类型条目，若是，判定所述第一条目不可单独拆分；否则，判定所述第一条目可单独拆分；根据所述时间映射关系，判断所述第一条目的出现时间与上一条目的出现时间之间的出现时间差是否大于预设时间差，若是，判定对应第一条目可单独拆分；否则，若所述第一条目的出现时长大于预设时长，则判定对应第一条目可单独拆分，否则，判定所述第一条目不可单独拆分；
根据所述重要映射关系，判断所述第一条目的条目重要性是否大于预设重要性，若是，则判定所述第一条目可单独拆分，否...

【专利技术属性】
技术研发人员：兰雨晴，余丹，孙中杰，王丹星，
申请(专利权)人：慧之安信息技术股份有限公司，
类型：发明
国别省市：