基于数据库日志文件的批量数据时间序列传输方法及系统技术方案

本发明专利技术涉及数据处理技术领域，具体涉及基于数据库日志文件的批量数据时间序列传输方法及系统，该方法包括获取日志数据，并将日志数据解析为流式数据，获取流式数据之间的逻辑关系，得到数据序列，根据数据序列中系统周期性自检索操作对应的数据的操作时间及系统自检索周期获取系统非周期性自检操作对应的目标数据及目标数据序列，将目标数据序列等距划分为多个子序列，计算每个目标数据序列的重要程度，根据重要程度计算数据序列的滑动窗口大小，根据数据序列的滑动窗口大小利用LZ77算法实现对每个数据序列中的流式数据进行压缩并传输，本发明专利技术方法提高了传输效率，并在保证数据传输情况下提高数据的调用速度，从而提高数据检索效率。据检索效率。据检索效率。

【技术实现步骤摘要】
基于数据库日志文件的批量数据时间序列传输方法及系统


[0001]本专利技术涉及数据处理
，具体涉及基于数据库日志文件的批量数据时间序列传输方法及系统。

技术介绍

[0002]信息的世界，各行各业在管理生产的过程中都会建立属于自己的数据库，而基于数据库的操作都会产生大量的日志文件，且这些日志文件进行本地存储，由于日志文件数据属于动态数据，在数据库中用日志文件记录数据的进行修改操作时，长久以来会产生大量的批量日志数据，而大量的批量日志数据不仅占用存储资源大，并且后续查找和审阅数据库中以前的数据修改操作时，会导致查找回溯的需要日志数据过于困难，检索效率低，使得设备负载增大，进而导致处理速度特别慢。
[0003]因此，需要提供一种基于数据库日志文件的批量数据时间序列传输方法及系统，予以解决上述问题。

技术实现思路

[0004]本专利技术提供一种基于数据库日志文件的批量数据时间序列传输方法及系统，以解决现有的问题。
[0005]本专利技术的基于数据库日志文件的批量数据时间序列传输方法采用如下技术方案：该方法包括：获取数据库中每个日志文件对应的日志数据，将日志数据解析成流式数据；获取所有流式数据之间的逻辑关系，根据所有流式数据的逻辑关系获取多个数据关系网，根据所有数据关系网获取关系网序列，并获取关系网序列中每个数据关系网对应数据序列；获取数据序列中每个流式数据对应的操作时间，根据每个流式数据对应的操作时间及系统自检索周期确定数据序列中系统非周期性自检操作对应的目标数据并获取目标数据序列；将目标数据序列等距划分为多个子序列，根据每个目标数据在其对应的数据序列中出现的概率、子序列的个数、子序列中目标数据的个数及数据序列中系统自检索周期操作对应的流式数据的总数计算每个目标数据序列的重要程度；根据目标数据序列的重要程度及目标数据序列对应的数据序列中所有流式数据的个数计算数据序列的滑动窗口大小，基于每个数据序列的滑动窗口大小利用LZ77算法实现对每个数据序列中的流式数据进行压缩并传输。
[0006]优选的，按照每个日志数据的操作时间、操作方式及操作结果对日志数据进行规范记录得到预处理数据，采用基于最长公共子序列的Spell的在线流式日志解析方法将预处理数据解析成流式数据。
[0007]优选的，操作方式包括新增一个流式数据或者对流式数据进行删除或者查看固定
的流式数据或者将流式数据修改为其他数据。
[0008]优选的，日志文件对应的数据包括系统周期性自检索操作所产生的日志数据及系统非周期性自检索操作所产生的日志数据。
[0009]优选的，根据每个流式数据对应的操作时间及系统自检索周期确定数据序列中系统非周期性自检操作对应的目标数据并获取目标数据序列的步骤包括：获取系统周期性自检索操作的系统自检索周期；根据数据序列中每个流式数据对应的操作时间及系统自检索周期计算每个流式数据的符合度；若流式数据的符合度为整数，则该数据为系统周期性自检操作所产生的数据，若流式数据的符合度为非整数，则该数据为系统非周期性自检操作所产生的数据；将系统非周期性自检操作所产生的数据所产生的数据记为目标数据；根据每个目标数据的操作时间对目标数据进行排序获取目标数据序列。
[0010]优选的，根据每个目标数据在其对应的数据序列中出现的概率、子序列的个数、子序列中目标数据的个数及数据序列中系统自检索周期操作对应的数据的总个数计算每个目标数据序列的重要程度的步骤包括：根据下式（1）计算每个目标数据序列的重要程度：
ꢀꢀ
（1）其中，为目标数据序列中目标数据的总数；表示子序列的总数；表示第j个子序列内目标数据的个数；为第j个子序列内的第n个目标数据，为第j个子序列内的第n个目标数据出现的概率；为第j个子序列内的第b个数据出现的概率，S表示目标数据序列所在的数据序列中系统自检索周期操作对应的数据的总个数；表示第a个目标数据序列的重要程度。
[0011]优选的，根据目标数据序列的重要程度及目标数据序列对应的数据序列中流式数据的总数计算数据序列的滑动窗口大小的步骤包括：获取所有目标数据序列的重要程度中的最大重要程度和最小重要程度；根据最大重要程度、最小重要程度及每个目标数据序列的重要程度获取该序列的归一化重要程度；根据目标数据序列的归一化重要程度及目标数据序列对应的数据序列中流式数据的总数计算数据序列的滑动窗口大小。
[0012]优选的，根据压缩后的流式数据的压缩顺序获取压缩后的流式数据的时间序列标签；对时间序列标签及对应的压缩后的流式数据进行存储并传输。
[0013]本专利技术的基于数据库日志文件的批量数据时间序列传输系统，该系统包括：数据解析模块，用于获取数据库中每个日志文件对应的日志数据，将日志数据解析成流式数据；第一数据处理模块，用于获取所有流式数据之间的逻辑关系，根据所有流式数据的逻辑关系获取多个数据关系网，根据所有数据关系网获取关系网序列，并获取关系网序
列中每个数据关系网对应数据序列；第二数据处理模块，用于获取数据序列中每个流式数据对应的操作时间，根据每个流式数据对应的操作时间及系统自检索周期确定数据序列中系统非周期性自检操作对应的目标数据并获取目标数据序列；参数计算模块，用于将目标数据序列等距划分为多个子序列，根据每个目标数据在其对应的数据序列中出现的概率、子序列的个数、子序列中目标数据的个数及数据序列中系统自检索周期操作对应的流式数据的总数计算每个目标数据序列的重要程度；压缩传输模块，用于根据目标数据序列的重要程度及目标数据序列对应的数据序列中所有流式数据的个数计算数据序列的滑动窗口大小，基于每个数据序列的滑动窗口大小利用LZ77算法实现对每个数据序列中的流式数据进行压缩并传输。
[0014]本专利技术的有益效果是：本专利技术的基于数据库日志文件的批量数据时间序列传输方法及系统，通过对数据库的日志文件的日志数据解析成流式数据，然后对流式数据进行分析，依据流式数据的构成数据序列中目标数据序列对应的重要程度选择滑动窗口大小，然后根据滑动窗口大小利用LZ77算法实现对流式数据进行数据压缩，实现压缩时所需要的时间，从而提高传输效率，而后将压缩数据基于时间维度的进行存储，保证数据传输情况下提高数据的调用速度，从而提高数据检索效率。
附图说明
[0015]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0016]图1为本专利技术的基于数据库日志文件的批量数据时间序列传输方法及系统的实施例总体步骤的流程图；图2为实施例的S3步骤中获取目标数据及目标数据序列的流程图；图3为实施例的S5步骤中获取数据序列的滑动窗口大小的流程图。
具体实施方式
[0017]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于数据库日志文件的批量数据时间序列传输方法，其特征在于，该方法包括：获取数据库中每个日志文件对应的日志数据，将日志数据解析成流式数据；获取所有流式数据之间的逻辑关系，根据所有流式数据的逻辑关系获取多个数据关系网，根据所有数据关系网获取关系网序列，并获取关系网序列中每个数据关系网对应数据序列；获取数据序列中每个流式数据对应的操作时间，根据每个流式数据对应的操作时间及系统自检索周期确定数据序列中系统非周期性自检操作对应的目标数据并获取目标数据序列；将目标数据序列等距划分为多个子序列，根据每个目标数据在其对应的数据序列中出现的概率、子序列的个数、子序列中目标数据的个数及数据序列中系统自检索周期操作对应的流式数据的总数计算每个目标数据序列的重要程度；根据目标数据序列的重要程度及目标数据序列对应的数据序列中所有流式数据的个数计算数据序列的滑动窗口大小，基于每个数据序列的滑动窗口大小利用LZ77算法实现对每个数据序列中的流式数据进行压缩并传输。2.根据权利要求1所述的基于数据库日志文件的批量数据时间序列传输方法，其特征在于，按照每个日志数据的操作时间、操作方式及操作结果对日志数据进行规范记录得到预处理数据，采用基于最长公共子序列的Spell的在线流式日志解析方法将预处理数据解析成流式数据。3.根据权利要求1所述的基于数据库日志文件的批量数据时间序列传输方法，其特征在于，操作方式包括新增一个流式数据或者对流式数据进行删除或者查看固定的流式数据或者将流式数据修改为其他数据。4.根据权利要求1所述的基于数据库日志文件的批量数据时间序列传输方法，其特征在于，日志文件对应的数据包括系统周期性自检索操作所产生的日志数据及系统非周期性自检索操作所产生的日志数据。5.根据权利要求1所述的基于数据库日志文件的批量数据时间序列传输方法，其特征在于，根据每个流式数据对应的操作时间及系统自检索周期确定数据序列中系统非周期性自检操作对应的目标数据并获取目标数据序列的步骤包括：获取系统周期性自检索操作的系统自检索周期；根据数据序列中每个流式数据对应的操作时间及系统自检索周期计算每个流式数据的符合度；若流式数据的符合度为整数，则该数据为系统周期性自检操作所产生的数据，若流式数据的符合度为非整数，则该数据为系统非周期性自检操作所产生的数据；将系统非周期性自检操作所产生的数据所产生的数据记为目标数据；根据每个目标数据的操作时间对目标数据进行排序获取目标数据序列。6.根据权利要求1所述的基于数据库日志文件的批量数据时间序列传输方法，其特征在于，根据每个目标数据在...

【专利技术属性】
技术研发人员：石杰，廖家林，伍星，
申请(专利权)人：杭银消费金融股份有限公司，
类型：发明
国别省市：