基于时序逻辑的大数据压缩方法及复盘播放方法技术

本发明专利技术公开了一种基于时序逻辑的大数据压缩方法及复盘播放方法。包括的步骤是：依次根据时刻点获取所有实体的原始数据；依次查询所有实体，对同一实体的相邻时刻点的属性数据进行对比，如果无差异，则将此数据丢弃，如果存在差异，则将有差异的属性值提取出来；将同一时刻点所有提取出来的差异数据进行编码组合成字符串；依次将不同时刻点提取出来的差异数据编码而成的字符串以键‑值的形式存储于Redis缓存库中，实现对数据的压缩，在此基础上，提取播放条所处时刻点的原始数据进行渲染，提取缓存库中当前播放条所处时刻点的数据进行局部更新渲染，节省了客户端的资源，并且提升了渲染速度。

【技术实现步骤摘要】
基于时序逻辑的大数据压缩方法及复盘播放方法
本专利技术属于时序数据处理
，尤其涉及一种基于时序逻辑的大数据压缩方法及复盘播放方法。
技术介绍
传统的时序逻辑数据复盘是对所记录的时序过程的快照或线性录制，是一帧一帧的场景叠加，只能来回观看，无法根据自身兴趣选择观看的场景和角度，也无法利用记录内容开展科学全面的评估分析，大量的信息被舍弃和浪费，如文献1“宋祥斌，马鑫基于大数据的演练复盘及应用[J]《电子技术与软件工程》2019：170-171”所述。现有时序数据复盘播放系统多采用直接读取时序数据进行展示的方式，如基于兵棋推演的海上攻防信息系统的复盘回放就是先将回放数据直接加载到客户端缓存中，通过读取客户端缓存中的数据进行复盘播放，如文献2“方雄利基于兵棋推演的海上攻防信息系统分析与研究[D]武汉工程大学2018”所述。该播放流程过于简单，在低密度、数据量较小的情况下能够正常运行，然而面对高密度的大量数据时不仅对硬件设备性能要求较高，而且播放流畅度也相形见绌。时序大数据具有高密度、多对象和数据量大等特点，导致数据按时间查询、数据传输、对象渲染等方面的效率大大降低，给数据的复盘播放造成了较大的困难，因此一个适合播放流程的时序数据压缩方法必不可少。时序大数据由于采集时间间隔非常短，一般为0.1S，因此在整个数据集的时间跨度可以达到若干小时以上时，数据量会非常大。现有时序数据压缩方法有的处理数据结构相对简单，主要服务于节省数据库存储空间，如文献3“丁良，李在学，蔡富东，吕昌峰，陈雷，甘法刚一种时序数据的压缩方法、装置以及设备[P]：中国，CN201911421733.1”所述，无法满足多对象数据结构需求，有的数据编码方式相对复杂，如文献4“王建民，黄向东，乔嘉林，王晨，龙明盛一种自适应编码长度的时序数据存储的方法和装置[P]：中国，CN201711319331.1”所述，解码无法适应数据复盘播放时的快速、高效需求。
技术实现思路
本专利技术要解决的技术问题是怎样快速、高效的提取时序大数据从而流畅的进行复盘播放，提供了一种基于时序逻辑的大数据压缩方法及复盘播放方法。为解决该问题，本专利技术所采用的技术方案是：一种基于时序逻辑的大数据压缩方法，所述大数据存储在关系型数据库中，所述大数据中的每个类为一张数据表，每张数据表中的字段包括有数据ID、时刻、实体ID以及类的各属性，包括以下步骤：步骤1：依次根据时刻点读取所有实体的原始数据；步骤2：依次查询所有实体，对同一实体的相邻时刻点的属性数据进行对比，如果无差异，则将此数据丢弃，如果存在差异，则将有差异的属性、属性值以及该实体的“实体ID”提取出来；步骤3：将同一时刻点所有提取出来的差异数据进行编码组合成播放器易识别的数据格式字符串，其中实体与实体之间采用自定义的符号间隔开来；步骤4：依次将不同时刻点提取出来的差异数据编码而成的字符串以key-value的形式存储于Redis缓存库中，其中key为该时间节点的时刻点，value为组合而成的播放器易识别数据。进一步地，步骤1.3中所述自定义的符号为“&&”。本专利技术还提供了一种计算机可读介质，存储有基于时序逻辑的大数据压缩方法的计算机程序，所述计算机程序可被处理器执行以实现前面所述的基于时序逻辑的大数据压缩方法的步骤。本专利技术还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有基于时序逻辑的大数据压缩方法计算机程序，所述处理器执行所述计算机程序时实现前面所述基于时序逻辑的大数据压缩方法的步骤。本专利技术还提供了一种基于时序逻辑的大数据复盘播放方法，所述大数据存储在关系型数据库中，包括以下步骤：步骤1：数据准备阶段，从所述关系型数据库中提取原始时序数据，根据基于时序逻辑的大数据压缩方法对所述原始时序数据进行压缩，并将压缩后的数据存储于Redis缓存库中；步骤2：复盘播放时，客户端获取压缩缓存库中的压缩数据并存入客户端的缓存中；步骤3：根据复盘播放器的播放条所处时刻，所述播放条所处时刻是指播放初始时刻或者拖拽后的时刻，从原始时序数据表中提取出播放条所处时刻点的原始数据进行渲染；步骤4：根据当前时刻值从客户端缓存中获取压缩数据，提取出有变化的数据进行局部渲染。进一步地，所述Redis缓存库中的数据存储于内存中。本专利技术还提供了一种计算机可读介质，存储有基于时序逻辑的大数据复盘播放方法的计算机程序，其特征在于，所述计算机程序可被处理器执行以实现前面所述的基于时序逻辑的大数据复盘播放方法的步骤。本专利技术还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有基于时序逻辑的大数据复盘播放方法的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现前面所述基于时序逻辑的大数据复盘播放方法的步骤。与现有技术相比，本专利技术所取得的有益效果是：本专利技术基于时序逻辑的大数据压缩方法，针对于数据库中的数据在采集时时间间隔较小，同一实体相邻时间点之间存在着大量的重复数据，通过对比去掉同一实体中相邻时间点之间无变化的属性，实现了大数据的压缩。本专利技术基于时序大数据的复盘播放方法，在原始时序数据使用压缩方法将视频大数据压缩后存储于内存中，读取速度将更快，复盘播放时，首先从mysql关系数据库的原始数据表中读取该初始时刻的原始数据，并进行渲染，同时客户端获取Redis缓存库中的压缩数据，存入客户端的缓存中，当用户点击播放按钮开始复盘播放时，复盘播放器根据时间驱动器的时间值从客户端(本地)缓存中获取有变化的数据进行局部渲染。当用户拖动播放条调整播放进度时，同理复盘播放器首先会从mysql原始数据表中去读取拖动后初始时刻的原始数据重新进行整体渲染，然后根据时刻点从客户端缓存中获取有变化的数据进行局部渲染。该播放流程在复盘播放的初始时刻或者拖拉进度条的时候就已经将大部分的实体对象进行了构建，在播放的时候只需对属性值有变化的实体对象的该属性展现方式进行改变即可，节省了客户端的资源，并且提升了渲染速度。附图说明图1为时序数据压缩流程图；图2为数据库部分数据表设计图；图3为时序数据复盘播放流程图；图4为Redis缓存案例示意图。具体实施方式图1为本专利技术基于时序逻辑的大数据压缩方法的流程示意图，所述大数据存储在关系型数据库中，所述大数据中的每个类为一张数据表，每张数据表中的字段包括有数据ID、时刻、实体ID以及类的各属性，包括以下步骤：步骤1：依次根据时刻点读取所有实体的原始数据；步骤2：依次查询所有实体，对同一实体的相邻时刻点的属性数据进行对比，如果无差异，则将此数据丢弃，如果存在差异，则将有差异的属性、属性值以及该实体的“实体ID”提取出来；步骤3：将同一时刻点所有提取出来的差异数据进行编码组合成播放器易识别的数据格式字符串，其中实体与实体之间采用自定义的符号间隔开来；步骤4：依次将不同时刻点提取出来的差异数据本文档来自技高网...

【技术保护点】
1.一种基于时序逻辑的大数据压缩方法，所述大数据存储在关系型数据库中，所述大数据中的每个类为一张数据表，每张数据表中的字段包括有数据ID、时刻、实体ID以及类的各属性，其特征在于，包括以下步骤：/n步骤1：依次根据时刻点读取所有实体的原始数据；/n步骤2：依次查询所有实体，对同一实体的相邻时刻点的属性数据进行对比，如果无差异，则将此数据丢弃，如果存在差异，则将有差异的属性、属性值以及该实体的“实体ID”提取出来；/n步骤3：将同一时刻点所有提取出来的差异数据进行编码组合成播放器易识别的数据格式字符串，其中实体与实体之间采用自定义的符号间隔开来；/n步骤4：依次将不同时刻点提取出来的差异数据编码而成的字符串以key-value的形式存储于Redis缓存库中，其中key为该时间节点的时刻点，value为组合而成的播放器易识别数据。/n

【技术特征摘要】
1.一种基于时序逻辑的大数据压缩方法，所述大数据存储在关系型数据库中，所述大数据中的每个类为一张数据表，每张数据表中的字段包括有数据ID、时刻、实体ID以及类的各属性，其特征在于，包括以下步骤：
步骤1：依次根据时刻点读取所有实体的原始数据；
步骤2：依次查询所有实体，对同一实体的相邻时刻点的属性数据进行对比，如果无差异，则将此数据丢弃，如果存在差异，则将有差异的属性、属性值以及该实体的“实体ID”提取出来；
步骤3：将同一时刻点所有提取出来的差异数据进行编码组合成播放器易识别的数据格式字符串，其中实体与实体之间采用自定义的符号间隔开来；
步骤4：依次将不同时刻点提取出来的差异数据编码而成的字符串以key-value的形式存储于Redis缓存库中，其中key为该时间节点的时刻点，value为组合而成的播放器易识别数据。


2.根据权利要求1所述的压缩方法，其特征在于，步骤1.3中所述自定义的符号为“&&”。


3.根据权利要求1所述的压缩方法，其特征在于，所述关系型数据库为mysql关系型数据库。


4.一种计算机可读介质，存储有基于时序逻辑的大数据压缩方法的计算机程序，其特征在于，所述计算机程序可被处理器执行以实现权利要求1至3中任一项所述的基于时序逻辑的大数据压缩方法的步骤。


5.一种计算机设备，包括存储器和处理器，所述存储器存储有基于时序逻辑的大数据压缩方...

【专利技术属性】
技术研发人员：鞠儒生，张琪，祝建成，唐见兵，彭勇，秦龙，尹全军，李印，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：湖南;43