基于数据属性的压缩存储系统技术方案

本发明专利技术公开了基于数据属性的压缩存储系统，包括监控模块、数据处理模块和服务端模块，具体涉及数据压缩存储技术领域，本发明专利技术通过监控模块对一定监控区域进行实时监控，数据处理模块获取一段时间内该区域所有媒体监控块数据增量数据，一方面压缩的对象选定为媒体监控块数据的增量数据，使压缩主体的数据量更加的间断，另一方面压缩单元依据增量数据中包含的所有数据属性的属性值对其进行相似距离计算，并基于相似的增量数据计算获取相似增量数据数据属性的属性值偏差，并基于该属性值偏差进行压缩，进一步减少了需要进行压缩的数据量，使存储的数据量更多，便于节省空间和快捷传输；校验单元进行md5值校验，保证了数据传输存储的完整性。储的完整性。储的完整性。

【技术实现步骤摘要】
基于数据属性的压缩存储系统


[0001]本专利技术涉及数据压缩存储
，具体涉及基于数据属性的压缩存储系统。

技术介绍

[0002]由于数字化生活的进一步推进，智能家居、智能手机、智慧社区等一系列智能化应用的快速发展，则智能摄像头在其中起到了非常重要的作用。并且现代社会中，尤其是个人家庭门口监视和社区楼道监视区域等都安装了大量的摄像头，可以实时监视涉及到安全方面的东西；
[0003]然而目前大多数用户所使用的摄像头，基本上都是将采集到的所有图像进行存储，没有对所采集到的视频流进行重复率压缩和简化，这样会大大的消耗存储的空间，且不利于便捷传输；
[0004]现有的一种数据压缩存储系统是对视频流数据进行时间和空间上的冗余，并没有基于视频流中视频之间的相关性进行压缩存储，监控视频中仍存在了较多的内容冗余；且需要对视频流进行传输的过程中，由于视频流数据没有经过压缩处理导致传输的过程中丢失情况大大增加；
[0005]为了解决上述问题，本专利技术提出了一种解决方案。

技术实现思路

[0006]本专利技术的目的在于提供基于数据属性的压缩存储系统，目的是为了解决现有技术中没有基于视频流中视频之间的相关性进行压缩存储，监控视频中仍存在了较多的内容冗余；且需要对视频流进行传输的过程中，由于视频流数据没有经过压缩处理导致传输的过程中丢失情况大大增加的问题。
[0007]本专利技术的目的可以通过以下技术方案实现：
[0008]基于数据属性的压缩存储系统，包括：
[0009]监控模块，对一定监控区域进行实时监控并生成该区域的媒体监控数据，所述监控模块对该区域的媒体监控数据进行等时长切割生成该区域的多个媒体监控块数据，一个所述媒体监控块数据对应的监控时长为T1，所述T1为预设时间阈值；
[0010]所述监控模块每隔预设T2时间将该区域所有在该T2时间内产生的媒体监控块数据传输到数据处理模块；
[0011]所述数据处理模块对该区域的媒体监控块数据进行分隔压缩处理，所述数据处理模块包括分隔单元和压缩单元，所述分隔单元按照一定的比较步骤获取一个T2时间内该区域所有媒体监控块数据的增量数据；
[0012]所述压缩单元对一个T2时间内该区域所有媒体监控块数据的增量数据按照一定的压缩步骤对其进行压缩生成一个T2时间内该区域所有媒体监控块数据增量数据对应的去冗余数据和对应的md5值；
[0013]服务端模块，对一个T2时间内该区域第一块媒体监控数据和所有媒体监控块数据
的去冗余数据进行一致性校验并存储。
[0014]进一步的，所述分隔单元获取一个T2时间内该区域所有媒体监控块数据增量数据的具体比较步骤如下：
[0015]S11：选定一个T2时间内该区域一个媒体监控块数据为待比对数据块数据，选定相较于比对数据块数据的前一个媒体监控块数据为比对数据块数据；
[0016]S12：将待比对数据块数据与比对数据块数据进行比较，生成待比对数据块数据相较于比对数据块数据的增量数据并将其标定为待比对数据的增量数据；
[0017]S13：按照S11到S12依次将该区域所有媒体监控块数据作为待比对数据块数据，获取该区域所有媒体监控块数据的增量数据；
[0018]所述该T2时间内该区域的第一个媒体监控块数据的比较对象为前一个T2时间内该区域的第一个媒体监控块数据。
[0019]进一步的，所述压缩单元压缩生成一个T2时间内该区域所有媒体监控块数据增量数据对应的去冗余数据的具体压缩步骤如下：
[0020]S21：选定该T2时间内该区域一个媒体监控块数据为待压缩数据，选定待压缩数据的前一个媒体监控块数据为比较压缩数据；
[0021]S22：获取待压缩数据包含的所有数据属性的属性值标记为B1、B2、...、Bb，b≥1；获取比较压缩数据对应待压缩数据中所有数据属性的属性值标记为C1、C2、...、Cb；
[0022]S23：利用公式计算获取待压缩数据与比较压缩数据的属性距离D1；
[0023]S24：将D1与D进行大小比较：
[0024]S241：若D1>D，利用公式r＝1、2、...、b计算获取待压缩数据与比较压缩数据中每个数据属性属性值的属性距离Er；
[0025]S242：使用压缩器对待压缩数据与比较压缩数据中每个数据属性属性值的属性距离Er进行压缩生成待压缩数据对应的媒体监控块数据并基于比较压缩数据的去冗余数据并计算获取其md5值；
[0026]S243：反之，则使用压缩器对待压缩数据对应的媒体监控块数据进行压缩生成待压缩数据的去冗余数据并计算获取其md5值；
[0027]S25：依次选定该T2时间内该区域所有媒体监控块数据为待压缩数据，按照S21到S24，计算获取该T2时间内该区域所有媒体监控块数据的去冗余数据和对应的md5值。
[0028]进一步的，所述服务端模块包括校验单元，所述校验单元对该区域T2时间内的所有去冗余数据进行一致性校验：
[0029]以该区域T2时间内一个去冗余数据为例，若该去冗余数据的md5值与压缩单元传输的该去冗余数据的md5值不一致，则依据该去冗余数据生成重传指令并将其传输到压缩单元；
[0030]所述压缩单元接收到校验单元传输的重传指令后获取该重传指令中携带的去冗余数据信息并将该去冗余数据信息对应的媒体数据块数据进行重新压缩生成重传冗余数据并重新计算获取其md5值，所述压缩单元将重传冗余数据和其对应的Md5值传输到校验单元进行重新校验。
[0031]进一步的，所述校验单元对一个T2时间内该区域第一个媒体监控块数据进行一致性校验。
[0032]进一步的，所述服务端模块还包括存储单元，所述存储单元对一个T2时间内该区域第一个媒体监控块数据与经过校验后的所有去冗余数据进行存储。
[0033]本专利技术的有益效果：
[0034](1)本专利技术通过设置监控模块对一定监控区域进行实时监控，设置数据处理模块获取一段时间内该区域的所有媒体监控块数据的增量数据，一方面压缩的对象选定为媒体监控块数据的增量数据，使压缩主体的数据量更加的间断，另一方面压缩单元依据增量数据中包含的所有数据属性的属性值对其进行相似距离计算，并基于相似的增量数据计算获取相似增量数据数据属性的属性值偏差，并基于该属性值偏差进行压缩，进一步减少了需要进行压缩的数据量，使存储的数据量更多，便于节省空间和快捷传输；
[0035](2)本专利技术通过校验单元对传输的媒体监控块数据的去冗余数据进行md5值校验，避免了传输过程中可能出现的传输数据丢失情况的发生，保证了数据存储的完整性。
附图说明
[0036]下面结合附图对本专利技术作进一步的说明。
[0037]图1是本专利技术的系统框图。
具体实施方式
[0038]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于数据属性的压缩存储系统，其特征在于，包括：监控模块，对一定监控区域进行实时监控并生成该区域的媒体监控数据，所述监控模块对该区域的媒体监控数据进行等时长切割生成该区域的多个媒体监控块数据，一个所述媒体监控块数据对应的监控时长为T1，所述T1为预设时间阈值；所述监控模块每隔预设T2时间将该区域所有在该T2时间内产生的媒体监控块数据传输到数据处理模块；所述数据处理模块对该区域的媒体监控块数据进行分隔压缩处理，所述数据处理模块包括分隔单元和压缩单元，所述分隔单元按照一定的比较步骤获取一个T2时间内该区域所有媒体监控块数据的增量数据；所述压缩单元对一个T2时间内该区域所有媒体监控块数据的增量数据按照一定的压缩步骤对其进行压缩生成一个T2时间内该区域所有媒体监控块数据增量数据对应的去冗余数据和对应的md5值；服务端模块，对一个T2时间内该区域第一块媒体监控数据和所有媒体监控块数据的去冗余数据进行一致性校验并存储。2.根据权利要求1所述的基于数据属性的压缩存储系统，其特征在于，所述分隔单元获取一个T2时间内该区域所有媒体监控块数据增量数据的具体比较步骤如下：S11：选定一个T2时间内该区域一个媒体监控块数据为待比对数据块数据，选定相较于比对数据块数据的前一个媒体监控块数据为比对数据块数据；S12：将待比对数据块数据与比对数据块数据进行比较，生成待比对数据块数据相较于比对数据块数据的增量数据并将其标定为待比对数据的增量数据；S13：按照S11到S12依次将该区域所有媒体监控块数据作为待比对数据块数据，获取该区域所有媒体监控块数据的增量数据；所述该T2时间内该区域的第一个媒体监控块数据的比较对象为前一个T2时间内该区域的第一个媒体监控块数据。3.根据权利要求1所述的基于数据属性的压缩存储系统，其特征在于，所述压缩单元压缩生成一个T2时间内该区域所有媒体监控块数据增量数据对应的去冗余数据的具体压缩步骤如下：S21：选定该T2时间内该区域一个媒体监控块数据为待压缩数据，选定待压缩数据的前一个媒体监控块数据为比较压缩数据；...

【专利技术属性】
技术研发人员：马运杨，陈运松，陈建佑，
申请(专利权)人：深圳星火半导体科技有限公司，
类型：发明
国别省市：