一种数据压缩方法、设备和计算机可读存储介质技术

本发明专利技术提出了一种数据压缩方法、设备和计算机可读存储介质，该方法包括：接收待训练的数据流，并获取预设的最小压缩速率；分别采用不同的压缩算法对所述待训练的数据流进行压缩，并分别计算出每种压缩算法的压缩速率和压缩率；将压缩速率大于所述预设的最小压缩速率且压缩率最大的压缩算法设置为所述待训练的数据流的最优压缩算法。本发明专利技术主要综合压缩速率和压缩率两个指标，智能化选取数据流的最优压缩算法，在满足系统设置的压缩速率要求的前提下，选取压缩率最高的压缩算法为最优压缩算法，从而降低了压缩算法的选取难度。

【技术实现步骤摘要】
一种数据压缩方法、设备和计算机可读存储介质
本专利技术涉及数据存储和管理
，尤其涉及一种数据压缩方法、设备和计算机可读存储介质。
技术介绍
随着信息化的发展和大数据时代的来临，数据量呈爆炸式增长，为了支撑海量数据环境下数据的统计分析应用，现有技术多采用列式结构进行数据的存储。同时，为了减少数据的存储量，提高数据的存储效率，通常先将数据进行压缩后再进行存储，从而降低存储的数据量。但是，在采用列式结构进行数据的存储中，由于不同列的数据类型不同，同一压缩算法对于不同列的压缩率也可能会产生较大差异，从而采用同一种压缩算法不能最大化系统的压缩率。
技术实现思路
本专利技术要解决的技术问题是，提供一种数据压缩方法、设备和计算机可读存储介质，可以智能化选取数据流的最优压缩算法，降低了压缩算法的选取难度。本专利技术采用的技术方案是，所述数据压缩方法，包括：接收待训练的数据流，并获取预设的最小压缩速率；分别采用不同的压缩算法对所述待训练的数据流进行压缩，并分别计算出每种压缩算法的压缩速率和压缩率；将压缩速率大于所述预设的最小压缩速率且压缩率最大的压缩算法设置为所述待训练的数据流的最优压缩算法。可选的，在得到所述待训练的数据流的最优压缩算法之后，所述方法还包括：获取所述待训练的数据流的类型标识；将所述类型标识、所述最优压缩算法、所述最优压缩算法的压缩率、以及所述预设的最小压缩速率存储到预设的压缩知识库中；建立所述类型标识、所述最优压缩算法、所述最优压缩算法的压缩率、以及所述预设的最小压缩速率之间的关联关系。可选的，在得到所述待训练的数据流的最优压缩算法之后，所述方法还包括：接收待压缩的数据流，并获取所述待压缩的数据流的类型标识；根据所述类型标识从所述预设的压缩知识库中查找相应的最优压缩算法；利用查找到的最优压缩算法对所述待压缩的数据流进行压缩。可选的，在所述利用查找到的最优压缩算法对所述待压缩的数据流进行压缩之后，所述方法还包括：计算利用查找到的最优压缩算法对所述待压缩的数据流进行压缩时的压缩速率和压缩率；判断计算出的压缩速率是否小于所述预设的最小压缩速率，或者所述最优压缩算法的压缩率与计算出的压缩率的差值是否大于预设阈值；若是，则重新设置与所述待压缩的数据流的类型标识相对应的最优压缩算法。可选的，所述重新设置与所述待压缩的数据流的类型标识相对应的最优压缩算法，包括：根据当前接收到的待压缩的数据流，重新设置与所述待压缩的数据流的类型标识相对应的最优压缩算法；或者，根据下次接收到的所述类型标识的待压缩的数据流，重新设置与所述类型标识相对应的最优压缩算法。本专利技术还提供一种数据压缩设备，包括：处理器、存储器及通信总线；所述通信总线用于实现所述处理器和所述存储器之间的连接通信；所述处理器用于执行所述存储器中存储的数据压缩程序，以实现以下步骤：接收待训练的数据流，并获取预设的最小压缩速率；分别采用不同的压缩算法对所述待训练的数据流进行压缩，并分别计算出每种压缩算法的压缩速率和压缩率；将压缩速率大于所述预设的最小压缩速率且压缩率最大的压缩算法设置为所述待训练的数据流的最优压缩算法。可选的，所述处理器还用于执行所述存储器中存储的数据压缩程序，以实现以下步骤：在得到所述待训练的数据流的最优压缩算法之后，获取所述待训练的数据流的类型标识；将所述类型标识、所述最优压缩算法、所述最优压缩算法的压缩率、以及所述预设的最小压缩速率存储到预设的压缩知识库中；建立所述类型标识、所述最优压缩算法、所述最优压缩算法的压缩率、以及所述预设的最小压缩速率之间的关联关系。可选的，所述处理器还用于执行所述存储器中存储的数据压缩程序，以实现以下步骤：在得到所述待训练的数据流的最优压缩算法之后，接收待压缩的数据流，并获取所述待压缩的数据流的类型标识；根据所述类型标识从所述预设的压缩知识库中查找相应的最优压缩算法；利用查找到的最优压缩算法对所述待压缩的数据流进行压缩。可选的，所述处理器还用于执行所述存储器中存储的数据压缩程序，以实现以下步骤：在所述利用查找到的最优压缩算法对所述待压缩的数据流进行压缩之后，计算利用查找到的最优压缩算法对所述待压缩的数据流进行压缩时的压缩速率和压缩率；判断计算出的压缩速率是否小于所述预设的最小压缩速率，或者所述最优压缩算法的压缩率与计算出的压缩率的差值是否大于预设阈值；若是，则重新设置与所述待压缩的数据流的类型标识相对应的最优压缩算法。本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质存储有数据压缩程序；当所述数据压缩程序被至少一个处理器执行时，导致所述至少一个处理器执行上述介绍的数据压缩方法的步骤。采用上述技术方案，本专利技术至少具有下列优点：本专利技术所述的数据压缩方法、设备和计算机可读存储介质，主要综合压缩速率和压缩率两个指标，智能化选取数据流的最优压缩算法，在满足系统设置的压缩速率要求的前提下，选取压缩率最高的压缩算法为最优压缩算法，从而降低了压缩算法的选取难度。此外，在使用压缩算法过程中，还可以根据实际的压缩速率和压缩率动态的调整数据流的最优压缩算法，以适应同一类型的数据流内容的动态变化。附图说明图1为本专利技术第一实施例的接收到待训练的数据流时的数据压缩方法的流程图；图2为本专利技术第一实施例的接收到待压缩的数据流时的数据压缩方法的流程图；图3为本专利技术第三实施例的数据压缩设备的组成结构示意图。具体实施方式为更进一步阐述本专利技术为达成预定目的所采取的技术手段及功效，以下结合附图及较佳实施例，对本专利技术进行详细说明如后。本专利技术第一实施例，一种数据压缩方法，如图1所示，所述方法具体包括以下步骤：步骤S101：接收待训练的数据流，并获取预设的最小压缩速率。具体的，接收由外部业务系统发送来的待训练的数据流，以及预设的最小压缩速率。其中，最小压缩速率的单位为MB/s，用于表示压缩数据的速度快慢。步骤S102：分别采用不同的压缩算法对所述待训练的数据流进行压缩，并分别计算出每种压缩算法的压缩速率和压缩率。具体的，从预设的算法库中获取所有种类的压缩算法，并利用每种压缩算法，分别对所述待训练的数据流进行压缩，并分别计算出与每种压缩算法对应的压缩速率和压缩率。步骤S103：将压缩速率大于所述预设的最小压缩速率且压缩率最大的压缩算法设置为所述待训练的数据流的最优压缩算法。具体的，在满足压缩速率大于所述预设的最小压缩速率的前提下，将压缩率最大的压缩算法设置为所述待训练的数据流的最优压缩算法。进一步的，在为所述待训练的数据流设置完最优压缩算法之后，所述方法还包括：步骤A1：获取所述待训练的数据流的类型标识。在接收待训练的数据流的同时，还会接收到由外部业务系统发送来的用于标识所述待训练的数据流的数据类型的类型标识。步骤A2：将所述类型标识、所述最优压缩算法、所述最优压缩算法的压缩率、以及所述预设的最小压缩速率存储到预设的压缩知识库中。步骤A3：建立所述类型标识、所述最优压缩算法、所述最优压缩算法的压缩率、以及所述预设的最小压缩速率之间的关联关系。基于上述方法，可以为不同数据类型的数据流设置对应的最优压缩算法，并在预设的压缩知识库中存储数据流和最优压缩算法的对应关系，以供当再次接收到相同数据类型的数据流时，直接使用对应的最优压缩算法进行压缩。在设置最优压缩算法时，本文档来自技高网...

【技术保护点】
1.一种数据压缩方法，其特征在于，所述方法包括：接收待训练的数据流，并获取预设的最小压缩速率；分别采用不同的压缩算法对所述待训练的数据流进行压缩，并分别计算出每种压缩算法的压缩速率和压缩率；将压缩速率大于所述预设的最小压缩速率且压缩率最大的压缩算法设置为所述待训练的数据流的最优压缩算法。

【技术特征摘要】
1.一种数据压缩方法，其特征在于，所述方法包括：接收待训练的数据流，并获取预设的最小压缩速率；分别采用不同的压缩算法对所述待训练的数据流进行压缩，并分别计算出每种压缩算法的压缩速率和压缩率；将压缩速率大于所述预设的最小压缩速率且压缩率最大的压缩算法设置为所述待训练的数据流的最优压缩算法。2.根据权利要求1所述的数据压缩方法，其特征在于，在得到所述待训练的数据流的最优压缩算法之后，所述方法还包括：获取所述待训练的数据流的类型标识；将所述类型标识、所述最优压缩算法、所述最优压缩算法的压缩率、以及所述预设的最小压缩速率存储到预设的压缩知识库中；建立所述类型标识、所述最优压缩算法、所述最优压缩算法的压缩率、以及所述预设的最小压缩速率之间的关联关系。3.根据权利要求2所述的数据压缩方法，其特征在于，在得到所述待训练的数据流的最优压缩算法之后，所述方法还包括：接收待压缩的数据流，并获取所述待压缩的数据流的类型标识；根据所述类型标识从所述预设的压缩知识库中查找相应的最优压缩算法；利用查找到的最优压缩算法对所述待压缩的数据流进行压缩。4.根据权利要求3所述的数据压缩方法，其特征在于，在所述利用查找到的最优压缩算法对所述待压缩的数据流进行压缩之后，所述方法还包括：计算利用查找到的最优压缩算法对所述待压缩的数据流进行压缩时的压缩速率和压缩率；判断计算出的压缩速率是否小于所述预设的最小压缩速率，或者所述最优压缩算法的压缩率与计算出的压缩率的差值是否大于预设阈值；若是，则重新设置与所述待压缩的数据流的类型标识相对应的最优压缩算法。5.根据权利要求4所述的数据压缩方法，其特征在于，所述重新设置与所述待压缩的数据流的类型标识相对应的最优压缩算法，包括：根据当前接收到的待压缩的数据流，重新设置与所述待压缩的数据流的类型标识相对应的最优压缩算法；或者，根据下次接收到的所述类型标识的待压缩的数据流，重新设置与所述类型标识相对应的最优压缩算法。6.一种数据压缩设备，其特征在于，所述设备包括：处理器、存储器及通信总线；所述通信总线用于实现所述...

【专利技术属性】
技术研发人员：何庆，邓晓东，许敬伟，冯运波，江为强，安宝宇，周晓阳，汤泰鼎，魏星，
申请(专利权)人：中国移动通信集团广东有限公司，北京天融信网络安全技术有限公司，北京天融信科技有限公司，北京天融信软件有限公司，
类型：发明
国别省市：广东,44