用于压缩上传均衡的数据分析系统及方法技术方案

本发明专利技术涉及一种用于压缩上传均衡的数据分析系统，包括：测试准备机构，用于获取测试用文件的文件数据量以及设定压缩上传时长，文件数据量除以单位时长最低压缩上传数据量阈值以获得设定压缩上传时长的取值；编号转换器件，用于获得当前待压缩上传文件对应的有效压缩模式；压缩处理器件，用于采用有效压缩模式执行压缩处理；单位时长最低压缩上传数据量阈值为数据运营商允许的每单位时长所压缩上传的最少数据量。本发明专利技术还涉及一种用于压缩上传均衡的数据分析方法。通过本发明专利技术，能够基于数据压缩设备的性能、数据上传设备的网速以及数据文件本身的数据量为每一数据文件解析出满足数据运营商获取数据速度要求的压缩模式。足数据运营商获取数据速度要求的压缩模式。足数据运营商获取数据速度要求的压缩模式。

【技术实现步骤摘要】
用于压缩上传均衡的数据分析系统及方法


[0001]本专利技术涉及数据分析领域，尤其涉及一种用于压缩上传均衡的数据分析系统及方法。

技术介绍

[0002]离线数据分析用于较复杂和耗时的数据分析和处理，一般通常构建在云计算平台之上，如开源的HDFS文件系统和MapReduce运算框架。Hadoop机群包含数百台乃至数千台服务器，存储了数PB乃至数十PB的数据，每天运行着成千上万的离线数据分析作业，每个作业处理几百MB到几百TB甚至更多的数据，运行时间为几分钟、几小时、几天甚至更长。
[0003]在线数据分析也称为联机分析处理，用来处理用户的在线请求，它对响应时间的要求比较高(通常不超过若干秒)。与离线数据分析相比，在线数据分析能够实时处理用户的请求，允许用户随时更改分析的约束和限制条件。与离线数据分析相比，在线数据分析能够处理的数据量要小得多，但随着技术的发展，当前的在线分析系统已经能够实时地处理数千万条甚至数亿条记录。传统的在线数据分析系统构建在以关系数据库为核心的数据仓库之上，而在线大数据分析系统构建在云计算平台的NoSQL系统上。如果没有大数据的在线分析和处理，则无法存储和索引数量庞大的互联网网页，就不会有当今的高效搜索引擎，也不会有构建在大数据处理基础上的微博、博客、社交网络等的蓬勃发展。
[0004]当前，对于待压缩上传到数据运营商服务器的数据文件，其压缩模式直接决定了压缩时长和上传时长，然而，压缩时长的降低，代表压缩比的降低，导致上传的数据的上升，进而引起上传时长的上升，由此可见，压缩时长和上传时长是相互矛盾的，而数据运营商只关注二者加起来的总时长，因此，需要一种深层次的数据分析机制实现对压缩时长和上传时长的关系探讨，以解析出满足数据运营商获取数据速度要求的压缩模式。

技术实现思路

[0005]为了解决相关领域的技术问题，本专利技术提供了一种用于压缩上传均衡的数据分析系统及方法，能够基于数据压缩设备的性能、数据上传设备的网速以及数据文件本身的数据量为每一数据文件解析出满足数据运营商获取数据速度要求的压缩模式，从而实现原本矛盾的压缩时长和上传时长的动态平衡。
[0006]根据本专利技术的一方面，提供了一种用于压缩上传均衡的数据分析系统，所述系统包括：
[0007]测试准备机构，用于针对每一测试用文件，获取其文件数据量以及设定压缩上传时长，所述文件数据量除以单位时长最低压缩上传数据量阈值以获得所述设定压缩上传时长的取值；
[0008]类型提取机构，与所述测试准备机构连接，用于针对每一测试用文件，采用不同类型数据压缩模式对其压缩并上传压缩后的已压缩文件，并统计采用每一类型压缩模式完成压缩操作以及上传操作所耗用的总时长以作为所述类型压缩模式对应的参考总时长，并将
小于设定压缩上传时长的参考总时长对应类型的压缩模式作为有效压缩模式并输出有效压缩模式对应的编号；
[0009]模型重构机构，与所述类型提取机构连接，用于采用每一测试用文件对执行压缩模式解析的智能解析模型执行一次学习动作以完成对所述智能解析模型的一次重构；
[0010]编号转换器件，与所述模型重构机构连接，用于将当前待压缩上传文件的文件数据量、执行压缩操作的压缩处理器件的处理器芯片的单位时间运算量以及执行上传操作的上传处理器件的当前上传速率作为经过多次重构的智能解析模型的输入，运行经过多次重构的智能解析模型以获得当前待压缩上传文件对应的有效压缩模式对应的编号；
[0011]压缩处理器件，与所述编号转换器件连接，用于采用所述编号转换器件输出编号对应的有效压缩模式对当前待压缩上传文件执行压缩处理，以获得当前待压缩上传文件对应的已压缩文件；
[0012]其中，所述文件数据量除以单位时长最低压缩上传数据量阈值以获得所述设定压缩上传时长的取值包括：所述单位时长最低压缩上传数据量阈值为数据运营商允许的每单位时长所压缩上传的最少数据量。
[0013]根据本专利技术的另一方面，还提供了一种用于压缩上传均衡的数据分析方法，所述方法包括：
[0014]使用测试准备机构，用于针对每一测试用文件，获取其文件数据量以及设定压缩上传时长，所述文件数据量除以单位时长最低压缩上传数据量阈值以获得所述设定压缩上传时长的取值；
[0015]使用类型提取机构，与所述测试准备机构连接，用于针对每一测试用文件，采用不同类型数据压缩模式对其压缩并上传压缩后的已压缩文件，并统计采用每一类型压缩模式完成压缩操作以及上传操作所耗用的总时长以作为所述类型压缩模式对应的参考总时长，并将小于设定压缩上传时长的参考总时长对应类型的压缩模式作为有效压缩模式并输出有效压缩模式对应的编号；
[0016]使用模型重构机构，与所述类型提取机构连接，用于采用每一测试用文件对执行压缩模式解析的智能解析模型执行一次学习动作以完成对所述智能解析模型的一次重构；
[0017]使用编号转换器件，与所述模型重构机构连接，用于将当前待压缩上传文件的文件数据量、执行压缩操作的压缩处理器件的处理器芯片的单位时间运算量以及执行上传操作的上传处理器件的当前上传速率作为经过多次重构的智能解析模型的输入，运行经过多次重构的智能解析模型以获得当前待压缩上传文件对应的有效压缩模式对应的编号；
[0018]使用压缩处理器件，与所述编号转换器件连接，用于采用所述编号转换器件输出编号对应的有效压缩模式对当前待压缩上传文件执行压缩处理，以获得当前待压缩上传文件对应的已压缩文件；
[0019]其中，所述文件数据量除以单位时长最低压缩上传数据量阈值以获得所述设定压缩上传时长的取值包括：所述单位时长最低压缩上传数据量阈值为数据运营商允许的每单位时长所压缩上传的最少数据量。
[0020]由此可见，本专利技术至少具备以下两处突出的实质性特点：第一、基于当前待压缩上传文件的文件数据量、执行压缩操作的压缩处理器件的处理器芯片的单位时间运算量以及执行上传操作的上传处理器件的当前上传速率对满足数据运营商允许的每单位时长所压
缩上传的最少数据量的速率要求的压缩编码种类进行智能解析，以在数据压缩和数据上传二者耗费时长之间达到动态的均衡，从而保证总的压缩上传时间；第二、采用每一测试用文件对执行压缩模式解析的智能解析模型执行一次学习动作以完成对所述智能解析模型的一次重构，实现对要使用的智能解析模型的多次重构，其中重构的次数与单位时长最低压缩上传数据量阈值的取值反向关联，从而提升智能解析结果的精度。
附图说明
[0021]以下将结合附图对本专利技术的实施方案进行描述，其中：
[0022]图1为根据本专利技术实施方案示出的用于压缩上传均衡的数据分析系统的结构方框图。
[0023]图2为根据本专利技术实施方案示出的用于压缩上传均衡的数据分析方法的步骤流程图。
具体实施方式
[0024]下面将参照附图对本专利技术的用于压缩上传均衡的数据分析方法的实施方案进行详细说明。
[0025]多媒体数据的压缩编码技术是在C.E.Shannon信息理论的基础发本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于压缩上传均衡的数据分析系统，其特征在于，所述系统包括：测试准备机构，用于针对每一测试用文件，获取其文件数据量以及设定压缩上传时长，所述文件数据量除以单位时长最低压缩上传数据量阈值以获得所述设定压缩上传时长的取值；类型提取机构，与所述测试准备机构连接，用于针对每一测试用文件，采用不同类型数据压缩模式对其压缩并上传压缩后的已压缩文件，并统计采用每一类型压缩模式完成压缩操作以及上传操作所耗用的总时长以作为所述类型压缩模式对应的参考总时长，并将小于设定压缩上传时长的参考总时长对应类型的压缩模式作为有效压缩模式并输出有效压缩模式对应的编号；模型重构机构，与所述类型提取机构连接，用于采用每一测试用文件对执行压缩模式解析的智能解析模型执行一次学习动作以完成对所述智能解析模型的一次重构；编号转换器件，与所述模型重构机构连接，用于将当前待压缩上传文件的文件数据量、执行压缩操作的压缩处理器件的处理器芯片的单位时间运算量以及执行上传操作的上传处理器件的当前上传速率作为经过多次重构的智能解析模型的输入，运行经过多次重构的智能解析模型以获得当前待压缩上传文件对应的有效压缩模式对应的编号；压缩处理器件，与所述编号转换器件连接，用于采用所述编号转换器件输出编号对应的有效压缩模式对当前待压缩上传文件执行压缩处理，以获得当前待压缩上传文件对应的已压缩文件；其中，所述文件数据量除以单位时长最低压缩上传数据量阈值以获得所述设定压缩上传时长的取值包括：所述单位时长最低压缩上传数据量阈值为数据运营商允许的每单位时长所压缩上传的最少数据量。2.如权利要求1所述的用于压缩上传均衡的数据分析系统，其特征在于，还包括：上传处理器件，与所述压缩处理器件连接，用于将当前待压缩上传文件对应的已压缩文件上传到数据运营商占用的网络存储节点；其中，将当前待压缩上传文件的文件数据量、执行压缩操作的压缩处理器件的处理器芯片的单位时间运算量以及执行上传操作的上传处理器件的当前上传速率作为经过多次重构的智能解析模型的输入，运行经过多次重构的智能解析模型以获得当前待压缩上传文件对应的有效压缩模式对应的编号包括：重构的次数与单位时长最低压缩上传数据量阈值的取值反向关联。3.如权利要求1
‑
2任一所述的用于压缩上传均衡的数据分析系统，其特征在于：采用每一测试用文件对执行压缩模式解析的智能解析模型执行一次学习动作以完成对所述智能解析模型的一次重构包括：将所述测试用文件的文件数据量、执行压缩操作的压缩处理器件的处理器芯片的单位时间运算量以及执行上传操作的上传处理器件的当前上传速率作为所述智能解析模型的输入，将所述测试用文件对应的有效压缩模式对应的编号作为所述智能解析模型的输出，对所述智能解析模型执行一次学习动作以完成对所述智能解析模型的一次重构；其中，将小于设定压缩上传时长的参考总时长对应类型的压缩模式作为有效压缩模式并输出有效压缩模式对应的编号包括：当小于设定压缩上传时长的参考总时长存在两个以上时，将数值最小的参考总时长对应类型的压缩模式作为有效压缩模式并输出有效压缩模
式对应的编号。4.如权利要求1
‑
2任一所述的用于压缩上传均衡的数据分析系统，其特征在于：测试准备机构、类型提取机构、模型重构机构、编号转换器件、压缩处理器件以及上传处理器件设置在同一数据处理终端内；其中，测试准备机构、类型提取机构、模型重构机构、编号转换器件、压缩处理器件以及上传处理器件共同所述数据处理终端内的同一供电电源。5.如权利要求1
‑
2任一所述的用于压缩上传均衡的数据分析系统，其特征在于：将当前待压缩上传文件的文件数据量、执行压缩操作的压缩处理器件的处理器芯片的单位时间运算量以及执行上传操作的上传处理器件的当前上传速率作为经过多次重构的智能解析模型的输入包括：在当前待压缩上传文件的文件数据量超过最大设置阈值时，停止执行将当前待压缩上传文件的文件数据量、执行压缩操作的压缩处理器件的处理器芯片的单位时间运算量以及执行上传操作的上传处理器件的当前上传速率作为经过多次重构的智能解析模型的输入。6.一种用于压缩上传...

【专利技术属性】
技术研发人员：闫雪，
申请(专利权)人：闫雪，
类型：发明
国别省市：