一种多源下载性能优化方法及装置制造方法及图纸

本发明专利技术公开一种多源下载性能优化方法及装置，该方法通过采用对云端的日志数据进行分类，按照要求找出相同类型的日志数据；对分类后的日志数据的各类测量指标进行分析对比，统计并计算得到需要的结果；对测量指标的结果综合地进行对比分析，根据不同下载的特征，设置适用的下载方案；将云端分析后得到的下载方案发送到客户端；对下载过程中实时获取的数据进行分析，得到当前下载的性能；对当前下载与已有的下载方案进行匹配，选择合适的下载方案的方法和相应的装置，解决了目前多源下载中使用较多的数据源下载的性能反而较差以及使用收费数据源下载的抛弃率更高等问题。

【技术实现步骤摘要】
一种多源下载性能优化方法及装置
本专利技术涉及网络内容分发
，尤其涉及一种多源下载性能优化方法及装置。
技术介绍
文件下载作为最基础最普适的一项网络服务已经历经几代支持技术，包括直接内容分发(C/S)、内容分发网络(CDNs)、对等网络(P2P)以及基于云的技术。但是，目前的网络基础设施并不能够满足持续增长的用户数量和数据传输数量。因此，文件下载的性能(如下载速度和下载成功率)并不尽如人意。为了给文件下载加速，许多网络服务和内容提供商采用了目前最新的文件下载方式——多源文件下载。在多源下载中，用户(即客户端)可以通过各种各样的内容分发技术和协议同时从多个数据源中获取被请求的文件的不同部分。比如：在一个P2P文件下载系统中，客户端可以维持几十个TCP对等点连接来并发地获取被请求文件的不同的数据块。当P2P这种下载模式被延伸到P2SP(peer-to-server&peer)这种混合模式后，用户除了可以从对等点中获取数据快，还可以从专用的服务器中获取数据块。直观地来看，多源下载能够有效地改善文件(尤其是大文件)下载的性能。很多先前的研究工作也确实证明了这一点。但是随着时间的推移，现在客户端和多个数据源之间的交互变得比几年前要复杂的多。如果多源下载协议不能够被合理地设计，相比于原始的单源下载，它可能会导致更差的性能以及更高的网络和财政开销。这种现象被称为多源下载的性能异常。尽管性能异常在客户端时有发生，但是目前仍然缺乏在真实系统中全面理解这些性能异常的研究工作，更不用说指导用户和开发者来处理这些异常现象了。为了能够全面了解多源下载中的性能异常，之前的研究工作利用大规模的工业多源下载数据深入分析了七类最常用的下载技术(即C/S，免费C/S镜像，收费C/S镜像，免费内容分发网络，收费内容分发网络，网络服务商缓存，以及对等网络)的特征。目前工业界许多流行的下载器(比如：QQ旋风，迅雷等)中常用的多源下载流程如下：安装在客户端的下载器接收到用户的下载请求后，开始从原始的数据源中下载被请求的文件。同时，下载器的云端也会查询可用的数据源，并将找到的数据源告知客户端，使其从源链下载升级为多源下载，从而达到下载加速的目的。在下载完成后，客户端会将整个下载过程中记录的数据发送到下载器的云端。因此，利用这一过程中获取的日志数据，多源下载和源链下载的性能对比以及七类下载技术的特征可以被分析获得，并且多源下载中的性能异常现象也能被全面地分析总结。之前的研究工作发现的多源下载的性能异常主要有：文件流行度和该文件资源数量并不是完全正相关的；当下载中使用的数据源的下载时长不一致时，多源下载的下载性能往往会较差；多源下载中并不是使用越多的数据源下载其下载性能就越好；由于带宽等限制，收费的数据源往往性能会更差。为了能够理解这些异常的根本原因，研究工作中重点探索了多源下载中的一些通用测量指标(比如：下载速度，下载耗时，数据源数量，文件大小，文件流行度等)以及非常规的测量指标(比如：参与时间的多样性，抛弃率，估计的剩余下载时间等)。分析结果显示，当某次下载中某些测量指标的值明显异于其他下载中该指标的值时，其下载的性能往往并不如预期的理想性能。因此，通过实验分析，之前的工作总结出一些有效的并且实际可用的启示和结论来指导下载器的算法设计以便能够有效地处理多源下载中出现的这些异常。
技术实现思路
本专利技术的目的在于通过一种多源下载性能优化方法及装置，来解决以上
技术介绍
部分提到的问题。为达此目的，本专利技术采用以下技术方案：一种多源下载性能优化方法，其包括如下步骤：S101、云端对已有的日志数据进行整理并按照下载时使用的数据源的数目进行分类，找出使用相同数目的数据源进行下载的所有日志；S102、云端对已分类的各类日志数据进行对比分析，统计得到每类数据中不同文件大小的各种测量指标的最大值、最小值、中位数值和均值；S103、云端对统计得到的测量指标的值综合地进行对比分析，总结归纳出不同特征的下载适用的下载方案；S104、云端将具有不同特征的下载适用的下载方案汇总后发送给客户端；S105、客户端在下载过程中收集数据并分析，得到当前的下载性能；S106、客户端将当前的下载性能和下载文件的特征作为本次下载的特征信息，选择最优的下载方案进行调整以优化多源下载的性能。特别地，所述步骤S101包括：云端对下载日志按照用户ID，文件ID和下载完成时间这三列从小到大进行排序；将具有相同的用户ID,文件ID和下载完成时间的记为一次下载，一次下载中日志条数即为使用的数据源的数目；将具有相同数据源数目的下载归为一类。特别地，所述步骤S102包括：将每一类日志数据按照文件大小从小到大进行排序；计算每一类数据中不同文件大小的下载的各类测量指标的最大值、最小值、中位数值和均值，所需要计算的测量指标包括：下载平均速度(AS)，下载成功率(SR)，下载抛弃率(AR)，数据源参与时间的多样性(DPT)。特别地，所述步骤S102中下载平均速度(AS)，下载成功率(SR)，下载抛弃率(AR)，数据源参与时间的多样性(DPT)的计算方法如下：其中，DownloadSize表示下载的字节数，DownloadTime表示已经下载的时长，SuccessNumber表示下载成功的任务数，TotalNumber表示所有的下载任务数，CancelNumber表示用户主动取消的任务数，Ti表示一次下载任务中第i个数据源参与下载的时长，Tmax表示一次下载任务中所有数据源参与下载的最大时长，Tmin表示一次下载任务中所有数据源参与下载的最小时长，表示一次下载任务中所有数据源参与下载时长的平均值。特别地，所述步骤S103包括：比较在使用不同数量的数据源和不同的文件大小下，多源下载的平均速度，下载成功率以及数据源参与时间的多样性这三个测量指标，分析得到不同文件大小的下载中所需使用数据源的数量的上限；比较在数据源收费和免费情况下，多源下载的平均速度，下载成功率以及下载抛弃率这三个测量指标，分析得到收费文件采用的下载策略，即优先使用免费数据源进行下载。特别地，所述步骤S105包括：获取实时下载中的文件大小、当前使用的数据源数量、每条数据源参与下载的时长及对应已下载的字节数、每条数据源所使用的资源类型即收费或免费；计算得到每条数据源的实时平均下载速度(AS)。特别地，所述步骤S106包括：如果当前使用的数据源数量小于或者等于数据源数量使用上限且使用的数据源都为免费资源，则保持当前的下载链接；如果使用的数据源中有收费资源，则用免费资源替换收费资源，若无免费资源可用，继续使用收费资源进行下载；如果当前使用的数据源数量大于数据源数量使用上限，则中断质量较差的数据源即下载平均速度较低的数据源。与上述多源下载性能优化方法对应，本专利技术还公开了一种多源下载性能优化装置，该装置包括：日志数据分析模块，用于通过云端对已有的日志数据进行整理并按照下载时使用的数据源的数目进行分类，找出使用相同数目的数据源进行下载的所有日志；分类数据统计模块，用于通过云端对已分类的各类日志数据进行对比分析，统计得到每类数据中不同文件大小的各种测量指标的最大值、最小值、中位数值和均值；特征方案关联模块，用于通过云端对统计得到的测量指标的值综合地进行本文档来自技高网...

【技术保护点】
一种多源下载性能优化方法，其特征在于，包括如下步骤：S101、云端对已有的日志数据进行整理并按照下载时使用的数据源的数目进行分类，找出使用相同数目的数据源进行下载的所有日志；S102、云端对已分类的各类日志数据进行对比分析，统计得到每类数据中不同文件大小的各种测量指标的最大值、最小值、中位数值和均值；S103、云端对统计得到的测量指标的值综合地进行对比分析，总结归纳出不同特征的下载适用的下载方案；S104、云端将具有不同特征的下载适用的下载方案汇总后发送给客户端；S105、客户端在下载过程中收集数据并分析，得到当前的下载性能；S106、客户端将当前的下载性能和下载文件的特征作为本次下载的特征信息，选择最优的下载方案进行调整以优化多源下载的性能。

【技术特征摘要】
1.一种多源下载性能优化方法，其特征在于，包括如下步骤：S101、云端对已有的日志数据进行整理并按照下载时使用的数据源的数目进行分类，找出使用相同数目的数据源进行下载的所有日志；S102、云端对已分类的各类日志数据进行对比分析，统计得到每类数据中不同文件大小的各种测量指标的最大值、最小值、中位数值和均值；S103、云端对统计得到的测量指标的值综合地进行对比分析，总结归纳出不同特征的下载适用的下载方案；S104、云端将具有不同特征的下载适用的下载方案汇总后发送给客户端；S105、客户端在下载过程中收集数据并分析，得到当前的下载性能；S106、客户端将当前的下载性能和下载文件的特征作为本次下载的特征信息，选择最优的下载方案进行调整以优化多源下载的性能。2.根据权利要求1所述的多源下载性能优化方法，其特征在于，所述步骤S101包括：云端对下载日志按照用户ID，文件ID和下载完成时间这三列从小到大进行排序；将具有相同的用户ID,文件ID和下载完成时间的记为一次下载，一次下载中日志条数即为使用的数据源的数目；将具有相同数据源数目的下载归为一类。3.根据权利要求2所述的多源下载性能优化方法，其特征在于，所述步骤S102包括：将每一类日志数据按照文件大小从小到大进行排序；计算每一类数据中不同文件大小的下载的各类测量指标的最大值、最小值、中位数值和均值，所需要计算的测量指标包括：下载平均速度(AS)，下载成功率(SR)，下载抛弃率(AR)，数据源参与时间的多样性(DPT)。4.根据权利要求3所述的多源下载性能优化方法，其特征在于，所述步骤S102中下载平均速度(AS)，下载成功率(SR)，下载抛弃率(AR)，数据源参与时间的多样性(DPT)的计算方法如下：其中，DownloadSize表示下载的字节数，DownloadTime表示已经下载的时长，SuccessNumber表示下载成功的任务数，TotalNumber表示所有的下载任务数，CancelNumber表示用户主动取消的任务数，T...

【专利技术属性】
技术研发人员：陈茜，苗欣，
申请(专利权)人：无锡清华信息科学与技术国家实验室物联网技术中心，
类型：发明
国别省市：江苏,32