一种面向服务器无感知的数据传输成本优化方法技术

本发明专利技术公开了一种面向服务器无感知(Serverless)的数据传输成本优化方法，包括如下步骤：测试分析服务器无感知环境的带宽、云函数的计算能力以及计费模式；建立传输时间与传输成本预测模型；用户提交传输任务，在传输任务中指定传输的地址以及执行的时间约束；生成采样任务对新文件进行特征采样，然后利用压缩性能预测模型预测文件的压缩率信息；系统根据任务描述选择传输成本最低且满足时间约束的传输参数；系统根据任务描述以及传输参数，利用服务器无感知计算资源进行实际传输；系统收集执行结果，并更新传输时间预测模型以及压缩性能预测模型。本发明专利技术能够保障传输任务在规定时间内完成的前提下，以最低的成本完成传输任务。任务。任务。

【技术实现步骤摘要】
一种面向服务器无感知的数据传输成本优化方法


[0001]本专利技术涉及云环境下的数据传输领域，尤其涉及一种面向服务器无感知的数据传输成本优化方法。

技术介绍

[0002]当今时代，云计算作为一种重要信息化基础设施服务，支撑着上层众多行业的应用运行。云计算租赁虚拟机模式(如AWS EC2)作为一种传统技术，正逐渐面临环境配置繁琐、实例冗余笨重、弹性伸缩能力较差等问题。近年来，服务器无感知计算正逐渐发展成为新一代云计算技术，它以云函数(Function as a Service，FaaS，如AWS Lambda)形式提供计算资源，使得用户无需关注底层虚拟服务器的管理，并且具有更快速的伸缩能力与更细粒度的计费方式。服务器无感知计算的快捷交付、极致弹性、更低成本等特点，引起学术界和工业界的广泛关注。另一方面，在现实应用中存在大量的数据传输需求，例如数据灾备、应用CDN(Content Delivery Network)以及我国的东数西算工程。研究显示，云厂商每年需要花费上亿美元用于数据传输，并且云上传输性能差的问题一直存在。因此，在服务器无感知平台上进行数据传输是非常有前景的，尤其是对于那些服务器无感知原生应用。
[0003]现有服务器无感知系统通常通过读写远程存储方式完成云函数之间的数据传输。并且，在云函数中可以对传输数据进行数据压缩，从而减少传输数据量以及提升传输效率。然而，由于数据压缩本身也会额外引入很大计算开销，固定采用某种压缩方法有时会带来负面效果。因此，需要根据不同的场景需求，选择不同的压缩方法。在服务器无感知场景下实现高效的数据传输，不仅需要选择合适的压缩方法，还面临着云函数的系统配置问题。
[0004]现有的数据传输优化方法包括传输压缩方法的选择、最优参数的自动搜索以及针对服务器无感知场景的数据传输优化这三类。
[0005]第一类关于传输压缩方法选择方法，主要是权衡压缩方法的压缩率与压缩速率，以达到优化传输能耗或传输效率的目的。然而，这些方法没有考虑服务器无感知环境的特点，难以有效解决服务器无感知场景下的压缩方法选择问题。
[0006]第二类关于系统参数自动搜索方法，主要分为黑盒、灰盒与白盒三种类别：1)黑盒搜索算法仅在搜索空间内进行采样或遍历，不需要考虑问题的特点，但可能存在效率低以及效果差的问题；2)灰盒算法则会根据历史的参数优化下一步的参数选择；3)白盒算法则充分分析问题的特点，从而可以数值计算方法精准快速地找到较好的参数。目前现有方法主要基于黑盒算法和灰盒算法，而本方法则基于白盒算法。
[0007]第三类关于服务器无感知下的传输优化方法，主要针对特定应用的性能和成本进行优化，如大数据分析应用、视频分析系统以及机器学习应用等。这些方法主要考虑远程存储系统的访问成本以及访问效率的问题。与这些方法不同的是，本方法考虑的是远程存储与云函数跨域的情况，该场景下传输效率更低且包含昂贵的带宽成本。
[0008]综上分析，现有方法难以在服务器无感知传输优化场景下同时满足参数搜索效率、参数质量以及时间约束的要求。

技术实现思路

[0009]专利技术目的：针对上述现有技术存在的问题和不足，本专利技术的目的是提供一种服务器无感知场景下高效精准的数据传输成本优化方法，能够保障传输任务在规定时间内完成的前提下，以最低的成本完成传输任务。
[0010]技术方案：为实现上述专利技术目的，本专利技术提出了一种面向服务器无感知的数据传输成本优化方法，包括如下步骤：
[0011](1)通过标准测试程序检测服务器无感知环境的传输带宽、计算能力与系统配置的关系，并统计分析服务器无感知云厂商在数据传输过程中的各项计费项目；
[0012](2)根据数据传输过程的特点，以及步骤(1)中的各项关系信息，构建服务器无感知环境下的数据传输时间的第一预测模型与传输成本的第二预测模型；
[0013](3)用户将传输任务的任务描述以JSON格式输入到系统中，在任务描述中指定传输任务的时间约束以及传输任务的地址信息；
[0014](4)对于压缩性能未知的文件，首先进行文件的特征采样，并利用提前训练好的压缩性能的第三预测模型来预测文件的压缩性能；
[0015](5)根据步骤(3)的任务描述、步骤(4)文件的压缩性能以及步骤(2)的第一预测模型和第二预测模型，自动搜索满足时间约束且成本最低的传输参数，所述传输参数包括服务器无感知云函数的内存配置、并发度以及数据压缩方法；
[0016](6)根据步骤(3)的任务描述以及步骤(5)的传输参数，利用服务器无感知计算资源进行数据传输，并监控作业的执行情况；
[0017](7)任务执行结束，收集执行的信息，然后更新所述第一预测模型、第二预测模型和第三预测模型。
[0018]进一步地，所述步骤(1)中，测试了关于服务器无感知云函数内存大小与传输带宽的关系以及服务器无感知云函数内存大小与计算性能系数的关系。
[0019]进一步地，所述步骤(2)中，以传输带宽和压缩速率为瓶颈构建了第一预测模型，以基于函数拟合的方法构建了第一预测模型的数学函数关系表达式，并根据步骤(1)中的计费项目结合第一预测模型构建第二预测模型的数学关系表达式。
[0020]进一步地，所述步骤(4)中，利用文件的字节熵作为特征，以文件的压缩率以及压缩速率作为标签，采用随机森林回归模型提前训练好压缩性能的第三预测模型；对于压缩性能已知的文件，跳过步骤(4)。
[0021]进一步地，所述步骤(4)中，利用Cochran定理对文件进行分块采样，针对不同文件分块的特征，利用第三预测模型预测不同文件分块的压缩性能，最终结果取不同文件分块压缩性能的平均值，所述压缩性能包括压缩率以及压缩速率信息。
[0022]进一步地，所述步骤(5)中，将所述传输参数的搜索问题抽象成非线性整数规划问题，并对所述非线性整数规划问题进行枚举变量与非光滑函数的处理，再以序列二次规划法快速搜索出最优的参数。
[0023]进一步地，所述步骤(6)中，利用投机执行方法解决在大规模并行数据传输时产生的长尾效应。
[0024]本专利技术的有益效果：本专利技术能够在服务器无感知场景下，根据用户给定的传输性能需求，为用户选择出传输成本最低的传输参数。首先，本专利技术通过构建准确的性能成本预
测模型，实现无需实际传输就能预估不同传输参数的传输时间与成本。然后，本专利技术通过将参数搜索问题抽象成非线性整数规划问题，并设计出巧妙的数值计算方法，达到快速精准搜索出满足时间约束的最优参数的目的。因此，本专利技术能够实现经济高效的数据传输。
附图说明
[0025]图1为本专利技术的总体流程示意图；
[0026]图2(a)为本专利技术在TPC
‑
H的Lineitem 10GB数据集上，与现有技术的参数优化效果实验对比图；图2(b)与图2(c)分别为本专利技术在四种数据集上，与现有技术的传输时间与传输成本实验对比图。
具体实施方式
[0027]下面结合附图和具体实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向服务器无感知的数据传输成本优化方法，包括以下步骤：(1)通过标准测试程序检测服务器无感知环境的传输带宽、计算能力与系统配置的关系，并统计分析服务器无感知云厂商在数据传输过程中的各项计费项目；(2)根据数据传输过程的特点，以及步骤(1)中的各项关系信息，构建服务器无感知环境下的数据传输时间的第一预测模型与传输成本的第二预测模型；(3)用户将传输任务的任务描述以JSON格式输入到系统中，在任务描述中指定传输任务的时间约束以及传输任务的地址信息；(4)对于压缩性能未知的文件，首先进行文件的特征采样，并利用提前训练好的压缩性能的第三预测模型来预测文件的压缩性能；(5)根据步骤(3)的任务描述、步骤(4)文件的压缩性能以及步骤(2)的第一预测模型和第二预测模型，自动搜索满足时间约束且成本最低的传输参数，所述传输参数包括服务器无感知云函数的内存配置、并发度以及数据压缩方法；(6)根据步骤(3)的任务描述以及步骤(5)的传输参数，利用服务器无感知计算资源进行数据传输，并监控作业的执行情况；(7)任务执行结束，收集执行的信息，然后更新所述第一预测模型、第二预测模型和第三预测模型。2.根据权利要求1所述一种面向服务器无感知的数据传输成本优化方法，其特征在于：所述步骤(1)中，测试了关于服务器无感知云函数内存大小与传输带宽的关系以及服务器无感知云函数内存大小与计算性能系数的关系。3.根据权利要求...

【专利技术属性】
技术研发人员：顾荣，陈小飞，王书麟，袁春风，黄宜华，
申请(专利权)人：南京大学，
类型：发明
国别省市：