一种数据密集型应用集成测试方法及系统技术方案

本发明专利技术公开了一种数据密集型应用集成测试方法及系统，该方法通过自动化定制生成数据密集型应用，并验证数据密集型应用是否满足数据密集型特征，以及在验证数据密集型应用满足数据密集型特征后，存储数据密集型应用，解决了现有技术无法自动定制生成并验证数据密集型应用的技术问题，不仅能自动定制生成数据密集型应用，而且能对自动定制生成的数据密集型应用进行验证，以及在验证数据密集型应用具有数据密集型特征后，存储该数据密集型应用，给研究人员提供了稳定、可靠的数据密集型应用测试用例，而且流程自动化更是提高了数据密集型应用生成的效率。

A data intensive application integrated test method and system

The invention discloses a data intensive application integration testing method and system, through the automatic customization of generated data intensive applications, and verify the data intensive application meets the data intensive features, as well as in the validation of data intensive applications meet data intensive features, application data storage intensive, solves unable to automatically customize technical problems generated and validated data intensive application, not only can automatically generate custom data intensive applications, and can automatically generate custom data intensive application, verification, and validation in data intensive applications, data intensive, storing the data intensive applications, providing researchers data intensive application of test case is stable and reliable, and process automation is to improve the data intensive should Use the efficiency of generation.

【技术实现步骤摘要】
一种数据密集型应用集成测试方法及系统
本专利技术涉及信息数据处理
，特别地，涉及一种数据密集型应用集成测试方法及系统。
技术介绍
随着互联网技术的发展和普及，各种基于互联网技术的应用蓬勃发展，而且随着这些应用的用户量的增加以及用户数据的指数式的上升，分布式，异构化和数据密集度高成为这些应用的重要特征，这些应用被称为数据密集型应用。这类应用处理的数据之大也是其中的一大重要特征，通常数据集的规模达到了TB甚至是PB以上。数据集规模庞大，数据之间的依赖关系复杂也是数据密集型应用的重要特征之一。在传统的计算方式中，超级计算机虽然可以解决海量数据计算问题，但是超级计算机的使用范围有限，因此越来越多的互联网服务在功能实现时逐渐将对计算需求转变为对数据处理的需求以及将数据转化为有用知识和信息实现数据智慧的需求。在传统的计算环境中，小量规模数据管理问题是研究的重点，并且有相当丰富的进展和成果，成功提出并且验证了各种数据集成和查询优化方法。但是，已有研究成果在处理数据密集型应用时无法自动定制生成并验证数据密集型应用，针对该问题，本专利技术提出了一种数据密集型应用的测试方法及系统。
技术实现思路
本专本文档来自技高网...

【技术保护点】
一种数据密集型应用集成测试方法，其特征在于，包括:自动化定制生成数据密集型应用；验证所述数据密集型应用是否满足数据密集型特征，并在验证所述数据密集型应用满足数据密集型特征后，存储所述数据密集型应用。

【技术特征摘要】
1.一种数据密集型应用集成测试方法，其特征在于，包括:自动化定制生成数据密集型应用；验证所述数据密集型应用是否满足数据密集型特征，并在验证所述数据密集型应用满足数据密集型特征后，存储所述数据密集型应用。2.根据权利要求1所述的数据密集型应用集成测试方法，其特征在于，自动化定制生成数据密集型应用的类型包括：MapReduce类型的数据密集型应用以及IOZones类型的数据密集型应用，且MapReduce类型的数据密集型应用又包括DataReduction和WordCount类型的数据密集型应用。3.根据权利要求2所述的数据密集型应用集成测试方法，其特征在于，自动化定制生成IOZones类型的数据密集型应用包括：获取用户输入的IOZones类型的数据密集型应用的范围信息，所述范围信息包括最大和最小节点数，最大和最小宽度，层数，以及RW个数；初始化第一层和最后一层的节点个数为1，其余每一层在最大宽度和最小宽度之间取得一个随机数作为该层的节点个数；在每一层中随机选择一个节点并且初始化该节点的任务为RW，同时将剩下的RW任务随机分配到还没有初始化的节点中去，以及将所有没有初始化的节点都初始化为R任务；从第二层开始，每层的节点随机选择上一层的一个RW作为其双亲节点以保证每个节点的入度都必须大于0，检查每个RW任务节点的出度是否大于0，如果存在有RW任务节点的出度等于0，则从该节点所在层数的下一层中选择一个节点作为该节点的孩子节点，以保证RW任务节点的出度必须大于0，最后生成iozones_dag.txt结果文件；从配置文件中读入迭代次数，读模式、写模式以及读写模式的范围，随机选择一种模式初始化每一个节点任务的命令信息，并且保存到iozones_command.txt文件中。4.根据权利要求1或3所述的数据密集型应用集成测试方法，其特征在于，验证所述数据密集型应用是否满足数据密集型特征包括：获取所述数据密集型应用的有向无环图；根据所述数据密集型应用的有向无环图，对所述数据密集型应用进行调度执行，并在调度执行过程中，获取所述数据密集型应用的平均CPU利用率和I/O通讯计算比，其中计算所述I/O通讯计算比的计算公式为；其中CCR为I/O通讯计算比,iotime、transmissiontime和computetime分别为数据密集型应用的I/O时间、传输时间和计算时间；判断所述数据密集型应用的平均CPU利用率是否小于50％，或所述I/O通讯计算比是否大于10，若是，则判定所述数据密集型应用满足数据密集型特征，否则判定所述数据密集型应用不满足数据密集型特征。5.根据权利要求1或3所述的数据密集型应用集成测试方法，其特征在于，验证所述数据密集型应用是否满足数据密集型特征包括：获取所述数据密集型应用的有向无环图；根据所述数据密集型应用的有向无环图，对所述数据密集型应用分支进行调度执行，并在执行过程中计算所述数据密集型应用的有向无环图的每一条应用分支的平均CPU利用率和I/O通讯计算比，其中计算每一条应用分支的I/O通讯计算比的计算公式为；其中CCRi为第i条应用分支的I/O通讯计算比，iotimei、transmissiontimei、以及computei分别为第i条应用分支的I/O时间、传输时间和计算时间；判断所述应用分支中，平均CPU利用率小于50％或I/O通讯计算比大于10的应用分支比例是否达到70％，若是，则判定所述数据密集型应用满足数据密集型特征，否则判定所述数据密集型应用不满足数据密集型特征。6.根据权利要求1或3所述的数据密集型应用集成测试方法，其特征在于，验证所述数据密集型应用是否满足数据密集型特征包括：获取所述数据密集型应用的有向无环图；根据所述数据密集型应用的有向无环图，对所述数据密集型应用进行调度执行，并在调度执行过程中，获取所述数据密集型应用的平均CPU利用率和I/O通讯计算比，其中计算所述I/O通讯计算比的计算公式为；其中CCR为I/O通讯计算比,iotime、transmissiontime和computetime分别为数据密集型应用的I/O时间、传输时间和计算时间；判断所述数据密集型应用的平均CPU利用率是否小于50％，或所述I/O通讯计算比是否大于10，若否，则判定所述数据密集型应用不满足数据密集型特征，若是，则对所述数据密集型应用分支进行调度执行，并在执行过程中计算所...

【专利技术属性】
技术研发人员：郑美光，陈伟业，欧阳聪宇，杨柳，
申请(专利权)人：中南大学，
类型：发明
国别省市：湖南,43