配用电大数据平台测试方法和系统技术方案

本发明专利技术涉及一种配用电大数据平台测试方法和系统，其方法包括：模拟生成多个数据量级别的配用电数据表；根据各配用电数据表分别对目标大数据平台进行性能测试，记录目标大数据平台在各数据量级别下的开始执行时间、结束执行时间、CPU利用率、磁盘IO接口写入速度和内存使用率；根据各开始执行时间、各结束执行时间确定目标大数据平台在各数据量级别下的执行时间、单位时间执行的数据条数和单位时间执行的数据量值；对目标大数据平台在各数据量级别下的执行时间、单位时间执行的数据条数、单位时间执行的数据量值、CPU利用率、磁盘IO接口写入速度和内存使用率进行比较分析。采用本发明专利技术方案，可以实现对各个大数据平台的性能测试。

【技术实现步骤摘要】

本专利技术涉及电力
，特别是涉及一种配用电大数据平台测试方法和系统。
技术介绍
智能电网的核心是电力能量流与信息流的深度融合。经过三十多年的高速发展，我国已经建立起一个结构灵活、技术先进、运行可靠的电力能量流网络；随着信息技术的突飞猛进与建设成本的大幅降低，与之相匹配的信息流网络也取得了飞速发展。相应地，配电与用电的基础与运行数据经过多年积累、尤其是近年的爆炸性增长，蕴藏了大量极有价值的信息，亟待进行深度挖掘、综合利用，为建设绿色、经济、可靠的智能电网提供坚实的支撑。针对智能配用电数据爆炸性增长和电网业务创新的挑战以及智能配用电数据爆炸性增长和电网业务创新的迫切需求，可以现有电能量数据中心和营配信息集成平台，从智能配用电大数据体系构建、数据管理、知识模型、业务创新和应用示范等多层面开展研究，进一步扩展配用电网内部和外部(气象、经济、用户等)基础数据源和数据规模，提出配用电大数据创新理论和技术，示范建设配用电大数据平台，并基于大数据技术实现在浩瀚海量的配用电数据中发现用户的用电规律、互动潜力和市场行为，以用户广泛互动提升配电网的可观可控性、安全可靠性及经济运行水平，以个性化服务提升用户用电能效、客户满意度及互动响应水平，同时推动配用电网从传统业务模式向以数据信息相关性为基础的大数据业务模式转变，实现配用电业务模式创新和社会价值提升。目前国内外市场上的大数据平台多种多样，如何评价各个大数据平台的性能成为了一个亟待解决的问题。
技术实现思路
本专利技术的目的在于提供一种配用电大数据平台测试方法和系统，可以实现对各个大数据平台的性能测试。本专利技术的目的通过如下技术方案实现：一种配用电大数据平台测试方法，包括：模拟生成多个数据量级别的配用电数据表；根据各所述配用电数据表分别对目标大数据平台进行性能测试，记录所述目标大数据平台在各所述数据量级别下的测试相关参数，所述测试相关参数包括开始执行时间、结束执行时间、CPU利用率、磁盘IO接口写入速度和内存使用率；根据各所述开始执行时间、各所述结束执行时间分别确定所述目标大数据平台在各所述数据量级别下的执行时间；根据各所述执行时间、各所述配用电数据表中的数据条数和各所述配用电数据表的数据量值分别确定所述目标大数据平台在各所述数据量级别下的单位时间执行的数据条数和单位时间执行的数据量值；对所述目标大数据平台在各所述数据量级别下的所述执行时间、所述单位时间执行的数据条数、所述单位时间执行的数据量值、所述CPU利用率、所述磁盘IO接口写入速度和所述内存使用率进行比较分析，获得第一性能测试结果。一种配用电大数据平台测试系统，包括：生成单元，用于模拟生成多个数据量级别的配用电数据表；测试单元，用于根据各所述配用电数据表分别对目标大数据平台进行性能测试，记录所述目标大数据平台在各所述数据量级别下的测试相关参数，所述测试相关参数包括开始执行时间、结束执行时间、CPU利用率、磁盘IO接口写入速度和内存使用率；第一处理单元，用于根据各所述开始执行时间、各所述结束执行时间分别确定所述目标大数据平台在各所述数据量级别下的执行时间；第二处理单元，用于根据各所述执行时间、各所述配用电数据表中的数据条数和各所述配用电数据表的数据量值分别确定所述目标大数据平台在各所述数据量级别下的单位时间执行的数据条数和单位时间执行的数据量值。比较分析单元，用于对所述目标大数据平台在各所述数据量级别下的所述执行时间、所述单位时间执行的数据条数、所述单位时间执行的数据量值、所述CPU利用率、所述磁盘IO接口写入速度和所述内存使用率进行比较分析，获得第一性能测试结果。根据上述本专利技术的方案，其是模拟生成多个数据量级别的配用电数据表，根据各所述配用电数据表分别对目标大数据平台进行性能测试，记录所述目标大数据平台在各所述数据量级别下的测试相关参数，所述测试相关参数包括开始执行时间、结束执行时间、CPU利用率、磁盘IO接口写入速度和内存使用率，根据各所述开始执行时间、各所述结束执行时间分别确定所述目标大数据平台在各所述数据量级别下的执行时间，根据各所述执行时间、各所述配用电数据表中的数据条数和各所述配用电数据表的数据量值分别确定所述目标大数据平台在各所述数据量级别下的单位时间执行的数据条数和单位时间执行的数据量值，对所述目标大数据平台在各所述数据量级别下的所述执行时间、所述单位时间执行的数据条数、所述单位时间执行的数据量值、所述CPU利用率、所述磁盘IO接口写入速度和所述内存使用率进行比较分析，获得第一性能测试结果，可以分别采用本专利技术的方案对各大数据平台进行性能测试，实现了对各个大数据平台的性能的测试，可以基于测试结果、自身硬件配置环境的情况和业务数据量合理选取所需的大数据平台。附图说明图1为本专利技术实施例一的配用电大数据平台测试方法的实现流程示意图；图2为本专利技术实施例二的配用电大数据平台测试系统的组成流程示意图。具体实施方式为使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本专利技术，并不限定本专利技术的保护范围。实施例一本专利技术实施例一提供一种配用电大数据平台测试方法，参见图1所示，为本专利技术实施例一的配用电大数据平台测试方法的实现流程示意图。如图1所示，本实施例的配用电大数据平台测试方法包括如下步骤：步骤S101：模拟生成多个数据量级别的配用电数据表；具体地，可以在Oracle数据库中模拟生成多个不同数据量级别的配用电数据表，并为每个数据量级别的配用电数据表中数据分配表名，不同的数据量级别的配用电数据表对应的表名不同。这里，数据量级别的级别数以及每个数据量级别下的配用电数据的记录数(或者称为数据条数)以及大小(或者称为数据量值)可以根据实际需要设定。表1中示出的是在实际测试中所设定的各个数据量级别的配用电数据表的相关参数。但本实施例中的数据量级别的配用电数据表的设定方式不限于此。表1数据量级别的配用电数据的相关参数步骤S102：根据各所述配用电数据表分别对目标大数据平台进行性能测试，记录所述目标大数据平台在各所述数据量级别下的测试相关参数，所述测试相关参数包括开始执行时间、结束执行时间、CPU(CentralProcessingUnit，中央处理器)利用率、磁盘IO(InputOutput，输入输出)接口写入速度和内存使用率；这里，所述性能测试可以包括数据写入测试、数据读取测试、数据查询测试、数据排序测试和数据关联查询测试中的一种或者任意多种的组合。所述开始执行时间和所述结束执行时间根据性能测试的种类不同，可以表示不同的含义。例如，在进行数据写入测试时，开始执行时间表示开始写入时间，结束执行时间表示结束写入时间，对于其他类型的性能测试也相似，在此不一一赘述。其中，数据写入测试和数据读取测试可以分别包括对三种不同类型的数据的写入测试和读取测试；这三种不同类型包括结构化数据、非机构化数据和半结构化数据。具体地，在进行数据写入测试时，是将在一特定的Oracle数据库(Oracle平台)中生成的各个配用电数据表写入目标大数据平台，在进行数据读取测试时，是将目标大数据平台中的配用电数据表写入该特定的Oracle平台。这里，所述目标大数据平台为CD本文档来自技高网...

【技术保护点】
一种配用电大数据平台测试方法，其特征在于，包括：模拟生成多个数据量级别的配用电数据表；根据各所述配用电数据表分别对目标大数据平台进行性能测试，记录所述目标大数据平台在各所述数据量级别下的测试相关参数，所述测试相关参数包括开始执行时间、结束执行时间、CPU利用率、磁盘IO接口写入速度和内存使用率；根据各所述开始执行时间、各所述结束执行时间分别确定所述目标大数据平台在各所述数据量级别下的执行时间；根据各所述执行时间、各所述配用电数据表中的数据条数和各所述配用电数据表的数据量值分别确定所述目标大数据平台在各所述数据量级别下的单位时间执行的数据条数和单位时间执行的数据量值；对所述目标大数据平台在各所述数据量级别下的所述执行时间、所述单位时间执行的数据条数、所述单位时间执行的数据量值、所述CPU利用率、所述磁盘IO接口写入速度和所述内存使用率进行比较分析，获得第一性能测试结果。

【技术特征摘要】
1.一种配用电大数据平台测试方法，其特征在于，包括：模拟生成多个数据量级别的配用电数据表；根据各所述配用电数据表分别对目标大数据平台进行性能测试，记录所述目标大数据平台在各所述数据量级别下的测试相关参数，所述测试相关参数包括开始执行时间、结束执行时间、CPU利用率、磁盘IO接口写入速度和内存使用率；根据各所述开始执行时间、各所述结束执行时间分别确定所述目标大数据平台在各所述数据量级别下的执行时间；根据各所述执行时间、各所述配用电数据表中的数据条数和各所述配用电数据表的数据量值分别确定所述目标大数据平台在各所述数据量级别下的单位时间执行的数据条数和单位时间执行的数据量值；对所述目标大数据平台在各所述数据量级别下的所述执行时间、所述单位时间执行的数据条数、所述单位时间执行的数据量值、所述CPU利用率、所述磁盘IO接口写入速度和所述内存使用率进行比较分析，获得第一性能测试结果。2.根据权利要求1所述的配用电大数据平台测试方法，其特征在于，还包括：对不同类型的大数据平台在各数据量级别下的处理时间、单位时间处理的数据条数、单位时间处理的数据量值、CPU利用率、磁盘IO接口写入速度和内存使用率进行比较分析，获得第二性能测试结果。3.根据权利要求1所述的配用电大数据平台测试方法，其特征在于，由多个同一类型的大数据平台构成目标大数据平台集群，对所述目标大数据平台集群进行可靠性测试，所述可靠性测试包括：从预设的故障集中选取待测故障，所述故障集中包括主元数据节点故障、备元数据节点故障、存储节点故障、存储节点单磁盘故障、存储节点网络故障、主作业调度节点故障和任务节点磁盘故障；按照所述待测故障对所述目标大数据平台集群进行故障模拟，验证故障模拟后是否影响大数据平台集群或者和插件的使用，获得验证结果。4.根据权利要求1所述的配用电大数据平台测试方法，其特征在于，还包括：对所述目标大数据平台进行可用性测试，所述可用性测试包括安装部署测试和管理界面测试；所述安装部署测试包括测试在所述目标大数据平台上安装的插件和版本是否兼容，检测所述目标大数据平台的适应平台、安装复杂程度，有无图形化，配置复杂度等信息和版本信息；所述管理界面测试包括测试所述目标大数据平台的管理界面是否可以访问，测试所述目标大数据平台的文件系统是否可以正常使用，以及测试在所述目标大数据平台的管理界面下是否可以查看日志、是否具有图形化界面、是否具有模板化服务管理以及是否具有日志分析功...

【专利技术属性】
技术研发人员：赵云，李鹏，钱斌，肖勇，李秋硕，赖宇阳，
申请(专利权)人：中国南方电网有限责任公司电网技术研究中心，南方电网科学研究院有限责任公司，
类型：发明
国别省市：广东;44