一种基于数字化仿真环境的系统级测试验证方法技术方案

本发明专利技术涉及一种基于数字化仿真环境的系统级测试验证方法，属于嵌入式软件测试领域。本发明专利技术通过数字化仿真技术对实装运行环境进行模拟，实现在实验室环境中进行系统级测试验证。基于数字化仿真环境实现加载配置项软件、设计并运行测试用例、模拟接口数据、进行故障和异常模拟、统计接口覆盖信息等系统级测试验证工作。本发明专利技术降低了系统级测试对实装环境和半实物环境的依赖，可在实验室环境中开展有效的系统级测试验证，从而降低了测试成本并提高了测试的充分性。了测试的充分性。了测试的充分性。

【技术实现步骤摘要】
一种基于数字化仿真环境的系统级测试验证方法


[0001]本专利技术属于嵌入式软件测试领域，具体涉及一种基于数字化仿真环境的系统级测试验证方法。

技术介绍

[0002]复杂嵌入式软件通常包括多个配置项，配置项间通过接口或者总线进行连接和数据通信，统级测试通常无法在实验室环境下开展，需要前往联调厂房在半实物环境或者实装环境下进行，受限于硬件资源实装环境需同时进行大量的开发、联调工作，与软件测试存在严重冲突，大量压缩了软件测试时间，导致软件测试充分性不足。此外，由于实装环境下各类模拟器支持的异常情况有限、软件状态无法进行修改，导致系统级测试对异常处理和边界条件的测试不足。兼顾实装环境和实验室环境的测试条件和约束，降低系统级测试对硬件环境的依赖，提高系统级测试验证充分性成为当前嵌入式软件系统级测试验证亟需解决的核心问题。
[0003]传统的系统级测试验证高度依赖于实装环境，存在资源利用率低、成本高、周期长、出现故障不可逆等问题，缺少有效的测试验证手段，在硬件资源紧张时，将严重影响系统级测试验证的效率和质量。虽然，在半实物或者实装环境下能够搭建系统级测试环境，开展部分测试验证工作；但是，测试环境存在复用性差、软件状态不可见等问题，无法测试到异常等边界情况，软件执行信息只能采用插桩等方式进行统计，影响了测试验证的准确性。

技术实现思路

[0004](一)要解决的技术问题
[0005]本专利技术要解决的技术问题是如何提供一种基于数字化仿真环境的系统级测试验证方法，以解决当前嵌入式软件系统级测试面临的测试环境匮乏、测试充分性不足的问题。
[0006](二)技术方案
[0007]为了解决上述技术问题，本专利技术提出一种基于数字化仿真环境的系统级测试验证方法，该方法包括：
[0008]第一步、构建系统级数字化仿真环境
[0009]根据嵌入式系统的硬件组成关系，构建与实装和半实物环境等效的数字化仿真环境；系统级数字化仿真环境由多个配置项仿真环境组成，配置项仿真环境间通过外部输入输出接口进行通信和同步；配置项仿真环境由处理器、外部设备模型组成，配置项仿真环境实现配置项软件加载并提供外部输入输出接口；
[0010]第二步、建立系统状态模型
[0011]对嵌入式软件应用层通信协议进行细化描述，定义系统状态模型，统计出嵌入式系统中所有的系统状态模型；系统状态模型由信息关键字定义和接口关系定义组成，信息关键字包含嵌入式软件运行过程中的各种状态记录，建立关键字与嵌入式系统功能的对应关系，通过关键字的覆盖性来描述系统功能的覆盖性；
[0012]第三步、设计并运行测试用例
[0013]根据系统状态模型设计测试用例，提取系统状态模型中的关键字信息并设置关键字的重要程度，选取多个关键字生成测试用例，进行故障和异常模拟，在数字化仿真环境中加载运行测试用例；
[0014]第四步、采集系统运行状态数据
[0015]系统仿真环境由多个配置项仿真环境组成，配置项仿真环境之间存在数据交互，通过监控数字化仿真环境运行状态，采集接口交互数据，对采集的数据进行校验并记录时间戳信息，保证各个配置项仿真环境之间数据的一致性；
[0016]第五步、系统级测试充分性分析
[0017]解析记录的采集数据，提取系统状态模型信息，判断测试用例对应的关键字的组合覆盖性，进行系统级测试充分性分析，生成当前用例的测试报告；根据关键字覆盖数据指导测试用例设计，重新运行用例，采集数据并进行分析，生成测试报告；重复以上步骤至所有关键字覆盖，生成系统级测试报告。
[0018](三)有益效果
[0019]本专利技术提出一种基于数字化仿真环境的系统级测试验证方法，具有如下特点：
[0020]1、采用虚拟化仿真技术实现了处理器、外设、总线等物理设备的仿真，可以摆脱实装环境在实验室中构建系统级的测试验证环境，可监控系统运行状态和重复部署，提高了测试环境的复用性，降低了测试环境的构建成本，解决了系统级测试验证环境匮乏的问题。
[0021]2、采用系统状态模型对应用层通信协议进行抽象描述，通过信息关键字定义和特征状态提取生成模型文件，采用模型文件来描述系统功能，为系统级测试验证提供了一种可量化的指标。
[0022]3、将组合测试覆盖性应用到系统级测试验证的充分性分析中，在配置项软件测试语句覆盖、分支覆盖的基础上，添加了组合测试覆盖性作为度量依据，同时针对组合测试用例爆炸的问题，对关键字重要等级进行了划分，采用不同的覆盖策略保证系统级测试验证的充分性。
附图说明
[0023]图1为本专利技术基于数字化仿真环境功能的系统级测试验证系统架构。
具体实施方式
[0024]为使本专利技术的目的、内容和优点更加清楚，下面结合附图和实施例，对本专利技术的具体实施方式作进一步详细描述。
[0025]本专利技术提出一种基于数字化仿真环境的系统级测试验证方法，通过数字化仿真技术对实装运行环境进行模拟，实现在实验室环境中进行系统级测试验证。基于数字化仿真环境实现加载配置项软件、设计并运行测试用例、模拟接口数据、进行故障和异常模拟、统计接口覆盖信息等系统级测试验证工作，提高系统级测试验证效率和质量。
[0026]本专利技术给出了一种基于数字化仿真环境的系统级测试验证方法，该方法首先对嵌入式系统硬件组成关系进行分析，以配置项为单位构建数字化仿真环境，完成系统级配置项环境部署，加载配置项软件；其次，建立系统状态模型，对应用层协议进行抽象描述并形
成模型文件，通过对模型关键字解析，建立系统状态模型与系统功能、逻辑、行为等的关系；然后，根据定义的系统状态模型进行测试用例生成，基于数字化仿真环境模拟故障和异常，运行测试用例；最后，采集测试用例运行信息，通过分析系统特征状态覆盖性指导测试数据的选择和测试用例设计，从而完成系统级测试的充分性判断。该方法实现的基于数字化仿真环境的系统级测试验证，对系统特征状态进行了抽象描述，基于数字化仿真环境设计并执行测试用例，通过采集和分析运行状态信息进行系统级测试充分性判断，降低了系统级测试对实装环境和半实物环境的依赖，可在实验室环境中开展有效的系统级测试验证，从而降低了测试成本并提高了测试的充分性。
[0027]本专利技术的目的在于提供一种基于数字化仿真环境的系统级测试验证方法，解决了当前嵌入式软件系统级测试面临的测试环境匮乏、测试充分性不足的问题。
[0028]第一步构建系统级数字化仿真环境
[0029]根据嵌入式系统的硬件组成关系，构建与实装和半实物环境等效的数字化仿真环境。系统级数字化仿真环境由多个配置项仿真环境组成，配置项仿真环境间通过外部输入输出接口进行通信和同步；配置项仿真环境由处理器、外部设备等模型组成，配置项仿真环境实现配置项软件加载并提供外部输入输出接口。
[0030]第二步建立系统状态模型
[0031]对嵌入式软件应用层通信协议进行细化描述，定义系统状态模型，统计出嵌入式系统中所有的系统状态模型。系统状态模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于数字化仿真环境的系统级测试验证方法，其特征在于，该方法包括：第一步、构建系统级数字化仿真环境根据嵌入式系统的硬件组成关系，构建与实装和半实物环境等效的数字化仿真环境；系统级数字化仿真环境由多个配置项仿真环境组成，配置项仿真环境间通过外部输入输出接口进行通信和同步；配置项仿真环境由处理器、外部设备模型组成，配置项仿真环境实现配置项软件加载并提供外部输入输出接口；第二步、建立系统状态模型对嵌入式软件应用层通信协议进行细化描述，定义系统状态模型，统计出嵌入式系统中所有的系统状态模型；系统状态模型由信息关键字定义和接口关系定义组成，信息关键字包含嵌入式软件运行过程中的各种状态记录，建立关键字与嵌入式系统功能的对应关系，通过关键字的覆盖性来描述系统功能的覆盖性；第三步、设计并运行测试用例根据系统状态模型设计测试用例，提取系统状态模型中的关键字信息并设置关键字的重要程度，选取多个关键字生成测试用例，进行故障和异常模拟，在数字化仿真环境中加载运行测试用例；第四步、采集系统运行状态数据系统仿真环境由多个配置项仿真环境组成，配置项仿真环境之间存在数据交互，通过监控数字化仿真环境运行状态，采集接口交互数据，对采集的数据进行校验并记录时间戳信息，保证各个配置项仿真环境之间数据的一致性；第五步、系统级测试充分性分析解析记录的采集数据，提取系统状态模型信息，判断测试用例对应的关键字的组合覆盖性，进行系统级测试充分性分析，生成当前用例的测试报告；根据关键字覆盖数据指导测试用例设计，重新运行用例，采集数据并进行分析，生成测试报告；重复以上步骤至所有关键字覆盖，生成系统级测试报告。2.如权利要求1所述的基于数字化仿真环境的系统级测试验证方法，其特征在于，所述第一步具体包括：S11、分析被测软件系统组成结构，梳理各分系统的信息交互关系，确认各分系统外部接口；S12、根据配置项物理环境，采用虚拟化技术建立配置项仿真环境；S13、建立各配置项仿真环境间的连接关系，对各配置项仿真环境间通信接口进行监控，用于采集通信数据开展系统级测试充分性分析。3.如权利要求2所述的基于数字化仿真环境的系统级测试验证方法，其特征在于，所述第二步具体包括：S21、定义系统状态模型，系统状态模型描述属性、数据、约束三方面内容，属性包含系统的功能、逻辑、行为、结构信息；数据包含对应的系统信息关键字；约束包含系统状态模型应该满足的约束条件；S22、建立系统状态模型中属性和数据的对应关系，即系统功能和信息关键字的映射关系；S23、对信息关键字重要等级进行划分并提取关键字的特征状态，信息关键字特征状态
的提取包括对离散型特征状态和连续型特征状态。4.如权利要求3所述的基于数字化仿真环境的系统级测试验证方法，其特征在于，所述步骤S22中，通过建立数据字典，将数据与系统功能、逻辑、行为、结构信息关联，采用JSON等结构化文件进行持久化存储，测试过程中通过分析信息关键字覆盖情况...

【专利技术属性】
技术研发人员：孔祥炳，刘美佳，张建伟，安恒，冯大成，金玉川，金政宇，安顺，张洪源，贾张涛，
申请(专利权)人：北京计算机技术及应用研究所，
类型：发明
国别省市：