航空机载软件测试质量评价方法技术

本发明专利技术提出的一种航空机载软件软件测试质量评价方法，旨在提供一种能够降低技术保障成本，全生存周期软件评价度量方法，本发明专利技术通过下述技术方案予以实现：根据航空机载软件研制全生存周期，将软件研制过程测试、三方测评、定型/鉴定测评和用户使用纳入度量模型，创建包括阶段层、活动层和度量元层的航空机载软件测试质量模型，并将航空机载软件测试项目中的典型缺陷和可复用测试用例组织资产贡献度纳入度量元体系；在航空机载软件测试质量模型中，对执行预期功能所需的最小数据集合的全部要求进行定义，确定每个度量元的权重系数，收集测试阶段各度量元数值，计算出航空机载软件测试质量评价值T，比较T值与测评机构测量库的基准值，确定质量优劣。

Quality evaluation method of airborne software testing

The invention provides an evaluation method for testing quality of airborne software, aiming at providing a method for evaluating and measuring the software that can reduce the cost of technical support and the whole life cycle. The method is realized by the following technical schemes: developing the whole life cycle according to the airborne software, testing the software development process, and testing the software development process. Square evaluation, stereotyping/validation evaluation and user usage inclusion measurement model are used to create the test quality model of airborne software, which includes phase layer, activity layer and measurement element layer. Typical defects in airborne software test project and asset contribution of reusable test case organization are included in the measurement element system. In the part test quality model, all the requirements of the minimum data set required to perform the desired function are defined, the weight coefficients of each metric element are determined, the values of each metric element are collected in the test phase, and the test quality evaluation value T of the airborne software is calculated. The T value is compared with the benchmark value of the measurement Library of the evaluation mechanism to determine the quality of the software. Bad.

【技术实现步骤摘要】
航空机载软件测试质量评价方法
本专利技术涉及一种软件测试质量评价方法，尤其是应用于航空机载软件全生存周期的软件测试质量评价方法。
技术介绍
随着计算机应用的不断加深，软件的质量直接影响着这一应用的深度和广度。计算机系统的软件可靠性问题研究表明：由于软件设计故障引起的系统失效与由于硬件设计故障引起的失效比是10:1。软件故障正逐渐成为导致计算机系统失效的主要因素。软件质量问题已成为人们共同关注的焦点。机载软件是应用于机载设备内部的计算机软件，主要包括机上的信息管理和指令控制系统和系统的依托平台等。随着航空电子技术不断发展，现代飞机向着高度模块化、综合化的方向发展，软件在航空电子系统中所占的比重越来越大，功能越来越复杂，现代飞机几乎所有重要的功能系统都和机载软件相关，软件实现的功能随着每一代飞机而翻倍，机载计算机在飞行器控制系统中的广泛使用，机载软件质量问题愈显突出，甚至成为机载计算机软件能否发挥其优越性能的一个制约因素。由于被测对象的数量很大,测控软件也十分复杂。评价要素的最终目的是为了能够使用有效、现行的数据。数据质量验证方法对于不同安全等级的机载软件数据,需采用不同的数据质量验证方法,以在满足数据安全性、可用性等因素条件下降低数据质量辨识成本。现有技术根据不同安全关键等级的数据需求,提出了针对性的数据质量确认、验证方法及其软件测试，虽然解决了航空机载软件如何测试的问题，但软件测试质量如何评价是软件测试今后发展过程中需要面对的问题。软件测试质量的好坏直接影响软件测试结果的有效性。建立软件测试质量模型和选择科学、合理的评价方法是软件测试质量评价的两个基本问题，也是当前软件测试质量评价研究中的难点。由于软件是航空机载装备的重要组成部分，软件测试是保障航空装备软件质量可靠性的重要手段。目前航空机载软件测试是由国家授权的软件测评机构依据国标、国军标、中国民用航空规章以及国际通行标准(DO-178B/C等)考核航空机载产品中的软件是否符合软件研制任务书、软件需求规格说明、软件设计、接口设计等技术文件中明确的要求和实现方式。软件测试质量的好坏直接影响软件测试结果的有效性。但由于航空机载软件的复杂性和特殊性，虽然解决了如何测试的问题，但软件测试质量如何评价是软件测试今后发展过程中需要面对的问题。建立软件测试质量模型和选择科学、合理的评价方法是软件测试质量评价的两个基本问题，也是当前软件测试质量评价研究中的难点。国内外学者从测试过程、可靠性增长、缺陷残留风险、测试效率和测试成本等多个角度提出了许多有重要意义的软件测试质量评价方法，但缺乏从软件研制生存周期进行量化评价的方法。
技术实现思路
本专利技术的目的是针对高安全关键的航空机载软件测试质量评价的难题，提供一种能够降低软件维护成本，提高软件测试质量，全生存周期软件测试质量评价度量方法，以帮助软件研发人员和项目管理人员客观、公正的量化软件测试质量，从而持续提高软件质量。本专利技术解决现有技术问题所采用的方案是：一种航空机载软件测试质量评价方法，其特征在于包括如下步骤：根据航空机载软件研制全生存周期，将软件研制过程测试、三方测评、定型/鉴定测评和用户使用纳入度量模型，创建包括阶段层、活动层和度量元层的航空机载软件测试质量模型，并将航空机载软件测试项目中的典型缺陷和可复用测试用例等组织资产贡献度纳入度量元体系；在航空机载软件测试质量模型中，对执行预期功能所需的最小数据集合的全部要求进行定义，确定每个度量元的权重系数，收集测试阶段各度量元数值M(k)，计算出研制过程测试质量评价值T1；再根据各度量元权重系数之和等于1的原则确定三方测评阶段各度量元的权重系数，收集三方测评阶段各度量元数值，计算出三方测评质量评价值T2；然后根据各度量元权重系数之和等于1的原则确定定型/鉴定测评阶段各度量元的权重系数，收集定型/鉴定测评阶段各度量元数值，计算出定型/鉴定测评质量评价值T3；最后根据各度量元权重系数之和等于1的原则确定用户使用阶段各度量元的权重系数，以及一段时间内收集用户使用阶段各度量元数值，计算出用户使用质量评价值T4；通过T1-T2-T3-T4计算出航空机载软件测试质量评价值T，根据T值与测评机构测量库的基准值进行比较，确定航空机载软件测试的质量优劣。本专利技术相比于现有技术具有如下有益效果：降低软件维护成本，提高软件测试质量。本专利技术在航空机载软件测试质量模型中，对执行预期功能所需的最小数据集合的全部要求进行定义，确定每个度量元的权重系数，收集测试阶段各度量元数值M(k)，计算出研制过程测试质量评价值T1，为进一步提高第三方软件测评工作质量奠定了基础。通过确定三方测评阶段各度量元的权重系数，收集三方测评阶段各度量元数值，计算出三方测评质量评价值T2；确定定型/鉴定测评阶段各度量元的权重系数，收集定型/鉴定测评阶段各度量元数值，计算出定型/鉴定测评质量评价值T3；确定用户使用阶段各度量元的权重系数，一段时间内收集用户使用阶段各度量元数值，计算出用户使用质量评价值T4；提高了软件产品质量，降低软件维护成本，提高软件测试质量，提升软件运行可靠性方面成效显著。本专利技术根据各活动和度量元的权重，以及各度量元采集的数值，计算出航空机载软件测试质量评价值T，根据T值与测评机构测量库的组织基准值进行比较，确定航空机载软件测试的质量优劣。建立软件测试质量评价模型，实施软件测试质量评价，促进航空机载软件测试质量改进。实现了高安全关键航空机载软件在机载设备的航空机载设备C型件研制阶段、S型件研制阶段、D定型阶段和P使用阶段的软件测试质量度量综合评价，在C阶段通过研制过程的四个软件测试活动(测试策划、测试设计、测试执行和测试总结)进行质量度量，在S阶段通过三方测评缺陷发现率和严重缺陷发现率进行质量度量，在D阶段通过定型/鉴定测评缺陷发现率和严重缺陷发现率进行质量度量，在P阶段通过用户使用缺陷发现率和严重缺陷发现率进行质量度量，使评价要素更完整、评价模型更合理，达到提升软件测试质量和航空机载软件质量的目的。本专利技术的主要创新在于：一是将组织资产贡献度纳入度量元体系，其作用是鼓励测试人员将好的测试用例和典型缺陷纳入组织资产管理，便于积累测试经验、沉淀测试成果和提高测试技能；二是根据航空机载软件研制全生存周期，除软件研制过程测试外，将三方测评、定型/鉴定测评和用户使用纳入度量模型，使评价要素更完整、评价模型更合理，达到提升软件测试质量和航空机载软件质量的目的。附图说明下面结合附图和实施例对本专利进一步说明。图1是航空机载软件测试质量评价流程图。图2是航空机载设备研制阶段和软件测试阶段对应关系示意图。具体实施方式参阅图1。根据本专利技术，将组织资产贡献度纳入度量元体系，根据航空机载软件研制全生存周期，将软件研制过程测试、三方测评、定型/鉴定测评和用户使用纳入度量模型，创建包括阶段层、活动层和度量元层的航空机载软件测试质量模型，并将航空机载软件测试项目中的典型缺陷和可复用测试用例等组织资产贡献度纳入度量元体系；在航空机载软件测试质量模型中，对执行预期功能所需的最小数据集合的全部要求进行定义，确定每个度量元的权重系数，收集测试阶段各度量元数值M(k)，k代表18种度量元中的某一种度量元，计算出研制过程测试质量评价值T1；再根据本文档来自技高网...

【技术保护点】
1.一种航空机载软件测试质量评价方法，其特征在于包括如下步骤：根据航空机载软件研制全生存周期，将软件研制过程测试、三方测评、定型/鉴定测评和用户使用纳入度量模型，创建包括阶段层、活动层和度量元层的航空机载软件测试质量模型，并将航空机载软件测试项目中的典型缺陷和可复用测试用例组织资产贡献度纳入度量元体系；在航空机载软件测试质量模型中，对执行预期功能所需的最小数据集合的全部要求进行定义，确定每个度量元的权重系数，收集测试阶段各度量元数值M(k)，计算出研制过程测试质量评价值T1；再根据各度量元权重系数之和等于1的原则确定三方测评阶段各度量元的权重系数，收集三方测评阶段各度量元数值，计算出三方测评质量评价值T2；然后根据各度量元权重系数之和等于1的原则确定定型/鉴定测评阶段各度量元的权重系数，收集定型/鉴定测评阶段各度量元数值，计算出定型/鉴定测评质量评价值T3；最后根据各度量元权重系数之和等于1的原则确定用户使用阶段各度量元的权重系数，以及一段时间内收集用户使用阶段各度量元数值，计算出用户使用质量评价值T4；通过T1‑T2‑T3‑T4计算出航空机载软件测试质量评价值T，根据T值与测评机构测量库的基准值进行比较，确定航空机载软件测试的质量优劣。...

【技术特征摘要】
1.一种航空机载软件测试质量评价方法，其特征在于包括如下步骤：根据航空机载软件研制全生存周期，将软件研制过程测试、三方测评、定型/鉴定测评和用户使用纳入度量模型，创建包括阶段层、活动层和度量元层的航空机载软件测试质量模型，并将航空机载软件测试项目中的典型缺陷和可复用测试用例组织资产贡献度纳入度量元体系；在航空机载软件测试质量模型中，对执行预期功能所需的最小数据集合的全部要求进行定义，确定每个度量元的权重系数，收集测试阶段各度量元数值M(k)，计算出研制过程测试质量评价值T1；再根据各度量元权重系数之和等于1的原则确定三方测评阶段各度量元的权重系数，收集三方测评阶段各度量元数值，计算出三方测评质量评价值T2；然后根据各度量元权重系数之和等于1的原则确定定型/鉴定测评阶段各度量元的权重系数，收集定型/鉴定测评阶段各度量元数值，计算出定型/鉴定测评质量评价值T3；最后根据各度量元权重系数之和等于1的原则确定用户使用阶段各度量元的权重系数，以及一段时间内收集用户使用阶段各度量元数值，计算出用户使用质量评价值T4；通过T1-T2-T3-T4计算出航空机载软件测试质量评价值T，根据T值与测评机构测量库的基准值进行比较，确定航空机载软件测试的质量优劣。2.如权利要求1所述的航空机载软件测试质量评价方法，其特征在于：航空机载软件测试质量模型包括阶段层、活动层和度量元层，阶段层包括研制过程测试质量、三方测评质量、定型/鉴定测评质量和用户使用质量4个阶段，活动层包括测试策划质量、测试设计质量、测试执行质量和测试总结质量4项活动，度量元层包含18种度量元。3.如权利要求1所述的航空机载软件测试质量评价方法，其特征在于：航空机载软件研制过程测试包括测试策划、测试设计、测试执行和测试总结4个活动，研制过程测试质量是根据测试策划质量、测试设计质量、测试执行质量和测试总结质量进行质量度量的。4.如权利要求1所述的航空机载软件测试质量评价方法，其特征在于：测试策划质量包括显性需求覆盖率、隐性需求覆盖率、测试策略充分性和测试环境差异性4个度量元，如权利要求1所述的航空机载软件测试质量评价方法，其特征在于：测试设计质量包括测试需求覆盖率、测试用例颗粒度2个度量元，测试执行质量包括测试用例执行率、回归测试用例...

【专利技术属性】
技术研发人员：刘涛，李娜，孙肖，
申请(专利权)人：西南电子技术研究所中国电子科技集团公司第十研究所，
类型：发明
国别省市：四川,51