多层测试套件生成制造技术

一种用于针对包括架构层和系统层的操作平台开发多层测试套件的系统和方法包括针对基于软件错误所修改的操作平台的版本执行第一测试套件。在针对操作平台的修改版本所执行的第一测试套件失败的情况下递增第一计数器。能够针对操作平台的修改版本执行第二测试套件并且测试案例可以基于第二测试套件通过还是失败而被添加至第一测试套件。

【技术实现步骤摘要】
【国外来华专利技术】多层测试套件生成相关申请的交叉引用本申请要求于2016年08月24日提交的题为MULTI-LAYERTESTSUITEGENERATION的美国专利申请No.15/245,258的优先权，其内容通过引用结合于此。
以下公开涉及用于计算设备的测试操作平台。
技术介绍
诸如开放源操作平台之类的一些用于计算设备的操作平台在供应商的设备上实施时能够由供应商进行扩展。扩展可以包括修改操作平台的源代码或者扩展操作平台的一个或多个类以提供特定于供应商的功能。供应商扩展会导致跨操作平台的各种实施方式的不一致性，这会是想要为用户提供一致的用户体验的操作平台提供方所不期望看到的。跨各种实施方式的不一致性还会带来针对想要开发针对于该操作平台的应用的应用提供方而不是具体的供应商实施方式的问题。操作平台提供方能够通过兼容性测试套件来解决不一致性。兼容性测试套件是应用于供应商设备的所提出发布版本的测试集合，所述供应商设备被配置为执行操作平台的特定于供应商的实施方式。根据供应商和操作平台提供方之间的协议，在供应商发布供应商设备的版本以便作为运行操作平台或者与之相兼容的设备来销售和/或营销供应商设备的该版本之前，供应商可以被要求保证所提出的供应商设备的发布版本通过了兼容性测试套件。
技术实现思路
在一个方面，一种用于针对操作平台开发测试套件的方法包括执行多个迭代。该多个迭代中的每一个与多个软件错误中所选择的一个相对应。每个迭代可以包括针对该操作平台的修改版本执行，所述第一测试套件包括第一多个测试案例。操作平台的修改版本能够通过改变该操作平台的基线版本以包括该多个软件错误中所选择的一个软件错误而被创建。每个迭代还可以包括在针对该操作平台的修改版本执行该第一测试套件导致该第一多个测试案例中的至少一个失败的情况下递增第一计数器。每个迭代还可以包括针对该操作平台的修改版本执行第二测试套件，所述第二测试套件包括第二多个测试案例，并且在针对该操作平台的修改版本执行该第二测试套件导致该第二多个测试案例中的至少一个失败的情况下递增第二计数器。每个迭代可以进一步包括在针对该操作平台的修改版本执行该第二测试套件并未在该第二多个测试案例中导致失败的情况下递增第三计数器。每个迭代还可以包括确定第一计数器与第二和第三计数器之和的比率，并且在该比率不满足第一阈值的情况下执行另一个迭代。该方法在该比率满足第一阈值的情况下停止经所述多个迭代进行迭代。该方面的各种实施方式可以包括以下的一个或多个特征。在一些实施方式中，该方法在针对该操作平台的修改版本执行该第一测试套件时该第一多个测试案例中没有失败的情况下针对该操作平台的修改版本执行该第二测试套件。在一些实施方式中，该方法还可以包括在针对该操作平台的修改版本执行该第二测试套件导致该第二多个测试案例中的至少一个失败的情况下向该第一多个测试案例中添加测试案例。在一些实施方式中，该方法在执行多个迭代中的下一个迭代之前向该第一多个测试案例中添加该测试案例。在一些实施方式中，该方法还可以包括在针对该操作平台的修改版本执行该第二测试套件导致该第二多个测试案例中的至少一个失败的情况下标记该多个软件错误中所选择的一个软件错误。该方法还包括基于所标记的该多个软件错误中所选择的一个来开发测试案例和/或基于所标记的该多个软件错误中所选择的一个向该第一多个测试案例中添加测试案例。在一些实施方式中，该方法针对该操作平台的修改版本执行第一测试套件在该第一测试套件包括至少一个测试案例的情况下被实行。在一些实施方式中，该方法可以基于先前所执行迭代的数量是否无法满足第二阈值而进一步执行下一个迭代。该方面的其它实施方式包括相对应的计算机系统、装置，以及记录在一个或多个计算机存储设备上的计算机程序，它们均被配置为执行上文所概括的方法的操作。在另一个方面，一种用于针对操作平台开发测试套件的系统包括处理器以及存储指令的存储器，所述指令在被该处理器执行时使得该处理器实行多个迭代操作。该多个迭代操作中的每一个可以包括针对该操作平台的修改版本执行第一测试套件。在一些实施例中，该操作平台的修改版本通过改变该操作平台的基线版本而被创建。该多个迭代操作中的每一个还可以包括在针对该操作平台的修改版本执行该第一测试套件失败的情况下递增第一计数器。该多个迭代操作中的每一个还可以包括在针对该操作平台的修改版本执行该第一测试套件通过的情况下针对该操作平台的修改版本执行第二测试套件，在针对该操作平台的修改版本执行该第二测试套件失败的情况下递增第二计数器，并且在针对该操作平台的修改版本执行该第二测试套件通过的情况下递增第三计数器。该多个迭代操作中的每一个还可以包括确定第一计数器与第二和第三计数器之和的比率，并且在该比率不满足第一阈值的情况下执行该多个迭代操作中的另一个。该多个迭代操作在该比率满足第一阈值的情况下停止执行。该方面的各种实施方式可以包括以下的一个或多个特征。在一些实施方式中，该多个迭代操作进一步包括在针对该操作平台的修改版本执行该第二测试套件失败的情况下向该第一测试套件添加测试案例。在一些实施方式中，向该第一测试套件添加测试案例在执行该多个迭代操作中的另一个先前进行。根据一些实施方式，该多个迭代操作中的每一个针对该操作平台的修改版本执行该第一测试套件可以在该第一测试套件包括至少一个测试案例的情况下实行。在一些实施方式中，执行该多个迭代操作中的另一个进一步基于该多个迭代操作中无法满足第二阈值的先前所执行迭代操作的数量。在一些实施方式中，改变该操作平台的基线版本是通过向该基线版本中注入多个软件错误之一来执行的。该方面的其它实施方式包括相对应的方法，其被配置为根据存储在递归测试系统的存储器中的指令来执行该递归测试系统的处理器的操作。在另一个方面，一种用于针对操作平台创建测试套件的方法包括执行与多个软件错误相对应的多个迭代，其中该多个迭代中的每一个与该多个软件错误之一相对应。每个迭代可以包括通过向该操作平台的基线版本注入该多个软件错误中相对应的一个而改变该操作平台的基线版本来创建该操作平台的修改版本。每个迭代还可以包括在第一测试套件包括至少一个测试案例的情况下针对该操作平台的修改版本执行该第一测试套件，并且在针对该操作平台的修改版本执行该第一测试套件失败的情况下递增第一计数器。如果针对该操作平台的修改版本执行该第一测试套件通过，则每个迭代可以针对该操作平台的修改版本执行第二测试套件，在针对该操作平台的修改版本执行该第二测试套件失败的情况下递增第二计数器，并且在针对该操作平台的修改版本执行该第二测试套件失败的情况下向用于该多个软件错误中相对应的一个的该第一测试套件添加新的测试案例。每个迭代还可以包括在针对该操作平台的修改版本执行该第二测试套件通过的情况下递增第三计数器。该迭代可以包括确定第一计数器与第二和第三计数器之和的比率，基于在该比率不满足第一阈值时执行另一个迭代，并且在该比率满足第一阈值时停止迭代的执行。在该方面的一些实施方式中，执行另一个迭代进一步基于该多个迭代中先前所执行迭代的数量是否无法满足第二阈值。在一些实施方式中，该第二阈值基于多个迭代中先前所执行迭代与该多个迭代的总数的比率。该方面的其它实施例包括相对应的计算机系统、装置，以及记录在一个或多个计算机存储设本文档来自技高网...

【技术保护点】
1.一种用于开发操作平台的测试套件的方法，所述方法包括：执行多个迭代，每个迭代与多个软件错误中相应的一个软件错误相对应，其中每个迭代包括：针对与所述多个错误中所述相应的一个错误相对应的所述操作平台的修改版本执行第一测试套件，所述第一测试套件包括第一多个测试案例，如果针对所述操作平台的所述修改版本执行所述第一测试套件导致所述第一多个测试案例中的至少一个测试案例失败，则递增第一计数器，针对所述操作平台的所述修改版本执行第二测试套件，其中所述第二测试套件包括第二多个测试案例，如果针对所述操作平台的所述修改版本执行所述第二测试套件导致所述第二多个测试案例中的至少一个测试案例失败，则递增第二计数器，如果针对所述操作平台的所述修改版本执行所述第二测试套件导致所述第二多个测试案例中没有测试案例失败，则递增第三计数器，确定所述第一计数器与所述第二计数器和第三计数器之和的比率，如果所述比率不满足第一阈值，则执行所述多个迭代中的另一个迭代，以及如果所述比率满足所述第一阈值，则停止经所述多个迭代进行迭代。

【技术特征摘要】
【国外来华专利技术】2016.08.24 US 15/245,2581.一种用于开发操作平台的测试套件的方法，所述方法包括：执行多个迭代，每个迭代与多个软件错误中相应的一个软件错误相对应，其中每个迭代包括：针对与所述多个错误中所述相应的一个错误相对应的所述操作平台的修改版本执行第一测试套件，所述第一测试套件包括第一多个测试案例，如果针对所述操作平台的所述修改版本执行所述第一测试套件导致所述第一多个测试案例中的至少一个测试案例失败，则递增第一计数器，针对所述操作平台的所述修改版本执行第二测试套件，其中所述第二测试套件包括第二多个测试案例，如果针对所述操作平台的所述修改版本执行所述第二测试套件导致所述第二多个测试案例中的至少一个测试案例失败，则递增第二计数器，如果针对所述操作平台的所述修改版本执行所述第二测试套件导致所述第二多个测试案例中没有测试案例失败，则递增第三计数器，确定所述第一计数器与所述第二计数器和第三计数器之和的比率，如果所述比率不满足第一阈值，则执行所述多个迭代中的另一个迭代，以及如果所述比率满足所述第一阈值，则停止经所述多个迭代进行迭代。2.根据权利要求1所述的方法，其中如果在针对所述操作平台的所述修改版本执行所述第一测试套件时所述第一多个测试案例中没有测试案例失败，则发生针对所述操作平台的所述修改版本执行所述第二测试套件。3.根据权利要求1或2所述的方法，进一步包括：如果针对所述操作平台的所述修改版本执行所述第二测试套件导致所述第二多个测试案例中的至少一个测试案例失败，则向所述第一多个测试案例中添加测试案例。4.根据权利要求3所述的方法，其中向所述第一多个测试案例中添加所述测试案例发生在执行所述多个迭代中的下一个迭代之前。5.根据前述任一项权利要求所述的方法，进一步包括：如果针对所述操作平台的所述修改版本执行所述第二测试套件导致所述第二多个测试案例中的至少一个测试案例失败，则标记所述多个软件错误中所述相应的一个软件错误。6.根据权利要求5所述的方法，进一步包括：基于所述多个软件错误中所标记的相应的一个软件错误来开发测试案例。7.根据权利要求5所述的方法，进一步包括：基于所述多个软件错误中所标记的相应的一个软件错误向所述第一多个测试案例中添加测试案例。8.根据前述任一项权利要求所述的方法，其中，如果所述第一测试套件包括至少一个测试案例，则执行针对所述操作平台的所述修改版本执行所述第一测试套件。9.根据前述任一项权利要求所述的方法，其中执行所述下一个迭代进一步基于先前所执行迭代的数量是否无法满足第二阈值。10.根据前述任一项权利要求所述的方法，其中，通过改变所述操作平台的基线版本以包括所述多个软件错误中相应的一个软件错误，所述操作平台的所述修改版本已经被创建。1...

【专利技术属性】
技术研发人员：任根洙，伊利彦·马利切夫，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国,US