用于计算系统的验证测试的总结报告的自动生成技术方案

本公开的实施例涉及用于计算系统的验证测试的总结报告的自动生成。示例实现涉及计算系统的验证测试。示例包括一种计算设备，该计算设备包括控制器、存储器和存储指令的存储装置，该指令可执行以：从多个测试系统接收多个验证测试更新，其中每个验证测试更新包括测试数据和行项目标签，并且其中测试数据指示计算系统的验证测试的进展水平；基于所接收到的多个验证测试更新，在数据库中生成多个验证测试记录；确定要被包括在测试总结报告中的一组行项目标签；标识数据库中的与所确定的一组行项目标签匹配的一组验证测试记录；以及基于与一组行项目标签匹配的所标识的一组验证测试记录，来生成测试总结报告。来生成测试总结报告。来生成测试总结报告。

【技术实现步骤摘要】
用于计算系统的验证测试的总结报告的自动生成

技术介绍

[0001]计算设备和软件在现代社会中被广泛应用。例如，大多数个人使用诸如台式计算机、笔记本计算机、智能电话等计算系统并与之交互。此类计算设备可以托管并执行软件应用。应用变得日益复杂，并且可以包括数百万行代码。可以测试此类应用和计算设备，以确保适当的功能性和可靠性。
附图说明
[0002]参考以下附图描述一些实现。
[0003]图1为根据一些实现的示例系统的示意图。
[0004]图2为根据一些实现的示例过程的图示。
[0005]图3为根据一些实现的示例过程的图示。
[0006]图4A为根据一些实现的示例过程的图示。
[0007]图4B为根据一些实现的示例系统的示意图。
[0008]图5A为根据一些实现的示例过程的图示。
[0009]图5B为根据一些实现的示例测试总结报告的图示。
[0010]图6为根据一些实现的示例过程的图示。
[0011]图7为根据一些实现的存储指令的示例机器可读介质的示图。
[0012]图8为根据一些实现的示例计算设备的示意图。
[0013]贯穿附图，相同附图标号表示类似但不一定相同的元件。附图不一定按比例绘制，并且可以夸示一些零件的大小以更清楚地说明所示示例。此外，附图提供与描述一致的示例和/或实现；然而，描述不限于附图中所提供的示例和/或实现。
具体实施方式
[0014]在本公开中，除非上下文另有明确说明，否则术语“一”、“一个”或“该”的使用旨在还包括复数形式。此外，术语“包括”、“包含”、“具有”或“拥有”在本公开中使用时指定所陈述元件的存在，但不排队其他元件的存在或添加。
[0015]在一些示例中，计算设备和软件可以在发展或更新过程期间经历测试。例如，在发布软件应用以用于公开使用之前，其可能通过在多个计算平台上执行应用而经历验证测试。此外，此测试可以包括重复多轮测试，该测试可能在测试类型、测试持续时间、网络连接类型等方面变化。在一些示例中，此测试可以使用不同的自动测试工具来执行，该测试工具可以测试被测应用的不同特征或方面。测试结果可以用于找出应用中的缺陷，以提高应用的性能等。
[0016]由于计算机和软件系统已随时间在大小和复杂度方面增大，因此需要执行用于那些系统的更多数目和类型的验证测试。此外，此增大的测试水平已经涉及使用更多种类测试工具和系统。然而，这些变化使得更难以跟踪和管理测试的进展。例如，为了确定测试的状态，管理者可能必须与多个测试工具交互，以分析相对较大数目且多种的测试结果。备选
地，管理者可以被提供有报告，该报告尝试将前述测试信息合并为容易获得和理解的形式。然而，此方案可以涉及自定义编程以与多个不同测试系统交互，该测试系统可以具有不同数据格式、测试结构、用户界面、访问限制等。因此，获得并分析测试数据的复杂度可能使得难以快速且容易地确定测试的状态。
[0017]根据本公开的一些实现，测试报告设备(例如计算机设备)可以自动生成总结多种类型的验证测试的进展的报告(本文中称为“测试总结报告”)，从而允许用户快速且容易地确定验证测试的状态。在一些实现中，报告定义可以包括一组行项目标签。每个行项目标签可以是字母数字字符串，该字母数字字符串被定义为标识验证测试的特定分组，并且可以表示测试的提取的任何期望水平。例如，单个行项目标签(例如“升级_测试”)可以表示不同的测试组，该测试组在涉及多个硬件和软件组件的系统升级期间并行执行。进行验证测试的一组计算系统(本文中称为“测试系统”)可以经由推送接口将包括测试进展数据和适当行项目标签的更新发送给测试报告设备。测试报告设备可以将所接收到的测试更新存储在数据库中，以稍后用于生成测试报告。此外，所存储的测试更新可以被附加标注，该标注可以提供测试结果的附加信息或分析。
[0018]在一些实现中，当生成测试总结报告时，测试报告设备可以标识一组测试更新记录，该测试更新记录包括报告定义中指定的行项目标签。测试报告设备然后可以使用所标识的测试更新记录和其相关联的标注来生成测试记录报告。在一些实现中，与每个行项目标签相关联的测试进展数据和标注可以在测试总结报告中呈现为单独的行项目(例如排或节)。以此方式，所公开的技术可以提供测试总结报告，该测试总结报告以容易理解的合并形式呈现用于多个测试和系统的进展信息。此外，测试总结报告可以通过相对简单的设定过程来生成，并且因此可以不需要扩展的自定义系统设计和编程来与多个不同测试系统进行接口。因此，本文中描述的一些实现可以提供计算系统的验证测试的改进报告和管理。
[0019]图1
‑
示例存储系统
[0020]图1示出了示例系统100，该示例系统100包括测试报告设备110、测试数据库160和任何数目的测试设备150A
‑
150N(在本文中也被称为“测试设备150”)。在一些实现中，测试报告设备110可以是硬件计算设备，该硬件计算设备包括控制器115、存储器120和存储装置130。存储装置130可以包括一个或多个非暂态存储介质，诸如硬盘驱动器(HDD)、固态驱动器(SSD)、光盘等或其组合。存储器120可以在诸如随机存取存储器(RAM)等的半导体存储器中实施。在一些示例中，控制器115可以经由硬件(例如电子电路系统)或硬件和编程的组合(例如包括至少一个处理器和由至少一个处理器可执行且存储在至少一个机器可读存储介质上的指令)被实现。
[0021]在一些实现中，存储装置130可以包括测试报告逻辑140。在一些示例中，测试报告逻辑140可以在可执行指令中被实现，该可执行指令可以存储在存储装置130(例如软件和/或固件)中。然而，测试报告逻辑140可以以任何合适方式被实现。例如，测试报告逻辑140中的一些或全部测试报告逻辑可以被硬编码为控制器115中包括的电路系统。在其他示例中，测试报告逻辑140中的一些或全部测试报告逻辑可以在远程计算机(未示出)、网络服务等上被实现。
[0022]在一些实现中，测试系统150A
‑
150N可以包括任何数目和类型的测试设备和工具。例如，测试系统150A
‑
150N可以包括执行不同类型的验证测试的不同的测试软件应用，具有
不同的数据结构和格式，具有不同的数据和用户界面等。测试系统150A
‑
150N中的每个测试系统可以被配置为将验证测试更新155发送给测试报告设备110(例如响应于命令或信号，基于周期性调度或定时器等)。每个验证测试更新155可以包括关于由测试系统150执行的验证测试的信息，该测试系统150发送验证测试更新155。在一些实现中，测试系统150可以经由推送接口(例如表示状态传送应用编程接口(REST API))将验证测试更新155发送给测试报告设备110。此外，在一些实现中，验证测试更新155可以包括部分测试结果(例如用于尚未完成的测试的进展数据)或完整的测试结果。
[0023]在一些实现中，测试报本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种计算设备，包括：控制器；存储器；以及存储指令的机器可读存储装置，所述指令由所述控制器可执行以：从多个测试系统接收多个验证测试更新，其中每个验证测试更新包括测试数据和行项目标签，并且其中所述测试数据指示计算系统的验证测试的进展水平；基于所接收到的所述多个验证测试更新，在数据库中生成多个验证测试记录；确定要被包括在测试总结报告中的一组行项目标签；标识所述数据库中的与所确定的所述一组行项目标签匹配的一组验证测试记录；以及基于与所述一组行项目标签匹配的所标识的所述一组验证测试记录，生成所述测试总结报告。2.根据权利要求1所述的计算设备，其中每个验证测试更新还包括被测系统标识符，其中所述测试总结报告包括多个报告行项目，并且其中每个报告行项目与一个行项目标签和一个被测系统标识符的不同组合相关联。3.根据权利要求1所述的计算设备，包括指令，所述指令由所述控制器可执行以：接收指定所述一组行项目标签的报告定义；将所述报告定义存储在所述数据库中；接收用以生成所述测试总结报告的请求，其中所存储的所述报告定义与所请求的所述测试总结报告相关联；以及响应于所述请求的接收，读取所存储的所述报告定义，以确定要被包括在所请求的所述测试总结报告中的所述一组行项目标签。4.根据权利要求1所述的计算设备，包括指令，所述指令由所述控制器可执行以：针对所接收到的所述多个验证测试更新中的每个验证测试更新：将所述验证测试更新中包括的所述行项目标签与存储在所述数据库中的多个行项目标签进行比较；以及响应于所述验证测试更新中包括的所述行项目标签与存储在所述数据库中的所述多个行项目标签中的一个行项目标签匹配的确定，基于所述验证测试更新，在所述数据库中生成新的验证测试记录。5.根据权利要求1所述的计算设备，包括指令，所述指令由所述控制器可执行以：接收与所接收到的所述多个验证测试更新中的第一验证测试更新相关联的标注；将所述标注附加到与所述第一验证测试更新相关联的第一验证测试记录，其中所述第一验证测试更新被包括在与所述一组行项目标签匹配的所标识的所述一组验证测试记录中；以及在所生成的所述测试总结报告的第一行项目中包括所述标注，其中所述第一行项目包括来自所述第一验证测试更新的信息。6.根据权利要求5所述的计算设备，其中来自所述第一验证测试更新的所述信息包括：测试通过百分率、测试完成百分率、测试开始时间和最后更新时间。7.根据权利要求1所述的计算设备，其中所述多个验证测试更新是经由推送接口从所述多个测试系统被接收的。
8.根据权利要求1所述的计算设备，其中所述多个测试系统包括多个不同的测试软件应用。9.一种方法，包括：由测试报告设备从多个测试系统接收多个验证测试更新，其中每个验证测试更新包括测试数据和行项目标签，并且其中所述测试数据指示计算系统的验证测试的进展水平；由所述测试报告设备基于所接收到的所述多个验证测试更新，在数据库中生成多个验证测试记录；由所述测试报告设备确定要被包括在测试总结报告中的一组行项目标签；由所述测试报告设备标识所述数据库中的与所确定的所述一组行项目标签匹配的一组验证测试记录；以及由所述测试报告设备基于与所述一组行项目标签匹配的所标识的所述一组验证测试记录，生成所述测试总结报告。10.根据权利要求9所述的方法，其中每个验证测试更新还包括被测系统标识符，其中所述测试总结报告包括多个报告行项目，并且其中每个报告行项目与一个行项目标签和一个被测系统标识符的不同组合相关联。11.根据权利要求10所述的方法，还包括：接收新的行项目标签以用于测试总结报告的生成；将所述新的行项目标签存储在所述数据库中；以及将所述多个测试系统配置为发送包括所述新的行项目标签和所述被测系...

【专利技术属性】
技术研发人员：G，
申请(专利权)人：慧与发展有限责任合伙企业，
类型：发明
国别省市：