【技术实现步骤摘要】
本专利技术涉及一种用于验证或检验技术系统的计算机实现的方法、计算机程序和机器可读存储介质。
技术介绍
0、现有技术
1、shalev-shwartz等人2018,“on a formal model of safe and scalable self-driving cars”,https：//arxiv.org/pdf/1708.06374.pdf公开了用于安全保证的数学模型。
2、danquah等人2021,“statistical validation framework for automotivevehicle simulations using uncertainty learning”,https：//doi.org/10.3390/app11051983公开了用于具有变化的参数配置的动态系统的统计验证框架。
3、jiang等人2021,“assessing generalization of sgd via disagreement”,公布于iclr 2022,https：//arxiv.org/abs/2106.13799经验表明深度网络的测试误差可以通过简单地在相同的训练集上训练相同的架构但是利用随机梯度下降的不同运行来估计。
4、
技术介绍
5、技术系统包括组件，其中系统可以被理解为定义组件之间的交互和/或相互关系。例如，诸如自主车辆之类的机器人的控制系统通常包括用于感测机器人的环境、用于在这种环境中规划机器人的动作、以及用于确定到机器人的致动器的控
6、现代技术系统通常包括相当多的组件，这继而可使得很难预测这种系统的行为。给定上述示例，用于感测环境的组件可能在感测过程中出错，例如，错过环境中的物体，规划组件可能面临针对其在规划组件中不知道合适动作的所感测的环境，或者在规划的动作和机器人实际执行的动作之间可能存在差异。
7、通常，很难检验和/或验证技术系统在其环境中表现出期望的行为，更不用说保证这种期望的行为。其中一个主要原因在于，系统所包括的组件本身可能表现出未知和/或随机的行为，和/或可能如此复杂以至于只能将其视为黑盒。例如，机器人的现代环境感知组件通常依赖于来自机器学习领域的方法特别是深度学习方法来感测环境。这种方法本质上是统计的，并且其复杂性通常不允许用于确定感知系统的确切行为的直接的方法。
8、即使除此之外，系统的组件本身可以是系统，即系统可以是系统的系统。在这样的系统的系统中，复杂性增长非常迅速，这继而使得非常难以准确地预测这样的系统的系统的行为，即，检验和/或验证该系统如所要求或所期望的那样做出行为。
9、有利地，所提出的专利技术允许检验和/或验证技术系统，即使该技术系统是复杂的，例如，即使该技术系统包括复杂地链接在一起的多个组件。
技术实现思路
1、在第一方面，本专利技术涉及一种用于检验和/或验证技术系统是否满足期望标准的方法，其中技术系统基于提供给技术系统的输入信号而发出输出信号，其中该方法包括以下步骤：
2、a.获得技术系统所包括的多个组件的模型，其中所获得的模型之间的连接表征哪个组件将哪个信号传递给哪个其他组件；
3、b.获得多个验证测量，其中验证测量包括测量输入和测量输出，其中如果测量输入被提供给组件，则针对测量输入从技术系统的组件获得测量输出；
4、c.对于每个组件，对机器学习模型进行训练以基于相应组件的输入来预测相应组件的测量输出，其中验证测量的至少部分被用作训练数据集，并且其中机器学习模型对应于针对组件获得的模型；
5、d.基于测试输入从最后的模型获得第一测试输出，其中第一测试输出是通过经由模型的连接来传播测试输入而获得的；
6、e.从对应于最后的模型的机器学习模型并基于模型的测试输入来确定第二测试输出，其中第二测试输出是通过经由机器学习模型的连接来传播测试输入而获得的，其中机器学习模型的连接是根据相应的机器学习模型所对应的模型的连接；
7、f.确定差异，其中该差异表征从最后的模型确定的第一测试输出的分布与由对应于最后的模型的机器学习模型确定的第二测试输出的分布之间的差异；
8、g.检验和/或验证技术系统是否满足标准，其中检验和/或验证的特征在于，最大化技术系统的最后的组件的测量输出的分布不满足关于测量输出的分布的标准的概率，并且在规定测量输出的分布与第一测试输出的分布的差异不可超过步骤f中确定的差异的约束下。
9、通常，用于检验和/或验证技术系统的方法的目的可以被理解为帮助该方法的用户确定技术系统满足期望标准的概率。然后可以将所确定的概率与概率阈值进行比较，并且如果满足期望标准的概率等于或高于概率阈值，则可以认为该技术系统关于该标准被检验和/或验证。如果所确定的概率没有达到或超过概率阈值，则可认为该标准无法被检验或无法被验证。例如，技术系统可以是移动机器人，而标准可以表述为“机器人与机器人的期望路径偏离不超过50cm”。然后，该方法将允许在统计上评估满足标准的概率。
10、替代地，该方法也可用于确定违反期望标准的概率。在这种情况下，如果所确定的概率等于或低于概率阈值，则可以认为标准被检验和/或验证。
11、在一些实施例中，期望标准可以是关于某个规范(例如，设计规范或法律规范)的一个要求或多个要求。例如，对于包括内燃机的车辆的动力系(即，技术系统)而言，可能要求在预定义的操作时间内仅产生规定量的排放颗粒(例如，nox颗粒的数量必须低于预定义阈值)。在这种特定情况下，该方法可以帮助验证工程师确定动力系根据规定的排放量实际地操作的概率。
12、可以根据系统的规范来选择概率阈值。替代地，概率阈值也可以由法律规定给出或从其得出。
13、通常，该方法可以用于包括组件或子系统的任何系统。对于所有这样的系统，该方法允许引导过程。由于检验和/或验证通常是关于发布开发中的系统的整体构建块，因此如果标准被检验和/或验证为满足，则系统可以例如被发布。替代地，该方法可用于检验和/或验证多个标准，并且如果所有标准都被检验和/或验证为满足，则系统可被发布。替代地，该方法可以是用于评估系统是否可以发布的更大测试策略的一部分。在上面讨论的所有实施例中，如果一个标准或多个标准不能被检验和/或验证，则系统例如可不被发布。在这种情况下，技术系统的组件可以被改进，并且该方法可以在组件改进之后再次运行，以关于标准或多个标准检验和/或验证改进的系统。例如，在上面的实施例中，发动机的功率可以受到限制，以便减少排放的颗粒的量，和/或动力系的组件可以被交换为关于排放的颗粒更高效的组件。
14、换句话说，该方法可以被理解为人机引导过程，其用于评估当在真实世界中使用该系统时是否可以预期满足某个标准。
15、技术系统通过基于输入信号确定输出信号来与真实世界交互。在上面的示例性实施例中，动力系可以例如配备有用于测量动力系的环境本文档来自技高网...
【技术保护点】
1.一种用于检验和/或验证技术系统(40)是否满足期望标准的方法，其中技术系统(40)基于提供给技术系统(40)的输入信号而发出输出信号，其中所述方法包括以下步骤：
2.根据权利要求1所述的方法，其中测量输出(pC)的分布的特征在于，从系统(40)的最后的组件(SC)获得的测量输出(pC)和分配给测量输出(pC)的权重。
3.根据权利要求2所述的方法，其中最后的组件(SC)的测量输出(pC)中的每个测量输出(pC)被分配权重。
4.根据权利要求3所述的方法，其中，技术系统(40)的最后的组件(SC)的测量输出(pC)的分布不满足标准的概率通过以下确定：
5.根据权利要求1至4中任一项所述的方法，其中，如果由于最大化测量输出(pC)的分布的概率所产生的概率小于或等于预定义概率阈值，则所述技术系统(40)被检验和/或验证成满足标准。
6.根据权利要求1至5中任一项所述的方法，其中，所述机器学习模型中的至少一个是高斯过程或包括高斯过程。
7.根据权利要求1至6中任一项所述的方法，其中，测试输入和测试输出通过合成所述
8.根据权利要求1至7中任一项所述的方法，其中，如果所述标准不能被检验和/或验证，则对模型进行改进。
9.根据权利要求1至8中任一项所述的方法，其中，如果期望标准不能被检验和/或验证，则改进所述技术系统(40)的至少一个组件。
10.根据权利要求1至9中任一项所述的方法，其中，所述技术系统(40)被配置成向制造机器和/或机器人提供控制信号。
11.一种计算机程序，被配置成在计算机程序由处理器执行的情况下，使计算机执行根据权利要求1至10中任一项所述的方法及其所有步骤。
12.一种机器可读存储介质，其上存储有根据权利要求11所述的计算机程序。
...【技术特征摘要】
1.一种用于检验和/或验证技术系统(40)是否满足期望标准的方法，其中技术系统(40)基于提供给技术系统(40)的输入信号而发出输出信号，其中所述方法包括以下步骤：
2.根据权利要求1所述的方法，其中测量输出(pc)的分布的特征在于，从系统(40)的最后的组件(sc)获得的测量输出(pc)和分配给测量输出(pc)的权重。
3.根据权利要求2所述的方法，其中最后的组件(sc)的测量输出(pc)中的每个测量输出(pc)被分配权重。
4.根据权利要求3所述的方法，其中，技术系统(40)的最后的组件(sc)的测量输出(pc)的分布不满足标准的概率通过以下确定：
5.根据权利要求1至4中任一项所述的方法，其中，如果由于最大化测量输出(pc)的分布的概率所产生的概率小于或等于预定义概率阈值，则所述技术系统(40)被检验和/或验证成满足标准。
6.根据权利要求1至5中任一项所...
【专利技术属性】
技术研发人员：D·里布，K·帕特尔，K·S·M·巴尔希姆，M·希格，S·戈尔文，
申请(专利权)人：罗伯特·博世有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。