KI模块对欺骗尝试的敏感性的测量制造技术

一种用于测量KI模块对欺骗尝试的敏感性的方法，具有步骤：针对输入空间E中的预先给定的开放数据集将分类和/或回归确定为未受干扰的结果，KI模块将所述开放数据集映射到所述分类和/或回归上；将至少一个具有维度d<D的干扰S外加在所述开放数据集上，使得在所述输入空间E中形成至少一个受干扰的数据集；将如下分类和/或回归确定为受干扰的结果，所述KI模块将所述受干扰的数据集映射到所述分类和/或回归上；所述受干扰的结果与未受干扰的结果的偏差利用预先给定的度量标准来确定；响应于所述偏差满足预先给定的标准，确定所述KI模块关于所述开放数据集对具有维度d的欺骗尝试是敏感的。

Measurement of sensitivity of Ki module to deception attempt

【技术实现步骤摘要】
KI模块对欺骗尝试的敏感性的测量
本专利技术涉及对利用KI模块分析测量数据的系统的保护以免受尤其利用所谓的“对抗样本（adversarialexamples）”的欺骗尝试。
技术介绍
在许多领域中，使用具有能学习的人工智能、诸如人工神经网络的KI模块来分析测量数据。这在测量数据、例如图像数据是非常高维度的并且从测量数据中可以确定比较低维度的分类和/或回归时是特别有利的。例如，图像数据可以利用KI模块如下来分类：在道路场景中包含哪些对象和交通标志。这种KI模块可以利用所谓的“对抗样本”来攻击。在此涉及对KI模块的输入数据的有针对性恶意地引入的改变，其目标是导致到错误的类别中的分类。这样例如可以通过几乎不引起人类驾驶员注意的粘贴标签或标记改变交通标志，使得该交通标志被网络识别为另一交通标志。相应地，车辆对该交通标志错误地作出反应。由DE102018200724A1已知一种用于生成数据信号干扰的方法，利用该方法能够人工地模仿这种类型的典型攻击。这些模仿可以被用于研究分类网络的敏感性并且试验对策。
技术实现思路
在本专利技术的范围内开发了一种用于测量KI模块对欺骗尝试的敏感性的方法。该KI模块包括参数化的内部处理链形式的可训练的人工智能。该内部处理链尤其例如可以包括人工神经网络，KNN。该内部处理链的参数于是例如可以是权重，利用所述权重计算在神经元处所施加的用于激活这些神经元的输入。利用该方法要检查的KI模块被构成用于借助其内部处理链将来自具有维度D的输入空间E的输入数据集映射到具有维度G<D的输出空间F中的分类和/或回归上。分类例如针对输入数据集和预先给定的类别标准分别说明：输入数据集以哪些置信度属于这些类别中的每个类别。回归例如针对输入数据集和感兴趣的实值的变量说明：这些变量的哪些值以哪些置信度根据输入数据集是一致的。在大多数应用中，G<<D适用。这样，例如512x512个像素大的图像存在于具有维度D=262.144的输入空间E中。不同对象的数量确定输出空间F的维度并且典型地小于1000，应根据所述对象的存在来检查该图像。在该方法中，针对输入空间E中的预先给定的开放数据集（Auf-Datasatz）将分类和/或回归确定为未受干扰的结果，KI模块将开放数据集映射到所述分类和/或回归上。将至少一个干扰S外加在开放数据集上，所述干扰具有维度d<D。以此方式形成输入空间E中的至少一个受干扰的数据集。为此目的，尤其可以有利地将针对KI模块的“对抗样本”确定为干扰S。尤其针对包括KNN的KI模块，已知如下算法，利用这些算法可以产生具有可自由选择的维度d的“对抗样本”。如下分类和/或回归被确定为受干扰的结果，KI模块将受干扰的数据集映射到该分类和/或回归上。受干扰的结果与未受干扰的结果的偏差利用预先给定的度量标准来确定。该度量标准尤其可以是为具体应用设置的，在该具体应用中应使用由KI模块提供的结果、即分类和/或回归。该度量标准于是例如可以通过如下方式来激励：该偏差在应用中如何干扰性地产生影响。如果KI模块例如被用于在驾驶辅助系统或用于完全或部分自动化的驾驶的系统的范围内识别场景中的交通标志，则例如速度50标牌与速度60标牌的混淆仅导致对交通的小干扰。而如果速度50标牌错误地被视为停止标牌，则后果可能是车辆的突然制动并且引起追尾碰撞。相反，如果停止标牌被视为速度50标牌，则潜在后果更严重，因为车辆可能被有优先行驶权的车辆侧向地并且基本上无制动地撞坏。因此，度量标准在该应用中例如可以根据在交通中的可能影响的严重程度来评价偏差。如果KI模块例如被用于在访问控制系统中根据测量数据来判定：是否出示了有效的访问介质（Zugangsmedium），则无效的访问介质与另一访问介质混淆最终不产生影响。访问一如既往地不被允许。如果两个有效的访问介质彼此被混淆，则这例如可能产生如下影响：访问（Zutritt）利用错误的授权级别被允许或者在关于访问的日志文件中记录错误的人员。如果有效的访问介质错误地被视为无效的访问介质，则授权的人员未获得访问，这可能干扰工作流程。产生最坏影响的是，无效的访问介质被视为有效的访问介质并且允许完全未被授权的人员访问。干扰S对结果的影响通过KI模块对干扰S的敏感性与该干扰S的强度的相互作用来确定。为了有针对性地测量KI模块的敏感性，度量标准例如可以说明干扰S的每单位强度的影响或被归一化为干扰的单位强度S。响应于偏差满足预先给定的标准，确定：KI模块关于开放数据集对具有维度d的欺骗尝试是敏感的。该标准例如可以在标量度量标准的情况下包括超过或低于预先给定的阈值。认识到了：在相应应用的环境下对分类和/或回归的结果产生值得重视的影响的那些干扰S存在于具有维度c<D的子空间C⊂E中。如果现在具有比c更小的维度的干扰S被外加到输入数据集上，则该干扰S处于C中的概率是低的。如果例如c=20并且仅一维干扰被外加，则不可能的是，对应于干扰的一维直线与处于输入空间E中任何地方的20维子空间C相交。而如果干扰S具有c或更大的维度，则该干扰处于C中的概率明显升高。这在有针对性地将“对抗样本”选择为干扰S时特别地适用。干扰S因此必须具有确定的最小维度，以便对结果产生明显影响。认识到了：该最小维度是KI模块如何鲁棒地抵抗欺骗尝试的可靠度量。这应以作为输入数据集的图像为例来说明。如先前所解释的，输入空间E的维度D对应于图像像素的数量。最小维度在该实例中对应于受干扰S影响的像素的数量，从该最小维度起干扰S产生明显影响。对于KI模块的最敏感的反面实例，于是子空间C⊂E是一维的。这意味着，图像在仅仅一个像素中的改变已经足以显著地改变分类和/或回归。而如果子空间C⊂E几乎具有维度D，则必须改变图像的几乎所有像素，以便欺骗KI模型。干扰S的最小维度又必须越大，将该干扰未被察觉地外加到输入数据集上就越难。在开头所提及的停止标牌的实例中，例如在敏感的KI模块的情况下该标牌上的不显眼的粘贴标签可能已经足以将该标牌错误地分类。而为了欺骗更鲁棒的KI模块，必须强烈地改变该标牌，使得篡改尝试在视觉上是明显的并且关心该改变的消除。例如，由每个也还这么鲁棒的KI模块提供的分类结果可以以绝对的安全性通过如下方式来改变：停止标牌简单地被拆除并且通过另一标牌来代替。这意味着，根据预先给定的度量标准对相应应用产生显著影响的干扰S的最小维度是KI模块对这样的干扰的敏感性的特别恰当的度量，所述干扰可以未被察觉地渗入输入数据集中。因此，在特别有利的设计方案中，将具有不同的维度d的多个干扰S外加在相同的开放数据集上。例如，在此情况下可以以干扰S的低维度d、例如d=1开始并且然后逐步地提高干扰S的维度d，例如每次提高1。最小维度c=min(d)作为KI模块关于开放数据集的敏感性的度量来评价，针对该最小维度根据上述的度量标准确定KI模块对欺骗尝试的敏感性。为此，例如变量s=D-c可以被选择为产生强烈影响的干扰的“固有维度”。c越小，即敏感性越大，则s变得越大。此本文档来自技高网...

【技术保护点】
1.一种用于测量KI模块（1）对欺骗尝试的敏感性的方法（100），其中所述KI模块（1）包括参数化的内部处理链（12）形式的可训练的人工智能并且被构成用于借助所述内部处理链（12）将来自具有维度D的输入空间E的输入数据集（11）映射到具有维度G<D的输出空间F中的分类（13）和/或回归（14）上，具有如下步骤：/n• 针对所述输入空间E中的预先给定的开放数据集（11），将所述分类（13）和/或回归（14）确定（110）为未受干扰的结果（13，14），所述KI模块（1）将所述开放数据集（11）映射到所述分类（13）和/或回归（14）上；/n• 将至少一个具有维度d<D的干扰S外加（120）在所述开放数据集（11）上，使得在所述输入空间E中形成至少一个受干扰的数据集（11'）；/n• 将如下分类（13'）和/或回归（14'）确定（130）为受干扰的结果（13'，14'），所述KI模块（1）将所述受干扰的数据集（11'）映射到所述分类（13'）和/或回归（14'）上；/n• 所述受干扰的结果（13'，14'）与未受干扰的结果（13，14）的偏差利用预先给定的度量标准（16）来确定（140）；/n• 响应于所述偏差（15）满足（150）预先给定的标准，确定（160）：所述KI模块（1）关于所述开放数据集（11）对具有维度d的欺骗尝试是敏感的。/n...

【技术特征摘要】
20181130 DE 102018220711.91.一种用于测量KI模块（1）对欺骗尝试的敏感性的方法（100），其中所述KI模块（1）包括参数化的内部处理链（12）形式的可训练的人工智能并且被构成用于借助所述内部处理链（12）将来自具有维度D的输入空间E的输入数据集（11）映射到具有维度G<D的输出空间F中的分类（13）和/或回归（14）上，具有如下步骤：
•针对所述输入空间E中的预先给定的开放数据集（11），将所述分类（13）和/或回归（14）确定（110）为未受干扰的结果（13，14），所述KI模块（1）将所述开放数据集（11）映射到所述分类（13）和/或回归（14）上；
•将至少一个具有维度d<D的干扰S外加（120）在所述开放数据集（11）上，使得在所述输入空间E中形成至少一个受干扰的数据集（11'）；
•将如下分类（13'）和/或回归（14'）确定（130）为受干扰的结果（13'，14'），所述KI模块（1）将所述受干扰的数据集（11'）映射到所述分类（13'）和/或回归（14'）上；
•所述受干扰的结果（13'，14'）与未受干扰的结果（13，14）的偏差利用预先给定的度量标准（16）来确定（140）；
•响应于所述偏差（15）满足（150）预先给定的标准，确定（160）：所述KI模块（1）关于所述开放数据集（11）对具有维度d的欺骗尝试是敏感的。


2.根据权利要求1所述的方法（100），其中将具有维度d的用于所述KI模块（1）的对抗样本确定为干扰S，（121）。


3.根据权利要求1至2中任一项所述的方法（100），其中将具有不同维度d的多个干扰S外加在相同的开放数据集（11）上，（122），并且其中最小维度c=min(d)作为所述KI模块（1）关于所述开放数据集（11）的敏感性的度量（17）来评价，（170），针对所述最小维度确定（160）所述KI模块（1）对欺骗尝试的敏感性。


4.根据权利要求1至3中任一项所述的方法（100），其中关于来自预先给定的集合M的多个数据集（11）确定所述KI模块（1）的敏感性，（115），并且其中通过根据所述数据集这样确定的敏感性确定汇总统计（18），（175）。


5.根据权利要求4所述的方法（100），其中所述汇总统计（18）包含平均值、和/或方差、和/或频率分布、和/或所确定的敏感性（17）的最差值。


6.一种用于建立KI模块（1）的方法（200），所述KI模块（1）包括参数化的内部处理链（12）形式的可训练的人工智能并且被构成用于借助所述内部处理链（12）将来自具有维度D的输入空间E的输入数据集（11）映射到具有维度G<D的输出空间F中的分类（13）和/或回归（14）上，具有如下步骤：
•所述内部处理链（12）的架构通过超参数（12a）来规定（210），
•形成具有所述内部处理链（12）的KI模块（1），
•所述KI模块（1）通过如下方式来训练（230）：所述内部处理链的参数（12b）借助学习数据集（11a）的集合L和所属的学习结果（13a，14a）来优化，使得所述KI模块（1）根据误差函数以预先给定的精度将所述学习数据集（11a）映射到所述学习结果（13a，14a）上；
•利用验证数据集（11）的集合M利用根据权利要求4至5中任一项所述的方法确定（240）所训练的KI模块（1）的敏感性的汇总统计（18）；
•如下优化（250）所述超参数（12a）：在重新形成（220）和训练（230）所述KI模块（1）之后，为此所确定的敏感性的汇总统计（18）表明对欺骗尝试的总体上更低的敏感性。


7.根据权利要求6所述的方法（200），其中通过如下方式优化（250）所述超参数（12a）：所述内部处理链（12）的架构利用演化算法来产生（251），其中分别在形成和训练具有架构的所述KI模块（1）之后所确定的敏感性的汇总统计（18）进入（252）用于评价所述架构的质量度量中。


8.根据权利要求1至7中任一项所述的方法（100），其中至少一个开放数据集（11）、和/或至少一个学习数据集（11a）包含物理测量变量的至少一个测量值。...

【专利技术属性】
技术研发人员：V菲舍尔，JH梅岑，
申请(专利权)人：罗伯特·博世有限公司，
类型：发明
国别省市：德国;DE