生成用于指定视觉数据集的数据结构制造技术

生成用于指定视觉数据集的数据结构。计算机视觉关注计算机可以如何从数字图像或视频自动获得高级理解。发现计算机视觉系统对汽车或机器人车辆领域的越来越多应用。然而，此类系统的定义和验证以及相关联的训练数据是复杂的任务。本说明书讨论了如何通过基于计算机视觉模型的敏感度分析生成包括多个语言实体的数据结构来促进计算机视觉模型的描述或配置，所述多个语言实体定义了视觉参数到视觉参数空间的语义映射。数空间的语义映射。数空间的语义映射。

【技术实现步骤摘要】
生成用于指定视觉数据集的数据结构


[0001]本说明书涉及一种用于生成数据结构的计算机实现的方法，该数据结构包括定义视觉参数到视觉参数空间的语义映射的多个语言实体。相关联的方面涉及用于训练计算机视觉模型的计算机实现的方法、装置、计算机程序和计算机可读介质。

技术介绍

[0002]计算机视觉关注计算机可以如何从数字图像或视频自动获得高级理解。发现计算机视觉系统对汽车或机器人车辆领域的越来越多应用。计算机视觉可以处理来自至少一个检测器和该检测器的环境之间的任何相互作用的输入。该环境可以被至少一个检测器感知为一个场景或一系列场景。
[0003]特别地，相互作用可以由至少一个相机、多相机系统、RADAR系统或LIDAR系统产生。
[0004]在汽车计算机视觉系统中，计算机视觉经常必须应对尽管仍然是安全关键的、但是开放的环境。因此，在设计和测试计算机视觉模型二者中，考虑定量保卫手段是重要的。因此，可以进一步改进计算机视觉模型的开发和测试。

技术实现思路

[0005]根据第一方面，提供了一种用于生成数据结构的计算机实现的方法，该数据结构包括定义视觉参数到视觉参数空间的语义映射的多个语言实体，其中该方法包括：
‑
获得计算机视觉模型，该计算机视觉模型被配置为执行表征观察到的场景的元素的计算机视觉功能；
‑
获得包括多个初始视觉参数的第一视觉参数集，其中基于该至少一个初始视觉参数的范围提供的视觉数据项能够影响计算机视觉模型的分类或回归性能；
‑
提供视觉数据集，该视觉数据集包括符合第一视觉参数集的视觉数据项的子集和基本事实数据项的对应子集；
‑
将视觉数据项的子集应用于计算机视觉模型以使用对应的基本事实数据获得多个性能得分，所述多个性能得分表征当应用于视觉数据集的视觉数据项的子集时计算机视觉模型的性能；
‑
在第一视觉参数集的域上执行多个性能得分的敏感度分析；
‑
生成包括至少一个更新的视觉参数的第二视觉参数集，其中第二视觉参数集包括至少一个初始视觉参数，所述至少一个初始视觉参数基于敏感度分析的结果被修改以提供至少一个更新的视觉参数；
‑
基于第二视觉参数集的视觉参数生成包括至少一个语言实体的数据结构，从而提供到第二视觉参数集的视觉参数的语义映射。
[0006]根据第一方面的方法有利地使能实现已被自动改进为包含一个或多个视觉参数集的细化视觉参数集（或规范）的自动定义，所述一个或多个视觉参数集被调整为目标计算
机视觉模型的性能。此类细化视觉参数形成了规范语言的语言实体。
[0007]规范语言对于以下各项是重要的：诸如从图像供应商/提供者（例如，3D渲染工作室，或现场的物理图像捕获）获取图像（单个图像或序列）的各种任务，在开发中指定计算机视觉模型的产品要求，计算机视觉模型的测试和验证活动，提供产品的安全规范（操作设计域），以及通过公共交换格式使能协作。对于人类专家而言，设计规范语言是困难的，因为对图像相关方面的意见可能不同，并且图像可以在更高的水平上以多种方式进行描述。
[0008]规范语言帮助开发并根据经验证明图像规范语言的设计。方法是使用构成语言分类的视觉参数来表示语言组分。语言组分的重要性被优先级化，该优先级化可以用来构建子集并降低语言的复杂性。
[0009]另一个结果是依据从细化的视觉参数到视觉数据项和对应预测的语义映射的视觉参数的操作化或具体化。该方式可以解决视觉参数的模糊解释。这与开发和训练计算机视觉模型相关。这对于测试计算机视觉模型以及在责任的情况下也是重要的。
[0010]语言是可以以交换格式存储的数据结构。这使能数据提供者与基于AI的计算机视觉模型的开发人员和测试人员之间的协作。使用一个语言也有助于平等地测试和比较不同的计算机视觉模型。类似地，可以比较依据通用规范语言定义的不同操作设计域。
[0011]在示例中，视觉参数集可以被细化为包括使得计算机视觉模型具有大方差的视觉参数。使用此类视觉参数集选择作为训练数据的另外的图像对于训练计算机视觉模型可以是有用的，因为较高的方差暗示着根据此类视觉参数集选择的图像包含计算机视觉模型应该被训练以安全响应的大量“极端情况”。换句话说，该方法可以选择影响最高性能方差的视觉参数集（和值范围）的子集。从此类视觉参数集生成的数据结构使能更好地选择或定义计算机视觉模型不良地执行的场景的视觉状态。例如，由此类数据结构方式定义的语言可以用于在验证期间定义极端情况。
[0012]在示例中，视觉参数集可以被细化为包括使得计算机视觉模型具有小方差的视觉参数。使用此类视觉参数集定义的场景的另外视觉状态对于验证计算机视觉模型可以是有用的，因为较低的方差暗示着根据此类视觉参数集选择的图像包含计算机视觉模型应该能够可靠地执行的稳定状态情况。从此类视觉参数集生成的数据结构使能更好地选择或定义计算机视觉模型良好地执行的场景的视觉状态。例如，由此类数据结构方式定义的语言可以用于在验证期间定义稳定状态情况。
[0013]在任一情况下，当训练或验证计算机视觉模型时，减少视觉参数集中的一个或多个冗余参数等同于参数空间大小的显著减少，从而使能更快和更具能量效率的训练和/或验证过程。
[0014]视觉参数是影响计算机视觉模型对显示场景的理解的图像或视频的任何方面。作为一个示例，视觉参数可以是太阳相对于自我车辆的角度、一天中的时间、场景中建筑物和树木的高度和接近度、自我车辆的速度、车辆相对于自我车辆的速度和位置、自我车辆前方的路面的视觉特性等。
[0015]作为具体的示例，阳光直射在自我车辆前方的潮湿路面可能导致附加的眩光直射向自我车辆的挡风玻璃。由于增加眩光，该状况可能影响计算机视觉模型可以多么准确地对位于自我车辆前方的道路标志进行分类。因此，在描述的状况下，计算机视觉模型的道路标志标识任务将更有可能错误标识道路标志。因此，计算机视觉模型的性能将示出较高的
结果方差。在该示例中，道路的湿度和自我车辆正前方的太阳角度可以被提升为规范语言的语言实体。
[0016]在计算机视觉模型的训练期间，对训练数据集的控制使得计算机视觉模型能够被训练以解决困难的状况。定义了操作设计域（ODD），其描述训练数据应该包含的视觉参数范围。典型地，操作设计域的定义是需要领域专家的输入的高度手动的任务。根据本说明书，领域专家可以提供初始操作设计域、“第一视觉参数集”或“第一视觉参数规范”。在示例中，由根据本说明书生成的多个语言实体定义的语义映射可以用于定义ODD内的点、值范围或聚类。
[0017]本说明书描述了一种方法，该方法使用初始操作设计域自动分析计算机视觉模型对训练数据的性能，并自动提供第二操作设计域，或通过迭代细化提供具有改进的视觉参数的“第二视觉参数集”。第二视觉参数集是基于计算机视觉模型在根据视觉参数的初始集选择的测试训练集上的性能的敏感度分析来提供的。
[0018]换句话说，如果视觉参数的初始集使得计算机视觉模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于生成数据结构的计算机实现的方法（100），所述数据结构包括定义视觉参数到视觉参数空间的语义映射的多个语言实体，其中所述方法包括：
‑
获得（110）计算机视觉模型，所述计算机视觉模型被配置为执行表征观察到的场景的元素的计算机视觉功能；
‑
获得（120）包括多个初始视觉参数的第一视觉参数集，其中基于所述至少一个初始视觉参数的范围提供的视觉数据项能够影响计算机视觉模型的分类或回归性能；
‑
提供（130）视觉数据集，所述视觉数据集包括符合第一视觉参数集的视觉数据项的子集和基本事实数据项的对应子集；
‑
将视觉数据项的子集应用于（140）计算机视觉模型以使用对应的基本事实数据获得多个性能得分，所述多个性能得分表征当应用于视觉数据集的视觉数据项的子集时计算机视觉模型的性能；
‑
在第一视觉参数集的域上执行（150）多个性能得分的敏感度分析；
‑
生成（160）包括至少一个更新的视觉参数的第二视觉参数集，其中第二视觉参数集包括至少一个初始视觉参数，所述至少一个初始视觉参数基于敏感度分析的结果被修改以提供所述至少一个更新的视觉参数；
‑
基于第二视觉参数集的视觉参数生成（170）包括至少一个语言实体的数据结构，从而提供到第二视觉参数集的视觉参数的语义映射。2.根据权利要求1所述的计算机实现的方法（100），其中获得多个性能得分进一步包括：
‑
使用计算机视觉模型生成视觉数据项子集中观察到的场景的元素的多个预测，其中所述多个预测包括视觉数据项子集中至少一个项的分类标签和/或至少一个回归值的至少一个预测；
‑
将视觉数据项子集中元素的所述多个预测与基本事实数据的对应子集进行比较，从而获得所述多个性能得分；以及可选地其中所述性能得分包括或基于混淆矩阵、精度得分、召回率得分、F1得分、并集的交集得分或均值平均得分的列表中的任何一个或组合；和/或可选地其中计算机视觉模型是神经网络或类似神经网络的模型。3.根据权利要求1或2中的一项所述的计算机实现的方法（100），其中执行敏感度分析进一步包括：
‑
计算所述多个性能得分的相应性能得分相对于第一视觉参数集的初始视觉参数和/或相对于第一视觉参数集的视觉参数的一个或多个组合的多个方差；以及可选地，
‑
基于计算的性能得分的多个方差，对第一视觉参数集的初始视觉参数和/或视觉参数的一个或多个组合进行评级。4.根据前述权利要求中的一项所述的计算机实现的方法（100），进一步包括：
‑
基于标识条件，使用所述多个性能得分和/或性能得分的所述多个方差来标识第一视觉参数集的至少一个初始视觉参数集，并且其中生成第二视觉参数集包括通过将所述至少一个初始视觉参数集划分成至少第一和第二视觉参数子集来修改所述至少一个初始视觉参数集，从而定义两个另外的语言实体，和/或
‑
将第一视觉参数集的至少第三和第四视觉参数集串联成组合的视觉参数子集。5.根据前述权利要求中的一项所述的计算机实现的方法（100），进一步包括：
‑
使用所述多个性能得分和/或性能得分的所述多个方差的第一视觉参数集的初始视觉参数的至少一个范围，并且其中生成第二视觉参数集包括通过在其域上放大或缩小所述至少一个初始视觉参数范围的范围来修改所述至少一个初始视觉参数的范围，从而产生修改的视觉参数范围。6.根据前述权利要求中的一项所述的计算机实现的方法（100），进一步包括：
‑
使用所述多个性能得分和/或性能得分的所述多个方差，从第一视觉参数集标识包括至少两个初始视觉参数集或至少两个初始视觉参数范围或至少一个初始视觉参数集和一个初始视觉参数范围的视觉参数的至少一个组合，并且其中生成第二视觉参数集包括将初始视觉参数的所述至少一个组合串联，从而定义另外的语言实体。7.根据权利要求6所述的计算机实现的方法（100），其中，基于性能得分的多个方...

【专利技术属性】
技术研发人员：C，
申请(专利权)人：罗伯特，
类型：发明
国别省市：