用于生成测试自主驾驶的大型模拟数据集的系统和方法技术方案

一种用于创建用于测试一自主系统的合成数据的系统，包含至少一个硬件处理器适于执行一代码用于：基于从一共同的物理场景中同时捕获的多个真实信号使用一机器学习模型来计算多个深度图，所述多个真实信号中的每一个由多个传感器中的一个所捕获，所述多个计算的深度图中的每一个限定所述多个真实信号中的一个；应用一视点转换到所述多个真实信号和所述多个深度图，以生成合成数据，所述合成数据模拟由一目标传感器从所述共同的物理场景中在相对于所述多个传感器的一识别的位置中捕获的一可能信号；以及将所述合成数据提供给至少一个测试引擎以测试包含所述目标传感器的一自主系统。

【技术实现步骤摘要】
用于生成测试自主驾驶的大型模拟数据集的系统和方法相关申请案本申请请求2019年1月2日提交的美国专利申请第16/237,806号和2019年10月7日提交的美国专利申请第16/594,200号的优先权，其全部内容通过引用合并于此。
及
技术介绍
本专利技术在一些实施例中涉及一种用于创建用于测试一自主系统(autonomoussystem)的传感器数据的系统，并且更具体地但非排他地涉及用于创建用于测试一先进驾驶辅助系统或一自主驾驶系统(autonomousdrivingsystem)的传感器数据。术语“自动驾驶系统”是指能够感测其环境并且能够通过一些人为输入安全地行驶的车辆。术语“先进驾驶辅助系统(advanceddriver-assistancesystem,ADAS)”是指一种通过感知其环境来辅助车辆驾驶员的系统。包含ADAS的车辆可以包含一个或多个传感器，每个传感器捕获向所述ADAS提供输入的信号。存在无数种情况，可能会影响所述车辆的传感器捕获的信号。例如，当车辆横穿一物理场景(例如地理区域)时，当传感器安装在所述车辆上的一第一位置中时，由所述传感器捕获的一第一信号可以与当所述车辆横越所述物理场景时，将所述传感器安装在所述车辆上的一第二位置上时所述传感器捕获的一第二信号不同。此外，传感器的一物理特性可能会影响所述传感器捕获的信号。可能会影响捕获信号的一些物理特性的多个示例包含传感器的灵敏度、传感器的颜色强度、传感器的视场、传感器的制造材料以及传感器的结构。需要根据一目标传感器训练、测试、验证(validate)和检验(verify)一ADAS。
技术实现思路
本专利技术的目的是提供一种用于创建用于模拟的合成数据的系统和方法。上述目的和其他目的是通过独立权利要求的特征实现的。从属权利要求、说明书和附图可以看出进一步的实施形式。根据本专利技术的一第一方面，一种用于创建用于测试一自主系统(autonomoussystem)的合成数据的系统，所述系统包含至少一个硬件处理器适于进一步执行代码以用于：基于多个真实信号使用一机器学习模型来计算多个计算的深度图，所述多个真实信号从一共同的物理场景中同时捕获，所述多个真实信号中的每一个由多个传感器中的一个所捕获，所述多个计算的深度图中的每一个限定所述多个真实信号中的一个；应用一视点转换到所述多个真实信号和所述多个计算的深度图，以生成合成数据，所述合成数据模拟由一目标传感器从所述共同的物理场景中在相对于所述多个传感器的一识别的位置中捕获的一可能信号；以及将所述合成数据提供给至少一个测试引擎以测试包含所述目标传感器的一自主系统。根据本专利技术的一第二方面，一种用于创建用于测试一自主系统的合成数据的方法所述方法包含：基于多个真实信号使用一机器学习模型来计算多个计算的深度图，所述多个真实信号从一共同的物理场景中同时捕获，所述多个真实信号中的每一个由多个传感器中的一个所捕获，所述多个计算的深度图中的每一个限定所述多个真实信号中的一个；应用一视点转换到所述多个真实信号和所述多个计算的深度图，以生成合成数据，所述合成数据模拟由一目标传感器从所述共同的物理场景中在相对于所述多个传感器的一识别的位置中捕获的一可能信号；以及将所述合成数据提供给至少一个测试引擎以测试包含所述目标传感器的一自主系统。根据本专利技术的一第三方面，一种用于测试一自主系统的系统，所述系统包含一目标传感器，所述系统包含：至少一个硬件处理器，适于执行代码以用于：产生合成数据，所述合成数据模拟由所述目标传感器从一共同的物理场景在相对于多个传感器的一识别的位置中捕获的一可能信号，其中所述合成数据使用多个真实信号生成，所述多个真实信号同时由所述多个传感器从所述共同的物理场景中捕获；以及使用所述合成数据测试所述自主系统。可选地，其中使用所述多个真实信号产生所述合成数据包含：基于所述多个真实信号使用一机器学习模型来计算多个计算的深度图，所述多个真实信号从所述共同的物理场景中同时捕获，所述多个真实信号中的每一个由所述多个传感器中的一个所捕获，所述多个计算的深度图中的每一个限定所述多个真实信号中的一个；应用一视点转换到所述多个真实信号和所述多个计算的深度图，以生成合成数据，所述合成数据模拟由所述目标传感器从所述共同的物理场景中在相对于所述多个传感器的一识别的位置中捕获的所述可能信号；以及将所述合成数据提供给至少一个测试引擎以测试所述自主系统。根据本专利技术的一第三方面，一种用于检测传感器数据中多个对象的系统，所述系统包含：至少一个硬件处理器，适于执行代码用于：基于多个真实信号使用一机器学习模型来计算多个计算的深度图，所述多个真实信号同时从一共同的物理场景中捕获，所述多个真实信号中的每一个都由多个传感器中的一个捕获，所述多个计算的深度图中的每个限定所述多个真实信号中的一个；以及将所述多个计算的深度图提供给至少一个对象分类引擎，以检测所述多个真实信号中的至少一个对象。参照所述第一和所述第二方面，在本专利技术的所述第一和所述第二方面的一第一可能实施方式中，所述至少一个硬件处理器适于进一步执行代码以用于：根据由所述目标传感器从另一物理场景捕获的真实目标传感器数据，对所述合成数据进行一风格转换，以生成目标合成数据，所述目标合成数据模拟由所述目标传感器捕获的目标数据；以及使用所述目标合成数据作为所述合成数据。可选地，所述至少一个硬件处理器适于进一步执行代码以用于：对所述合成数据进行一个或多个物理特性调整，以生成调整的目标合成数据，所述调整的目标合成数据模拟由所述目标传感器捕获的目标数据；以及使用所述调整的目标合成数据作为所述合成数据。可选地，所述一个或多个物理特性调整中的至少一个选自于由以下组成的群组：根据所述目标传感器的至少一个物理特性应用的一几何变形转换、一图像分辨率的变化以及根据所述目标传感器的一识别的扫描模式应用的一扫描模式过滤。可选地，所述几何变形转换选自由以下多个几何变形转换组成的群组包含：一鱼眼转换、一桶形变形转换、一枕形变形转换以及胡型变形转换。可选地，所述合成数据包含多个合成数字图像，其中根据所述目标传感器的所述识别的扫描模式应用所述扫描模式过滤包含：使用一光流运动估计来计算至少一个附加的合成数字图像。可选地，应用所述视点转换包含将一动态转换应用于所述识别的位置。应用一风格转换并另外地或替代地对所述合成数据应用一个或多个物理特性调整提高所述合成数据的准确度，从而提高使用所述合成数据的一测试引擎的一输出的准确度。参考所述第一和所述第二方面，在本专利技术所述第一和所述第二方面的一第二可能实施方式中，所述多个传感器是多个照相机；所述目标传感器是一目标照相机；所述多个真实信号中的每一个包含由所述多个照相机的各自照相机从所述共同的物理场景捕获的多个数字图像；及所述多个计算的深度图中的每一个包含多个深度图像，每一个深度图像包含由所述计算的深度图限定的各自的多个数字图像的一数字图像的深度信息。可选地，所述多个深度图像中的每个深度图像包含各自的数字图像的多个像素中的每个像素的深度信息。可选地，所述合成数本文档来自技高网...

【技术保护点】
1.一种用于创建用于测试一自主系统的合成数据的系统，其特征在于，所述系统包含至少一个硬件处理器适于进一步执行代码以用于：/n基于多个真实信号使用一机器学习模型来计算多个计算的深度图，所述多个真实信号从一共同的物理场景中同时捕获，所述多个真实信号中的每一个由多个传感器中的一个所捕获，所述多个计算的深度图中的每一个限定所述多个真实信号中的一个；/n应用一视点转换到所述多个真实信号和所述多个计算的深度图，以生成合成数据，所述合成数据模拟由一目标传感器从所述共同的物理场景中在相对于所述多个传感器的一识别的位置中捕获的一可能信号；以及/n将所述合成数据提供给至少一个测试引擎以测试包含所述目标传感器的一自主系统。/n

【技术特征摘要】
20190102 US 16/237,806;20191007 US 16/594,2001.一种用于创建用于测试一自主系统的合成数据的系统，其特征在于，所述系统包含至少一个硬件处理器适于进一步执行代码以用于：
基于多个真实信号使用一机器学习模型来计算多个计算的深度图，所述多个真实信号从一共同的物理场景中同时捕获，所述多个真实信号中的每一个由多个传感器中的一个所捕获，所述多个计算的深度图中的每一个限定所述多个真实信号中的一个；
应用一视点转换到所述多个真实信号和所述多个计算的深度图，以生成合成数据，所述合成数据模拟由一目标传感器从所述共同的物理场景中在相对于所述多个传感器的一识别的位置中捕获的一可能信号；以及
将所述合成数据提供给至少一个测试引擎以测试包含所述目标传感器的一自主系统。


2.如权利要求1所述的系统，其特征在于：所述至少一个硬件处理器适于进一步执行代码以用于：
根据由所述目标传感器从另一物理场景捕获的真实目标传感器数据，对所述合成数据进行一风格转换，以生成目标合成数据，所述目标合成数据模拟由所述目标传感器捕获的目标数据；以及
使用所述目标合成数据作为所述合成数据。


3.如权利要求1所述的系统，其特征在于：所述至少一个硬件处理器适于进一步执行代码以用于：
对所述合成数据进行一个或多个物理特性调整，以生成调整的目标合成数据，所述调整的目标合成数据模拟由所述目标传感器捕获的目标数据；以及
使用所述调整的目标合成数据作为所述合成数据。


4.如权利要求3所述的系统，其特征在于：所述一个或多个物理特性调整中的至少一个选自于由以下组成的群组：根据所述目标传感器的至少一个物理特性应用的一几何变形转换、一图像分辨率的变化以及根据所述目标传感器的一识别的扫描模式应用的一扫描模式过滤。


5.如权利要求4所述的系统，其特征在于：所述几何变形转换选自由以下多个几何变形转换组成的群组：一鱼眼转换、一桶形变形转换、一枕形变形转换以及胡型变形转换。


6.如权利要求4所述的系统，其特征在于：所述合成数据包含多个合成数字图像，
其中根据所述目标传感器的所述识别的扫描模式应用所述扫描模式过滤包含：使用一光流运动估计来计算至少一个附加的合成数字图像。


7.如权利要求1所述的系统，其特征在于：所述合成数据包含多个合成数字图像；
其中所述至少一个硬件处理器适于进一步执行代码以用于：
对所述合成数据的所述多个合成图像应用一孔洞填充算法，以生成填充目标合成数据，所述填充目标合成数据模拟由所述目标传感器捕获的目标数据；以及
使用所述填充目标合成数据作为所述合成数据。


8.如权利要求1所述的系统，其特征在于：所述至少一个硬件处理器适于进一步执行代码以用于：
使用所述多个计算的深度图来计算多个地平面层图，所述多个地平面层图中的每个用于所述多个真实信号中的一个；
根据所述多个计算的深度图和所述多个地平面层图向所述合成数据添加至少一个附加对象以产生扩增的合成数据；以及
使用所述扩增的合成数据作为所述合成数据。


9.如权利要求8所述的系统，其特征在于：所述至少一个附加对象选自由以下多个场景对象组成的群组：一道路上的一标记、一减速带、一道路表面的一凹陷、一道路表面的隆起、一交通信号灯、一标志、一路边、一路缘石、一动物、一行人、一自行车，及一机动车辆。


10.如权利要求8所述的系统，其特征在于：所述至少一个硬件处理器适于进一步执行代码用于使用所述多个计算的深度图在所述合成数据中检测多个存在的对象，
其中将所述至少一个附加对象添加到所述合成数据包含：使用所述多个存在的对象中的至少一个。


11.如权利要求1所述的系统，其特征在于：应用所述视点转换包含应用一动态转换到所述识别的位置。


12.如权利要求1所述的系统，其特征在于：所述多个传感器是多个照相机，其中所述目标传感器是一目标照相机；
所述多个真实信号中的每一个包含由所述多个照相机中的一相对应的照相机从所述共同的物理场景捕获的多个数字图像；以及
所述多个计算的深度图的每一个包含多个深度图像，每个深度图像包含一深度信息用于由所述计算的深度图限定的多个相应数字图像的一数字图像。


13.如权利要求12所述的系统，其特征在于：所述多个深度图像中的每个深度图像包含一深度信息用于一相应数字图像的多个像素中的每个像素。


14.如权利要求1所述的系统，其特征在于：所述机器学习模型是一神经网络。


15.如权利要求1所述的系统，其特征在于：在由所述多个传感器捕获所述多个真实信号的同时测得的至少一个物理质量的至少一个第一物理质量值大于在由所述目标传感器捕获所述真实目标传感器数据时测得的所述至少一个物理质量的至少一个第二物理质量值。


16.如权利要求15所述的系统，其特征在于：所述至少一个第一物理质量值包含在捕获所述多个真实信号时，所述多个传感器在所述共同的物理场景中经过的一第一距离的一第一距离值；及
所述至少一个第二物理质量值包含在捕获所述真实目标传感器数据时，所述目标传感器在其他物理场景中经过的一第二距离的一第二距离值。


17.如权利要求16所述的系统，其特征在于：所述第一距离值和所述第二距离值之间的一比率大于一经过确认的比率阈值。


18.如权利要求17所述的系统，其特征在于：所述经过确认的比率阈值选自于多个比率阈值组成的一群组包含：10、100和1000。


19.如权利要求1所述的系统，其特征在于：当所述多个传感器以一识别的图案安装在一车辆上时，捕获所述多个真实信号；
其中当所述目标传感器安装在所述车辆上的一识别的位置时，捕获所述真实目标传感器数据；以及
所述识别的位置是相对于所述识别的图案的一识别的相对位置。


20.如权利要求19所述的系统，其特征在于：所述识别的图案是一网格。


21.如权利要求1所述的系统，其特征在于：所述至少一个硬件处理器适于进一步执行代码以用于：
将一新视点转换应用于所述多个真实信号和所述多个计算的深度图，以生成新合成数据，以模拟由一新目标传感器在相对于所述多个传感器的一新识别的位置从所述共同的物理场景捕获的一新的可能信号；以及
将所述新合成数据提供给所述至少一个测试引擎，以测试包含所述新目标传感器的另一个自主系统。


22.如权利要求21所述的系统，其特征在于：所述至少一个硬件处理器适于进一步执行代码以用于：
根据由所述新目标传感器从一新的其他物理场景捕获的一新真实目标传感器数据，对所述新合成数据应用一新风格转换，以生成新目标合成数据，所述新目标合成数据模拟由所述新目标传感器捕获的新目标数据；以及
使用所述新目标合成数据作为所述新合成数据。


23.如权利要求21所述的系统，其特征在于：所述至少一个硬件处理器适于进一步执行代码以用于：
对所述合成数据进行一个或多个新物理特性调整，以生成一新调整的目标合成数据，所述新调整的目标合成数据模拟由所...

【专利技术属性】
技术研发人员：丹·阿特斯蒙，伊兰·阿萨，埃胡德·史匹格，
申请(专利权)人：柯尼亚塔有限公司，
类型：发明
国别省市：以色列;IL