鸟瞰图图像和分割图的生成制造技术

描述了用于生成鸟瞰图(BEV)图像和分割图的技术。根据一个或更多个实施例，提供一种系统，该系统包括执行被存储在至少一个存储器中的计算机可执行部件的处理器；计算机可执行部件包括机器学习模型部件，其基于从变换过程产生的拼接图像中去除伪影来从拼接图像生成合成鸟瞰图图像。该系统还包括：生成器，其产生合成鸟瞰图图像和分割图；以及鉴别器，其预测合成鸟瞰图图像和分割图是真实的还是生成的。成鸟瞰图图像和分割图是真实的还是生成的。成鸟瞰图图像和分割图是真实的还是生成的。

【技术实现步骤摘要】
鸟瞰图图像和分割图的生成


[0001]本申请涉及有利于鸟瞰图(bird
’
s eye view，简称BEV)图像和分割图(segmentation maps)的生成的技术。

技术介绍

[0002]近来，汽车中的驾驶员辅助和车辆自动化特征迅速增加，例如车道检测、物体检测、泊车辅助等。因此，汽车制造商正在寻求改进这些功能的方法。例如，鸟瞰图图像能够用于多种功能，例如自动驾驶、自动泊车辅助或输出到显示屏以辅助驾驶员。在这方面，准确生成鸟瞰图图像能够导致提高驾驶员辅助和车辆自动化功能的性能，以及改善驾驶员体验。
[0003]鸟瞰图生成的一个主要问题是限制和/或防止鸟瞰图中的失真。例如，退出鸟瞰图生成经常产生扭曲的和/或包括因变换过程引起的伪影(artifacts)的鸟瞰图图像。这种失真和伪影的增加可能造成处理图像不准确和难以处理，导致驾驶员辅助和自动化特征的性能降低，并限制鸟瞰图图像对驾驶员的有用性。

技术实现思路

[0004]下面给出提供对本专利技术的一个或更多个实施例的基本理解的概要。本概要不旨在标识核心或关键要件或描绘不同实施例的任何范围或权利要求的任何范围。其唯一目的是以简化的形式提出概念，作为稍后提出的更详细说明的序曲。在本文中描述的一个或更多个实施例中，提出了有利于鸟瞰图图像和分割图的生成的系统、计算机实现的方法、装置和/或计算机程序产品。
[0005]根据一个或更多个实施例，提供了一种有利于鸟瞰图图像生成的系统。所述系统包括执行被存储在至少一个存储器中的计算机可执行部件的处理器。所述计算机可执行部件能够包括机器学习部件，所述机器学习部件基于从变换过程产生的拼接图像中去除伪影来从拼接图像生成合成鸟瞰图图像。
[0006]在一个或更多个实现方式中，机器学习部件能够包括生成器部件，所述生成器部件产生合成鸟瞰图图像和/或分割图。机器学习部件还能够包括鉴别器部件，所述鉴别器部件预测合成鸟瞰图图像和分割图是真实的还是生成的。例如，能够利用所述鉴别器的预测来训练所述生成器以产生更准确的合成鸟瞰图图像和分割图。
[0007]在一些实施例中，结合所公开的系统描述的要件能够以不同的形式实现，例如计算机实现的方法、计算机程序产品或其他形式。
[0008]一个或更多个系统、计算机实现的方法和/或计算机程序产品的一个优点是能够生成无伪影或失真的合成鸟瞰图图像。因此，能够避免从其他变换过程生成的鸟瞰图图像中固有的失真或伪影，从而导致更准确和更容易理解的鸟瞰图图像。
附图说明
[0009]图1A
‑
1C示出了鸟瞰图图像的各种示例。
[0010]图2示出了有利于鸟瞰图图像和分割图的生成的示例性且非限制性的系统的框图。
[0011]图3示出了有利于鸟瞰图图像和分割图的生成的示例性且非限制性的系统的框图。
[0012]图4示出了有利于使用生成对抗模型(generative adversarial model，GAN)来生成鸟瞰图图像和分割图的示例性且非限制性的系统的框图。
[0013]图5A和5B示出了在有利于鸟瞰图图像和分割图的生成的非限制性的系统中使用的生成器的各种示例。
[0014]图6示出了有利于使用共享编码层来生成鸟瞰图图像和分割图的示例性且非限制性的生成器的框图。
[0015]图7示出了有利于使用共享解码层来生成鸟瞰图图像和分割图的示例性且非限制性的生成器的框图。
[0016]图8示出了有利于预测鸟瞰图图像是真实的还是生成的示例性且非限制性的鉴别器的框图。
[0017]图9示出了有利于预测鸟瞰图图像是真实的还是生成的示例性且非限制性的鉴别器的框图。
[0018]图10示出了有利于预测鸟瞰图图像和分割图是真实的还是生成的示例性且非限制性的鉴别器1000的框图。
[0019]图11示出了使用输入跳跃连接(input skip connection)有利于鸟瞰图图像的生成的示例性且非限制性的生成器的框图。
[0020]图12示出了在不使用输入跳跃连接的情况下有利于鸟瞰图图像的生成的示例性且非限制性的生成器的框图。
[0021]图13
‑
14示出了合成鸟瞰图图像的示例。
[0022]图15示出了有利于鸟瞰图图像和分割图的生成的示例性计算机实现的方法的高级流程图。
具体实施方式
[0023]以下详细描述仅是说明性的，并不旨在限制实施例和/或实施例的应用或使用。而且不旨在受前述
技术实现思路
部分或具体实施方式部分中提供的任何明示或暗示信息的约束。
[0024]所公开的主题旨在有利于鸟瞰图(BEV)图像和分割图的生成，由此改善驾驶员辅助和车辆自动化功能以及驾驶员体验。例如，能够利用机器学习模型来生成使由现有鸟瞰图生成技术产生的失真和/或伪影最小化或被消除的鸟瞰图图像和分割图。
[0025]现在转向附图，图1A
‑
1C示出了根据所公开主题的一个或更多个实施例的鸟瞰图图像和分割图的各种示例。例如，图1A的图片101示出了现有的拼接的鸟瞰图图像。图片101能够通过将两个或更多个图像拼接在一起以产生鸟瞰图的变换过程产生。为了捕获车辆周围的区域，鱼眼摄像机经常被用来拍摄被拼接在一起以形成图片101的图片。如图所示，该过程导致图片101具有因变换和拼接过程而引起的大量失真和伪影，从而限制了图片101的
准确性和有用性。图1B的图片102示出了希望的鸟瞰图图像。例如，如图所示，图片102没有失真或伪影，从而提高了其准确性和有用性。图1C的图片103示出了希望的分割图。如图片103所示，图片103也没有失真或伪影，从而提高了其准确性和有用性。
[0026]图2示出了根据所公开主题的一个或更多个实施例的有利于鸟瞰图图像和分割图的生成的示例性、非限制性的系统200的框图。
[0027]系统200能够包括计算设备201。计算设备201能够进一步包括机器学习模型部件202、设备总线216、处理器218和/或存储器220。机器学习模型部件202能够基于从变换过程产生的拼接图像中去除伪影来从拼接图像生成合成鸟瞰图图像。例如，机器学习模型部件202能够被训练成接收诸如图1A的图片101的拼接图像作为输入，并且输出已去除拼接图像中存在的失真和伪影的诸如图1B的图片102的合成鸟瞰图图像。在一个实施例中，机器学习模型部件202能够包括生成对抗模型(GAN)，其包括生成器部件204和鉴别器部件206。生成对抗模型能够被训练成其中生成器和鉴别器相互竞争的对抗模型。因此，在训练期间，生成器基于训练集使用编码器和解码器层生成新的数据表示，并且鉴别器预测所述新的数据表示是真实的(例如，训练集的一部分)还是假的(例如，由生成器生成的)。生成器和鉴别器都能够试图优化它们各自的损失函数，以便击败对方。这样，基于鉴别器的预测是否正确，生成器和鉴别器都能够被更新以提高所述新的数据表示的精度。
[0028]因此，在一个实施例中，生成器部件本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种系统，包括：存储计算机可执行部件的存储器；以及处理器，其执行被存储在所述存储器中的所述计算机可执行部件，其中所述计算机可执行部件包括：机器学习模型部件，其基于从变换过程产生的拼接图像中去除伪影来从拼接图像生成合成鸟瞰图图像。2.根据权利要求1所述的系统，其中，所述机器学习模型部件包括：生成器，其产生所述合成鸟瞰图图像和分割图；以及鉴别器，其预测所述合成鸟瞰图图像和所述分割图是真实的还是生成的。3.根据权利要求2所述的系统，其中，所述生成器基于所述鉴别器的预测进行更新。4.根据权利要求2所述的系统，其中，所述生成器并行地产生所述合成鸟瞰图图像和所述分割图。5.根据权利要求2所述的系统，其中，所述生成器依次产生所述合成鸟瞰图图像和所述分割图。6.根据权利要求2所述的系统，其中，所述鉴别器包括第一鉴别器和第二鉴别器。7.根据权利要求6所述的系统，其中，所述第一鉴别器预测所述合成鸟瞰图图像是真实的还是生成的，并且其中，所述第二鉴别器预测所述分割图是真实的还是生成的。8.一种计算机实现的方法，包括：基于从变换过程产生的拼接图像中去除伪影来从拼接图像生成合成鸟瞰图图像。9.根据权利要求8所述的计算机实现的方法，其中，所述生成包括：产生所述合成鸟瞰图图像和分割图；以及预测所述合成鸟瞰图图像和所述分割图是真实的还是生成的。10.根据权利要求9所述的计算机实现的方法，进一步包括：基于预测更新所述合成鸟瞰图图像。11.根据权...

【专利技术属性】
技术研发人员：丁司昊，E，
申请(专利权)人：沃尔沃汽车公司，
类型：发明
国别省市：