计算机实现方法、系统和计算机可读介质技术方案

本发明专利技术提供了计算机实现方法、系统和计算机可读介质。本公开描述了用于利用包括以不同粒度标记的数据项的训练数据集来训练神经网络的系统和方法。在训练期间，可以将训练数据集内的各项馈送通过神经网络。针对具有更高粒度的标记的项，可以基于网络的输出与项的标记之间的比较来调整网络的权重。针对具有较低粒度的标记的项，可以将网络的输出馈送通过用于将输出从较高粒度转换为较低粒度的转换函数。然后可以基于转换后的输出与项的标记之间的比较来调整网络的权重。比较来调整网络的权重。比较来调整网络的权重。

【技术实现步骤摘要】
计算机实现方法、系统和计算机可读介质


[0001]本专利技术涉及计算机实现的方法、系统和计算机可读介质。

技术介绍

[0002]自主运载工具可以用于将人和/或货物(例如，包裹、对象或其他物品)从一个地点运输到另一地点。例如，自主运载工具可以导航到人的地点，等待该人登上该自主运载工具，并且导航到指定目的地(例如，该人所选择的地点)。为了在环境中导航，这些自主运载工具配备有各种类型的传感器以检测周围环境中的对象。这些传感器中的一个或多于一个传感器的全部或部分阻挡物可能会导致自主运载工具的性能劣化。

技术实现思路

[0003]根据本专利技术的一个方面，提供了一种计算机实现的方法，其由一个或多于一个硬件处理器实现，所述方法包括：使用所述一个或多于一个硬件处理器，基于训练数据集来训练神经网络，从而输出高于第二粒度的第一粒度的数据，所述训练数据集包括以所述第一粒度标记的项的第一子集以及以低于所述第一粒度的所述第二粒度标记的项的第二子集，其中，训练所述神经网络包括：针对以高于所述第二粒度的所述第一粒度标记的项的第一子集内的各项：将以所述第一粒度标记的项传递通过所述神经网络，以生成与以所述第一粒度标记的项相对应的输出，以及基于与以所述第一粒度标记的项相对应的所述输出和与所述第一粒度相对应的项的标记之间的比较，来更新所述神经网络的权重；针对以低于所述第一粒度的所述第二粒度标记的项的第二子集内的各项：将以所述第二粒度标记的项传递通过所述神经网络，以生成与以所述第二粒度标记的项相对应的输出，将与以所述第二粒度标记的项相对应的输出传递通过转换函数，以将与以所述第二粒度标记的项相对应的输出转换为转换后的所述第二粒度的输出，以及基于转换后的所述第二粒度的输出和与所述第二粒度相对应的项的标记之间的比较，来更新所述神经网络的权重。
[0004]根据本专利技术的另一方面，提供了一种系统，包括：数据存储装置，其包括计算机可执行指令；以及处理器，其被配置为执行所述计算机可执行指令，其中，所述计算机可执行指令的执行使所述系统进行以下操作：基于训练数据集来训练神经网络，从而输出高于第二粒度的第一粒度的数据，所述训练数据集包括以所述第一粒度标记的项的第一子集以及以低于所述第一粒度的所述第二粒度标记的项的第二子集，其中，训练所述神经网络包括：针对以高于所述第二粒度的所述第一粒度标记的项的第一子集内的各项：将以所述第一粒度标记的项传递通过所述神经网络，以生成与以所述第一粒度标记的项相对应的输出，以及基于与以所述第一粒度标记的项相对应的所述输出和与所述第一粒度相对应的项的标记之间的比较，来更新所述神经网络的权重；针对以低于所述第一粒度的所述第二粒度标记的项的第二子集内的各项：将以所述第二粒度标记的项传递通过所述神经网络，以生成与以所述第二粒度标记的项相对应的输出，将与以所述第二粒度标记的项相对应的输出传递通过转换函数，以将与以所述第二粒度标记的项相对应的输出转换为转换后的所述第二
粒度的输出，以及基于转换后的所述第二粒度的输出和与所述第二粒度相对应的项的标记之间的比较，来更新所述神经网络的权重；以及存储经训练的所述神经网络以供后续部署，以针对输入进行推断并提供所述第一粒度的输出。
[0005]根据本专利技术的又一方面，提供了一个或多于一个非暂时性计算机可读介质，其包括计算机可执行指令，所述计算机可执行指令在由包括处理器的计算系统执行时，使所述计算系统进行以下操作：基于训练数据集来训练神经网络，从而输出高于第二粒度的第一粒度的数据，所述训练数据集包括以所述第一粒度标记的项的第一子集以及以低于所述第一粒度的所述第二粒度标记的项的第二子集，其中，训练所述神经网络包括：针对以高于所述第二粒度的所述第一粒度标记的项的第一子集内的各项：将以所述第一粒度标记的项传递通过所述神经网络，以生成与以所述第一粒度标记的项相对应的输出，以及基于与以所述第一粒度标记的项相对应的所述输出和与所述第一粒度相对应的项的标记之间的比较，来更新所述神经网络的权重；针对以低于所述第一粒度的所述第二粒度标记的项的第二子集内的各项：将以所述第二粒度标记的项传递通过所述神经网络，以生成与以所述第二粒度标记的项相对应的输出，将与以所述第二粒度标记的项相对应的输出传递通过转换函数，以将与以所述第二粒度标记的项相对应的输出转换为转换后的所述第二粒度的输出，以及基于转换后的所述第二粒度的输出和与所述第二粒度相对应的项的标记之间的比较，来更新所述神经网络的权重；以及存储经训练的所述神经网络以供后续部署，以针对输入进行推断并提供所述第一粒度的输出。
附图说明
[0006]图1示出具有自主能力的自主运载工具的示例。
[0007]图2示出示例云计算环境。
[0008]图3示出计算机系统。
[0009]图4示出自主运载工具的示例架构。
[0010]图5示出感知模块能够使用的输入和输出的示例。
[0011]图6A至图6C示出碎片能够如何至少部分地阻挡光学传感器的视场的示例。
[0012]图7示出用于捕获距光学传感器不同距离处的各种类型的碎片的影像(imagery)的系统。
[0013]图8示出图7中描绘的系统所生成的影像能够如何用于合成用于训练神经网络的影像。
[0014]图9示出用于训练神经网络以检测和表征光学传感器阻挡物的神经网络训练架构。
[0015]图10描绘了用于合成部分阻挡训练数据集的生成的示例例程。
[0016]图11描绘了用于利用具有多个粒度级别的训练数据来训练神经网络的示例例程。
具体实施方式
[0017]在以下描述中，为了解释的目的，阐述了许多具体细节，以便提供对本公开的透彻理解。然而，本公开所描述的实施例可以在没有这些具体细节的情况下实施将是明显的。在一些实例中，众所周知的构造和装置是以框图形式例示的，以避免不必要地使本公开的方
面模糊。
[0018]在附图中，为了便于描述，例示了示意要素(诸如表示系统、装置、模块、指令块和/或数据要素等的那些要素等)的具体布置或次序。然而，本领域技术人员将要理解，除非明确描述，否则附图中示意要素的具体次序或布置并不意在意味着要求特定的处理次序或序列、或处理的分离。此外，除非明确描述，否则在附图中包含示意要素并不意在意味着在所有实施例中都需要这种要素，也不意在意味着由这种要素表示的特征不能包括在一些实施例中或不能在一些实施例中与其他要素结合。
[0019]此外，在附图中，连接要素(诸如实线或虚线或箭头等)用于例示两个或多于两个其他示意要素之间或之中的连接、关系或关联，没有任何此类连接要素并不意在意味着不能存在连接、关系或关联。换句话说，要素之间的一些连接、关系或关联未在附图中例示，以便不使本公开内容模糊。此外，为了便于例示，可以使用单个连接要素来表示要素之间的多个连接、关系或关联。例如，如果连接要素表示信号、数据或指令(例如，“软件指令”)的通信，本领域技术人员应理解，这种要素可以表示影响通信可能需要的一个或多于一个信号路径(例如，总线)。
...

【技术保护点】

【技术特征摘要】
1.一种计算机实现的方法，其由一个或多于一个硬件处理器实现，所述方法包括：使用所述一个或多于一个硬件处理器，基于训练数据集来训练神经网络，从而输出高于第二粒度的第一粒度的数据，所述训练数据集包括以所述第一粒度标记的项的第一子集以及以低于所述第一粒度的所述第二粒度标记的项的第二子集，其中，训练所述神经网络包括：针对以高于所述第二粒度的所述第一粒度标记的项的第一子集内的各项：将以所述第一粒度标记的项传递通过所述神经网络，以生成与以所述第一粒度标记的项相对应的输出，以及基于与以所述第一粒度标记的项相对应的所述输出和与所述第一粒度相对应的项的标记之间的比较，来更新所述神经网络的权重；针对以低于所述第一粒度的所述第二粒度标记的项的第二子集内的各项：将以所述第二粒度标记的项传递通过所述神经网络，以生成与以所述第二粒度标记的项相对应的输出，将与以所述第二粒度标记的项相对应的输出传递通过转换函数，以将与以所述第二粒度标记的项相对应的输出转换为转换后的所述第二粒度的输出，以及基于转换后的所述第二粒度的输出和与所述第二粒度相对应的项的标记之间的比较，来更新所述神经网络的权重。2.根据权利要求1所述的计算机实现的方法，其中，所述神经网络是卷积神经网络。3.根据权利要求1或2所述的计算机实现的方法，其中，以所述第一粒度标记的项的第一子集是具有像素级标注的图像，所述像素级标注用于标识特征在所述第一子集的图像内的位置。4.根据权利要求3所述的计算机实现的方法，其中，以所述第二粒度标记的项的第二子集是具有非像素级区标注和二进制标注其中至少之一的图像，所述非像素级区标注用于标识特征在所述第二子集的图像内的位置，所述二进制标注用于标识特征是否存在于所述第二子集的图像内。5.根据权利要求1或2所述的计算机实现的方法，其中，以所述第一粒度标记的项的第一子集是具有非像素级区标注的图像，以及其中，以所述第二粒度标记的项的第二子集是具有二进制标注的图像，所述非像素级区标注用于标识特征在所述第二子集的图像内的位置，所述二进制标注用于标识特征是否存在于所述第二子集的图像内。6.根据权利要求3
‑
5中任一项所述的计算机实现的方法，其中，所述特征是传感器阻挡物。7.根据权利要求1
‑
6中任一项所述的计算机实现的方法，其中，所述转换函数是用于将所述第一粒度的标记转换为所述第二粒度的标记的阈值化函数。8.根据权利要求7所述的计算机实现的方法，其中，所述转换函数是机器学习模型。9.根据权利要求8所述的计算机实现的方法，其中，所述机器学习模型是第二神经网络。10.根据权利要求8或9所述的计算机实现的方法，其中，所述机器学习模型与所述神经网络同时进行训练。11.根据权利要求1
‑
10中任一项所述的计算机实现的方法，其中，以低于所述第一粒度
的所述第二粒度标记的项的第二子集包括手动标注的项。12.根据权利要求1
‑
11中任一项所述的计算机实现的方法，其中，以高于所述第二粒度的所述第一粒度标记的项的第一子集包括以编程方式生成的合成项。13.根据权利要求12所述的计算机实现的方法，还包括：生成以编程方式生成的合成项，其中，生成以编程方式生成的合成项包括：针对以编程方式生成的合成项中的各个合成项：进行色度键控操作以从部分特征图像中提取特征的影像，将所提取的特征的影像叠加在背景图像上，以生成以编程方式生成的合成项，以及生成以编程方式生成的合成项的标注数据，所述标注数据用于将以编程方式生成的合成项的表示所提取的特征的影像的部分与以编程方式生成的合成项的表示所述背景图像的部分区分开。14.根据权利要求1
‑
13中任一项所述的计算机实现的方法，还包括：在训练之后部署所述神经网络，以针对输入进行推断...

【专利技术属性】
技术研发人员：杨炯，黄佑丰，Y，
申请(专利权)人：动态AD有限责任公司，
类型：发明
国别省市：