用于自动驾驶的体住运动的自监督学习的方法和系统技术方案

本发明专利技术提供了一种自监督学习的方法、装置、存储介质及电子设备，其中，该方法包括：将竖直方向上一列的真实点组织到一个体柱，体柱设有体柱运动参数，且体柱内每个真实点具有与体柱运动参数相同的运动参数；确定下一帧的预测点；根据下一帧的预测点与下一帧的真实点之间的最小距离确定第一损失项，并生成包含第一损失项的损失函数；根据损失函数进行自监督学习处理。通过本发明专利技术实施例提供的自监督学习的方法、装置、存储介质及电子设备，以体柱为单位来确定能够表示真实点运动情况的体柱运动参数，可以增强点云之间的关联，在预测点与真实点之间不存在精确对应关系的情况下也能够实现自监督学习，能够利用大量无标注的点云进行训练。训练。训练。

【技术实现步骤摘要】
用于自动驾驶的体住运动的自监督学习的方法和系统


[0001]本专利技术涉及自监督学习的
，具体而言，涉及一种自监督学习的方法、装置、存储介质及电子设备。

技术介绍

[0002]理解和预测各种行为对象(如车辆、行人等)的运动对于自动驾驶车辆能够在动态环境中安全运行至关重要。自动驾驶车辆通常配备有多个传感器，并且最常用的传感器是激光雷达(LiDAR)。因此，如何基于激光雷达采集的点云(point clouds)估计出运动是自动驾驶中的基础研究问题之一。然而，这在以下方面具有挑战性：(1)存在许多行为对象类别，并且每个类别都显示特定的运动行为；(2)点云稀疏并且扫描之间缺乏精确的对应关系。
[0003]当前的运动估计方法通常需要来自自动驾驶场景的大量带注释的训练数据。然而，众所周知，手动标记点云是困难的，容易出错且耗时。尽管近年来针对语言和视觉的自监督学习的获得越来越多的关注，但是针对点云的自监督仍然落后，
[0004]另一活跃的研究方向是估计来自点云的场景流(scene flow)，以了解密集的3D运动场(motion field)。然而，当前的方法通常需要花费数百毫秒来处理点云，即使这部分点云被显著地降采样(subsampled)。此外，该方法对具有精确对应关系的合成数据(例如，FlyingThings3D)或密集处理的数据(例如，KITTI场景流)有效，但对于由激光雷达扫描的原始点云，不同帧之间的点通常不存在对应关系，使得直接估计来自激光雷达的场景流比较困难。

技术实现思路

[0005]为解决点云难以实现自监督学习的问题，本专利技术实施例的目的在于提供一种自监督学习的方法、装置、存储介质及电子设备。
[0006]第一方面，本专利技术实施例提供了一种自监督学习的方法，包括：
[0007]获取未标记的数据集，所述数据集包括多帧的点云，且每帧点云包括多个真实点；
[0008]将竖直方向上一列的所述真实点组织到一个体柱，所述体柱设有体柱运动参数，且所述体柱内每个所述真实点具有与所述体柱运动参数相同的运动参数；
[0009]将当前帧的每个所述真实点按照相应的所述体柱运动参数移动至下一帧，确定下一帧的预测点；
[0010]根据下一帧的所述预测点与下一帧的所述真实点之间的最小距离确定第一损失项，并生成包含所述第一损失项的损失函数；
[0011]根据所述损失函数进行自监督学习处理，以确定所述体柱的体柱运动参数。
[0012]在一种可能的实现方式中，所述根据下一帧的所述预测点与下一帧的所述真实点之间的最小距离确定第一损失项，包括：
[0013]根据第一最小距离和/或第二最小距离确定第一损失项，所述第一最小距离为下一帧的所述预测点与下一帧的多个所述真实点之间的距离的最小值，所述第二最小距离为
下一帧的所述真实点与下一帧的多个所述预测点之间的距离的最小值。
[0014]在一种可能的实现方式中，所述根据第一最小距离和/或第二最小距离确定第一损失项包括：
[0015]将下一帧的多个所述预测点所对应的所述第一最小距离之和，加上下一帧的多个所述真实点所对应的所述第二最小距离之和，作为第一损失项；
[0016][0017]其中，表示所述第一损失项，表示第t帧的第i个所述预测点，表示第t帧的多个所述预测点的集合，表示第t帧的第j个所述真实点，P
t
表示第t帧的多个所述真实点的集合。
[0018]在一种可能的实现方式中，所述数据集还包括与所述点云相匹配的多帧的图像数据；
[0019]所述方法还包括：
[0020]将目标帧的所述真实点投影到所述图像数据所在的图像平面，确定第一像素点，并根据自我交通工具的位姿变化确定所述第一像素点的自我光流；所述目标帧为所述当前帧或所述下一帧，所述第一像素点为在目标帧的所述图像数据中与目标帧的所述真实点相匹配的像素点；
[0021]根据所述图像数据确定所述第一像素点的整体光流，并根据所述整体光流和所述自我光流确定所述第一像素点的对象光流；
[0022]将目标帧的所述真实点所对应的所述体柱运动参数投影到所述图像平面，确定相应的投影光流；
[0023]根据所述对象光流与所述投影光流之间的差值确定第二损失项，并将所述第二损失项添加至所述损失函数。
[0024]在一种可能的实现方式中，所述根据所述对象光流与所述投影光流之间的差值确定第二损失项包括：
[0025]确定第二损失项：
[0026][0027]其中，表示所述第二损失项，(u
i
,v
i
)
t
表示第t帧的与第i个所述真实点相对应的第一像素点，表示所述第一像素点(u
i
,v
i
)
t
的投影光流，F
obj
(u
i
,v
i
)
t
表示所述第一像素点(u
i
,v
i
)
t
的对象光流。
[0028]在一种可能的实现方式中，所述数据集还包括与所述点云相匹配的多帧的图像数据；
[0029]所述方法还包括：
[0030]将目标帧的所述真实点投影到所述图像数据所在的图像平面，确定第一像素点，并根据自我交通工具的位姿变化确定所述第一像素点的自我光流；所述目标帧为所述当前帧或所述下一帧，所述第一像素点为在目标帧的所述图像数据中与目标帧的所述真实点相
匹配的像素点；
[0031]根据所述图像数据确定所述第一像素点的整体光流，并根据所述整体光流和所述自我光流确定所述第一像素点的对象光流；以及
[0032]根据所述对象光流的大小确定所述第一像素点对应动态对象的概率，进而确定与所述第一像素点相对应的目标帧的所述真实点对应动态对象的概率；所述概率与所述对象光流的大小之间为正相关关系；
[0033]所述根据下一帧的所述预测点与下一帧的所述真实点之间的最小距离确定第一损失项包括：
[0034]将所述真实点对应动态对象的概率作为加权系数，对下一帧的所述预测点与下一帧的所述真实点之间的最小距离进行加权处理，并根据加权处理后的最小距离确定第一损失项。
[0035]在一种可能的实现方式中，所述根据所述对象光流的大小确定所述第一像素点对应动态对象的概率，包括：
[0036]确定所述第一像素点对应动态对象的概率：
[0037][0038]其中，(u
i
,v
i
)
t
表示第t帧的与第i个所述真实点相对应的第一像素点，F
obj
(u
i
,v
i
)
t
表示所述第一像素点(u
i
,v
i
)
t
的对象光流，表示所述第一像素点(u
i
,v
...

【技术保护点】

【技术特征摘要】
1.一种自监督学习的方法，其特征在于，包括：获取未标记的数据集，所述数据集包括多帧的点云，且每帧点云包括多个真实点；将竖直方向上一列的所述真实点组织到一个体柱，所述体柱设有体柱运动参数，且所述体柱内每个所述真实点具有与所述体柱运动参数相同的运动参数；将当前帧的每个所述真实点按照相应的所述体柱运动参数移动至下一帧，确定下一帧的预测点；根据下一帧的所述预测点与下一帧的所述真实点之间的最小距离确定第一损失项，并生成包含所述第一损失项的损失函数；根据所述损失函数进行自监督学习处理，以确定所述体柱的体柱运动参数。2.根据权利要求1所述的方法，其特征在于，所述根据下一帧的所述预测点与下一帧的所述真实点之间的最小距离确定第一损失项，包括：根据第一最小距离和/或第二最小距离确定第一损失项，所述第一最小距离为下一帧的所述预测点与下一帧的多个所述真实点之间的距离的最小值，所述第二最小距离为下一帧的所述真实点与下一帧的多个所述预测点之间的距离的最小值。3.根据权利要求2所述的方法，其特征在于，所述根据第一最小距离和/或第二最小距离确定第一损失项包括：将下一帧的多个所述预测点所对应的所述第一最小距离之和，加上下一帧的多个所述真实点所对应的所述第二最小距离之和，作为第一损失项；其中，表示所述第一损失项，表示第t帧的第i个所述预测点，表示第t帧的多个所述预测点的集合，表示第t帧的第j个所述真实点，P
t
表示第t帧的多个所述真实点的集合。4.根据权利要求1所述的方法，其特征在于，所述数据集还包括与所述点云相匹配的多帧的图像数据；所述方法还包括：将目标帧的所述真实点投影到所述图像数据所在的图像平面，确定第一像素点，并根据自我交通工具的位姿变化确定所述第一像素点的自我光流；所述目标帧为所述当前帧或所述下一帧，所述第一像素点为在目标帧的所述图像数据中与目标帧的所述真实点相匹配的像素点；根据所述图像数据确定所述第一像素点的整体光流，并根据所述整体光流和所述自我光流确定所述第一像素点的对象光流；将目标帧的所述真实点所对应的所述体柱运动参数投影到所述图像平面，确定相应的投影光流；根据所述对象光流与所述投影光流之间的差值确定第二损失项，并将所述第二损失项添加至所述损失函数。5.根据权利要求4所述的方法，其特征在于，所述根据所述对象光流与所述投影光流之
间的差值确定第二损失项包括：确定第二损失项：其中，表示所述第二损失项，(u
i
,v
i
)
t
表示第t帧的与第i个所述真实点相对应的第一像素点，表示所述第一像素点(u
i
,v
i
)
t
的投影光流，F
obj
(u
i
,v
i
)
t
表示所述第一像素点(u
i
,v
i
)
t
的对象光流。6.根据权利要求1所述的方法，其特征在于，所述数据集还包括与所述点云相匹配的多帧的图像数据；所述方法还包括：将目标帧的所述真实点投影到所述图像数据所在的图像平面，确定第一像素点，并根据自我交通工具的位姿变化确定所述第一像素点的自我光流；所述目标帧为所述当前帧或所述下一帧，所述第一像素点为在目标帧的所述图像数据中与目标帧的所述真实点相匹配的像素点；根据所述图像数据确定所述第一像素点的整体光流，并根据所述整体光流和所述自我光流确定所述第一像素点的对象光流；以及根据所述对象光流的大小确定所述第一像素点对应动态对象的概率，进而确定与所述第一像素点相对应的目标帧的所述真实点对应动态对象的概率；所述概率与所述对象光流的大小之间为正相关关系；所述根据下一帧的所述预测点与下一帧的所述真实点之间的最小距离确定第一损失项包括：将所述真实点对应动态对象的概率作为加权系数，对下一帧的所述预测点与下一帧的所述真实点之间的最小距离进行加权处理，并根据加权处理后的最小距离确定第一损失项。7.根据权利要求6所述的方法，其特征在于，所述根据所述对象光流的大小确定所述第一像素点...

【专利技术属性】
技术研发人员：杨晓东，罗晨旭，
申请(专利权)人：北京轻舟智航智能技术有限公司，
类型：发明
国别省市：