通过一起使用照相机和雷达来学习CNN的方法及装置制造方法及图纸

本申请公开了一种通过一起使用照相机和雷达来学习CNN的方法及装置，即使由于不良的拍摄环境，通过照相机获取的拍摄图像的对象描绘率低时，也可以使CNN正常运行，所述方法包括以下步骤：(a)学习装置指示卷积层对多通道集成图像进行卷积运算，从而生成特征图；(b)学习装置指示输出层对特征图进行输出运算，从而生成预测对象信息；以及(c)学习装置使损失层通过使用预测对象信息及与其对应的GT对象信息来生成损失，并通过使用损失进行反向传播，从而学习CNN中至少一部分参数。

【技术实现步骤摘要】
通过一起使用照相机和雷达来学习CNN的方法及装置
本申请涉及一种用于自动驾驶车辆的学习方法及学习装置，更详细地，涉及一种通过将可进行距离预测的雷达所获取的信息和通过照相机获取的信息进行整合的传感器融合，从而改善用于支持自动驾驶的神经网络的学习方法及学习装置、以及对应的测试方法及测试装置。
技术介绍
近来，在自动驾驶领域中，通常使用三种类型的传感器来检测自动驾驶车辆周围的对象。三种类型的传感器分别为激光雷达(LiDAR)、雷达(Radar)及照相机。每个这样的传感器都具有缺点。例如，激光雷达的缺点是太昂贵而不能广泛使用、雷达的缺点是单独使用时的性能低下、照相机的缺点是因受天气等周围环境的影响而不稳定。单独使用每个传感器都会有如上缺点，因此需要一种传感器融合(SensorFusion)方法来一起使用这些传感器。但是，到目前为止，在传感器融合方法上，仅有结合两个结果的浅显的研究，並沒有太多深入的研究。
技术实现思路
本申请的目的是解决上述问题。本申请的另一个目的是提供一种学习方法，通过将可进行距离预测的雷达获取的信息和通过照相机获取的信息进行整合的传感器融合，从而改善用于支持自动驾驶的神经网络。本申请的又一个目的是提供一种使神经网络使用整合信息来支持自动驾驶的方法，该整合信息是通过将雷达获取的信息和通过照相机获取的信息按通道(Channel-wise)进行连接(Concatenating)而生成的。本申请的又一个目的是通过使用雷达获取的包括关于特定对象信息的附加信息，在没有关于特定对象的额外信息的情况下，也能对通过照相机获取的不完整信息进行补充。为了达到本申请的上述目的，并实现本申请的下述技术效果，本申请的特征结构如下。根据本申请的一实施例，提供一种通过一起使用照相机和雷达(Radar)来学习卷积神经网络(ConvolutionalNeuralNetwork，CNN)的方法，所述方法即使在拍摄图像(PhotographedImage)的对象描绘率(ObjectDepictionRatio)低时，也可以使所述CNN正常运行，所述对象描绘率为由于不良的拍摄环境，通过所述照相机获取的所述拍摄图像上有至少一个对象被正确显示的概率，包括以下步骤：(a)当获取到(i)通过与学习装置连动操作的目标车辆上的所述照相机获取的所述拍摄图像以及(ii)使用通过所述目标车辆的雷达获取的深度图像(DepthImage)来生成的多通道集成图像(MultichannelIntegratedImage)时，则所述学习装置指示所述CNN中的至少一个卷积层(ConvolutionalLayer)对所述多通道集成图像进行至少一次卷积运算，从而生成至少一个特征图，在所述特征图(FeatureMap)上反映所述拍摄图像的信息和所述深度图像的信息；(b)所述学习装置指示所述CNN中的至少一个输出层(OutputLayer)对所述特征图进行至少一次输出运算，从而生成所述多通道集成图像中的所述对象的预测对象信息(EstimatedObjectInformation)；以及(c)所述学习装置指示所述CNN中的至少一个损失层通过使用所述预测对象信息及与其对应的确实(GroundTruth，GT)对象信息来生成至少一个损失，并通过使用所述损失进行反向传播，从而学习所述CNN中至少一部分参数。在一实施例中，在所述步骤(a)中，所述学习装置(i)通过参照所述深度图像来获取所述目标车辆的所述对象的至少一个距离及至少一个角度的信息后，(ii)通过参照所述距离及所述角度的所述信息来得出与所述拍摄图像上的所述对象中的至少一部分相对应的至少一个对象坐标，并(iii)将通过参照所述对象坐标和概率分布生成的值设定为包括于引导通道图像(GuideChannelImage)中的与其对应的像素值，从而生成至少一个所述引导通道图像后，(iv)将所述引导通道图像与所述拍摄图像按通道(Channel-wise)进行连接(Concatenating)，从而生成所述多通道集成图像。在一实施例中，在所述步骤(a)中，所述学习装置参照所述对象坐标中的第1对象坐标至第N对象坐标和所述概率分布来执行下述公式运算，从而计算出包括于所述引导通道图像中的作为与其对应像素值的所述值，在所述公式中，Pk表示包括于所述引导通道图像的像素中的第k像素，及分别表示所述引导通道图像上所述第k像素的x坐标及y坐标，及分别表示第m对象坐标的x坐标及y坐标，其中m为1以上N以下的整数，σ表示预设大小调整值。在一实施例中，在所述步骤(b)中，所述学习装置指示与所述CNN连动操作的区域建议网络(RegionProposalNetwork，RPN)参照所述特征图来生成至少一个预测注意区域(Region-Of-Interest，ROI)的信息，所述预测ROI的信息与所述多通道集成图像上的所述对象中至少一部分的至少一个位置相对应，并指示构建为全连接(Fully-Connected，FC)网络形态的所述输出层参照所述预测ROI来对所述特征图进行所述输出运算，从而生成所述预测对象信息，所述预测对象信息包括与所述多通道集成图像相对应的预测对象检测结果(EstimatedObjectDetectionResult)。在一实施例中，在所述步骤(a)中，所述学习装置指示包括于所述卷积层的每个卷积神经元(ConvolutionalNeuron)，使用至少一个自身的参数来对输入于自身的值进行运算，再将输出值传递给自身下一个卷积神经元，通过重复上述流程将所述卷积运算应用于所述多通道集成图像。在一实施例中，在所述步骤(b)中，所述学习装置指示被构建为与所述卷积层相对应的至少一个反卷积层形态的所述输出层，对所述特征图进行所述输出运算，从而生成所述预测对象信息，所述预测对象信息包括与所述多通道集成图像相对应的预测分割图像。在一实施例中，所述学习裝置指示所述卷积层生成所述特征图，在所述特征图上反映所述拍摄图像的信息和所述深度图像的信息，从而使所述对象中所述对象描绘率小于阈值的每个特定对象的信息还包括于所述预测对象信息中。根据本申请再一实施例，还提供一种通过一起使用照相机和雷达来测试CNN的方法，所述方法即使在拍摄图像的对象描绘率低时，也可以使所述CNN正常运行，所述对象描绘率为由于不良的拍摄环境，通过所述照相机获取的所述拍摄图像上有至少一个对象被正确显示的概率，包括以下步骤：(a)(1)当获取到(i)通过与学习装置连动操作的学习用目标车辆上的学习用照相机获取的学习用拍摄图像以及(ii)使用通过所述学习用目标车辆的学习用雷达获取的学习用深度图像来生成的学习用多通道集成图像时，则所述学习装置指示所述CNN中的至少一个卷积层对所述学习用多通道集成图像进行至少一次卷积运算，从而生成至少一个学习用特征图，在所述学习用特征图上反映所述学习用拍摄图像的信息和所述学习用深度图像的信息；(2)所述学习装置指示所述CNN中的至少一个输出层对所述学习用特征图进行至少一次输出运算，从而本文档来自技高网...

【技术保护点】
1.一种通过一起使用照相机和雷达来学习卷积神经网络的方法，所述方法即使在拍摄图像的对象描绘率低时，也可以使所述卷积神经网络正常运行，所述对象描绘率为由于不良的拍摄环境，通过所述照相机获取的所述拍摄图像上有至少一个对象被正确显示的概率，其特征在于，包括以下步骤：/n(a)当获取到(i)通过与学习装置连动操作的目标车辆上的所述照相机获取的所述拍摄图像以及(ii)使用通过所述目标车辆的雷达获取的深度图像来生成的多通道集成图像时，则所述学习装置指示所述卷积神经网络中的至少一个卷积层对所述多通道集成图像进行至少一次卷积运算，从而生成至少一个特征图，在所述特征图上反映所述拍摄图像的信息和所述深度图像的信息；/n(b)所述学习装置指示所述卷积神经网络中的至少一个输出层对所述特征图进行至少一次输出运算，从而生成所述多通道集成图像中的所述对象的预测对象信息；以及/n(c)所述学习装置指示所述卷积神经网络中的至少一个损失层通过使用所述预测对象信息及与其对应的确实对象信息来生成至少一个损失，并通过使用所述损失进行反向传播，从而学习所述卷积神经网络中至少一部分参数。/n

【技术特征摘要】
20190131 US 62/799,216;20191231 US 16/731,9901.一种通过一起使用照相机和雷达来学习卷积神经网络的方法，所述方法即使在拍摄图像的对象描绘率低时，也可以使所述卷积神经网络正常运行，所述对象描绘率为由于不良的拍摄环境，通过所述照相机获取的所述拍摄图像上有至少一个对象被正确显示的概率，其特征在于，包括以下步骤：
(a)当获取到(i)通过与学习装置连动操作的目标车辆上的所述照相机获取的所述拍摄图像以及(ii)使用通过所述目标车辆的雷达获取的深度图像来生成的多通道集成图像时，则所述学习装置指示所述卷积神经网络中的至少一个卷积层对所述多通道集成图像进行至少一次卷积运算，从而生成至少一个特征图，在所述特征图上反映所述拍摄图像的信息和所述深度图像的信息；
(b)所述学习装置指示所述卷积神经网络中的至少一个输出层对所述特征图进行至少一次输出运算，从而生成所述多通道集成图像中的所述对象的预测对象信息；以及
(c)所述学习装置指示所述卷积神经网络中的至少一个损失层通过使用所述预测对象信息及与其对应的确实对象信息来生成至少一个损失，并通过使用所述损失进行反向传播，从而学习所述卷积神经网络中至少一部分参数。


2.如权利要求1所述的方法，其特征在于，在所述步骤(a)中，所述学习装置(i)通过参照所述深度图像来获取所述目标车辆的所述对象的至少一个距离及至少一个角度的信息后，(ii)通过参照所述距离及所述角度的所述信息来得出与所述拍摄图像上的所述对象中的至少一部分相对应的至少一个对象坐标，并(iii)将通过参照所述对象坐标和概率分布生成的值设定为包括于引导通道图像中的与其对应的像素值，从而生成至少一个所述引导通道图像后，(iv)将所述引导通道图像与所述拍摄图像按通道进行连接，从而生成所述多通道集成图像。


3.如权利要求2所述的方法，其特征在于，在所述步骤(a)中，
所述学习装置参照所述对象坐标中的第1对象坐标至第N对象坐标和所述概率分布来执行下述公式运算，从而计算出包括于所述引导通道图像中的作为与其对应像素值的所述值，



在所述公式中，Pk表示包括于所述引导通道图像的像素中的第k像素，及分别表示所述引导通道图像上所述第k像素的x坐标及y坐标，及分别表示第m对象坐标的x坐标及y坐标，其中m为1以上N以下的整数，σ表示预设大小调整值。


4.如权利要求1所述的方法，其特征在于，在所述步骤(b)中，所述学习装置指示与所述卷积神经网络连动操作的区域建议网络参照所述特征图来生成至少一个预测注意区域的信息，所述预测注意区域的信息与所述多通道集成图像上的所述对象中至少一部分的至少一个位置相对应，并指示构建为全连接网络形态的所述输出层参照所述预测注意区域来对所述特征图进行所述输出运算，从而生成所述预测对象信息，所述预测对象信息包括与所述多通道集成图像相对应的预测对象检测结果。


5.如权利要求1所述的方法，其特征在于，在所述步骤(a)中，所述学习装置指示包括于所述卷积层的每个卷积神经元，使用至少一个自身的参数来对输入于自身的值进行运算，再将输出值传递给自身下一个卷积神经元，通过重复上述流程将所述卷积运算应用于所述多通道集成图像。


6.如权利要求1所述的方法，其特征在于，在所述步骤(b)中，所述学习装置指示被构建为与所述卷积层相对应的至少一个反卷积层形态的所述输出层，对所述特征图进行所述输出运算，从而生成所述预测对象信息，所述预测对象信息包括与所述多通道集成图像相对应的预测分割图像。


7.如权利要求1所述的方法，其特征在于，所述学习裝置指示所述卷积层生成所述特征图，在所述特征图上反映所述拍摄图像的信息和所述深度图像的信息，从而使所述对象中所述对象描绘率小于阈值的每个特定对象的信息还包括于所述预测对象信息中。


8.一种通过一起使用照相机和雷达来测试卷积神经网络的方法，所述方法即使在拍摄图像的对象描绘率低时，也可以使所述卷积神经网络正常运行，所述对象描绘率为由于不良的拍摄环境，通过所述照相机获取的所述拍摄图像上有至少一个对象被正确显示的概率，其特征在于，包括以下步骤：
(a)(1)当获取到(i)通过与学习装置连动操作的学习用目标车辆上的学习用照相机获取的学习用拍摄图像以及(ii)使用通过所述学习用目标车辆的学习用雷达获取的学习用深度图像来生成的学习用多通道集成图像时，则所述学习装置指示所述卷积神经网络中的至少一个卷积层对所述学习用多通道集成图像进行至少一次卷积运算，从而生成至少一个学习用特征图，在所述学习用特征图上反映所述学习用拍摄图像的信息和所述学习用深度图像的信息；(2)所述学习装置指示所述卷积神经网络中的至少一个输出层对所述学习用特征图进行至少一次输出运算，从而生成所述学习用多通道集成图像中的所述学习用对象的学习用预测对象信息；(3)所述学习装置指示所述卷积神经网络中的至少一个损失层通过使用所述学习用预测对象信息及与其对应的确实对象信息来生成至少一个损失，并通过使用所述损失进行反向传播，从而在学习所述卷积神经网络中至少一部分参数的状态下，测试装置指示所述卷积神经网络中的所述卷积层(i)通过与所述测试装置连动操作的测试用目标车辆上的测试用照相机获取的测试用拍摄图像及(ii)通过使用所述测试用目标车辆的测试用雷达获取的测试用深度图像以对生成的测试用多通道集成图像进行至少一次所述卷积运算，从而生成至少一个测试用特征图，在所述特征图上反映所述测试用拍摄图像的信息和所述测试用深度图像的信息；以及
(b)所述测试装置指示所述卷积神经网络中的所述输出层对所述测试用特征图进行所述输出运算，从而生成所述测试用多通道集成图像中的所述测试用对象的测试用预测对象信息。


9.如权利要求8所述的方法，其特征在于，在所述步骤(a)中，所述测试装置(i)通过参照所述测试用深度图像来获取所述测试用目标车辆的所述测试用对象的至少一个测试用距离及至少一个测试用角度的测试用信息后，(ii)通过参照所述测试用距离及所述测试用角度的所述测试用信息来得出与所述测试用拍摄图像上的所述测试用对象中的至少一部分相对应的至少一个测试用对象坐标，并(iii)将通过参照所述测试用对象坐标和测试用概率分布来将生成的值设定为包括于测试用引导通道图像中的与其对应的测试用像素值，从而生成至少一个所述测试用引导通道图像后，(iv)通过将所述测试用引导通道图像与所述测试用拍摄图像按通道进行连接，从而生成所述测试用多通道集成图像。


10.如权利要求9所述的电子装置，其特征在于，在所述步骤(a)中，
所述测试装置参照所述测试用对象坐标中的测试用第1对象坐标至测试用第N对象坐标和所述测试用概率分布来执行下述公式运算，从而计算出包括于所述引导通道图像中的作为与其对应像素值的所述值，



在所述公式中，Pk表示包括于所述测试用引导通道图像的像素中的第k像素，及分别表示所述测试用引导通道图像上所述第k像素的x坐标及y坐标，及分别表示测试用第m对象坐标的x坐标及y坐标，其中m为1以上N以下的整数，σ表示预设大小调整值。


11.如权利要求8所述的方法，其特征在于，所述测试裝置指示所述卷积层生成所述测试用特征图，在所述测试用特征图上反映所述测试用拍摄图像的信息和所述测试用深度图像的信息，从而使所述测试用对象中所述对象描绘率小于阈值的每个特定测试用对象的信息还包括于所述测试用预测对象信息中；
还包括以下步骤：
(c)所述测试装置将所述测试用预测对象信息传递到所述测试用目标车辆上的至少一个自动驾驶模块，从而支持所述测试用目标车辆的自动驾驶。

【专利技术属性】
技术研发人员：金桂贤，金镕重，金鹤京，南云铉，夫硕焄，成明哲，申東洙，吕东勋，柳宇宙，李明春，李炯树，张泰雄，郑景中，诸泓模，赵浩辰，
申请(专利权)人：斯特拉德视觉公司，
类型：发明
国别省市：韩国;KR