校正摄像头错排的方法及利用其的装置制造方法及图纸

本发明专利技术提供用于校正摄像头的偏歪角的方法，本发明专利技术包括：步骤(a)，计算装置通过参照参考图像并根据情况信息来生成第一参考数据或第二参考数据；步骤(b)，上述计算装置参照上述第一参考数据或上述第二参考数据以及车辆坐标数据来生成第一角度误差或第二角度误差；以及步骤(c)，上述计算装置使物理旋转模块通过参照上述第一角度误差或上述第二角度误差来调整上述偏歪角。

【技术实现步骤摘要】
校正摄像头错排的方法及利用其的装置
本专利技术涉及用于自动驾驶车辆的方法及装置，更详细地，涉及选择性地使用自行生成的信息及由其他实体生成的信息来校正摄像头错排的方法及装置。
技术介绍
深度卷积神经网络(DeepConvolutionNeuralNetwork；DeepCNN)为在深度学习领域中取得的惊人发展的核心。卷积神经网络为了解决文字识别问题而曾在90年代中使用过，但是，在机器学习领域中广泛应用应归功于近年的研究结果。例如，每年举行的作为软件比赛的ImageNet图像分类比赛中，卷积神经网络在2012年打败其他竞争对手获得了冠军。之后，卷积神经网络成为机器学习领域中非常有用的工具。最近，这种卷积神经网络广泛应用于自动驾驶领域中。在自动驾驶领域中，卷积神经网络可执行对象检测、自由空间(freespace)检测、语义分割(Semanticsegmentation)等动作。卷积神经网络运算可通过安装在自动驾驶车辆的摄像头获取的图像来执行上述的动作。作为一例，当执行对象检测时，卷积神经网络针对通过摄像头获取的图像中所包括的对象检测与上述图像对应的二维坐标系中的位置及等级，从而输出三维坐标系中的上述对象的位置及对象的等级。如上所述，在从二维坐标系转换为三维坐标系的流程中，使用呈现出摄像头的物理特性的摄像头参数。这种方式的致命性缺点在于，在摄像头的实际物理特性未反映在摄像头参数的情况下，在上述转换流程中会出现问题。即，若摄像头的物理特性因如对摄像头施加的冲击等外部因素而改变，则上述转换的全部流程会出现错误，因此无法适当执行转换流程。到目前为止的有关自动驾驶的研究中，注重图像处理，而没有对解决如上所述的问题的方法进行更多的研究。
技术实现思路
技术问题本专利技术的目的在于，解决如上所述的问题。本专利技术的再一目的在于，提供选择性地使用自行生成的信息及由其他实体生成的信息来感知摄像头的错排并进行校正的方法，从而减少由外部因素引起的自动驾驶的危险。并且，本专利技术的另一目的在于，提供通过整合由各个其他车辆生成的各个信息来生成能够与上述自行生成的信息进行比较的数据的方法，从而校正摄像头的错排。解决问题的手段用于达成如上所述的本专利技术的目的且实现后述的本专利技术的特征性效果的本专利技术的特征性结构如下所示。根据本专利技术的一实施方式，提供一种方法，使用由对象车辆自行生成的一次(primary)信息及由其他实体生成的二次(secondary)信息中的至少一部分来校正偏歪角，上述一次信息及上述二次信息中的至少一个通过参照为了校正设置于上述对象车辆的意外倾斜的摄像头的偏歪角而利用的与上述对象车辆的周围有关的情况信息来选择，其特征在于，包括：步骤(a)，若通过上述对象车辆的摄像头获取至少一个参考图像，则计算装置执行如下的流程(i)及流程(ii)，在上述流程(i)中，在上述情况信息与和道路上的车道线相关的第一条件对应的情况下，使第一卷积神经网络(CNN，ConvolutionalNeuralNetwork)对上述参考图像适用至少一个第一卷积神经网络运算来生成包含与上述参考图像的参考车道线有关的信息的第一参考数据，在上述流程(ii)中，在上述情况信息与和上述道路上的其他车辆相关的第二条件对应的情况下，使第二卷积神经网络对上述参考图像适用至少一个第二卷积神经网络运算来生成包含与上述参考图像的一个以上参考车辆有关的信息的第二参考数据；步骤(b)，上述计算装置使校正模块执行如下的流程(i)及流程(ii)，在上述流程(i)中，在上述情况信息与上述第一条件对应的情况下，参照上述第一参考数据及车辆坐标数据来生成与和上述参考车道线对应的上述摄像头有关的至少一个第一角度误差，在上述流程(ii)中，在上述情况信息与上述第二条件对应的情况下，参照上述第二参考数据及上述车辆坐标数据来生成与和上述参考车辆对应的上述摄像头有关的至少一个第二角度误差；以及步骤(c)，上述计算装置使安装在上述对象车辆的物理旋转模块执行如下的流程(i)及流程(ii)，在上述流程(i)中，在上述情况信息与上述第一条件对应的情况下，参照与上述参考车道线对应的上述第一角度误差来调整上述偏歪角，在上述流程(ii)中，在上述情况信息与上述第二条件对应的情况下，参照与上述参考车辆对应的上述第二角度误差来调整上述偏歪角。在一实施例中，在上述步骤(a)中，在上述情况信息与上述第一条件对应的情况下，上述计算装置执行如下的步骤(i)、步骤(ii)及步骤(iii)，在上述步骤(i)中，使在上述第一卷积神经网络中包括的至少一个第一卷积层对上述参考图像适用至少一个第一卷积运算来生成至少一个第一参考特征地图，在上述步骤(ii)中，使在上述第一卷积神经网络中包括的至少一个第一池化(pooling)层对上述第一参考特征地图适用至少一个第一池化运算来生成至少一个第一参考池化的特征地图，在步骤(iii)中，使在上述第一卷积神经网络中包括的至少一个第一全连接(FC，Fully-Connected)层对上述第一参考池化的特征地图适用至少一个第一全连接运算来生成与上述参考图像的上述参考车道线有关的检测结果作为上述第一参考数据。在一实施例中，在上述步骤(b)中，在上述情况信息与上述第一条件对应的情况下，上述计算装置使上述校正模块执行如下的步骤：步骤(i)，参照上述车辆坐标数据来在与上述车辆坐标数据对应的坐标平面映射(mapping)上述参考车道线；步骤(ii)，计算上述参考车道线中的至少一个与上述坐标平面上的参考轴之间的至少一个第一差角；以及步骤(iii)，生成上述至少一个第一差角度作为上述第一角度误差。在一实施例中，在上述步骤(a)中，在上述情况信息与上述第二条件对应的情况下，上述计算装置执行如下步骤：步骤(i)，使在上述第二卷积神经网络中包括的至少一个第二卷积层对上述参考图像适用至少一个第二卷积运算来生成至少一个第二参考特征地图；步骤(ii)，使在上述第二卷积神经网络中包括的至少一个第二池化层对上述第二参考特征地图适用至少一个第二池化运算来生成至少一个第二参考池化的特征地图；以及步骤(iii)，使在上述第二卷积神经网络中包括的至少一个第二全连接层对上述第二参考池化的特征地图适用至少一个第二全连接运算来生成与上述参考图像的上述参考车辆有关的检测结果作为上述第二参考数据。在一实施例中，在上述步骤(a)中，在上述情况信息与上述第二条件对应的情况下，上述计算装置生成上述第二参考数据，同时与位于从上述对象车辆相隔第一阈值以下的位置的一个以上车间(V2V，vehicle-to-vehicle)通信车辆进行无线通信来从上述车间通信车辆获取比较数据，从上述车间通信车辆所属的第一特定车间通信车辆至第N特定车间通信车辆中的第K特定车间通信车辆获取的上述比较数据中的第K特定比较数据上述第K特定车间通信车辆包含与上述第K特定车间通信车辆对位于从上述对象车辆相隔第二阈值以下的位置的自身的第K特定周围车辆生成的上述第K特定周围车辆的位置有关的信息，N为上述车间通信车辆的数量，K为1至N的整数，在上述本文档来自技高网...

【技术保护点】
1.一种方法，使用由对象车辆自行生成的一次信息及由其他实体生成的二次信息中的至少一部分来校正偏歪角，上述一次信息及上述二次信息中的至少一个通过参照为了校正设置于上述对象车辆的意外倾斜的摄像头的偏歪角而利用的与上述对象车辆的周围有关的情况信息来选择，其特征在于，包括：/n步骤(a)，若通过上述对象车辆的摄像头获取至少一个参考图像，则计算装置执行如下的流程(i)及流程(ii)，在上述流程(i)中，在上述情况信息与和道路上的车道线相关的第一条件对应的情况下，使第一卷积神经网络对上述参考图像适用至少一个第一卷积神经网络运算来生成包含与上述参考图像的参考车道线有关的信息的第一参考数据，在上述流程(ii)中，在上述情况信息与和上述道路上的其他车辆相关的第二条件对应的情况下，使第二卷积神经网络对上述参考图像适用至少一个第二卷积神经网络运算来生成包含与上述参考图像的一个以上参考车辆有关的信息的第二参考数据；/n步骤(b)，上述计算装置使校正模块执行如下的流程(i)及流程(ii)，在上述流程(i)中，在上述情况信息与上述第一条件对应的情况下，参照上述第一参考数据及车辆坐标数据来生成与和上述参考车道线对应的上述摄像头有关的至少一个第一角度误差，在上述流程(ii)中，在上述情况信息与上述第二条件对应的情况下，参照上述第二参考数据及上述车辆坐标数据来生成与和上述参考车辆对应的上述摄像头有关的至少一个第二角度误差；以及/n步骤(c)，上述计算装置使安装在上述对象车辆的物理旋转模块执行如下的流程(i)及流程(ii)，在上述流程(i)中，在上述情况信息与上述第一条件对应的情况下，参照与上述参考车道线对应的上述第一角度误差来调整上述偏歪角，在上述流程(ii)中，在上述情况信息与上述第二条件对应的情况下，参照与上述参考车辆对应的上述第二角度误差来调整上述偏歪角。/n...

【技术特征摘要】
20190131 US 62/799,386;20200110 US 16/740,1651.一种方法，使用由对象车辆自行生成的一次信息及由其他实体生成的二次信息中的至少一部分来校正偏歪角，上述一次信息及上述二次信息中的至少一个通过参照为了校正设置于上述对象车辆的意外倾斜的摄像头的偏歪角而利用的与上述对象车辆的周围有关的情况信息来选择，其特征在于，包括：
步骤(a)，若通过上述对象车辆的摄像头获取至少一个参考图像，则计算装置执行如下的流程(i)及流程(ii)，在上述流程(i)中，在上述情况信息与和道路上的车道线相关的第一条件对应的情况下，使第一卷积神经网络对上述参考图像适用至少一个第一卷积神经网络运算来生成包含与上述参考图像的参考车道线有关的信息的第一参考数据，在上述流程(ii)中，在上述情况信息与和上述道路上的其他车辆相关的第二条件对应的情况下，使第二卷积神经网络对上述参考图像适用至少一个第二卷积神经网络运算来生成包含与上述参考图像的一个以上参考车辆有关的信息的第二参考数据；
步骤(b)，上述计算装置使校正模块执行如下的流程(i)及流程(ii)，在上述流程(i)中，在上述情况信息与上述第一条件对应的情况下，参照上述第一参考数据及车辆坐标数据来生成与和上述参考车道线对应的上述摄像头有关的至少一个第一角度误差，在上述流程(ii)中，在上述情况信息与上述第二条件对应的情况下，参照上述第二参考数据及上述车辆坐标数据来生成与和上述参考车辆对应的上述摄像头有关的至少一个第二角度误差；以及
步骤(c)，上述计算装置使安装在上述对象车辆的物理旋转模块执行如下的流程(i)及流程(ii)，在上述流程(i)中，在上述情况信息与上述第一条件对应的情况下，参照与上述参考车道线对应的上述第一角度误差来调整上述偏歪角，在上述流程(ii)中，在上述情况信息与上述第二条件对应的情况下，参照与上述参考车辆对应的上述第二角度误差来调整上述偏歪角。


2.根据权利要求1所述的方法，其特征在于，在上述步骤(a)中，在上述情况信息与上述第一条件对应的情况下，上述计算装置执行如下的步骤(i)、步骤(ii)及步骤(iii)，在上述步骤(i)中，使在上述第一卷积神经网络中包括的至少一个第一卷积层对上述参考图像适用至少一个第一卷积运算来生成至少一个第一参考特征地图，在上述步骤(ii)中，使在上述第一卷积神经网络中包括的至少一个第一池化层对上述第一参考特征地图适用至少一个第一池化运算来生成至少一个第一参考池化的特征地图，在步骤(iii)中，使在上述第一卷积神经网络中包括的至少一个第一全连接层对上述第一参考池化的特征地图适用至少一个第一全连接运算来将与上述参考图像的上述参考车道线有关的检测结果作为上述第一参考数据生成。


3.根据权利要求2所述的方法，其特征在于，在上述步骤(b)中，在上述情况信息与上述第一条件对应的情况下，上述计算装置使上述校正模块执行如下的步骤：
步骤(i)，参照上述车辆坐标数据来在与上述车辆坐标数据对应的坐标平面映射上述参考车道线；
步骤(ii)，计算上述参考车道线中的至少一个与上述坐标平面上的参考轴之间的至少一个第一差角；以及
步骤(iii)，生成上述至少一个第一差角度作为上述第一角度误差。


4.根据权利要求1所述的方法，其特征在于，在上述步骤(a)中，在上述情况信息与上述第二条件对应的情况下，上述计算装置执行如下步骤：
步骤(i)，使在上述第二卷积神经网络中包括的至少一个第二卷积层对上述参考图像适用至少一个第二卷积运算来生成至少一个第二参考特征地图；
步骤(ii)，使在上述第二卷积神经网络中包括的至少一个第二池化层对上述第二参考特征地图适用至少一个第二池化运算来生成至少一个第二参考池化的特征地图；以及
步骤(iii)，使在上述第二卷积神经网络中包括的至少一个第二全连接层对上述第二参考池化的特征地图适用至少一个第二全连接运算来生成与上述参考图像的上述参考车辆有关的检测结果作为上述第二参考数据。


5.根据权利要求4所述的方法，其特征在于，
在上述步骤(a)中，
在上述情况信息与上述第二条件对应的情况下，上述计算装置生成上述第二参考数据，同时，与位于从上述对象车辆相隔第一阈值以下的位置的一个以上车间通信车辆进行无线通信来从上述车间通信车辆获取比较数据，
从上述车间通信车辆所属的第一特定车间通信车辆至第N特定车间通信车辆中的第K特定车间通信车辆获取的上述比较数据中的第K特定比较数据包含与上述第K特定车间通信车辆对位于从上述对象车辆相隔第二阈值以下的位置的自身的第K特定周围车辆生成的上述第K特定周围车辆的位置有关的信息，N为上述车间通信车辆的数量，K为1至N的整数，
在上述步骤(b)中，
在上述情况信息与上述第二条件对应的情况下，上述计算装置使上述校正模块执行如下的步骤(i)及步骤(ii)，在上述步骤(i)中，执行如下的流程(i-1)及流程(i-2)，在上述流程(i-1)中，参照上述第二参考数据来生成在与上述车辆坐标数据对应的坐标平面上以上述对象车辆为基准表示上述参考车辆的一个以上相对位置的一个以上基于图像的坐标，在上述流程(i-2)中，参照上述比较数据来生成在上述坐标平面上以上述对象车辆为基准表示上述车间通信车辆的周围车辆的一个以上相对位置的一个以上基于通信的坐标，在上述步骤(ii)中，参照上述基于图像的坐标及上述基于通信的坐标来生成上述第二角度误差。


6.根据权利要求5所述的方法，其特征在于，在上述步骤(b)中，在上述情况信息与上述第二条件对应的情况下，上述计算装置使上述校正模块参照与上述摄像头的视场有关的信息及从上述第K特定车间通信模块获取的上述第K特定比较数据来执行如下的步骤(i)及步骤(ii)，在上述步骤(i)中，将由上述第K特定车间通信车辆预测的上述第K特定周围车辆的位置映射到上述坐标平面上来生成一个以上第K初始坐标，在上述步骤(ii)中，参照包括上述第K初始坐标的一个以上第一初始坐标至一个以上第N初始坐标来生成上述周围车辆的上述基于通信的坐标。


7.根据权利要求5所述的方法，其特征在于，在上述步骤(b)中，上述计算装置使上述校正模块计算至少一个第一特定直线与至少一个第二特定直线之间的至少一个第二差角并将其作为上述第二角度误差来输出，上述第一特定直线为包括同时在上述参考车辆和上述周围车辆中包括的至少一个特定参考车辆的至少一个特定基于通信的坐标及在上述坐标平面上的圆点的直线，上述第二特定直线为包括至少一个特定参考车辆的至少一个特定基于图像的坐标及上述坐标平面的圆点的直线。


8.根据权利要求7所述的方法，其特征在于，在上述步骤(b)中，在(i)同时包括在上述参考车辆和上述周围车辆中的特定参考车辆、(ii)与上述特定参考车辆对应的特定基于图像的坐标、以及(iii)与上述特定参考车辆对应的特定基于通信的坐标为多个的情况下，上述计算装置根据下述数式生成上述第二角度误差：



M表示上述特定参考车辆的数量，表示第K特定参考车辆的第K特定基于图像的坐标，表示上述第K特定参考车辆的第K特定基于通信的坐标，αk表示分配在上述第K特定参考车辆的加权值。


9.根据权利要求1所述的方法，其特征在于，在上述步骤(a)中，若从上述对象车辆的控制器局域网络获取上述对象车辆的行驶信息，则上述计算装置确定上述行驶信息是否与和直行行驶有关的条件A对应或者是否与和非直行的行驶有关的条件B对应，在上述行驶信息与上述条件A对应的情况下，使上述第一卷积神经网络或上述第二卷积神经网络对上述参考...

【专利技术属性】
技术研发人员：金桂贤，金镕重，金鹤京，南云铉，夫硕熏，成明哲，申东洙，吕东勋，柳宇宙，李明春，李炯树，张泰雄，郑景中，诸泓模，赵浩辰，
申请(专利权)人：斯特拉德视觉公司，
类型：发明
国别省市：韩国;KR