集成从执行协同驾驶的车辆获取的行驶图像的方法及装置制造方法及图纸

本发明专利技术是集成从执行协同驾驶的车辆获取的行驶图像的方法及装置。本发明专利技术提供一种针对从执行协同驾驶的车辆中获取的行驶图像进行集成的方法，其特征在于，安装于主车辆上的主行驶图像集成装置执行以下步骤：(a)将主行驶图像输入到主客体检测器，(1)通过主卷积层运用卷积运算，生成主特征图，(2)通过主RPN生成主ROI，(3)通过主池化层运用池化运算，生成主池化特征图，(4)通过主FC层运用FC运算，生成主客体相关主客体检测信息；(b)将主池化特征图输入到主置信网络，生成主置信度；及(c)从子车辆获得子客体检测信息和子置信度，并利用主及子置信度集成主客体检测信息和子客体检测信息。

【技术实现步骤摘要】
集成从执行协同驾驶的车辆获取的行驶图像的方法及装置
本专利技术涉及从执行协同驾驶(CooperativeDriving)的车辆获取的行驶图像的集成方法及利用其方法的行驶图像(DrivingImage)集成装置，尤其涉及针对从所述车辆获得的行驶图像进行集成，从而融合(Fusion)从车辆提供的行驶图像中检测出来的客体检测信息，健壮地(Robust)识别出行驶图像中的客体的方法及利用其方法的行驶图像集成装置。
技术介绍
深度学习(DeepLearning)是基于一组算法的机器学习(MachineLearning)及人工神经网络(ArtificialNeuralNetwork)的一个领域，这些算法利用具有多个处理层(ProcessingLayer)的深度图表(DeepGraph)，针对数据进行高层次抽象(Abstraction)建模。一般的深度学习构架(DeepLearningArchitecture)包括很多神经层和数百万个参数。这些参数与ReLU(RectifiedLinearUnit,修正线性单元)、随机失活(Dropout)、数据增强(DataAugmentation)以及SGD(StochasticGradientdescent，随机梯度下降)一样，可以通过与许多层一起运行的新学习技法，在安装有高速GPU的电脑上大容量数据进行学习。在现有的深度学习构架中，CNN(ConvolutionalNeuralNetwork，卷积神经网络)是最广泛使用的深度学习构架之一。CNN的概念已提出了20多年，但CNN的真正力量是最近深度学习理论得到发展之后才被认识到的。目前CNN在人脸识别、图像分类、图像截图生成、客体检测、视觉提问回答及自动驾驶汽车等多种人工智能及机器学习应用程序中取得了巨大成功。尤其，自动驾驶汽车中的客体检测技术广泛使用在道路上的其他汽车、步行者、车道、信号灯等的检测方面，有时用于在自动驾驶中检测多样的客体。另外，客体检测技术，除了自动驾驶汽车以外，还用于军事、监视等其他领域。但是，根据现有的客体检测技术，客体的识别结果会根据使用的客体检测器的性能而不同，存在无法确定识别结果是否为最优状态的难题。另外，现有客体检测技术存在其性能会根据周边环境而变化的问题。
技术实现思路
本专利技术的目的在于，解决上述所有问题点。本专利技术的另一目的在于改善客体检测器的识别结果。本专利技术的又另一目的在于，无关周边环境，能够准确地检测客体。本专利技术的目的是通过以下技术方案实现的：根据本专利技术的一个方面，提供一种将从执行协同驾驶的至少一个车辆中获取的行驶图像进行集成的方法，其特征在于，包括以下步骤：(a)安装于所述至少一个车辆中的至少一个主车辆上的主行驶图像集成装置执行流程(i)，将从安装于所述主车辆上的至少一个主摄像机获得的至少一个主行驶图像输入到主客体检测器，使所述主客体检测器，(i-1)通过主卷积层针对所述主行驶图像运用至少一次卷积运算，生成至少一个主特征图，(i-2)通过主区域建议网络RPN在所述主特征图中生成至少一个主关照区域ROI，所述主ROI对应于估计为至少一个主客体所位于的至少一个区域，(i-3)通过主池化层针对所述主特征图中对应于所述主ROI的至少一个区域运用至少一次池化运算，从而生成至少一个主池化特征图，(i-4)通过主全连接FC层针对所述主池化特征图运用至少一次FC运算，从而生成有关位于所述主行驶图像中的所述主客体的主客体检测信息；(b)所述主行驶图像集成装置，将所述主池化特征图输入到主置信网络，从而执行使所述主置信网络分别生成对应各个所述主池化特征图的各个所述主ROI的至少一个主置信度的流程；及(c)所述主行驶图像集成装置，从所述协同驾驶中的至少一个子车辆中分别获得子客体检测信息和至少一个子置信度，并利用所述主置信度及所述子置信度作为加权值，集成主客体检测信息和所述子客体检测信息，从而执行生成所述主行驶图像的至少一个客体检测结果的流程，其中，所述子客体检测信息与所述子置信度，分别通过安装在各个所述子车辆的至少一个子行驶图像集成装置生成，其中，各个所述子行驶图像集成装置，(i)将各个子行驶图像输入到相应的各个子客体检测器中，使所述子客体检测器，(i-1)通过相应的各个子卷积层针对各个所述子行驶图像运用至少一次所述卷积运算，生成各个子特征图，(i-2)通过相应的各个子RPN，在所述各个子特征图中生成至少一个子ROI，所述子ROI对应于估计为至少一个子客体所位于的至少一个区域，(i-3)通过相应的各个子池化层，针对所述各个子特征图中对应于各个所述子ROI的至少一个区域，运用至少一次所述池化运算，分别生成至少一个子池化特征图，(i-4)通过相应的各个子FC层，针对所述各个子池化特征图运用至少一次所述FC运算，生成有关位于各个子行驶图像上的所述子客体的所述子客体检测信息，(i-5)将各个子池化特征图输入到各个子置信网络，使每个所述子置信网络，生成各个所述子池化特征图所对应的所述子ROI的所述子置信度。一个实施例，其特征在于，所述主客体检测器与所述主置信网络为已通过学习装置完成学习的状态，即，获得包含至少一个学习用行驶图像的训练数据后，所述学习装置执行：流程(i)从所述训练数据采集(i-1)包括学习用第1_1行驶图像至学习用第1_m行驶图像的第1训练数据与(i-2)包括学习用第2_1行驶图像至学习用第2_n行驶图像的第2训练数据，所述m、n是大于或等于1的整数；流程(ii)将所述学习用第1_1行驶图像至所述学习用第1_m行驶图像中之一的学习用第1_j行驶图像输入到所述主卷积层，使所述主卷积层，针对所述学习用第1_j行驶图像运用至少一次所述卷积运算，生成至少一个第1特征图；流程(iii)将所述第1特征图输入到所述主RPN，使所述主RPN，生成位于所述第1特征图上的至少一个学习用客体所对应的至少一个第1ROI；流程(iv)使主池化层，针对所述第1特征图中对应于所述第1ROI的至少一个区域运用至少一次所述池化运算，生成至少一个第1池化特征图；流程(v)使所述主FC层，针对所述第1池化特征图或对应其的至少一个第1特征矢量，运用至少一次所述FC运算，生成位于所述学习用第1_j行驶图像上的所述学习用客体所对应的第1客体检测信息；流程(vi)使第1损失层，参照所述第1客体检测信息与所述学习用第1_j行驶图像的至少一个客体地面真值GT)，生成至少一个第1损失；及流程(vii)通过利用所述第1损失的反向传播，更新所述主FC层及所述主卷积层中至少一个参数，促使所述第1损失最小化，通过针对各个所述学习用第1_1行驶图像至所述学习用第1_m行驶图像的以上流程，完成对所述主客体检测器的学习，进一步，所述学习装置执行：流程(i)参照分别对应于所述学习用第1_1行驶图像至学习用第1_m行驶图像的所述第1客体检测信息与所述客体GT，分别获得各个所述第1ROI的至少一个第1置信度；流程(ii)将所述学习用第2_1行驶图像至所述学习用第2_n行驶图像中之一的学习用第2_k行驶图像输入到所述主卷积层，使所述主本文档来自技高网...

【技术保护点】
1.一种将从执行协同驾驶的至少一个车辆中获取的行驶图像进行集成的方法，其特征在于，包括以下步骤：/n(a)安装于所述至少一个车辆中的至少一个主车辆上的主行驶图像集成装置执行流程(i)，将从安装于所述主车辆上的至少一个主摄像机获得的至少一个主行驶图像输入到主客体检测器，使所述主客体检测器，(i-1)通过主卷积层针对所述主行驶图像运用至少一次卷积运算，生成至少一个主特征图，(i-2)通过主区域建议网络RPN在所述主特征图中生成至少一个主关照区域ROI，所述主ROI对应于估计为至少一个主客体所位于的至少一个区域，(i-3)通过主池化层针对所述主特征图中对应于所述主ROI的至少一个区域运用至少一次池化运算，从而生成至少一个主池化特征图，(i-4)通过主全连接FC层针对所述主池化特征图运用至少一次FC运算，从而生成有关位于所述主行驶图像中的所述主客体的主客体检测信息；/n(b)所述主行驶图像集成装置，将所述主池化特征图输入到主置信网络，从而执行使所述主置信网络分别生成对应各个所述主池化特征图的各个所述主ROI的至少一个主置信度的流程；及/n(c)所述主行驶图像集成装置，从所述协同驾驶中的至少一个子车辆中分别获得子客体检测信息和至少一个子置信度，并利用所述主置信度及所述子置信度作为加权值，集成主客体检测信息和所述子客体检测信息，从而执行生成所述主行驶图像的至少一个客体检测结果的流程，/n其中，所述子客体检测信息与所述子置信度，分别通过安装在各个所述子车辆的至少一个子行驶图像集成装置生成，/n其中，各个所述子行驶图像集成装置，(i)将各个子行驶图像输入到相应的各个子客体检测器中，使所述子客体检测器，(i-1)通过相应的各个子卷积层针对各个所述子行驶图像运用至少一次所述卷积运算，生成各个子特征图，(i-2)通过相应的各个子RPN，在所述各个子特征图中生成至少一个子ROI，所述子ROI对应于估计为至少一个子客体所位于的至少一个区域，(i-3)通过相应的各个子池化层，针对所述各个子特征图中对应于各个所述子ROI的至少一个区域，运用至少一次所述池化运算，分别生成至少一个子池化特征图，(i-4)通过相应的各个子FC层，针对所述各个子池化特征图运用至少一次所述FC运算，生成有关位于各个子行驶图像上的所述子客体的所述子客体检测信息，(i-5)将各个子池化特征图输入到各个子置信网络，使每个所述子置信网络，生成各个所述子池化特征图所对应的所述子ROI的所述子置信度。/n...

【技术特征摘要】
20190131 US 62/799514;20200110 US 16/7392201.一种将从执行协同驾驶的至少一个车辆中获取的行驶图像进行集成的方法，其特征在于，包括以下步骤：
(a)安装于所述至少一个车辆中的至少一个主车辆上的主行驶图像集成装置执行流程(i)，将从安装于所述主车辆上的至少一个主摄像机获得的至少一个主行驶图像输入到主客体检测器，使所述主客体检测器，(i-1)通过主卷积层针对所述主行驶图像运用至少一次卷积运算，生成至少一个主特征图，(i-2)通过主区域建议网络RPN在所述主特征图中生成至少一个主关照区域ROI，所述主ROI对应于估计为至少一个主客体所位于的至少一个区域，(i-3)通过主池化层针对所述主特征图中对应于所述主ROI的至少一个区域运用至少一次池化运算，从而生成至少一个主池化特征图，(i-4)通过主全连接FC层针对所述主池化特征图运用至少一次FC运算，从而生成有关位于所述主行驶图像中的所述主客体的主客体检测信息；
(b)所述主行驶图像集成装置，将所述主池化特征图输入到主置信网络，从而执行使所述主置信网络分别生成对应各个所述主池化特征图的各个所述主ROI的至少一个主置信度的流程；及
(c)所述主行驶图像集成装置，从所述协同驾驶中的至少一个子车辆中分别获得子客体检测信息和至少一个子置信度，并利用所述主置信度及所述子置信度作为加权值，集成主客体检测信息和所述子客体检测信息，从而执行生成所述主行驶图像的至少一个客体检测结果的流程，
其中，所述子客体检测信息与所述子置信度，分别通过安装在各个所述子车辆的至少一个子行驶图像集成装置生成，
其中，各个所述子行驶图像集成装置，(i)将各个子行驶图像输入到相应的各个子客体检测器中，使所述子客体检测器，(i-1)通过相应的各个子卷积层针对各个所述子行驶图像运用至少一次所述卷积运算，生成各个子特征图，(i-2)通过相应的各个子RPN，在所述各个子特征图中生成至少一个子ROI，所述子ROI对应于估计为至少一个子客体所位于的至少一个区域，(i-3)通过相应的各个子池化层，针对所述各个子特征图中对应于各个所述子ROI的至少一个区域，运用至少一次所述池化运算，分别生成至少一个子池化特征图，(i-4)通过相应的各个子FC层，针对所述各个子池化特征图运用至少一次所述FC运算，生成有关位于各个子行驶图像上的所述子客体的所述子客体检测信息，(i-5)将各个子池化特征图输入到各个子置信网络，使每个所述子置信网络，生成各个所述子池化特征图所对应的所述子ROI的所述子置信度。


2.根据权利要求1所述的方法，其特征在于，
所述主客体检测器与所述主置信网络为已通过学习装置完成学习的状态，即，获得包含至少一个学习用行驶图像的训练数据后，所述学习装置执行：流程(i)从所述训练数据采集(i-1)包括学习用第1_1行驶图像至学习用第1_m行驶图像的第1训练数据与(i-2)包括学习用第2_1行驶图像至学习用第2_n行驶图像的第2训练数据，所述m、n是大于或等于1的整数；流程(ii)将所述学习用第1_1行驶图像至所述学习用第1_m行驶图像中之一的学习用第1_j行驶图像输入到所述主卷积层，使所述主卷积层，针对所述学习用第1_j行驶图像运用至少一次所述卷积运算，生成至少一个第1特征图；流程(iii)将所述第1特征图输入到所述主RPN，使所述主RPN，生成位于所述第1特征图上的至少一个学习用客体所对应的至少一个第1ROI；流程(iv)使主池化层，针对所述第1特征图中对应于所述第1ROI的至少一个区域运用至少一次所述池化运算，生成至少一个第1池化特征图；流程(v)使所述主FC层，针对所述第1池化特征图或对应其的至少一个第1特征矢量，运用至少一次所述FC运算，生成位于所述学习用第1_j行驶图像上的所述学习用客体所对应的第1客体检测信息；流程(vi)使第1损失层，参照所述第1客体检测信息与所述学习用第1_j行驶图像的至少一个客体地面真值GT，生成至少一个第1损失；及流程(vii)通过利用所述第1损失的反向传播，更新所述主FC层及所述主卷积层中至少一个参数，促使所述第1损失最小化，通过针对各个所述学习用第1_1行驶图像至所述学习用第1_m行驶图像的以上流程，完成对所述主客体检测器的学习，
进一步，所述学习装置执行：流程(i)参照分别对应于所述学习用第1_1行驶图像至学习用第1_m行驶图像的所述第1客体检测信息与所述客体GT，分别获得各个所述第1ROI的至少一个第1置信度；流程(ii)将所述学习用第2_1行驶图像至所述学习用第2_n行驶图像中之一的学习用第2_k行驶图像输入到所述主卷积层，使所述主卷积层，针对所述学习用第2_k行驶图像运用至少一次所述卷积运算，生成至少一个第2特征图；流程(iii)将所述第2特征图输入到所述主RPN，使所述主RPN，生成位于所述第2特征图上的所述学习用客体所对应的至少一个第2ROI；流程(iv)使主池化层，针对所述第2特征图中对应于所述第2ROI的至少一个区域运用至少一次所述池化运算，生成至少一个第2池化特征图；流程(v)将所述第2池化特征图输入到所述主置信网络，使所述主置信网络，通过深度学习生成对应于所述第2池化特征图的至少一个第2置信度；流程(vi)使第2损失层，参照所述第2置信度与所述第1置信度生成至少一个第2损失；及流程(vii)通过利用所述第2损失的反向传播，更新所述主置信网络的至少一个参数，促使所述第2损失最小化，通过针对所述学习用第2_1行驶图像至所述学习用第2_n行驶图像的以上流程，完成对所述主置信网络的学习。


3.根据权利要求2所述的方法，其特征在于，
所述学习装置，参照所述第1客体检测信息以及对应于其的客体GT，获得各个所述第1ROI的所述第1置信度，
其中，当各个所述第1ROI不存在各个所述学习用客体的时候，各个所述第1置信度为“0”，当各个所述第1ROI存在各个所述学习用客体的时候，各个所述第1置信度为“1-框_误差×类_误差”，
所述各个框_误差是包含于所述第1客体检测信息中的各个边界框误差，所述各个类_误差是包含于所述第1客体检测信息中的各个类信息的误差。


4.根据权利要求3所述的方法，其特征在于，
(i)所述各个框_误差是(i-1)所述各个学习用客体的各自尺寸相对于(i-2)所述边界框的各个中心点的误差之和的比率，(ii)所述各个类_误差是包含于所述第1客体检测信息中且用于分类各个所述学习用客体的各个类的各个估计值的各个类误差之和。


5.根据权利要求1所述的方法，其特征在于，
利用所述主置信度和所述子置信度作为加权值，集成所述主客体检测信息和所述子客体检测信息，
其中，所述主行驶图像集成装置执行：流程(i)利用对应所述主置信度与所述子置信度中的各个特定客体检测信息的各个特定置信度作为加权值，生成各个所述特定客体检测信息中所包含的各个类相关的各个估计值的加权和，并且将加权和的类中具有最高值的特定类作为对应于所述特定客体的最优类信息；以及流程(ii)利用对应各个所述特定客体检测信息的各个所述特定置信度作为加权值，生成各个所述特定客体检测信息中所包含的各个特定回归信息的加权和，并将加权和的回归信息作为对应于所述特定客体的最优回归信息。


6.根据权利要求5所述的方法，其特征在于，
利用所述主置信度和所述子置信度作为加权值，集成所述主客体检测信息和所述子客体检测信息，
其中，如果确定所述第1客体检测信息中的第1重叠客体检测信息与所述第2客体检测信息中的第2重叠客体检测信息相互重叠而存在，所述主行驶图像集成装置执行：流程(i)如果对应于所述第1重叠客体检测信息的第1边界框与对应于所述第2重叠客体检测信息的第2边界框的交并比IOU为大于或等于预设临界值，则判断为所述第1重叠客体检测信息与所述第2重叠客体检测信息对应于所述特定客体；以及流程(ii)如果所述IOU小于所述预设临...

【专利技术属性】
技术研发人员：金桂贤，金镕重，金鹤京，南云铉，夫硕焄，成明哲，申东洙，吕东勋，柳宇宙，李明春，李炯树，张泰雄，郑景中，诸泓模，赵浩辰，
申请(专利权)人：斯特拉德视觉公司，
类型：发明
国别省市：韩国;KR