本发明专利技术提供一种多相机感知识别方法、装置、电子设备、存储介质。应用于隧道中，多相机的视角覆盖车身水平方向360度范围，方法包括：将多相机的采集的多个2维图片拼接为一张覆盖车身在水平方向360度范围的环视图片；对环视图片进行深度预测，并采用反投影模型，将环视图片转换为车身在水平方向360度范围的3维特征向量；将3维特征向量输入多任务预测模型，以预测隧道道路对象；按预测时间，根据多任务预测模型预测的隧道道路对象生成隧道道路对象时间序列；将隧道道路对象时间序列输入至时间序列模型，根据时间序列模型的输出获得复原后的隧道道路对象。本发明专利技术在隧道的无人驾驶中降低环境感知成本，减少环境感知检测复杂度，提高环境感知检测效率。高环境感知检测效率。高环境感知检测效率。
【技术实现步骤摘要】
多相机感知识别方法、装置、电子设备、存储介质
[0001]本专利技术涉及雷达点云数据处理领域，尤其涉及一种应用于隧道中的多相机感知识别方法、装置、电子设备、存储介质。
技术介绍
[0002]在地铁隧道，公路地下隧道领域，由于光照不足，且隧道内左右距离窄，且隧道颜色地面，天花板颜色相似，从而若仅将单目相机采集的图像应用深度学习模型，检测出的结果再与其它的传感器检测结果进行后融合来处理360度环境感知，容易造成感知结果差。
[0003]由此，如何在隧道的无人驾驶中，降低环境感知成本，减少环境感知检测复杂度，提高环境感知检测效率，是本领域技术人员亟待解决的技术问题。
技术实现思路
[0004]本专利技术为了克服上述现有技术存在的缺陷，提供一种应用于隧道中的多相机感知识别方法、装置、电子设备、存储介质，以在隧道的无人驾驶中，降低环境感知成本，减少环境感知检测复杂度，提高环境感知检测效率。
[0005]根据本专利技术的一个方面，提供一种应用于隧道中的多相机感知识别方法，所述多相机的视角覆盖车身水平方向360度范围，包括：
[0006]将多相机的采集的多个2维图片拼接为一张覆盖车身在水平方向360度范围的环视图片；
[0007]对所述环视图片进行深度预测，并采用反投影模型，将所述环视图片转换为所述车身在水平方向360度范围的3维特征向量；
[0008]将所述3维特征向量输入多任务预测模型，以预测隧道道路对象；
[0009]按预测时间，根据所述多任务预测模型预测的隧道道路对象生成隧道道路对象时间序列；
[0010]将所述隧道道路对象时间序列输入至时间序列模型，根据所述时间序列模型的输出获得复原后的隧道道路对象。
[0011]在本申请的一些实施例中，所述将多相机的采集的多个2维图片拼接为一张覆盖车身在水平方向360度范围的环视图片包括：
[0012]采用多相机标定算法，将多相机的采集的多个2维图片拼接为一张覆盖车身在水平方向360度范围的环视图片。
[0013]在本申请的一些实施例中，所述对所述环视图片进行深度预测包括：
[0014]将所述环视图片依次输入多个编码层和多个解码层并获得三个权重矩阵，所述编码层和所述解码层为transformer编码层和transformer解码层。
[0015]在本申请的一些实施例中，采用反投影模型，将所述环视图片转换为所述车身在水平方向360度范围的3维特征向量包括：
[0016]将所述解码层输出的三个权重矩阵输入所述反投影模型；
[0017]获得所述反投影模型输出的3维特征向量，作为所述车身在水平方向360度范围的3维特征向量，
[0018]其中，所述反投影模型包括多个第一卷积层，各第一卷积层用以执行卷积和批归一化操作。
[0019]在本申请的一些实施例中，所述多任务预测模型包括用于对所述车身在水平方向360度范围的3维特征向量进行特征提取的主干网络，以及连接于所述主干网络分别预测多个隧道道路对象的分支网络。
[0020]在本申请的一些实施例中，所述按预测时间，根据所述多任务预测模型预测的隧道道路对象生成隧道道路对象时间序列包括：
[0021]将同一预测时间的多个隧道道路对象的3维特征向量组合为一序列帧；
[0022]按预测时间，根据多个序列帧生成隧道道路对象时间序列。
[0023]在本申请的一些实施例中，所述按预测时间，根据所述多任务预测模型预测的隧道道路对象生成隧道道路对象时间序列包括：
[0024]将同一预测时间的一个隧道道路对象的3维特征向量作为为一序列帧；
[0025]按预测时间，根据多个序列帧分别为多个隧道道路对象生成多个隧道道路对象时间序列。
[0026]在本申请的一些实施例中，其中，所述时间序列模型包括多个第二卷积层，每一第二卷积层用以对一序列帧进行卷积和批归一化处理，各所述第二卷积层的输出通道为3维坐标通道，所述时间序列模型的输出为各第二卷积层的输出数据之和。
[0027]根据本申请的又一方面，还提供一种应用于隧道中的多相机感知识别装置，包括：
[0028]拼接模块，用于将多相机的采集的多个2维图片拼接为一张覆盖车身在水平方向360度范围的环视图片；
[0029]反投影模块，用于对所述环视图片进行深度预测，并采用反投影模型，将所述环视图片转换为所述车身在水平方向360度范围的3维特征向量；
[0030]隧道道路对象预测模块，用于将所述3维特征向量输入多任务预测模型，以预测隧道道路对象；
[0031]时间序列生成模块，用于按预测时间，根据所述多任务预测模型预测的隧道道路对象生成隧道道路对象时间序列；
[0032]隧道道路对象复原模块，用于将所述隧道道路对象时间序列输入至时间序列模型，根据所述时间序列模型的输出获得复原后的隧道道路对象。
[0033]根据本专利技术的又一方面，还提供一种电子设备，所述电子设备包括：处理器；存储介质，其上存储有计算机程序，所述计算机程序被所述处理器运行时执行如上所述的步骤。
[0034]根据本专利技术的又一方面，还提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上所述的步骤。
[0035]相比现有技术，本专利技术的优势在于：
[0036]通过将多相机采集的多个2维图片拼接为环视图片后进行深度预测，并经由反投影模块，获得所述车身在水平方向360度范围的3维特征向量，从而将所述3维特征向量输入多任务预测模型，以预测隧道道路对象。由此，一方面，避免了多种传感器在模型检测后进行融合，且相较于后融合的方式，降低了算法整体复杂性和时间消耗，同时提高了模型识别
准确率和鲁棒性；另一方面，只需要可360度覆盖的多个单目相机，无需其他诸如激光雷达的传感器，降低了成本；再一方面，多单目的2维图片拼接为一个环视图片后，只需要一个模型进行处理，不需要将每个相机图片采用深度学习模型进行处理，节省系统资源；整个多相机感知识别是端对端的模型。进一步地，本申请还按预测时间，根据所述多任务预测模型预测的隧道道路对象生成道路对象时间序列，将所述隧道道路对象时间序列输入至时间序列模型，根据所述时间序列模型的输出获得复原后的隧道道路对象，以基于时间序列基于通过隧道道路对象进行复原，避免检测遗漏或者部分缺失的情况。
附图说明
[0037]通过参照附图详细描述其示例实施方式，本专利技术的上述和其它特征及优点将变得更加明显。
[0038]图1示出了根据本专利技术实施例的多相机感知识别方法的流程图；
[0039]图2示出了根据本专利技术实施例的多相机感知识别方法的模型架构图；
[0040]图3示出了根据本专利技术实施例的深度预测和反投影模型的示意图；
[0041]图4示出了根据本专利技术实施例的多任务预测模型的示意图；
[0042]图5示出了根据本专利技术实施例的时间序列模型的示意图
[0043]图本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种应用于隧道中的多相机感知识别方法，其特征在于，所述多相机的视角覆盖车身水平方向360度范围，包括：将多相机的采集的多个2维图片拼接为一张覆盖车身在水平方向360度范围的环视图片；对所述环视图片进行深度预测，并采用反投影模型，将所述环视图片转换为所述车身在水平方向360度范围的3维特征向量；将所述3维特征向量输入多任务预测模型，以预测隧道道路对象；按预测时间，根据所述多任务预测模型预测的隧道道路对象生成隧道道路对象时间序列；将所述隧道道路对象时间序列输入至时间序列模型，根据所述时间序列模型的输出获得复原后的隧道道路对象。2.如权利要求1所述的多相机感知识别方法，其特征在于，所述将多相机的采集的多个2维图片拼接为一张覆盖车身在水平方向360度范围的环视图片包括：采用多相机标定算法，将多相机的采集的多个2维图片拼接为一张覆盖车身在水平方向360度范围的环视图片。3.如权利要求1所述的多相机感知识别方法，其特征在于，所述对所述环视图片进行深度预测包括：将所述环视图片依次输入多个编码层和多个解码层并获得三个权重矩阵，所述编码层和所述解码层为transformer编码层和transformer解码层。4.如权利要求3所述的多相机感知识别方法，其特征在于，采用反投影模型，将所述环视图片转换为所述车身在水平方向360度范围的3维特征向量包括：将所述解码层输出的三个权重矩阵输入所述反投影模型；获得所述反投影模型输出的3维特征向量，作为所述车身在水平方向360度范围的3维特征向量，其中，所述反投影模型包括多个第一卷积层，各第一卷积层用以执行卷积和批归一化操作。5.如权利要求1所述的多相机感知识别方法，其特征在于，所述多任务预测模型包括用于对所述车身在水平方向360度范围的3维特征向量进行特征提取的主干网络，以及连接于所述主干网络分别预测多个隧道道路对象的分支网络。6.如权利要求1所述的多相机感知识别方法，其特征在于，所述按预测时间...
【专利技术属性】
技术研发人员：谭黎敏，赵钊，张大鹏，
申请(专利权)人：上海西井信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。