本发明专利技术涉及一种基于神经网络的双目测距方法、装置及存储介质，对左目图像和右目图像的多个第一目标进行标注，每个第一目标包含第一目标序列信息，将左目图像和右目图像进行同步和校准，输入至神经网络编码器中；针对输入的左目图像和右目图像，所述神经网络编码器相应输出多个第二目标，每个第二目标包含第二目标序列信息；将所述多个第一目标序列和多个第二目标序列输入至神经网络解码器，将多个第一目标和多个第二目标进行目标匹配，并计算目标深度估计误差。本发明专利技术能够有效提高双目图像的匹配效率。匹配效率。
【技术实现步骤摘要】
基于神经网络的双目测距方法、装置及存储介质
[0001]本专利技术涉及一种基于神经网络的双目测距方法、装置及存储介质。
技术介绍
[0002]现有技术中，利用神经网络对双目图像进行匹配训练，基于对全图匹配，计算量大，影响匹配效率。
技术实现思路
[0003]本专利技术的专利技术目的在于提供一种基于神经网络的双目测距方法、装置及存储介质，能够有效提高双目图像的匹配效率。
[0004]基于同一专利技术构思，本专利技术具有三个独立的技术方案：
[0005]1、一种基于神经网络的双目测距方法，其特征在于，包括如下步骤：
[0006]步骤1：对左目图像和右目图像的多个第一目标进行标注，每个第一目标包含第一目标序列信息，将左目图像和右目图像进行同步和校准，输入至神经网络编码器中；
[0007]步骤2：针对输入的左目图像和右目图像，所述神经网络编码器相应输出多个第二目标，每个第二目标包含第二目标序列信息；
[0008]步骤3：将所述多个第一目标序列和多个第二目标序列输入至神经网络解码器，将多个第一目标和多个第二目标进行目标匹配，并计算目标深度估计误差。
[0009]进一步地，所述第一目标序列包括：目标类别、目标矩形框、目标的特征向量、目标间接深度值、目标的长宽高、目标的标注特征点。
[0010]进一步地，所述第二目标序列包括：目标存在概率、目标类别概率、目标矩形框、目标间接深度值、目标的长宽高、目标的关联特征点。
[0011]进一步地，步骤3中，将多个第一目标和多个第二目标进行目标匹配，通过如下方法实现，
[0012]步骤3.1：对多个第二目标，按照目标存在概率由大至小排列；
[0013]步骤3.2：将多个第一目标与排序后的多个第二目标逐一进行匹配，针对每个第一目标，将目标矩形框交并比最大的第二目标，作为该第一目标的匹配目标。
[0014]进一步地，包括步骤3.3：计算每个匹配目标的匹配代价，所述匹配代价包括矩形框的中心点距离误差、矩形框的长宽高误差、特征点的距离误差、目标的长宽高误差、间接深度误差。
[0015]进一步地，步骤3中，将多个第一目标和多个第二目标进行目标匹配，通过如下方法实现，
[0016]针对第一目标和第二目标，计算目标特征向量余弦相似度；针对每个第一目标，将余弦相似度最大的第二目标，作为该第一目标的匹配目标。
[0017]进一步地，步骤3中，通过如下方法计算目标深度估计误差，
[0018]针对第一目标，根据特征点位置、目标间接深度值，计算特征点的真实深度；
[0019]针对该第一目标的匹配目标，将第一目标的特征点与匹配目标的特征点按次序匹配，计算匹配目标特征点的估计深度；
[0020]计算所述真实深度与估计深度之间的差值。
[0021]进一步地，根据真实深度与估计深度之间的差值，加权获得神经网络的深度损失；根据深度损失，对神经网络进行训练。
[0022]2、一种基于神经网络的双目测距装置，用于执行上述的方法。
[0023]3、一种存储介质，存储介质上存储有计算机程序，该程序被处理器执行时实现上述的方法。
[0024]本专利技术具有的有益效果：
[0025]本专利技术只对双目图像中目标的深度进行估计，通过目标特征点对估计的深度进行约束保证，不需全图匹配，大大减少计算量，有效提高基于神经网络的双目图像匹配效率，保证匹配准确度。
[0026]本专利技术在对目标进行深度估计的时候，对于远距离，无法有效采集ground truth的场景也能通过双目的约束得到一个可靠的深度值；对于仅有单目图像的情况，本专利技术也能稳定的估计得到一个深度值。本专利技术能够有效避免目标区域无纹理或者弱纹理时，错误估计深度的情况，保证匹配准确度。
具体实施方式
[0027]下面结合各实施方式对本专利技术进行详细说明，但应当说明的是，这些实施方式并非对本专利技术的限制，本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代，均属于本专利技术的保护范围之内。
[0028]实施例一：
[0029]基于神经网络的双目测距方法
[0030]包括如下步骤：
[0031]步骤1：对左目图像和右目图像的多个第一目标进行标注，每个第一目标包含第一目标序列信息，将左目图像和右目图像进行同步和校准，输入至神经网络编码器中。
[0032]所述第一目标序列包括：目标类别、目标矩形框、目标的特征向量、目标间接深度值、目标的长宽高、目标的标注特征点。
[0033]步骤2：针对输入的左目图像和右目图像，所述神经网络编码器相应输出多个第二目标，每个第二目标包含第二目标序列信息。
[0034]所述第二目标序列包括：目标存在概率、目标类别概率、目标矩形框、目标间接深度值、目标的长宽高、目标的关联特征点。
[0035]步骤3：将所述多个第一目标序列和多个第二目标序列输入至神经网络解码器，将多个第一目标和多个第二目标进行目标匹配，并计算目标深度估计误差。
[0036]步骤3中，将多个第一目标和多个第二目标进行目标匹配，通过如下方法实现，
[0037]步骤3.1：对多个第二目标，按照目标存在概率由大至小排列；
[0038]步骤3.2：将多个第一目标与排序后的多个第二目标逐一进行匹配，针对每个第一目标，将目标矩形框交并比最大的第二目标，作为该第一目标的匹配目标。
[0039]步骤3.3：计算每个匹配目标的匹配代价，所述匹配代价包括矩形框的中心点距离
误差、矩形框的长宽高误差、特征点的距离误差、目标的长宽高误差、间接深度误差。
[0040]步骤3中，将多个第一目标和多个第二目标进行目标匹配，还可通过如下方法实现，
[0041]针对第一目标和第二目标，计算目标特征向量余弦相似度；针对每个第一目标，将余弦相似度最大的第二目标，作为该第一目标的匹配目标。
[0042]步骤3中，通过如下方法计算目标深度估计误差，
[0043]针对第一目标，根据特征点位置、目标间接深度值，计算特征点的真实深度；
[0044]针对该第一目标的匹配目标，将第一目标的特征点与匹配目标的特征点按次序匹配，计算匹配目标特征点的估计深度；
[0045]计算所述真实深度与估计深度之间的差值。
[0046]根据真实深度与估计深度之间的差值，加权获得神经网络的深度损失；根据深度损失，对神经网络进行训练。
[0047]实施例二：
[0048]基于神经网络的双目测距装置
[0049]所述双目测距装置用于执行实施例一所述的方法。
[0050]实施例三：
[0051]存储介质
[0052]存储介质上存储有计算机程序，该程序被处理器执行时实现实施例一所述的方法。
[0053]上文所列出的一系列的详细说明仅仅是针对本专利技术的可行性实施方式的具体说明，它们并非用以限制本专利技术的保护范围，本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于神经网络的双目测距方法，其特征在于，包括如下步骤：步骤1：对左目图像和右目图像的多个第一目标进行标注，每个第一目标包含第一目标序列信息，将左目图像和右目图像进行同步和校准，输入至神经网络编码器中；步骤2：针对输入的左目图像和右目图像，所述神经网络编码器相应输出多个第二目标，每个第二目标包含第二目标序列信息；步骤3：将所述多个第一目标序列和多个第二目标序列输入至神经网络解码器，将多个第一目标和多个第二目标进行目标匹配，并计算目标深度估计误差。2.根据权利要求1所述的基于神经网络的双目测距方法，其特征在于：所述第一目标序列包括：目标类别、目标矩形框、目标的特征向量、目标间接深度值、目标的长宽高、目标的标注特征点。3.根据权利要求2所述的基于神经网络的双目测距方法，其特征在于：所述第二目标序列包括：目标存在概率、目标类别概率、目标矩形框、目标间接深度值、目标的长宽高、目标的关联特征点。4.根据权利要求3所述的基于神经网络的双目测距方法，其特征在于：步骤3中，将多个第一目标和多个第二目标进行目标匹配，通过如下方法实现，步骤3.1：对多个第二目标，按照目标存在概率由大至小排列；步骤3.2：将多个第一目标与排序后的多个第二目标逐一进行匹配，针对每个第一目标，将目标矩形框交并比最大的第二目标，作为该第一目标的匹配目标。5.根据权利要求...
【专利技术属性】
技术研发人员：陈安，江志浩，童珣，郭立鹏，
申请(专利权)人：苏州智加科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。