视差计算方法、双目视觉系统和农用无人机技术方案

本申请提供了一种视差计算方法、双目视觉系统和农用无人机，该方法包括：对双目相机中左目采集的第一图像进行特征提取，得到第一特征向量且对双目相机中右目采集的第二图像进行特征提取，得到第二特征向量；根据第一特征向量和/或第二特征向量，确定查询向量、键值向量和权值向量；通过查询向量和键值向量矩阵相乘后的结果构造softmax函数，得到像素之间的注意力权重；将注意力权重和权值向量矩阵相乘，得到像素之间的注意力；根据像素之间的注意力，确定第一图像和第二图像上每个像素的视差。本申请实施例中，通过sigmoid函数构造的softmax函数，有助于实现transformer在嵌入式NPU中的部署。NPU中的部署。NPU中的部署。

【技术实现步骤摘要】
视差计算方法、双目视觉系统和农用无人机


[0001]本申请涉及农用无人机
，更具体地，涉及一种视差计算方法、双目视觉系统和农用无人机。

技术介绍

[0002]在计算机视觉领域中，由于双目深度估计能够重建三维(3
‑
dimension，3D)信息，因此具有广泛的应用前景及研究意义。双目视觉的基本原理是利用两个平行的摄像头进行拍摄，根据左右两幅相机图像之间对应像素位置的差异(视差)能够计算出深度信息并用于重建三维场景。视差计算中关键的一环是转换器(transformer)，当前transformer中使用的传统softmax函数无法实现transformer在嵌入式NPU中的部署。

技术实现思路

[0003]本申请提供一种视差计算方法、双目视觉系统和农用无人机，通过sigmoid函数构造的softmax函数，有助于实现transformer在嵌入式NPU中的部署。
[0004]第一方面，提供了一种视差计算方法，该方法包括：获取双目相机中左目采集的第一图像和右目采集的第二图像；对该第一图像进行特征提取，得到第一特征向量且对该第二图像进行特征提取，得到第二特征向量；根据该第一特征向量和/或该第二特征向量，确定查询向量Q、键值向量K和权值向量V；将该查询向量Q和该键值向量K矩阵相乘后的结果输入如下softmax函数，得到像素之间的注意力权重：
[0005][0006]其中，i表示像素的位置，j的取值范围为[1，c]，c为通道数；将该注意力权重和该权值向量V矩阵相乘，得到该像素之间的注意力；根据该像素之间的注意力，确定该第一图像和该第二图像上每个像素的视差。
[0007]基于上述技术方案，由于大多数的嵌入式计算平台中神经网络处理器(neural networkprocessing，NPU)加速softmax，使用构造的softmax函数可以通过NPU加速，以完成transformer在嵌入式NPU中的部署。
[0008]以上像素之间的注意力权重可以包括第一图像上像素之间的注意力权重，第二图像上像素之间的注意力权重，或者，第一图像和第二图像上像素之间的注意力权重。
[0009]结合第一方面，在第一方面的某些实现方式中，根据该第一特征向量和该第二特征向量，确定查询向量Q、键值向量K和权值向量V，包括：根据该第一特征向量中位于宽度W和/或高度H方向上的特征向量，确定该查询向量Q、该键值向量K和该权值向量V；或者，根据该第二特征向量中位于宽度W和/或高度H方向上的特征向量，确定该查询向量Q、该键值向
量K和该权值向量V；或者，根据该第一特征向量中位于宽度W方向上的特征向量和该第二特征向量中位于宽度W方向上的特征向量，确定该查询向量Q、该键值向量K和该权值向量V；或者，根据该第一特征向量中位于高度H方向上的特征向量和该第二特征向量中位于高度H方向上的特征向量，确定该查询向量Q、该键值向量K和该权值向量V。
[0010]基于上述技术方案，通过交替在H和W方向上进行注意力机制计算，有助于在不损失精度的同时降低计算复杂度，从而有助于在嵌入式端的应用。
[0011]结合第一方面，在第一方面的某些实现方式中，该根据该像素之间的注意力，确定该第一图像和该第二图像上每个像素的视差，包括：根据该像素值之间的注意力，进行匹配代价计算、代价聚合、视差计算以及视差优化后，得到该每个像素的视差。
[0012]第二方面，提供了一种双目视觉系统，该双目视觉系统包括：双目相机，用于通过左目采集第一图像且通过右目采集第二图像；该双目相机，用于向处理器发送该第一图像和该第二图像；该处理器，用于对该第一图像进行特征提取，得到第一特征向量且对该第二图像进行特征提取，得到第二特征向量；该处理器，还用于根据该第一特征向量和/或该第二特征向量，确定查询向量Q、键值向量K和权值向量V；该处理器，还用于将该查询向量Q和该键值向量K矩阵相乘后的结果输入如下softmax函数，得到像素之间的注意力权重；
[0013][0014]其中，i表示像素的位置，j的取值范围为[1，c]，c为通道数；该处理器，还用于将该注意力权重和该权值向量V矩阵相乘，得到该像素之间的注意力；该处理器，还用于根据该像素之间的注意力，确定该第一图像和该第二图像上每个像素的视差。
[0015]结合第二方面，在第二方面的某些实现方式中，该处理器，用于：根据该第一特征向量中位于宽度W和/或高度H方向上的特征向量，确定该查询向量Q、该键值向量K和该权值向量V；或者，根据该第二特征向量中位于宽度W和/或高度H方向上的特征向量，确定该查询向量Q、该键值向量K和该权值向量V；或者，根据该第一特征向量中位于宽度W方向上的特征向量和该第二特征向量中位于宽度W方向上的特征向量，确定该查询向量Q、该键值向量K和该权值向量V；或者，根据该第一特征向量中位于高度H方向上的特征向量和该第二特征向量中位于高度H方向上的特征向量，确定该查询向量Q、该键值向量K和该权值向量V。
[0016]结合第二方面，在第二方面的某些实现方式中，该处理器，用于：根据该像素值之间的注意力，进行匹配代价计算、代价聚合、视差计算以及视差优化后，得到该每个像素的视差。
[0017]第三方面，提供了一种农用无人机，该农用无人机包括：存储器，用于存储计算机指令；处理器，用于执行该存储器中存储的计算机指令，以使得该装置执行上述第一方面中任一项所述的方法。
[0018]第四方面，提供了一种农用无人机，该农用无人机包括上述第二方面中任一项所述的双目视觉系统。
[0019]第五方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序代
码，当所述计算机程序代码在计算机上运行时，使得计算机执行上述第一方面中任一项所述的方法。
[0020]上述计算机程序代码可以全部或者部分存储在第一存储介质上，其中第一存储介质可以与处理器封装在一起的，也可以与处理器单独封装，本申请实施例对此不作具体限定。
[0021]第六方面，提供了一种计算机可读介质，所述计算机可读介质存储有程序代码，当所述计算机程序代码在计算机上运行时，使得计算机执行上述第一方面中任一项所述的方法。
[0022]第七方面，提供了一种芯片，该芯片包括电路，该电路用于执行上述第一方面中任一项所述的方法。
附图说明
[0023]图1是本申请实施例提供的双目视觉系统的示意性框图。
[0024]图2是本申请实施例提供的视差计算方法的示意性流程图。
[0025]图3是本申请实施例提供的注意力机制的示意图。
[0026]图4是本申请实施例提供的H方向和W方向注意力机制的示意图。
[0027]图5是本申请实施例提供的网络结构的示意图。
[0028]图6是本申请实施例提供的视差优化后的视差预测结果的示意图。
具体实施方式
[0029]在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视差计算方法，其特征在于，包括：获取双目相机中左目采集的第一图像和右目采集的第二图像；对所述第一图像进行特征提取，得到第一特征向量且对所述第二图像进行特征提取，得到第二特征向量；根据所述第一特征向量和/或所述第二特征向量，确定查询向量Q、键值向量K和权值向量V；将所述查询向量Q和所述键值向量K矩阵相乘后的结果输入如下softmax函数，得到像素之间的注意力权重：其中，i表示像素的位置，j的取值范围为[1，c]，c为通道数；将所述注意力权重和所述权值向量V矩阵相乘，得到所述像素之间的注意力；根据所述像素之间的注意力，确定所述第一图像和所述第二图像上每个像素的视差。2.根据权利要求1所述的方法，其特征在于，根据所述第一特征向量和/或所述第二特征向量，确定查询向量Q、键值向量K和权值向量V，包括：根据所述第一特征向量中位于宽度W和/或高度H方向上的特征向量，确定所述查询向量Q、所述键值向量K和所述权值向量V；或者，根据所述第二特征向量中位于宽度W和/或高度H方向上的特征向量，确定所述查询向量Q、所述键值向量K和所述权值向量V；或者，根据所述第一特征向量中位于宽度W方向上的特征向量和所述第二特征向量中位于宽度W方向上的特征向量，确定所述查询向量Q、所述键值向量K和所述权值向量V；或者，根据所述第一特征向量中位于高度H方向上的特征向量和所述第二特征向量中位于高度H方向上的特征向量，确定所述查询向量Q、所述键值向量K和所述权值向量V。3.根据权利要求1或2所述的方法，其特征在于，所述根据所述像素之间的注意力，确定所述第一图像和所述第二图像上每个像素的视差，包括：根据所述像素值之间的注意力，进行匹配代价计算、代价聚合、视差计算以及视差优化后，得到所述每个像素的视差。4.一种视双目视觉系统，其特征在于，包括：双目相机，用于通过左目采集第一图像且...

【专利技术属性】
技术研发人员：常志中，陈启东，
申请(专利权)人：黑龙江惠达科技股份有限公司，
类型：发明
国别省市：