使用超声深度感测的光流成像系统以及方法技术方案

一种光流成像系统，具有用于生成包括深度数据的图像的超声阵列，以及用于制造与使用该系统的方法。所述光流成像系统包括设置在外壳上的超声传感器阵列，所述超声传感器阵列包括超声发射器和多个超声传感器。所述光流成像系统还包括设置在所述外壳上与所述超声传感器位于平行平面上且可操作地连接至所述超声传感器的红绿蓝(RGB)相机组件。因此，所述光流成像系统有利地相较于常规系统在广泛的光照条件下使成像改进。

【技术实现步骤摘要】
【国外来华专利技术】使用超声深度感测的光流成像系统以及方法
本公开通常涉及数字成像、计算机视觉以及超声感测，且更具体地但不排他地，涉及光流成像系统以及方法。
技术介绍
红、绿、蓝加深度(RGB-D)相机是能产生三维图像(平面二维图像加上深度图图像)的相机。常规RGB-D相机具有两种不同的传感器群组。群组之一包括光接收传感器(诸如RGB相机)，所述光接收传感器用于接收环境图像，所述环境图像常规地采用三种颜色：R(红色)、G(绿色)和B(蓝色)的各自强度值来表示。另一传感器群组包括红外激光或结构化光传感器，用于检测被观察物体的距离(或深度)(D)以及获取深度图图像。所述RGB-D相机的应用包括空间成像、姿势识别、距离检测以及类似应用。一种类型的RGB-D相机应用红外光源用于成像(例如，MicrosoftKinect)。这样的相机具有光源，所述光源能发射具有特定空间结构的红外光。另外，这样的相机配备有镜头和用于接收红外光的滤波芯片。所述相机的内部处理器计算所接收到的红外光的结构，且通过光结构的变化，所述处理器感知到所述物体的结构和距离信息。常规的RGB-D相机，诸如MicrosoftKinect，利用红外光检测方法获取深度信息。但是，所述基于红外光检测的方法，在室外设置中，特别是针对被太阳光照射的物体，效果不佳，因为太阳光光谱具有强红外特征，其可以掩盖从检测器发射的红外光。一些红外光检测器试着通过增加其功率(例如，通过激光，或通过增加光源强度)来解决这种问题。但是，这种方法因为其需要极大的功耗，因此是不期望的。光流是视觉场景中的物体、表面以及边缘因相机与所述场景之间的相对运动引起的视运动的模式。常规的光流仅能比较相对于像素域的移动，且没有用于真实世界的距离和速度。因此，常规的光流系统和方法不适用于真实世界环境的稳健应用，包括诸如无人飞行器(UAV)或其他载运工具等移动平台的导航。综上所述，需要提供一种改进的光流成像系统以及方法，以克服上常规光流成像系统的所述障碍以及缺陷。
技术实现思路
一方面包括一种用于确定物理空间中的光流的方法，包括确定物理空间中的多个特殊特征点的光流速度，其中所述特殊特征点在RGB图像数据中识别，以及其中与所述特殊特征点相关联的深度数据用于获取物理空间中的单位。在一个实施方式中，所述RGB图像数据通过RGB相机获取。在另一实施方式中，所述深度数据通过超声传感器阵列获取。在进一步的实施方式中，所述方法还包括使用RGB相机组件和第一超声阵列生成第一RGB-D图像。在更进一步的实施方式中，所述方法还包括识别所述第一RGB-D图像的RGB部分中的多个特殊兴趣点。在一个实施方式中，所述方法还包括使用RGB相机组件和所述第一超声阵列生成第二RGB-D图像。在另一实施方式中，所述方法还包括通过比较所述第一和第二RGB-D图像的RGB部分以确定所述特殊特征点的一部分的像素速度。在进一步的实施方式中，所述方法还包括使用所述第一和第二RGB-D图像中的深度数据转换所述特殊特征点的一部分的所确定的像素速度至物理空间中的速度。在又一实施方式中，所述方法还包括使用所述RGB相机组件和所述第一超声阵列生成第三RGB-D图像。在一个实施方式中，所述方法进一步包括通过比较第二和第三RGB-D图像的RGB部分以确定所述特殊特征点的一部分的像素速度。在另一实施方式中，所述方法还包括使用所述第二和第三RGB-D图像的深度数据转换所述特殊特征点的一部分的所确定的像素速度至物理空间中的速度。在一个实施方式中，所述方法还包括从RGB相机组件接收所述RGB图像数据；从第一超声阵列接收对应于所述RGB图像数据的第一部分的第一深度图数据集；从第二超声阵列接收对应于所述RGB图像数据的第二部分的第二深度图数据集；以及组合所述相对应的深度图数据集以及RGB图像数据以生成第一RGB-D图像。在另一实施方式中，所述方法包括对齐所述RGB图像数据和所述第一和第二深度图数据集。在进一步的实施方式中，所述方法还包括剪切所述第一和第二深度图数据集。在更进一步的实施方式中，所述剪切所述第一和第二深度图数据集包括剪切所述第一深度图数据集中与所述RGB图像数据不对应的第一部分以及剪切所述第二深度图数据集中与所述RGB图像数据不对应的第二部分。在一个实施方式中，所述方法还包括通过波束成形处理从所述超声阵列接收到的深度图数据。在另一实施方式中，所述第一和第二深度图数据集具有低于所述RGB图像数据的分辨率的分辨率。在进一步的实施方式中，所述方法还包括上采样所述深度图数据至较高分辨率，所述较高分辨率等于所述RGB图像数据的分辨率。在更进一步的实施方式中，所述方法包括使用加速分割检测特征(FAST)算法用于RGB数据中的拐角检测。在一个实施方式中，所述方法还包括使用二进制稳健独立基本特征(BRIEF)算法以识别所述RGB数据的特征描述符。另一方面包括一种用于确定物理空间中的光流的系统，其中所述系统实施以上所讨论的任一种方法。进一步的方面包括用于确定物理空间中的光流的计算机程序产品，所述计算机程序产品被编码于一个或多个机器可读存储介质上且包括用于执行以上所讨论任一方法的指令。更进一步的方面包括计算机程序产品，其中以上所述的确定物理空间中的光流的方法提供作为系列指令存储在非暂时性存储介质中。一方面包括用于确定物理空间中的光流的计算机程序产品，所述计算机程序产品被编码于非暂时性机器可读存储介质上且具有用于生成第一RGB-D图像的指令，用于识别所述第一RGB-D图像的RGB部分中的多个特殊兴趣点的指令；用于生成第二RGB-D图像的指令；用于通过比较第一和第二RGB-D图像的RGB部分以确定所述特殊特征点的一部分的像素速度的指令；以及用于使用所述第一和第二RGB-D图像的深度数据转换特殊特征点的一部分的所确定的像素速度至物理空间中的速度的指令。另一方面包括光流成像系统，所述光流成像系统包括：第一超声传感器阵列；红绿蓝(RGB)相机；以及处理模块，所述处理模块用于确定物理空间中的多个特殊特征点的光流速度，其中所述特殊特征点在RGB图像数据中识别，以及其中与所述特殊特征点相关联的深度数据用于获取物理空间中的单位。进一步的方面包括光流成像系统，所述光流成像系统包括：外壳；深度传感器；设置在所述外壳上且可操作地连接至所述第一超声传感器阵列的红绿蓝(RGB)相机组件，所述RGB相机包括光敏成像芯片和镜头；以及处理模块，所述处理模块配置用于确定物理空间中的多个特殊特征点的光流速度，其中所述特殊特征点在所述RGB图像数据中识别，以及其中与所述特殊特征点相关联的深度数据用于获取物理空间中的单位。在一个实施方式中，所述深度传感器包括第一超声传感器阵列，所述第一超声传感器阵列具有超声发射器和多个超声传感器。在另一实施方式中，所述第一超声传感器阵列可设置在外壳上。在一个实施方式中，所述第一超声阵列和所述光敏成像芯片设置在所述外壳上的平行平面中。在另一实施方式中，所述第一超声传感器阵列和光敏成像芯片设置在所述外壳上的平行平面中，距离10cm或更少。在进一步的实施方式中，所述超声传感器以具有行和列的矩阵配置设置在基板上，以及所述超声发射器设置在矩阵配置内的行与列之间。更进一步的实施方式包括设置在所述外壳内且可操本文档来自技高网...

【技术保护点】
一种确定物理空间中的光流的方法，其包括：确定物理空间中的多个特殊特征点的光流速度，其中所述特殊特征点在RGB图像数据中识别，以及其中与所述特殊特征点相关联的深度数据用于获取物理空间中的单位。

【技术特征摘要】
【国外来华专利技术】1.一种确定物理空间中的光流的方法，其包括：确定物理空间中的多个特殊特征点的光流速度，其中所述特殊特征点在RGB图像数据中识别，以及其中与所述特殊特征点相关联的深度数据用于获取物理空间中的单位。2.如权利要求1所述的方法，其中所述深度数据指示所述特殊特征点中每个的各自距离值。3.如权利要求1或权利要求2所述的方法，其中所述确定物理空间中的光流速度包括：确定每一特殊特征点的像素速率；以及使用所述深度数据以及所述像素速率确定每一特殊特征点的物理速率。4.如权利要求1至3中任一项所述的方法，其进一步包括：使用与在所述RGB图像数据中描绘的物理物体相关联的一个或多个特殊特征点的所确定的物理速率确定所述物理物体的速率。5.如权利要求1至4中任一项所述的方法，其中所述RGB图像数据通过RGB相机获取。6.如权利要求1-5中任一项所述的方法，其中所述深度数据通过距离传感器获取。7.如权利要求1-6中任一项所述的方法，其进一步包括使用RGB相机组件以及第一超声阵列生成第一RGB-D图像。8.如权利要求7所述的方法，其进一步包括识别所述第一RGB-D图像的RGB部分中的所述多个特殊特征点。9.如权利要求8所述的方法，其进一步包括使用所述RGB相机组件以及所述第一超声阵列生成第二RGB-D图像。10.如权利要求9所述的方法，其进一步包括通过比较所述第一和第二RGB-D图像的所述RGB部分确定所述特殊特征点的一部分的像素速度。11.如权利要求10所述的方法，其进一步包括使用所述第一和第二RGB-D图像的深度数据转换所述特殊特征点的所述部分的所确定的像素速度至物理空间中的速度。12.如权利要求1-11中任一项所述的方法，其进一步包括对齐所述RGB图像数据与所述深度数据。13.如权利要求1-12中任一项所述的方法，其进一步包括剪切所述深度数据。14.如权利要求13所述的方法，其中所述剪切所述深度数据包括剪切所述深度数据中与所述RGB图像数据不对应的第一部分。15.如权利要求1-14中任一项所述的方法，其进一步包括：从RGB相机组件接收RGB图像数据；从第一超声阵列接收与所述RGB图像数据的第一部分相对应的第一深度图数据集；从第二超声阵列接收与所述RGB图像数据的第二部分相对应的第二深度图数据集；以及组合所述相对应的深度图数据集与RGB图像数据以生成第一RGB-D图像。16.如权利要求15所述的方法，其进一步包括对齐所述RGB图像数据以及所述第一和第二深度图数据集。17.如权利要求15或权利要求16所述的方法，其进一步包括剪切所述第一和第二深度图数据集。18.如权利要求17所述的方法，其中所述剪切所述第一和第二深度图数据集包括剪切所述第一深度图数据集中与所述RGB图像数据不对应的第一部分和剪切所述第二深度图数据集中与所述RGB图像数据不对应的第二部分。19.如权利要求18所述的方法，其进一步包括通过波束成形处理从所述超声阵列接收到的深度图数据。20.如权利要求19所述的方法，其中所述第一和第二深度图数据集具有低于所述RGB图像数据的分辨率的分辨率。21.如权利要求1-20中任一项所述的方法，其进一步包括上采样所述深度图数据至较高分辨率，所述较高分辨率与所述RGB图像数据的所述分辨率相等。22.如权利要求1-21中任一项所述的方法，其进一步包括使用加速分割检测特征(FAST)算法用于所述RGB数据中的拐角检测以识别所述特殊特征点中的一个或多个。23.如权利要求1-22中任一项所述的方法，其进一步包括使用二进制稳健独立基本特征(BRIEF)算法识别所述RGB数据中与所述特殊特征点中的一个或多个相关联的特征描述符。24.一种用于确定物理空间中的光流的计算机程序产品，所述计算机程序产品被编码于非暂时性机器可读存储介质上且包括：用于生成第一RGB-D图像的指令；用于识别所述第一RGB-D图像的RGB部分中的多个特殊特征点的指令；用于生成第二RGB-D图像的指令；用于通过比较所述第一和第二RGB-D图像的所述RGB部分确定所述特殊特征点的一部分的像素速度的指令；以及用于使用所述第一和第二RGB-D图像的深度数据转换所述特殊特征点的所述部分的所确定的像素速度至物理空间中的速度的指令。25.一种光流成像系统，其包括：第一超声传感器阵列；红绿蓝(RGB)相机；以及处理模块，所述处理模块用于确定多个特殊特征点在物理空间中的光流速度，其中所述特殊特征点在RGB图像数据中识别，以及其中与所述特殊特征点相关联的深度数据用于获取物理空间中的单位。26.一种光流成像系统，其包括：距离传感器；红绿蓝(RGB)相机组件，所述RGB相机组件可操作地连接至所述第一超声传感器阵列，所述RGB相机包括：光敏成像芯片；以及镜头；以及处理模块，所述处理模块配置用于确定物理空间中多个特殊特征点的光流速度，其中所述特殊特征点在RGB图像数据中识别，以及其中与所述特殊特征点相关联的深度数据用于获取物理空间中的单位。27.如权利要求26所述的光流成像系统，其进一步包括外壳，以及其中所述距离传感器和所述RGB相机组件设置于所述外壳上。28.如权利要求26或27所述的光流成像系统，其中所述距离传感器和所述光敏成像芯片设置于所述外壳上的平行平面中。29.如权利要求26-28中任一项所述的光流成像系统，其中所述距离传感器以及光敏成像芯片设置于所述外壳上的平行平面中，距离10厘米或更少。30.如权利要求26-29中任一项所述...

【专利技术属性】
技术研发人员：谢捷斌，臧波，任伟，周谷越，
申请(专利权)人：深圳市大疆创新科技有限公司，
类型：发明
国别省市：广东,44