机器人视觉图像的特征提取方法、装置、机器人及介质制造方法及图纸

本发明专利技术属于机器人技术领域，尤其涉及一种机器人视觉图像的特征提取方法、装置、机器人及计算机可读存储介质。所述方法包括：通过预设在机器人上的视觉传感器采集图像数据，并通过预设在所述机器人上的惯性传感器采集角速度数据；根据所述角速度数据计算所述图像数据中的各帧图像之间的相对位姿；提取所述图像数据中的第1帧图像的各个特征点；根据第k帧图像与第k+1帧图像之间的相对位姿计算所述第k帧图像的各个特征点在所述第k+1帧图像中的投影位置；在所述第k+1帧图像中的投影位置搜索各个特征点，并根据搜索到的特征点进行同步定位与建图。通过本发明专利技术，达到了剔除动态物体特征点的目的，大大提高了视觉SLAM的稳定性和定位精度。

【技术实现步骤摘要】
机器人视觉图像的特征提取方法、装置、机器人及介质
本专利技术属于机器人
，尤其涉及一种机器人视觉图像的特征提取方法、装置、机器人及计算机可读存储介质。
技术介绍
目前对于机器人定位导航方案，虽然基于激光的同步定位与建图(SimultaneousLocalizationAndMapping，SLAM)技术使用较成熟，但是基于视觉的SLAM也有一定的优势，二者有互相融合的趋势和潜力。尤其在三维场景定位下，视觉SLAM所用传感器相比激光传感器价格低很多，且重量轻，可以用于无人机等有苛刻要求的产品中。但是，视觉SLAM对于动态物体的鲁棒性略低，当动态物体相比于静态物体的比例较大时，视觉SLAM的定位信息会产生严重的抖动，定位信息被动态物体带偏离了，导致稳定性较差、定位精度较低。
技术实现思路
有鉴于此，本专利技术实施例提供了一种机器人视觉图像的特征提取方法、装置、机器人及计算机可读存储介质，以解决现有的视觉SLAM技术对于动态物体的鲁棒性略低，导致稳定性较差、定位精度较低的问题。本专利技术实施例的第一方面提供了一种机器人视觉图像的特征提取方法，可以包括：通过预设在机器人上的视觉传感器采集图像数据，并通过预设在所述机器人上的惯性传感器采集角速度数据；根据所述角速度数据计算所述图像数据中的各帧图像之间的相对位姿；提取所述图像数据中的第1帧图像的各个特征点；根据第k帧图像与第k+1帧图像之间的相对位姿计算所述第k帧图像的各个特征点在所述第k+1帧图像中的投影位置，其中，k≥1；在所述第k+1帧图像中的投影位置搜索各个特征点，并根据搜索到的特征点进行同步定位与建图。进一步地，所述根据所述角速度数据计算所述图像数据中的各帧图像之间的相对位姿包括：选取在第一时刻与第二时刻之间采集的第k组角速度数据，所述第一时刻为采集所述第k帧图像的时刻，所述第二时刻为采集所述第k+1帧图像的时刻；对所述第k组角速度数据进行积分计算，得到所述第k帧图像与所述第k+1帧图像之间的相对位姿。进一步地，所述根据第k帧图像与第k+1帧图像之间的相对位姿计算所述第k帧图像的各个特征点在所述第k+1帧图像中的投影位置包括：将所述第k帧图像的各个特征点的二维坐标转换为三维坐标；根据所述第k帧图像与所述第k+1帧图像之间的相对位姿对所述第k帧图像的各个特征点的三维坐标进行旋转矩阵变换，得到所述第k帧图像的各个特征点投影在所述第k+1帧图像坐标系中的三维坐标；将所述第k帧图像的各个特征点投影在所述第k+1帧图像坐标系中的三维坐标转换为二维坐标。进一步地，在将所述第k帧图像的各个特征点投影在所述第k+1帧图像坐标系中的三维坐标转换为二维坐标之前，还包括：对所述第k帧图像的各个特征点投影在所述第k+1帧图像坐标系中的三维坐标进行归一化处理，得到归一化的三维坐标；根据所述视觉传感器的内参矩阵对所述归一化的三维坐标进行调整，得到调整后的三维坐标。进一步地，在所述第k+1帧图像中的投影位置搜索各个特征点之后，还包括：统计第一特征点的数目，所述第一特征点为在所述第k+1帧图像中的投影位置搜索到的特征点；若所述第一特征点的数目小于预设的阈值，则计算所述阈值与所述第一特征点的数目之间的差值；在所述第k+1帧图像中提取L个第二特征点，L为所述阈值与所述第一特征点的数目之间的差值，所述第二特征点为在所述第k+1帧图像中与所述第一特征点不同的特征点。本专利技术实施例的第二方面提供了一种机器人视觉图像的特征提取装置，可以包括：数据采集模块，用于通过预设在机器人上的视觉传感器采集图像数据，并通过预设在所述机器人上的惯性传感器采集角速度数据；位姿计算模块，用于根据所述角速度数据计算所述图像数据中的各帧图像之间的相对位姿；特征点提取模块，用于提取所述图像数据中的第1帧图像的各个特征点；投影位置计算模块，用于根据第k帧图像与第k+1帧图像之间的相对位姿计算所述第k帧图像的各个特征点在所述第k+1帧图像中的投影位置，其中，k≥1；特征点搜索模块，用于在所述第k+1帧图像中的投影位置搜索各个特征点，并根据搜索到的特征点进行同步定位与建图。进一步地，所述位姿计算模块可以包括：角速度数据选取单元，用于选取在第一时刻与第二时刻之间采集的第k组角速度数据，所述第一时刻为采集所述第k帧图像的时刻，所述第二时刻为采集所述第k+1帧图像的时刻；积分计算单元，用于对所述第k组角速度数据进行积分计算，得到所述第k帧图像与所述第k+1帧图像之间的相对位姿。进一步地，所述投影位置计算模块可以包括：第一坐标转换单元，用于将所述第k帧图像的各个特征点的二维坐标转换为三维坐标；旋转矩阵变换单元，用于根据所述第k帧图像与所述第k+1帧图像之间的相对位姿对所述第k帧图像的各个特征点的三维坐标进行旋转矩阵变换，得到所述第k帧图像的各个特征点投影在所述第k+1帧图像坐标系中的三维坐标；第二坐标转换单元，用于将所述第k帧图像的各个特征点投影在所述第k+1帧图像坐标系中的三维坐标转换为二维坐标。进一步地，所述投影位置计算模块还可以包括：归一化处理单元，用于对所述第k帧图像的各个特征点投影在所述第k+1帧图像坐标系中的三维坐标进行归一化处理，得到归一化的三维坐标；坐标调整单元，用于根据所述视觉传感器的内参矩阵对所述归一化的三维坐标进行调整，得到调整后的三维坐标。进一步地，所述特征提取装置还可以包括：特征点统计模块，用于统计第一特征点的数目，所述第一特征点为在所述第k+1帧图像中的投影位置搜索到的特征点；差值计算模块，用于若所述第一特征点的数目小于预设的阈值，则计算所述阈值与所述第一特征点的数目之间的差值；第二特征点提取模块，用于在所述第k+1帧图像中提取L个第二特征点，L为所述阈值与所述第一特征点的数目之间的差值，所述第二特征点为在所述第k+1帧图像中与所述第一特征点不同的特征点。本专利技术实施例的第三方面提供了一种机器人，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现以上任一种特征提取方法的步骤。本专利技术实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现以上任一种特征提取方法的步骤。本专利技术实施例与现有技术相比存在的有益效果是：本专利技术实施例通过预设在机器人上的视觉传感器采集图像数据，并通过预设在所述机器人上的惯性传感器采集角速度数据，根据所述角速度数据计算所述图像数据中的各帧图像之间的相对位姿，然后，提取所述图像数据中的第1帧图像的各个特征点，以此为基准不断地进行迭代，根据上一帧图像与下一帧图像之间的相对位姿计算上一帧图像的各个特征点在下一帧图像中的投影位置，并在下一帧图像中的投影位置本文档来自技高网...

【技术保护点】
1.一种机器人视觉图像的特征提取方法，其特征在于，包括：/n通过预设在机器人上的视觉传感器采集图像数据，并通过预设在所述机器人上的惯性传感器采集角速度数据；/n根据所述角速度数据计算所述图像数据中的各帧图像之间的相对位姿；/n提取所述图像数据中的第1帧图像的各个特征点；/n根据第k帧图像与第k+1帧图像之间的相对位姿计算所述第k帧图像的各个特征点在所述第k+1帧图像中的投影位置，其中，k≥1；/n在所述第k+1帧图像中的投影位置搜索各个特征点，并根据搜索到的特征点进行同步定位与建图。/n

【技术特征摘要】
1.一种机器人视觉图像的特征提取方法，其特征在于，包括：
通过预设在机器人上的视觉传感器采集图像数据，并通过预设在所述机器人上的惯性传感器采集角速度数据；
根据所述角速度数据计算所述图像数据中的各帧图像之间的相对位姿；
提取所述图像数据中的第1帧图像的各个特征点；
根据第k帧图像与第k+1帧图像之间的相对位姿计算所述第k帧图像的各个特征点在所述第k+1帧图像中的投影位置，其中，k≥1；
在所述第k+1帧图像中的投影位置搜索各个特征点，并根据搜索到的特征点进行同步定位与建图。


2.根据权利要求1所述的特征提取方法，其特征在于，所述根据所述角速度数据计算所述图像数据中的各帧图像之间的相对位姿包括：
选取在第一时刻与第二时刻之间采集的第k组角速度数据，所述第一时刻为采集所述第k帧图像的时刻，所述第二时刻为采集所述第k+1帧图像的时刻；
对所述第k组角速度数据进行积分计算，得到所述第k帧图像与所述第k+1帧图像之间的相对位姿。


3.根据权利要求1所述的特征提取方法，其特征在于，所述根据第k帧图像与第k+1帧图像之间的相对位姿计算所述第k帧图像的各个特征点在所述第k+1帧图像中的投影位置包括：
将所述第k帧图像的各个特征点的二维坐标转换为三维坐标；
根据所述第k帧图像与所述第k+1帧图像之间的相对位姿对所述第k帧图像的各个特征点的三维坐标进行旋转矩阵变换，得到所述第k帧图像的各个特征点投影在所述第k+1帧图像坐标系中的三维坐标；
将所述第k帧图像的各个特征点投影在所述第k+1帧图像坐标系中的三维坐标转换为二维坐标。


4.根据权利要求3所述的特征提取方法，其特征在于，在将所述第k帧图像的各个特征点投影在所述第k+1帧图像坐标系中的三维坐标转换为二维坐标之前，还包括：
对所述第k帧图像的各个特征点投影在所述第k+1帧图像坐标系中的三维坐标进行归一化处理，得到归一化的三维坐标；
根据所述视觉传感器的内参矩阵对所述归一化的三维坐标进行调整，得到调整后的三维坐标。


5.根据权利要求4所述的特征提取方法，其特征在于，所述将所述第k帧图像的各个特征点投影在所述第k+1帧图像坐标系中的三维坐标转换为二维坐标包括：
将调整后的三维坐标中前两个坐标轴方向上的分量组成转换后的二维...

【专利技术属性】
技术研发人员：熊友军，蒋晨晨，白龙彪，张思民，庞建新，
申请(专利权)人：深圳市优必选科技有限公司，
类型：发明
国别省市：广东;44