机器人及其视觉控制方法、装置和存储介质制造方法及图纸

本发明专利技术公开一种机器人及其视觉控制方法、装置和存储介质，方法包括：通过机器人正前方设置的第一单目相机获取机器人行驶方向上的第一图像，通过除正前方之外的其他方向设置的第二单目相机获取机器人其他方向上的第二图像；根据第一图像确定行驶方向上的障碍物信息，根据第二图像确定其他方向上的障碍物信息；利用行驶方向的障碍物信息和其他方向的障碍物信息规划机器人的行驶路径。通过在机器人的正前方和其他方向均设置单目相机进行障碍物信息测定，从而在机器人行进过程中，既可以获得机器人行驶方向上的障碍物信息，也可以获得机器人其他方向上的障碍物信息，从而机器人可以根据各个方向上的障碍物信息，能够更加精准地控制自身的行进逻辑。准地控制自身的行进逻辑。准地控制自身的行进逻辑。

【技术实现步骤摘要】
机器人及其视觉控制方法、装置和存储介质


[0001]本专利技术涉及机器人控制
，具体涉及一种机器人及其视觉控制方法、装置和存储介质。

技术介绍

[0002]随着科技的发展，机器人在人们的日常生活中应用越来越多，例如常见的扫地机器人、擦地机器人，以及更为高级的机器人管家等，这些机器人在家庭中的应用，使得人们的生活变得更为舒适便利。其中，机器视觉作为辅助可以帮助机器人获取行驶过程中的很多信息，包括距离信息。
[0003]目前基于机器视觉进行距离测算的方法中大多采用双目测距，即基于人类视觉的视差理论，通过图像物体的特征点进行匹配重构三维坐标系，恢复三维世界中的深度信息。
[0004]然而，在实际应用中，双目相机存在安装精度要求比较高、处理数据过程中计算量大、对处理器性能要求较高以及测距实时性能不好的问题。

技术实现思路

[0005]本专利技术的目的是针对上述现有技术的不足提出的一种机器人及其视觉控制方法、装置和存储介质，该目的是通过以下技术方案实现的。
[0006]本专利技术的第一方面提出了一种机器人视觉控制方法，所述方法包括：
[0007]通过机器人正前方设置的第一单目相机获取机器人行驶方向上的第一图像，并通过除正前方之外的其他方向设置的第二单目相机获取机器人其他方向上的第二图像；
[0008]根据所述第一图像确定行驶方向上的障碍物信息，以及根据所述第二图像确定其他方向上的障碍物信息；
[0009]利用行驶方向上的障碍物信息和其他方向上的障碍物信息规划所述机器人的行驶路径。
[0010]在本申请的一些实施例中，所述根据所述第一图像确定行驶方向上的障碍物信息，包括：
[0011]识别所述第一图像中的障碍物，并从所述第一图像中提取所述障碍物与地面接触的像素坐标；
[0012]获取所述第一单目相机的内参和外参；
[0013]根据提取的像素坐标、所述内参和外参，确定所述第一单目相机相对障碍物的位姿信息；
[0014]利用所述位姿信息获得机器人行驶方向上的障碍物信息。
[0015]在本申请的一些实施例中，所述从所述第一图像中提取所述障碍物与地面接触的像素坐标，包括：
[0016]在所述第一图像中，获取所述障碍物所在的矩形区域；
[0017]将所述矩形区域下边框的中心像素点坐标作为所述障碍物与地面接触的像素坐
标。
[0018]在本申请的一些实施例中，所述根据提取的像素坐标、所述内参和外参，确定所述第一单目相机相对障碍物的位姿信息，包括：
[0019]基于像素坐标系与世界坐标系之间的转换关系，通过所述中心像素点坐标获得第一单目相机相对障碍物的位姿信息；
[0020]其中，所述世界坐标系的原点取在地面上，且在所述转换关系中，所述障碍物的高度取0。
[0021]在本申请的一些实施例中，所述其他方向为所述机器人的正后方；
[0022]所述利用行驶方向上的障碍物信息和其他方向上的障碍物信息规划所述机器人的行驶路径，包括：
[0023]根据行驶方向上的障碍物信息调整所述机器人的当前行驶路径；
[0024]在所述机器人的下一条行驶路径的行驶方向与所述机器人当前行驶方向相反时，根据所述其他方向上的障碍物信息调整所述机器人的下一条行驶路径。
[0025]在本申请的一些实施例中，所述其他方向为所述机器人的侧方；
[0026]所述利用行驶方向上的障碍物信息和其他方向上的障碍物信息规划所述机器人的行驶路径，包括：
[0027]根据行驶方向上的障碍物信息调整所述机器人的当前行驶路径；
[0028]在所述机器人沿边转弯过程中，根据所述其他方向上的障碍物信息规划下一边沿的行驶路径。
[0029]在本申请的一些实施例中，所述其他方向为所述机器人的侧方和正后方；所述方法还包括：
[0030]分别根据行驶方向上的障碍物信息和其他方向上的障碍物信息在环境地图上标记障碍物；
[0031]在机器人行驶过程中，从所述环境地图中获取位于所述机器人当前所处位置附近的障碍物；
[0032]根据获取到的障碍物的位置，控制所述机器人的当前行驶路径。
[0033]本专利技术的第二方面提供了一种机器人视觉控制装置，所述装置包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述方法的步骤。
[0034]本专利技术的第三方面提供了一种机器人，包括：
[0035]如上述第二方面所述的机器人视觉控制装置；
[0036]第一单目相机，设于所述机器人的正前方，其用于采集所述机器人行驶方向上的第一图像；
[0037]第二单目相机，设于除所述正前方之外的其他方向，其用于采集所述机器人其他方向上的第二图像。
[0038]本专利技术的第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述第一方面所述方法的步骤。
[0039]基于上述第一方面所述的机器人视觉控制方法，本专利技术技术方案具有如下有益效果或好处：
[0040]通过在机器人上使用单目相机，并根据单目相机拍摄到的障碍物图像实现距离测定，由单目相机代替双目相机进行测距，可以解决双目测距带来的安装精度高、计算量大、测距实时性不高的问题。
[0041]进一步地，通过在机器人的正前方和其他方向均设置单目相机进行障碍物信息测定，从而在机器人行进过程中，既可以获得机器人行驶方向上的障碍物信息，也可以获得机器人其他方向上的障碍物信息，从而机器人可以根据各个方向上的障碍物信息，能够更加精准地控制自身的行进逻辑。
附图说明
[0042]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
[0043]图1为本专利技术示出的一种机器人的结构示意图；
[0044]图2为本专利技术根据一示例性实施例示出的一种机器人视觉控制方法的实施例流程示意图；
[0045]图3为本专利技术根据一示例性实施例示出的一种机器人上正前方设置单目相机的测距示意图；
[0046]图4为本专利技术根据一示例性实施例示出的一种机器人正后方设置单目相机的测距示意图；
[0047]图5为本专利技术根据一示例性实施例示出的一种机器人侧方设置单目相机的测距示意图；
[0048]图6为本专利技术根据一示例性实施例示出的一种根据机器人上单目相机获取的图像进行测距的流程示意图；
[0049]图7为本专利技术根据图6所示实施例示出的一种机器人的世界坐标系示意图；
[0050]图8为本专利技术根据一示例性实施例示出的一种障碍物与地面接触点的示意图；
[0051]图9为本专利技术根据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种机器人视觉控制方法，其特征在于，所述方法包括：通过机器人正前方设置的第一单目相机获取机器人行驶方向上的第一图像，并通过除正前方之外的其他方向设置的第二单目相机获取机器人其他方向上的第二图像；根据所述第一图像确定行驶方向上的障碍物信息，以及根据所述第二图像确定其他方向上的障碍物信息；利用行驶方向上的障碍物信息和其他方向上的障碍物信息规划所述机器人的行驶路径。2.如权利要求1所述的方法，其特征在于，所述根据所述第一图像确定行驶方向上的障碍物信息，包括：识别所述第一图像中的障碍物，并从所述第一图像中提取所述障碍物与地面接触的像素坐标；获取所述第一单目相机的内参和外参；根据提取的像素坐标、所述内参和外参，确定所述第一单目相机相对障碍物的位姿信息；利用所述位姿信息获得机器人行驶方向上的障碍物信息。3.如权利要求2所述的方法，其特征在于，所述从所述第一图像中提取所述障碍物与地面接触的像素坐标，包括：在所述第一图像中，获取所述障碍物所在的矩形区域；将所述矩形区域下边框的中心像素点坐标作为所述障碍物与地面接触的像素坐标。4.如权利要求3所述的方法，其特征在于，所述根据提取的像素坐标、所述内参和外参，确定所述第一单目相机相对障碍物的位姿信息，包括：基于像素坐标系与世界坐标系之间的转换关系，通过所述中心像素点坐标获得第一单目相机相对障碍物的位姿信息；其中，所述世界坐标系的原点取在地面上，且在所述转换关系中，所述障碍物的高度取0。5.如权利要求1所述的方法，其特征在于，所述其他方向为所述机器人的正后方；所述利用行驶方向上的障碍物信息和其他方向上的障碍物信息规划所述机器人的行驶路径，包括：根据行驶方向上的障碍物信...

【专利技术属性】
技术研发人员：章丁盛，韩冲，
申请(专利权)人：美智纵横科技有限责任公司，
类型：发明
国别省市：