【技术实现步骤摘要】
视觉定位方法、机器人的控制方法、相关设备及介质
[0001]本申请属于机器视觉
，特别是涉及一种视觉定位方法、机器人的控制方法、相关设备及介质。
技术介绍
[0002]随着计算机和机器人技术的发展，现代移动机器人在工业制造，军事，民用，科学研究等方面得到了越来越广泛的应用。它们可以代替人类执行很多繁重或恶劣条件下人类无法胜任的工作。移动机器人的研究处在的多学科交叉领域，给新理论和方法的产生都提供了广阔的实践舞台。根据移动机器人的工作环境不同，可以简单地把它分为两大类:室外作业机器人和室内作业机器人。
[0003]室外作业机器人的视觉定位系统包含摄像机系统和控制系统，其中摄像机系统中包括计算机(具有图像采集卡)、工业相机或者深度相机，主要收集视觉图像或者3D点云，借助机器视觉技术处理对应的图像或者点云实现引导定位和模式识别等操作，快速获取物体的质心和边界，满足机器人系统运行的自定位需求，缩短其期望位置和末端位置间的差距。控制系统包含控制箱和计算机，对计算机末端具体位置完成控制。工作区利用相机进行拍摄，并使用计算机...
【技术保护点】
【技术特征摘要】
1.一种视觉定位方法，其特征在于，所述方法包括：通过视觉传感器采集数据流，所述数据流包括RGB图像、深度图像和点云，所述数据流中包括待定位的目标物体的数据；根据所述RGB图像和所述深度图像，从所述点云中确定所述目标物体对应的目标点云；根据所述目标点云，确定所述目标物体的质心和主方向；根据所述质心和所述主方向，对所述目标物体进行定位。2.如权利要求1所述的方法，其特征在于，所述根据所述RGB图像和所述深度图像，从所述点云中确定所述目标物体对应的目标点云，包括：根据所述RGB图像和所述点云，确定重排点云，所述重排点云的形状与所述RGB图像的形状一致；从所述RGB图像中确定至少一个待检测物体框；从所述重排点云中确定所述待检测物体框对应的待检测点云框；基于所述深度图像，从所述待检测点云框中确定目标物体对应的目标点云框；将所述目标点云框中的点云作为所述目标点云。3.如权利要求2所述的方法，其特征在于，所述根据所述RGB图像和所述点云，确定重排点云，包括：确定在深度坐标系下的深度点云，所述深度坐标系是基于所述深度图像建立的，所述深度点云中的每个像素点具有深度值；将所述深度点云转换到图像坐标系中，得到视觉点云，所述图像坐标系是基于所述RGB图像建立的；删除所述视觉点云中的前景像素点和背景像素点，所述前景像素点为深度值小于第一预设深度阈值的像素点，所述背景像素点为深度值大于第二预设深度阈值的像素点；对所述视觉点云进行重排，得到所述重排点云。4.如权利要求2所述的方法，其特征在于，所述从所述RGB图像中确定至少一个待检测物体框，包括：通过所述视觉传感器在所述终端设备的作业范围内采集多张样本图像；基于多张所述样本图像对预设的模型进行训练，得到预测模型，所述预测模型用于从图像中识别目标类别的物体所对应的物体框；根据所述预测模型，从所述RGB图像中确定至少一个所述待检测物体框。5.如权利要求2所述的方法，其特征在于，所述基于所述深度图像，从所述待检测点云框中确定目标物体对应的目标点云框，包括：确定所述待检测点云框对应的平均深度值，所述平均深度值为所述待检测点云框中深度值不为零的各个像素点的深度值的平均值；将所述平均深度值处于预设范围内的所述待检测点云框作为中间点云框；若只存在一个所述中间点云框，则确定所述中间点云框为所述目标点云框；或，若存在多个所述中间点云框，则根据成像质量从多个所述中间点云框中确定所述目标点云框。6.如权利要求5所述的方法，其特征在于，所述成像质量通过成像比例和成像均匀度进行表征，所述根据成像质量从多个所述中间点云框中确定所述目标点云框，包括：将所述中间点云框中深度值不为零的像素点所占的比例作为所述成像比例；
对所述中间点云框中的像素点进行聚类，得到所述中间点云框中多个像素点对应的类别数量，所述类别数量用于表征所述成像均匀度；将所述成像比例大于预设阈值且所述类别数量小于预设数值的所述中间点云框确定为所述目标点云框。7.如权利要求1
‑
6任一项所述的方法，其特征在于，在根据所述图像所述RGB图像和所述深度图像，从所述点云中确定所述目标物体对应的目标点云步骤之后，并在根据所述目标点云，确定所述目标物体的质心和主方向步骤之前，所述方法还包括：对所述目标点云进行滤波处理，以过滤所述目标点云中的噪音点。8.如权利要求7所述的方法，其特征在于，所述根据所述目标点云，确定所述目标物体的质心和主方向，包括：确定所述目标点云中深度值不为零的目标像素点；基于各个所述目标像素点的向量坐标，确定所述目...
【专利技术属性】
技术研发人员：王琳，李若男，
申请(专利权)人：万勋科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。