一种基于三维点云与双目视觉的人形机器人位置确认方法技术

一种基于三维点云与双目视觉的人形机器人位置确认方法，包括如下步骤：

【技术实现步骤摘要】
一种基于三维点云与双目视觉的人形机器人位置确认方法


[0001]本专利技术属于机器人位置确认
，具体涉及一种基于三维点云与双目视觉的人形机器人位置确认方法
。

技术介绍

[0002]随着人工智能的发展，学术界以及业界对人形机器人的研究也开始兴起，人形机器人对于周围物体以及自身的位置确认则是其中的一个重点研究问题
。
现有技术中的人形机器人位置确认技术较为常用的有
SLAM、GPS
定位
、
激光雷达扫描或者纯视觉的方法等等
。
[0003]其中，
SLAM
与
GPS
定位都需要用到额外的硬件，例如在
SLAM
中，需要用到激光雷
、
惯性传感器等等，这些有助于确认环境的深度信息以及机器人自身的位置，朝向信息等
。GPS
定位同样要使用到定位器等额外硬件
。
由于
SLAM
与
GPS
定位这两个方法都需要用到额外的硬件，因此，在小场景下，例如在家庭环境，
SLAM、GPS
要做到高精度的定位是一件很难得事情，在消费者的角度来说，给家用机器人配备一个高精度的定位硬件会加大自身的价格
。
[0004]此外，通过视觉视像头的方法则只能获得视觉范围内的信息，无法获得视觉范围外的信息
。
结构光构建法在随着距离的增加会出现结构光逐渐稀疏的问题
。
[0005]因此，本专利技术的目的是提供一种基于三维点云与双目视觉的人形机器人位置确认方法，不需要其余的硬件，例如 GPS 定位器
、
激光雷达等，也不需要人工干预，通过三维点云结合双目视觉，实现人形机器人对环境视野范围内外整个场景的信息以及自身位置信息的确认
。

技术实现思路

[0006]专利技术目的：为了克服以上不足，本专利技术的目的是提供一种基于三维点云与双目视觉的人形机器人位置确认方法，设计合理，在人形机器人只配备了深度相机的情况下，无需增加任何传感器，通过三维点云结合双目视觉，可以实现对视野范围内外整个场景的信息以及自身位置信息的确认，应用前景广泛
。
[0007]本专利技术的目的是通过以下技术方案实现的：一种基于三维点云与双目视觉的人形机器人位置确认方法，包括如下步骤：
S1
：输入场景重建三维点云；
S2
：进行点云分割，计算场景内所有物体在点云坐标系下的坐标；
S3
：根据场景的尺寸，计算物体在现实空间坐标系下的坐标；
S4
：场景内的物体与点云中的物体一一对应，人形机器人通过物体识别，与点云坐标系下的物体进行对应，得到识别到的物体的现实空间坐标系下的坐标后，得出人形机器人自身的坐标，从而实现人形机器人自身以及场景所有物体的位置确认
。
[0008]进一步的，上述的一种基于三维点云与双目视觉的人形机器人位置确认方法，所述步骤
S1
，具体包括如下内容：输入场景，对整个场景进行三维重建，得到场景的重建点云后，对点云坐标系进行修正，点云坐标系地面将地面平铺于
x、y
轴平面，整个场景均位于点
云坐标系
z
轴正方向；现实空间坐标系地面同样将地面平铺于
x、y
轴平面，整个场景均位于现实空间坐标系
z
轴正方向
。
[0009]优选的，为了方便后续计算，点云坐标系与现实空间坐标系的坐标原点位于地面的几何中心，点云坐标系的
x
轴最大坐标值为正负1，其余两条坐标轴按场景比例进行换算
。
[0010]对整个场景进行三维重建，可以采用以下方法，步骤如下：（1）拍摄照片：在场景中拍摄一系列照片，这些照片应该从不同角度拍摄，以捕捉到场景中的多个视角；（2）位姿计算：对上述照片进行位姿计算；位姿计算是为了确定相机在拍摄过程中的位置和方向，通过计算相机的位姿，可以得出每张照片对应的相机位置和方向；（3）
NERF
算法重建：通过上述照片获得位姿信息，采用
NERF
算法来重建三维点云；
NERF
算法利用神经网络模型，通过学习输入的拍摄照片和与之对应的相机位姿，来生成场景中每个点的几何信息和颜色信息
。
通过采用
NERF
算法，该算法利用位姿计算和拍摄照片，实现了对场景的三维点云重建
。
[0011]进一步的，上述的一种基于三维点云与双目视觉的人形机器人位置确认方法，所述步骤
S2
，具体包括如下内容：在
z
轴正方向看向
z
轴负方向，即俯视情况下，对点云进行分割后，得出了每一个物体的点集；此时通过物体的点集计算物体在点云坐标系下的几何中心，使用几何中心来表示物体在点云坐标系下的坐标；为物体的点集，为物体的几何中心，的计算方式为：；
。
[0012]原始数据为三维点云，坐标形为也可计算
z
轴的几何分量，
。
[0013]进一步的，上述的一种基于三维点云与双目视觉的人形机器人位置确认方法，所述步骤
S3
，在人形机器人配备深度相机的情况下，通过现实世界物体与点云坐标系下的物体的对应关系，计算出现实世界的尺寸，即计算出场景的尺寸
。
[0014]进一步的，上述的一种基于三维点云与双目视觉的人形机器人位置确认方法，所述场景的尺寸，计算方式如下：
S3
（
1.1
）：在深度相机得出的深度空间里，设两个物体的坐标分别为
、
，则两个物体与人形机器人的深度相机双目连成线段的夹角
θ
的计算方式为：；
S3
（
1.2
）：计算两个物体之间的距离，
、
分别为人形机器人的深度相机双目测得人形机器人头部与两个物体之间的距离，计算方式为：；
S3
（
1.3
）：由于为三维空间距离，此时需要去掉
z
轴对于的影响，将其转换为俯视情况下的二维距离；
S3
（
1.4
）：根据，计算场景的尺寸
、
，为现实世界在
x
轴方向的尺寸，为现实世界在
y
轴方向的尺寸，所有的物体置于
x、y
轴所形成的二维坐标系下，为所述二维坐标系下两个物体坐标连成线段与
x
轴之间的夹角，
、
分别为点云坐标系下两个物体的俯视坐标，则的计算方式为：；设点云坐标系里
x
轴坐标最大值为
、
最小值为和
y
轴坐标最大值为
、
最小值为，则的计算方式为：
。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于三维点云与双目视觉的人形机器人位置确认方法，其特征在于，包括如下步骤：
S1
：输入场景重建三维点云；
S2
：进行点云分割，计算场景内所有物体在点云坐标系下的坐标；
S3
：根据场景的尺寸，计算物体在现实空间坐标系下的坐标；
S4
：场景内的物体与点云中的物体一一对应，人形机器人通过物体识别，与点云坐标系下的物体进行对应，得到识别到的物体的现实空间坐标系下的坐标后，得出人形机器人自身的坐标，从而实现人形机器人自身以及场景所有物体的位置确认
。2.
根据权利要求1所述一种基于三维点云与双目视觉的人形机器人位置确认方法，其特征在于，所述步骤
S1
，具体包括如下内容：输入场景，对整个场景进行三维重建，得到场景的重建点云后，对点云坐标系进行修正，点云坐标系地面将地面平铺于
x、y
轴平面，整个场景均位于点云坐标系
z
轴正方向；现实空间坐标系地面同样将地面平铺于
x、y
轴平面，整个场景均位于现实空间坐标系
z
轴正方向
。3.
根据权利要求2所述一种基于三维点云与双目视觉的人形机器人位置确认方法，其特征在于，所述步骤
S2
，具体包括如下内容：在
z
轴正方向看向
z
轴负方向，即俯视情况下，对点云进行分割后，得出了每一个物体的点集；此时通过物体的点集计算物体在点云坐标系下的几何中心，使用几何中心来表示物体在点云坐标系下的坐标；为物体的点集， 为物体的几何中心，的计算方式为：；
。4.
根据权利要求1所述一种基于三维点云与双目视觉的人形机器人位置确认方法，其特征在于，所述步骤
S3
，在人形机器人配备深度相机的情况下，通过现实世界的物体与点云坐标系下的物体的对应关系，计算出现实世界的尺寸，即计算出场景的尺寸
。5.
根据权利要求4所述一种基于三维点云与双目视觉的人形机器人位置确认方法，其特征在于，所述场景的尺寸，计算方式如下：
S3
（
1.1
）：在深度相机得出的深...

【专利技术属性】
技术研发人员：郭龙涛，贺亮，孙浩，马金达，马延，
申请(专利权)人：江苏云幕智造科技有限公司，
类型：发明
国别省市：