一种基于连续视频的机器人场景深度判别方法技术

本发明专利技术属于机器视觉模拟、图像匹配技术领域，具体为一种基于连续视频的机器人场景深度判别方法。该方法包括：对场景进行拍摄，获取不同位置的场景照片；对拍摄的照片进行图像匹配，然后通过场景的深度计算公式，得到场景的深度地图。其中，本发明专利技术采用了新的摄像坐标设定方法。图像匹配利用待匹配点所在区域的光强度矩阵，寻找与之接近的区域，新区域的中心点即为匹配点。本发明专利技术方法计算量较小，准确率高，稳定性好。

【技术实现步骤摘要】

本专利技术属于机器人视觉模拟、图像匹配
，具体涉及一种机器人场景深度 判别方法。
技术介绍
人具有感知三维世界的能力。在一场景中，人的左右眼以不同的视点来观察同一 个目标，所以在左右眼中所形成的图像有稍微的差别，而大脑利用这些差别再进行信息加 工即可估算出目标的深度。这就是人感知三维场景中目标深度的原理。许多研究者，试图 让被赋予三维感知能力的机器能在未知场景中自由地探索，机器通过建立场景的三维模型 或者是场景的深度地图，来“理解”场景，从而能够完成被赋予的任务。对于场景的三维重建和深度估算，人们提出了各种各样的方法。例如，通过维 护由单目图像和对应的深度图组成的训练集，用学习的方法来进行深度估算；在中，作 者把单目线索加入到立体视觉系统中，获得了更精确的深度估算；提出了一个能从单 目图像上重建平面法向的互动系统。在这些研究尝试中，人们以各种各样的方法来模拟人的视觉系统，有摄像机、激 光、声纳及各种射线等等。其中，(1)激光和各种射线可以用来测距，对场景进行深度估算，能够达到很高的精度， 并且重量轻功耗小，但是它们只能对场景中某一点或者某一小片的范围进行测距，不能像 相机那样记录下整个场景的信息，所以激光测距不适合复杂场景的深度估算。在中，作 者分析了激光的各种性能，也提到了激光对人眼的伤害；因此综合考虑激光的各种性能，激 光更适合于军事武器的制导作用等军用。(2)声纳技术由于其成本高、体积重量大、能耗大，很难被用于小型测距探测系统， 而由于其在水中传播的稳定性，故常常用于水下通信和导航、以及鱼雷制导、水雷引信等领 域。最常用就是摄像机(或者照相机)，这是因为相机的成像原理与人眼的成像原理 是类似的。广义的摄像机包括了多目视觉系统和单目视觉系统。毫无疑问，如果多目视觉 系统具有三维感知能力，那么这并不难理解，因为人眼就是一个双目视觉系统。但是单目视 觉系统也可以具有三维感知能力。当人只睁开一只眼睛时，他依然具有能力感知到三维世 界的深度信息，这很大程度上归咎于他脑中的大量视觉经验；依据类似的原理，被加上视觉 经验的单目视觉系统也可以具有三维感知能力。除此之外，一个处于“运动”状态的单目视 觉系统同样具备三维感知能力。当一单目系统在一位置获得场景的图像后，再移动到另一 位置获得场景的令一张图像，利用这两张图像的差别以及相关原理，可以计算出场景的三 维模型或深度信息。这就是本专利技术提出的一个新方法。另外，在图像处理中，不得不涉及的一个技术就是图像上点的匹配，传统的方法只 利用了单个待匹配点的光强，在某范围内来搜索与之光强接近的匹配点，这种方法虽然计 算量少，但准确率和稳定性极低；本专利技术中的一个新的匹配方法突破了传统，它考虑的是某个区域的光强值组成的矩阵，来搜索与光强矩阵“接近”的匹配区域，只要把区域的大小设 置成合适的值，可以做到计算量不大，准确率和稳定性极高的效果。
技术实现思路
本专利技术的目的在于提出一种计算量小，准确率高，稳定性好的机器人场景深度判 别方法。本专利技术提出的机器人场景深度判别方法，具体步骤如下1)在一未知场景中，装备上单目视觉系统的机器人通过拍照获得关于场景的一张 照片P1，再向前移动适当的距离，设长度为S，再拍照获得关于场景的另一种照片P2。由于 向前移动的误差，照片Pl和照片P2的相片中心点不是同一个目标点，即相片中心点存在误 差，在后面的深度估算中这个误差信息是要被用到的。2)对照片P2进行角点检测，对于照片P2上的每一个角点A2，利用 本专利技术提出的 关于单目机器人时间邻近帧图像的匹配方法进行匹配，从而在照片Pl上找出A2的匹配点 Al。所述的匹配利用待匹配点所在的一块合适大小的区域的光强度矩阵，寻找与该光强接 近的另一块同样大小的区域，新区域的中心点即为匹配点，经过实验验证，此方法稳定好、 准确率高；3)利用本专利技术请提出的单目机器人连续移动使用前后帧图像的深度计算方法，计 算出场景中每一个角点对应的目标的深度，从而形成一个深度地图。在此深度估算的过程中，无需知道相机的任何参数。其中，移动的距离S—般为 10 200cm。本专利技术的计算步骤见图8所示。上述方法中，涉及到单目机器人坐标体系设定，具体内容如下1.通过把相机成像原理近似成点透视投影，建立起相机成像的三维坐标系；2.并用数学公式表示出像点和原像点间的关系。被装备到机器人身上的单目视觉系统，其镜头为一凸透镜，故其成像原理是凸透 镜的成像原理。设物距(物体到镜头的距离)表示为u，镜头的焦距为f，像距(胶卷到镜 头的距离)为V。当U > 2f时，凸透镜的成像为附图1所示。注意到，当u >> 2f时，ν f。一般情况下，由于相机的f较小，都满足u >> 2f，故可以认为ν = f，这时凸透镜成像可以用点透视投影来近似，如附图2所示。现在把相机成像原理在三维坐标系中表示出来。以相机的投影中心为坐标系的原 点0，正前方(镜头方向)为Z轴负方向，水平向右为X轴正方向。以点0' (0，0，-f)(其 中f为相机的焦距)为中心画一个与相机底片同样大小的矩形，称为投影平面。假设A为 空间中某一点，那么直线OA与投影平面的交点A'称为A的投影点(根据点透视投影的原 理)。显然投影平面与底片关于坐标系原点(0，0，0)中心对称，投影点与相机胶卷上的像点 对称，研究投影平面上的点相当于研究了底片上的成像点。称此三维坐标系为摄像坐标系， 如附图3示。假设三维场景中目标的空间位置点A在摄像坐标系中的坐标为A(xA，yA，zA)，A点 的投影点A'的坐标为A' W , Jh'，f)。过点A'作X轴和Z轴的垂线，那么可以得到 A'的X轴坐标χ/和Z轴坐标f;过点A作X轴和Z轴的垂线，那么可以得到A的X轴坐标xA和Z轴坐标zA。如附图4示。根据相似三角形的性质可得<formula>formula see original document page 5</formula>由照片的信息，可以得到A' (xA'，y/，f)的坐标值。从上可以看出，要求A的 坐标，即三维场景中目标的空间位置，还需要知道zA，即A点相对于摄像头的深度。本专利技术中，步骤2所述的单目机器人时间邻近帧图像的匹配，具体如下该方法的目的在于提出一种有别于传统的基于图像区域块光强矩阵的点匹配方 法，摆脱基于单个像素光强的匹配思想束缚，以图像区域为考察对象，形成了一种更准确更 稳定的匹配方法。考虑在二维图像上建立一二维直角坐标系X' 0' Y'，以二维图像的中心0'为 原点，向右为X'轴，向上为Y'轴，如附图5示。那么图像上的像素点可以表示为以像素为单位的二维坐标。设待匹配图像上点(X，y)的光强度函数为f2(x，y)，目标图像上点(X，y)的光强 度函数Sf1(^y)；设待匹配图像上的待匹配点A2的坐标为(x2，y2)，如附图6示。在目标图像上寻找这样的点(X，y)，使下面的目标函数P(x，y)达到最小值<formula>formula see original document page 5</formula>说明待匹配区域是待匹配图像上以像素点A2为中心的(2M+1) X (2N+1)像素区 域，目标区域是本文档来自技高网...

【技术保护点】
一种基于连续视频的机器人场景深度判别方法，其特征在于具体步骤如下：１）在一未知场景中，装备上单目视觉系统的机器人通过拍照获得关于场景的一张照片Ｐ１，再向前移动适当的距离，设长度为Ｓ，再拍照获得关于场景的另一种照片Ｐ２；２）对照片Ｐ２进行角点检测，对于照片Ｐ２上的每一个角点Ａ２，利用本专利技术提出的关于单目机器人时间邻近帧图像的匹配方法进行匹配，从而在照片Ｐ１上找出Ａ２的匹配点Ａ１；所述的匹配利用待匹配点所在的一块合适大小的区域的光强度矩阵，寻找与该光强接近的另一块同样大小的区域，新区域的中心点即为匹配点；３）利用本专利技术请提出的单目机器人连续移动使用前后帧图像的深度计算方法，计算出场景中每一个角点对应的目标的深度，从而形成一个深度地图；其中，涉及到单目机器人坐标体系的设定，假设三维场景中目标的空间位置点Ａ在摄像坐标系中的坐标为Ａ（ｘ↓［Ａ］，ｙ↓［Ａ］，ｚ↓［Ａ］），Ａ点的投影点Ａ′的坐标为Ａ′（ｘ↓［Ａ］′，ｙ↓［Ａ］′，ｆ），其关系为：＊＊＊Ａ′（ｘ↓［Ａ］′，ｙ↓［Ａ］′，ｆ）的坐标值由照片的信息获得，ｆ为镜头的焦距；所述单目机器人时间邻近帧图小的匹配方法，具体如下：设待匹配图像上点（ｘ，ｙ）的光强度函数为ｆ↓［２］（ｘ，ｙ），目标图像上点（ｘ，ｙ）的光强度函数为ｆ↓［１］（ｘ，ｙ）；设待匹配图像上的待匹配点Ａ↓［２］的坐标为（ｘ↓［２］，ｙ↓［２］）；在目标图像上寻找这样的点（ｘ，ｙ），使下面的目标函数Ｐ（ｘ，ｙ）达到最小值：Ｐ（ｘ，ｙ）＝１／（２Ｍ＋１）×（２Ｎ＋１）＊＝｜ｆ↓［１］（ｘ＋ｉ，ｙ＋ｊ）－ｆ↓［２］（ｘ↓［２］＋ｉ，ｙ↓［２］＋ｊ）｜说明：待匹配区域是待匹配图像上以像素点Ａ↓［２］为中心的（２Ｍ＋１）×（２Ｎ＋１）像素区域，目标区域是目标图像上以像素点（ｘ，ｙ）为中心的（２Ｍ＋１）×（２Ｎ＋１）像素区域；这里，Ｍ为待匹配区域在ｘ′方向上的像素个数，Ｎ为待匹配区域在ｙ′方向上的像素个数；所述单目机器人连续移动使用前后帧图像的深度计算方法，具体如下：对于场景中的目标点Ａ，当机器人位于点Ｏ↓［１］时，点Ａ在投影平面上的投影点为Ａ↓［１］（ｘ↓［１］′，ｙ↓［１］′，－ｆ），Ｐ↓［１］（０，０，－ｆ）为此时投影平面的中心点；当机器人移动了距离ｓ后到位置Ｏ↓［２］时，点Ａ在投影平面上的投影点为Ａ↓［２］（ｘ↓［２］′，ｙ↓［２］′，－ｆ），Ｐ↓［２］（０，０，－ｆ）为此时投影平面的中心点；则深度Ｏ↓［２...

【技术特征摘要】

【专利技术属性】
技术研发人员：危辉，林祥明，
申请(专利权)人：复旦大学，
类型：发明
国别省市：31[中国|上海]