图像深度信息的获取方法、图像处理装置以及存储介质制造方法及图纸

本申请公开了一种图像深度信息的获取方法、图像处理装置以及存储介质，该图像深度信息的获取方法包括：采集待处理图像；从待处理图像中提取特征点；将待处理图像中的特征点与预先获取的目标对象的点云中的特征点进行特征匹配，以基于点云确定待处理图像的深度信息。通过上述方式，能够通过采集的单目图像来获取目标的深度信息，计算量较小，设备要求不高，算法易于实施。

Image depth information acquisition method, image processing device and storage medium

The application discloses an image depth information acquisition method, an image processing device and a storage medium. The image depth information acquisition method includes: acquisition of the pending image; extraction of feature points from the pending image; matching the feature points in the pending image with the feature points in the point cloud of the pre acquired target object to determine the pending image based on the point cloud Depth information of image. Through the above method, the depth information of the target can be obtained through the collected monocular image, the calculation amount is small, the equipment requirements are not high, and the algorithm is easy to implement.

【技术实现步骤摘要】
图像深度信息的获取方法、图像处理装置以及存储介质
本申请涉及计算机视觉
，特别是涉及一种图像深度信息的获取方法、图像处理装置以及存储介质。
技术介绍
在计算机视觉领域中，深度信息为人机交互、三维场景重建、3D打印等各类计算机视觉应用提供了更多的可能性。深度图像类似于灰度图像，它的每个像素值都表明了场景中物体表面距离传感器的距离大小。在人机合作的情况下，采用深度强化学习(Deepreinforcementlearning，DRL)训练机器人完成任务。为了通过DRL实验室方法培养机器人避开障碍物的能力，必须准备大量的样本。在这种情况下，可以通过重构执行任务的人类工人的3D图像来实现。利用人手臂的重建序列作为移动障碍物，训练机器人在虚拟环境中的避障能力。完成这类操作常见的先决条件是人类或机器人的准确姿态信息。然而，当一个物体被投影到相机平面上时，它沿着光轴的深度信息就会丢失，这可能会使两个相距很远的物体看起来很接近。这导致在没有正确深度信息的情况下，对姿态的估计是错误的。
技术实现思路
为解决上述问题，本申请提供了一种图像深度信息的获取方法、图像处理装置以及存储介质，能够通过采集的单目图像来获取目标的深度信息，计算量较小，设备要求不高，算法易于实施。本申请采用的一个技术方案是：提供一种图像深度信息的获取方法，该方法包括：采集待处理图像；从待处理图像中提取特征点；将待处理图像中的特征点与预先获取的目标对象的点云中的特征点进行特征匹配，以基于点云确定待处理图像的深度信息。其中，该方法还包括：获取基于目标对象的多帧图像；其中，多帧图像是由一个相机围绕目标对象采集得到的；基于多帧图像建立目标对象的点云；从多帧图像中提取目标对象的SIFT特征，并将特征描述符添加至点云中的对应点上；对点云进行拓扑分割，以得到多个拓扑部分。其中，从多帧图像中提取目标对象的SIFT特征，并将特征描述符添加至点云中的对应点上，包括：从多帧图像中提取关键点；计算每个关键点邻域的梯度，得到对应关键点的描述符向量；采用SIFT算法对多帧图像进行处理，以得到一组特征点和对应的描述符向量；将描述符向量添加至点云中的对应点上。其中，对点云进行拓扑分割，以得到多个拓扑部分，包括：提取点云的骨架；基于骨架的曲率和/或扭转特征将骨架进行分割，以得到多个子骨架；对每个子骨架进行扩张，以得到多个拓扑部分。其中，将待处理图像中的特征点与预先获取的目标对象的点云中的特征点进行特征匹配，以基于点云确定待处理图像的深度信息，包括：将待处理图像中的特征点与目标对象的点云中的特征点进行特征匹配，以确定待处理图像中的特征点所对应的拓扑部分；基于拓扑部分中的特征点与待处理图像中的特征点的对应关系，估算拓扑部分的深度信息；对多个拓扑部分进行重组。其中，将待处理图像中的特征点与目标对象的点云中的特征点进行特征匹配，以确定待处理图像中的特征点所对应的拓扑部分，包括：将待处理图像中的特征点与目标对象的点云中的特征点进行特征匹配；基于待处理图像中的特征点与目标对象的点云中的特征点的匹配关系，建立二元组；基于二元组，确定待处理图像的拓扑基础和点云的拓扑基础。其中，基于拓扑部分中的特征点与待处理图像中的特征点的对应关系，估算拓扑部分的深度信息，包括：基于拓扑部分中的特征点与待处理图像中的特征点的对应关系，计算拓扑部分的坐标；基于拓扑部分的坐标，确定拓扑部分的三维旋转矩阵和三维平移矩阵；基于拓扑部分的三维旋转矩阵和三维平移矩阵，对多个拓扑部分进行重组。其中，采集待处理图像，包括：采用彩色相机采集待处理图像；从待处理图像中提取特征点，包括：采用SIFT算法对多帧图像进行处理，以得到一组特征点和对应的描述符向量。本申请采用的另一个技术方案是：提供一种图像处理装置，该图像处理装置包括处理器以及与处理器连接的存储器，存储器用于存储程序数据，处理器用于执行程序数据以实现如上述的方法。本申请采用的另一个技术方案是：提供一种计算机存储介质，该计算机存储介质中存储有程序数据，程序数据在被处理器执行时，用以实现如上述的方法。本申请提供的图像深度信息的获取方法包括：采集待处理图像；从待处理图像中提取特征点；将待处理图像中的特征点与预先获取的目标对象的点云中的特征点进行特征匹配，以基于点云确定待处理图像的深度信息。通过上述方式，能够通过采集的单目图像来获取目标的深度信息，计算量较小，设备要求不高，算法易于实施。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：图1是本申请实施例提供的图像深度信息的获取方法的流程示意图；图2是本申请实施例提供的静态三维重建的流程示意图；图3是本申请实施例提供的拓扑分割的流程示意图；图4是本申请实施例提供的动态三维重建的流程示意图；图5是本申请实施例提供的图像处理装置的结构示意图；图6是本申请实施例提供的计算机存储介质的结构示意图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是，此处所描述的具体实施例仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。本申请中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。参阅图1，图1是本申请实施例提供的图像深度信息的获取方法的流程示意图，该方法包括：步骤11：采集待处理图像。本实施例中采用一个彩色相机进行图像的采集，例如RGB相机。其中，该待处理图像中至少包括目标对象。步骤12：从待处理图像中提取特征点。可选地，在一实施例中，步骤12可以具体为：采用SIFT(Scale-invariantfeaturetransform，尺度不变特征变换)算法对多帧图像进行处理，以得到一组特征点和对应的描述符向量。SIFT算法是用于图像处理领域的一种描述本文档来自技高网...

【技术保护点】
1.一种图像深度信息的获取方法，其特征在于，所述方法包括：/n采集待处理图像；/n从所述待处理图像中提取特征点；/n将所述待处理图像中的特征点与预先获取的所述目标对象的点云中的特征点进行特征匹配，以基于所述点云确定所述待处理图像的深度信息。/n

【技术特征摘要】
1.一种图像深度信息的获取方法，其特征在于，所述方法包括：
采集待处理图像；
从所述待处理图像中提取特征点；
将所述待处理图像中的特征点与预先获取的所述目标对象的点云中的特征点进行特征匹配，以基于所述点云确定所述待处理图像的深度信息。


2.根据权利要求1所述的方法，其特征在于，
所述方法还包括：
获取基于所述目标对象的多帧图像；其中，所述多帧图像是由一个相机围绕所述目标对象采集得到的；
基于所述多帧图像建立所述目标对象的点云；
从所述多帧图像中提取所述目标对象的SIFT特征，并将特征描述符添加至所述点云中的对应点上；
对所述点云进行拓扑分割，以得到多个拓扑部分。


3.根据权利要求2所述的方法，其特征在于，
所述从所述多帧图像中提取所述目标对象的SIFT特征，并将特征描述符添加至所述点云中的对应点上，包括：
从所述多帧图像中提取关键点；
计算每个所述关键点邻域的梯度，得到对应所述关键点的描述符向量；
采用SIFT算法对所述多帧图像进行处理，以得到一组特征点和对应的描述符向量；
将所述描述符向量添加至所述点云中的对应点上。


4.根据权利要求2所述的方法，其特征在于，
所述对所述点云进行拓扑分割，以得到多个拓扑部分，包括：
提取所述点云的骨架；
基于所述骨架的曲率和/或扭转特征将所述骨架进行分割，以得到多个子骨架；
对每个所述子骨架进行扩张，以得到多个拓扑部分。


5.根据权利要求2所述的方法，其特征在于，
所述将所述待处理图像中的特征点与预先获取的所述目标对象的点云中的特征点进行特征匹配，以基于所述点云确定所述待处理图像的深度信息，包括：
将所述待处理图像中的特征点与所述目标对象的点云中的特征点进行特征匹配，以确定所述待处理图像中的特征点所对应的拓扑部...

【专利技术属性】
技术研发人员：欧勇盛，熊荣，江国来，王志扬，段江哗，吴新宇，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：广东;44