一种基于双目视觉的物体表达方法技术

本发明专利技术属于机器人导航技术领域，具体涉及一种基于双目视觉的物体表达方法。本发明专利技术通过机器人搭载的双目相机获取关于场景的当前帧图像；从当前帧左右图像中检测场景里的物体；对得到的左右图像中的物体进行匹配，完成相同物体的配对；利用卡尔曼滤波与匈牙利匹配对双目帧间的物体进行跟踪，一旦检测到相同物体，利用两帧中的四张图像完成对物体的语义信息提取，包括物体的大小，位置和姿态。本发明专利技术提出了一种可靠性好、适用性广的物体表达方法，保证场景中任意形状的物体都能提取出有价值的语义信息，从而促进视觉同步定位与建图的精度和语义性。和语义性。和语义性。

【技术实现步骤摘要】
一种基于双目视觉的物体表达方法


[0001]本专利技术属于机器人导航
，具体涉及一种基于双目视觉的物体表达方法。

技术介绍

[0002]同步定位与建图(Simultaneous Localization and Mapping，SLAM)技术首先作为一种室内定位和建图方法被提出，随后受到广泛的研究，它可以让机器人在没有GPS(Global Position System，GPS)信号的环境中，仅利用实时传感器信息在未知环境中自主导航、自主定位，并对环境进行数据采集，通过一定的技术实现对自身位置和环境地图的实时修正。
[0003]目前，机器人视觉SLAM的研究主要以点特征为主，即通过提取特征点进行匹配，从而获得数据关联，对于纹理细节较少的场景，并不利于特征点的提取。另一方面，点特征作为低等级的特征，并不能利用图像中更高级的语义信息，除了用于机器人定位外，其构建的稀疏点云地图，很难从中提取有用的环境信息。
[0004]本专利技术涉及的技术问题是提供一种高级的特征提取方法，使视觉SLAM能够利用场景中的物体，提高在特征纹理缺少的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双目视觉的物体表达方法，其特征在于，包括以下步骤：步骤1：利用机器人搭载的双目相机，采集场景中的当前帧图像对；步骤2：物体单帧识别与匹配：对左右图像分别进行物体识别，将得到的物体矩形框利用像素重叠度判别是否为同一物体，完成匹配并进入步骤3；步骤3：物体帧间跟踪：通过步骤2得到物体集合后，对每个物体判断是否在历史帧中出现，对已出现的物体进行归类，对未出现的物体进行跟踪初始化，对跟踪失败的物体进行剔除，进入步骤4；步骤4：物体语义信息提取：将步骤3已跟踪超过两帧的物体进行语义信息的提取，进入步骤5；步骤5：输出场景物体的语义信息，结束。2.根据权利要求1所述的一种基于双目视觉的物体表达方法，其特征在于：所述的步骤2具体为：步骤2.1：物体信息提取；定义图像中物体的信息为：B＝(w,h,b,σ,c)其中，w和h表示物体矩形框的像素长度和宽度；b＝(u,v)表示矩形框的中心像素位置；σ和c分别表示矩形框的置信度和物体类别；对左右图像进行物体识别，得到图像中所有的物体：O
L
＝{B
Li
＝(w
Li
,h
Li
,b
Li
,σ
Li
,c
Li
)|c
Li
∈C,σ
Li
∈[0,1],i＝1,2,...,k}O
R
＝{B
Ri
＝(w
Ri
,h
Ri
,b
Ri
,σ
Ri
,c
Ri
)|c
Ri
∈C,σ
Ri
∈[0,1],i＝1,2,...,m}其中，O
L
和O
R
表示当前帧左右图像中的所有物体集合；k和m表示当前帧左右图像中的所有物体数量；C表示先设置的物体类别集合；步骤2.2：单帧物体匹配；定义物体之间的像素重叠度为：其中，S(
·
)＝w
·
h表示矩形框的面积；A,B表示图像上的两个物体；将双目单帧左图上的物体依次计算与右图上物体的像素重叠度，选出重叠度最大的作为其候选匹配对，形成候选匹配对集合：M
can
＝{(B
Lcan
,B
Rcan
)|B
Lcan
∈O
L
,B
Rcan
∈O
R
}；步骤2.3：误匹配判别：对候选匹配对集合M
can
中的任意一个匹配对(B
Lcan_i
,B
Rcan_i
)，首先利用双目特性约束判别矩形框中心b＝(u,v)的相对位置，若不满足u
Lcan
＜u
Rcan
和|v
Lcan
‑
v
Rcan
|＜10，则剔除该候选匹配对，进入步骤2.4；步骤2.4：重复性检验；在完成所有候选匹配对的相对位置判别后，若集合M
can
中存在两个或多个候选匹配对中有同一物体信息B，则将这些候选匹配对全部剔除，保证每个物体信息至多出现在一个候选匹配对中，进入步骤2.5；步骤2.5：最终得到双目单帧左右图像的匹配对集合，即每个匹配对表示同一物体在左右图像上的成像信息：M＝{(B
LM
,B
RM
)|B
LM
∈O
L
,B
RM
∈O
R
}。3.根据权利要求1所述的一种基于双目视觉的物体表达方法，其特征在于：所述的步骤
3...

【专利技术属性】
技术研发人员：徐硕，高靖萱，马腾，凌宇，姜言清，刘善昌，丁硕硕，孙祥仁，田恩农，张文君，李晔，
申请(专利权)人：哈尔滨工程大学，
类型：发明
国别省市：