一种基于双目相机的动态环境感知方法技术

本发明专利技术公开了一种基于双目相机的动态环境感知方法，包括获取由双目相机拍摄得到的多帧深度图像，对各帧深度图像进行处理，获得多帧稀疏点云，对各帧稀疏点云分别进行聚类，获得多个聚类簇，对不同帧的稀疏点云中表示相同障碍物的多个聚类簇进行关联，以及识别关联后的聚类簇对应的障碍物属于动态障碍物或者静态障碍物等步骤。本发明专利技术能在障碍物间距离较近等复杂环境下快速地、较好地实现对环境中各种形状的障碍物进行检测、动静态属性划分和跟踪的动态环境感知，能够在障碍物出现遮挡并且相机自身运动的复杂情况下对障碍物的动静属性进行较鲁棒的判断。应用本发明专利技术的无人机具有负载小、功耗低、轻便易携等优点。本发明专利技术广泛应用于图像处理技术领域。于图像处理技术领域。于图像处理技术领域。

【技术实现步骤摘要】
一种基于双目相机的动态环境感知方法


[0001]本专利技术涉及图像处理
，尤其是一种基于双目相机的动态环境感知方法。

技术介绍

[0002]无人机在飞行过程中可能会遇到障碍物，为了顺利完成飞行任务，需要感知障碍物并进行避让等动作。在真实的飞行环境中，无人机面对的往往是未知的、复杂的动态障碍情景，其中的障碍物既可能是动态障碍物也可能是静态障碍物，由于无人机对动态障碍物和静态障碍物的应对措施不同，因此要求无人机能够准确感知障碍物是动态障碍物还是静态障碍物。目前比较先进的障碍物感知技术包括使用高精度激光雷达生成点云数据的障碍物感知技术，以及使用来自图像的视觉信息对障碍物进行感知的技术。使用高精度激光雷达生成点云数据的障碍物感知技术依赖激光雷达采集点云数据，而激光雷达的体积和质量较大，不便于无人机携带飞行，因此限制了其在无人机中的应用。目前的使用来自图像的视觉信息对障碍物进行感知的技术中，普遍存在使用条件苛刻、适应性差等缺点，例如使用Frame
‑
Difference的方法感知动态障碍物的技术在无人机平稳悬停的情况下才能应用，使本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双目相机的动态环境感知方法，其特征在于，所述基于双目相机的动态环境感知方法包括：获取由双目相机拍摄得到的多帧深度图像；对各帧所述深度图像进行处理，获得多帧稀疏点云；其中，对一帧所述深度图像的处理结果为得到相应的一帧稀疏点云；对各帧所述稀疏点云分别进行聚类，获得多个聚类簇；其中，对一帧所述稀疏点云的聚类结果为得到相应的若干个个聚类簇，一帧所述稀疏点云中的不同聚类簇分别表示不同的障碍物；对不同帧的所述稀疏点云中表示相同障碍物的多个所述聚类簇进行关联；识别关联后的所述聚类簇对应的障碍物属于动态障碍物或者静态障碍物。2.根据权利要求1所述的基于双目相机的动态环境感知方法，其特征在于，所述基于双目相机的动态环境感知方法还包括：当所述聚类簇对应的障碍物属于静态障碍物，根据所述聚类簇更新占用图上的障碍物信息；当所述聚类簇对应的障碍物属于动态障碍物，将所述聚类簇建模成椭球，使用卡尔曼滤波器对建模后的所述聚类簇进行跟踪。3.根据权利要求2所述的基于双目相机的动态环境感知方法，其特征在于，所述基于双目相机的动态环境感知方法还包括：当在连续的超过阈值长度的时间段内未跟踪到建模后的所述聚类簇，结束对所述聚类簇的跟踪，删除所述聚类簇对应的数据。4.根据权利要求1
‑
3任一项所述的基于双目相机的动态环境感知方法，其特征在于，所述对各帧所述深度图像进行处理，获得多帧稀疏点云，包括：获取所述双目相机的外参矩阵T和内参矩阵K；获取所述深度图像的像素坐标P
uv
；通过公式P
w
＝T
‑1K
‑1P
uv
确定原始点云；其中，P
w
为所述原始点云的世界坐标；对所述原始点云进行裁剪，获得稠密点云；使用体素过滤法对所述稠密点云进行过滤，获得所述稀疏点云。5.根据权利要求4所述的基于双目相机的动态环境感知方法，其特征在于，所述对各帧所述稀疏点云分别进行聚类，获得多个聚类簇，包括：A1.获取样本点集D＝{x1,x2,
……
,x
m
}，其中x
m
表示所述稀疏点云中的第m个点，设置邻域距离阈值ε和连通阈值δ，初始化核心对象集合初始化聚类簇数k＝0，初始化未访问样本集合F＝D，初始化簇划分A2.对于j＝1,2,
……
,m，按下面步骤A2a
‑
A2b找出所有的核心对象：A2a.找到样本x
j
的ε邻域内的子样本点集N
ε
(x
j
)；其中，x
j
为样本点集D中的样本点；A2b.如果所述子样本点集N
ε
(x
j
)的样本个数满足|N
ε
(x
j
)|≥MinPts，则计算点Q＝N
ε
(x
j
)∪x
j
的连通分支数n；如果n<δ，通过公式Ω＝Ω∪{x
j
}将样本x
j
加入核心对象集合Ω中；A3.如果核心对象集合则结束对步骤A1
‑
A6的执行，否则执行步骤A4；
A4.在核心对象集合Ω中，随机选一个核心对象o，初始化当前簇核心对象列表Ω
cur
＝{o}，初始化类别序号k＝k+1，初始化当前簇样本集合C
k
＝{o}，更新未访问样本集合F
‑
F
‑
{o}；A5.如果当前簇核心对象队列则当前聚类簇C
k
生成完毕，更新簇划分C＝{C1,C2,
……
,C
k
}，更新核心对象集合Ω＝Ω
‑
C
k
，返回执行步骤A3，否则更新核心对象集合Ω＝Ω
‑
C
k
；A6.在当前簇核心对象队列Ω
cur
中取出一个核心对象o
‘’
，通过邻域距离阈值ε找出ε
‑
邻域子样本点集N
ε
(o
‘’
)，令Δ＝N
ε
(o
‘’
)∩F，更新当前簇样本集合C
k
＝C
k
∪Δ，更新未访问样本集合F＝F
‑
Δ，更新Ω
cur
＝Ω
cur
∪(Δ∩Ω)
‑
o
‘’
，返回执行步骤A5。6.根据权利要求4所述的基于双目相机的动态环境感知方法，其特征在于，所述对不同帧的所述稀疏点云中表示相同障碍物的多个所述聚类簇进行关联，包括：B1.获取对m个聚类簇其中t表示C
t
中的各个聚类簇由采集时间为t的所述稀疏点云聚类得到，其中采集时间为t的所述稀疏点云由拍摄时间为t的所述深度图像处理得到，通过卡尔曼滤波器预测C
t
中所有障碍物在时间t下的位置设置距离阈值ε，初始化关联集合F＝K
t
；B2.计算C
t
中每个聚类簇的质心得到所有聚类簇当前帧下的质心B3.初始化待关联集合Ω＝D
t
；B4.对于每个按以下步骤B4a
‑
B4c执行：B4a.找到在F中的最近邻k
j
；B4b.找到k
j
在Ω中的最近邻d
j
；B4c.如果即与k
j
互为最近邻，通过公式把关联到障碍物j；通过公式把移出待关联集合Ω；通过公式F＝F
‑
{k
j
}把k
j
移出关联集合F；B5.如果或者结束对步骤B1
‑
B6的执行，反之，对于每个执行以下步骤B5a
‑
B5b：B5a.找到在F中的最近邻k
j
，计算与k
j
之间的距离δ；B5b.如果δ<ε，通过公式把关联到障碍物j，通过公式把移出待关联集合Ω，通过公式F＝F
‑
{k
j
}把k
j
移出关联集合F；B6.如果结束对步骤B1
‑
B6的执行，反之，对于每个认为是新出现的障碍物，建立障碍物跟踪历史，所述障碍物跟踪历史表示为其中其中Δt表示时间间隔，n表示障碍物的标号。7.根据权利要求6所述的基于双目相机的动态环境感知方法，其特征在于，所述识别各所述聚类簇对应的障碍物属于动态障碍物或者静态障碍物，包括：C1.获取拍摄时间为t
‑
Δt的深度图像D
t
‑
Δt
和拍摄时间为t的深度图像D
t
，获取采集时间
为t
‑
Δt的稠密点云其中所述采集时间为t
‑
Δt的稠密点云由拍摄时间为t
‑
Δt的所述深度图像处理得到，获取所述双目相机所在无人机在t
‑
Δt时刻的位姿O
t
‑
Δt
和在t时刻的位姿O
t
，获取其中p表示世界坐标系下的点，l表示点的标号，获取判别参数(β，β
min
，V
min
)；C2.遍历C
t
中的任意聚类簇其中I＝1,2，
……
，m，如果聚类簇对应新识别出的障碍物，将聚类簇对应的障碍物识别为属于未知障碍物，所述未知障碍物为既不确定属于动态障碍物也不确定属于静态障碍物的障碍物；C3.初始化变量vote＝0，dyn＝0，static＝0；C4.对聚类簇中的每个点p执行以下投票过程：C4a.根据位姿O
t
‑
Δt
判断点p是否在无人机的t

【专利技术属性】
技术研发人员：夏焕明，成慧，曾祥伟，
申请(专利权)人：中山大学，
类型：发明
国别省市：