【技术实现步骤摘要】
本专利技术涉及计算机视觉、自动驾驶、立体视觉及算法设计，尤其涉及一种面向双目立体视觉的跨模态对比学习方法。
技术介绍
1、随着自动驾驶和3d重建应用需求的不断增长，双目立体深度估计在计算机视觉和机器人研究领域受到了越来越多的关注。近年来，基于深度学习的双目立体匹配方法取得了巨大成功，但在光线条件差且运动迅速时，立体匹配可能会产生歧义。由于这是rgb传感器本身的局限性，仅依靠深度学习方法并不能完全解决该问题。一个有效的解决方案是融合其他传感器(比如本专利技术所使用的事件相机)弥补动态范围和运动模糊的缺点，通过多模态数据的融合来提升表征能力，从而减少匹配歧义和深度估计的误差。
2、事件相机(比如动态视觉传感器dvs)对每个像素的亮度变化做出响应，并拥有高时间分辨率、低延迟和高动态范围等诸多潜在优势。将事件相机和传统rgb相机融合在一起，理论上包含更多的场景细节，不受运动模糊影响，同时具有高动态范围和高时间分辨率。近几年，有大量方法利用这两种传感器的互补性并结合深度学习来专利技术新的双目立体视觉匹配技术。
3、这些方法
【技术保护点】
1.一种面向双目立体视觉的跨模态对比学习方法，其特征在于，所述跨模态对比学习方法包括三个子对比模块：跨视角对比模块、跨模态对比模块和跨时域对比模块；
2.根据权利要求1所述的面向双目立体视觉的跨模态对比学习方法，其特征在于，所述跨视角对比模块对于左视图特征中的某一像素锚点，将右视图特征中与之匹配的像素点视为一个正样例，右视图特征中非匹配的像素点视为一个负样例，在整张特征图上采样获得跨视角的正样例集合和负样例集合。
3.根据权利要求1所述的面向双目立体视觉的跨模态对比学习方法，其特征在于，所述跨模态对比模块将左视图特征中的RGB特征像素位置打乱，...
【技术特征摘要】
1.一种面向双目立体视觉的跨模态对比学习方法，其特征在于，所述跨模态对比学习方法包括三个子对比模块：跨视角对比模块、跨模态对比模块和跨时域对比模块；
2.根据权利要求1所述的面向双目立体视觉的跨模态对比学习方法，其特征在于，所述跨视角对比模块对于左视图特征中的某一像素锚点，将右视图特征中与之匹配的像素点视为一个正样例，右视图特征中非匹配的像素点视为一个负样例，在整张特征图上采样获得跨视角的正样例集合和负样例集合。
3.根据权利要求1所述的面向双目立体视觉的跨模态对比学习方法，其特征在于，所述跨模态对比模块将左视图特征中的rgb特征像素位置打乱，使得左视图的事件特征与rgb特征不再像素对齐，打乱后的像素点视为一个负样例，在整张特征图上采样获得跨模态的负样例集合。
4.根据权利要求1所述的面向双目立体视觉的跨模...
【专利技术属性】
技术研发人员：杨鑫，王元博，魏小鹏，李潭秋，崔岩，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。