【技术实现步骤摘要】
基于单目多模态深度图生成方法、系统、设备和存储介质
本专利技术涉及图像处理
，具体涉及基于单目多模态深度图生成方法、系统、设备和存储介质。
技术介绍
深度图也被称为距离图，其像素值代表图像采集器到场景中各点的距离，这种深度信息有助于理解物体与环境之间的几何关系，在增强现实、在聚焦、目标检测及辅助盲人感知环境等领域具有重要作用。深度图可由深度相机获取，现有深度相机的成像方式大致可以分为三种，即基于结构光、ToF(Timeofflight)和纯双目。然而，这三种成像方式均无法满足全天候多场景的深度图获取。现有技术中大多使用单一模态数据对已有深度图进行重建或增强。其中纯双目是唯一可以在户外使用的深度相机，但在户外光线条件较差时，纯双目深度相机也无法获得可用的深度图。基于这一限制，上述现有技术的应用场景有限。其次，仅使用单一模态的数据进行深度图的生成获得的效果并不理想。
技术实现思路
鉴于上述问题，本专利技术实施例一种基于单目多模态深度图生成方法、系统、设备和存储介质，解决现有深度图的获取方式无法满足全天候...
【技术保护点】
1.一种基于单目多模态深度图生成方法，其特征在于，所述方法包括：/n创建一个双支感知神经网络，将红外图像和可见光图像分别输入双支感知神经网络并生成红外特征图和可见光特征图；/n在双支感知神经网络的下采样过程中逐级将红外特征图和可见光特征图进行相互感知跨模态融合并获取特征融合图；/n将特征融合图经过双支感知神经网络的上采样生成一个全新的深度图。/n
【技术特征摘要】
1.一种基于单目多模态深度图生成方法，其特征在于，所述方法包括：
创建一个双支感知神经网络，将红外图像和可见光图像分别输入双支感知神经网络并生成红外特征图和可见光特征图；
在双支感知神经网络的下采样过程中逐级将红外特征图和可见光特征图进行相互感知跨模态融合并获取特征融合图；
将特征融合图经过双支感知神经网络的上采样生成一个全新的深度图。
2.如权利要求1所述的一种基于单目多模态深度图生成方法，其特征在于，所述将红外特征图和可见光特征图进行相互感知跨模态融合并获取特征融合图包括：
将红外特征图表示为：针对红外特征图中的每一个像素点在可见光特征图对应像素点位置周围进行采样获得可见光邻域节点集合将每一个可见光邻域节点集合传递给红外特征图中对应的像素点，红外特征图根据可见光邻域节点集合融合为红外融合特征图，其过程表示为：m′i＝RELU(βi∑j∈U(j)Ei,juj+mi)；
将可见光特征图表示为：针对可见光特征图中的每一个像素点在红外特征图对应像素点位置周围进行采样获得红外邻域节点集合将每一个红外邻域节点集合传递给可见光特征图中对应的像素点，可见光特征图根据红外邻域节点集合融合为可见光融合特征图，其过程表示为：n′i＝RELU(βi∑j∈U(j)Ei,juj+ni)；
将红外融合特征图与可见光融合特征图拼接为特征融合图。
3.如权利要求2所述的一种基于单目多模态深度图生成方法，其特征在于，还包括针对可见光邻域节点集合进行优化，
将可见光邻域节点集合中的采样点定义为原始可见光采样点；
优化后的可见光采样点以可见光原始采样点为基点进行偏移获取进行特征融合的采样位置，其过程表示为vj＝SAMPLE(uj|N,(xj,yj))，
其中，(xj,yj)＝Wjuj+bj，经过优化后的可见光邻域节点集合转变为
4.如权利要求2所述的一种基于单目多模态深度图生成方法，其特征在于，还包括针对红外邻域节点集合进行优化，
将红外邻域节点集合中的采样点定义为原始红外采样点；
优化后的红外采样点以红外原始采样点为基点进行偏移获取进行特征融合的采样位置，其过程表示为：vj＝SAMPLE(uj|M,(xj,yj))，
其中，(xj,yj)＝Wjuj+bj，经过优化后的可见光邻域节点集合转变为
5.一种基于单目多模态深度图生成系统，其特征在于，所述系统包括：
创建模块：用于创建一个双支感知神经网络，将红外图像和可见光图像分别输入双支感知神经网络并生成红外特征图和可见光特征图；
融合模块：用于在双支...
【专利技术属性】
技术研发人员：廉洁，张树，俞益洲，李一鸣，乔昕，
申请(专利权)人：北京深睿博联科技有限责任公司，杭州深睿博联科技有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。