本公开提供了一种基于注意力机制的非视域成像方法、装置、设备及介质，该方法包括：获取与被测物体相关的瞬态数据；利用浅层特征提取网络对瞬态数据进行浅层特征提取，得到第一浅层特征和第二浅层特征；利用时空自注意力网络的不同特征提取支路对第一浅层特征进行特征提取，得到中层局部特征和中层全局特征；利用时空交叉注意力网络的不同特征融合支路对中层局部特征和中层全局特征进行特征融合，得到深层局部特征和深层全局特征；利用深层浅层特征融合网络对第二浅层特征、深层局部特征和深层全局特征进行融合，得到与被测物体对应的三维体素、深度图像和亮度图像。深度图像和亮度图像。深度图像和亮度图像。
【技术实现步骤摘要】
基于注意力机制的非视域成像方法、装置、设备及介质
[0001]本公开涉及计算机视觉
和数据处理
，尤其涉及一种基于注意力机制的非视域成像方法、装置、设备及介质。
技术介绍
[0002]传统的成像方法主要侧重于恢复视距内的信息。在传统的成像方法的视距范围内，被测目标与采集设备相机之间的路径上没有障碍。相比之下，非视域成像技术恢复的隐藏场景超出了采集设备相机的视线范围。非视域成像技术可以利用漫反射中继面散射的来自隐藏场景的光来实现对隐藏场景进行非视域成像。近年来，非视域成像技术为自动驾驶、灾难救援、医疗诊断等领域带来了巨大的变革。
[0003]相关技术中，基于滤波反投影或光路传输的非视域成像方法通常会施加限制性条件，例如理想的漫反射表面和中继墙后无遮挡等，使得基于滤波反投影或光路传输的非视域成像方法成的像细节纹理存在损失和噪声严重。基于波传播的方法对隐藏场景中的隐藏物体的深度范围很敏感，难以精准恢复深度较大的隐藏物体的远处的区域。
[0004]最近，基于深度学习的方法被引入到非视域成像技术中，在实现本公开构思的过程中，专利技术人发现相关技术中至少存在如下问题：在实际复杂场景下，基于深度学习的非视域成像技术对复杂的隐藏场景成的像的质量不能满足实际应用的需求。
技术实现思路
[0005]鉴于上述问题，本公开提供了基于注意力机制的非视域成像方法、装置、设备及介质。
[0006]根据本公开的第一个方面，提供了一种基于注意力机制的非视域成像方法，包括：
[0007]获取与被测物体相关的瞬态数据，其中，上述被测物体位于非视域内，上述瞬态数据表征经中介墙漫反射和被测物体反射的光子的光子信息组成的数据；
[0008]利用浅层特征提取网络对上述瞬态数据进行浅层特征提取，得到第一浅层特征和第二浅层特征，其中，上述第一浅层特征的尺寸小于上述第二浅层特征的尺寸；
[0009]利用时空自注意力网络的不同特征提取支路对上述第一浅层特征进行特征提取，得到中层局部特征和中层全局特征，其中，上述时空自注意力网络的不同特征提取支路分别包括至少一个基于注意力机制的特征提取层，上述中层局部特征的尺寸大于上述中层全局特征的尺寸；
[0010]利用时空交叉注意力网络的不同特征融合支路对上述中层局部特征和上述中层全局特征进行特征融合，得到深层局部特征和深层全局特征，其中，上述时空交叉注意力网络的不同特征提取支路分别包括至少一个基于注意力机制的特征提取层；
[0011]利用深层浅层特征融合网络对上述第二浅层特征、上述深层局部特征和上述深层全局特征进行融合，得到与上述被测物体对应的三维体素、深度图像和亮度图像。
[0012]根据本公开的实施例，上述时空自注意力网络包括时空局部特征编码器和时空全
局特征编码器，上述利用时空自注意力网络的不同特征提取支路对上述第一浅层特征进行特征提取，得到中层局部特征和中层全局特征包括：
[0013]利用上述时空局部特征编码器对上述第一浅层特征图进行特征提取，得到上述中层局部特征；
[0014]对上述第一浅层特征进行下采样，得到下采样特征；
[0015]利用上述时空全局特征编码器对上述下采样特征进行特征提取，得到上述中层全局特征。
[0016]根据本公开的实施例，上述时空交叉注意力网络包括局部交叉注意力网络和全局交叉注意力网络，上述利用时空交叉注意力网络的不同特征融合支路对上述中层局部特征和上述中层全局特征进行特征融合，得到深层局部特征和深层全局特征包括：
[0017]对上述中层全局特征进行上采样，得到上采样特征，其中，上述上采样特征的尺寸与上述中层局部特征的尺寸相同；
[0018]利用上述局部交叉注意力网络对上述上采样特征和上述中层局部特征进行特征融合，得到上述深层局部特征，其中，上述局部交叉注意力网络包括的至少一个上述基于注意力机制的特征提取层以上述上采样特征为查询值并以上述中层局部特征为关键值和索引值；
[0019]利用上述全局交叉注意力网络对上述上采样特征和上述中层局部特征进行特征融合，得到上述深层全局特征，其中，上述全局交叉注意力网络包括的至少一个上述基于注意力机制的特征提取层以上述中层局部特征为查询值并以上述上采样特征为关键值和索引值。
[0020]根据本公开的实施例，上述深层浅层特征融合网络包括N1个上采样层、N2个卷积层和N3个非线性层，其中，上述N1、N2和N3均为大于等于1的整数。
[0021]根据本公开的实施例，上述浅层特征提取网络包括特征提取层、特征转换层和特征增强层。
[0022]根据本公开的实施例，上述特征提取层包括N4个下采样层、N5个卷积层和N6个非线性层，其中，上述N4、N5和N6均为大于等于1的整数；
[0023]上述特征转换层包括至少一个基于传统非视域成像算法的特征提取层；
[0024]上述特征增强层包括N7个下采样层、N8个卷积层、N9个非线性层，其中，上述N7、N8和N9均为大于等于1的整数。
[0025]根据本公开的实施例，上述利用深层浅层特征融合网络对上述第二浅层特征、上述深层局部特征和上述深层全局特征进行融合，得到与上述被测物体对应的三维体素、深度图像和亮度图像包括：
[0026]利用深层浅层特征融合网络对上述第二浅层特征、上述深层局部特征和上述深层全局特征进行融合，得到与上述被测物体对应的三维体素；
[0027]对上述三维体素沿深度轴进行投影，得到与投影最大值对应的上述亮度图像；
[0028]根据上述投影最大值的位置信息，得到上述深度图像。
[0029]本公开的第二方面提供了一种基于注意力机制的非视域成像装置，包括：
[0030]获取模块，用于获取与被测物体相关的瞬态数据，其中，上述被测物体位于非视域内，上述瞬态数据表征经中介墙漫反射和被测物体反射的光子的光子信息组成的数据；
[0031]第一得到模块，用于利用浅层特征提取网络对上述瞬态数据进行浅层特征提取，得到第一浅层特征和第二浅层特征，其中，上述第一浅层特征的尺寸小于上述第二浅层特征的尺寸；
[0032]第二得到模块，用于利用时空自注意力网络的不同特征提取支路对上述第一浅层特征进行特征提取，得到中层局部特征和中层全局特征，其中，上述时空自注意力网络的不同特征提取支路分别包括至少一个基于注意力机制的特征提取层，上述中层局部特征的尺寸大于上述中层全局特征的尺寸；
[0033]第三得到模块，用于利用时空交叉注意力网络的不同特征融合支路对上述中层局部特征和上述中层全局特征进行特征融合，得到深层局部特征和深层全局特征，其中，上述时空交叉注意力网络的不同特征提取支路分别包括至少一个基于注意力机制的特征提取层；
[0034]第四得到模块，用于利用深层浅层特征融合网络对上述第二浅层特征、上述深层局部特征和上述深层全局特征进行融合，得到与上述被测物体对应的三维体素、深度图像和亮度图像。
[0035]本公开本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于注意力机制的非视域成像方法，包括：获取与被测物体相关的瞬态数据，其中，所述被测物体位于非视域内，所述瞬态数据表征经中介墙漫反射和被测物体反射的光子的光子信息组成的数据；利用浅层特征提取网络对所述瞬态数据进行浅层特征提取，得到第一浅层特征和第二浅层特征，其中，所述第一浅层特征的尺寸小于所述第二浅层特征的尺寸；利用时空自注意力网络的不同特征提取支路对所述第一浅层特征进行特征提取，得到中层局部特征和中层全局特征，其中，所述时空自注意力网络的不同特征提取支路分别包括至少一个基于注意力机制的特征提取层，所述中层局部特征的尺寸大于所述中层全局特征的尺寸；利用时空交叉注意力网络的不同特征融合支路对所述中层局部特征和所述中层全局特征进行特征融合，得到深层局部特征和深层全局特征，其中，所述时空交叉注意力网络的不同特征提取支路分别包括至少一个基于注意力机制的特征提取层；利用深层浅层特征融合网络对所述第二浅层特征、所述深层局部特征和所述深层全局特征进行融合，得到与所述被测物体对应的三维体素、深度图像和亮度图像。2.根据权利要求1所述的方法，其中，所述时空自注意力网络包括时空局部特征编码器和时空全局特征编码器，所述利用时空自注意力网络的不同特征提取支路对所述第一浅层特征进行特征提取，得到中层局部特征和中层全局特征包括：利用所述时空局部特征编码器对所述第一浅层特征图进行特征提取，得到所述中层局部特征；对所述第一浅层特征进行下采样，得到下采样特征；利用所述时空全局特征编码器对所述下采样特征进行特征提取，得到所述中层全局特征。3.根据权利要求1所述的方法，其中，所述时空交叉注意力网络包括局部交叉注意力网络和全局交叉注意力网络，所述利用时空交叉注意力网络的不同特征融合支路对所述中层局部特征和所述中层全局特征进行特征融合，得到深层局部特征和深层全局特征包括：对所述中层全局特征进行上采样，得到上采样特征，其中，所述上采样特征的尺寸与所述中层局部特征的尺寸相同；利用所述局部交叉注意力网络对所述上采样特征和所述中层局部特征进行特征融合，得到所述深层局部特征，其中，所述局部交叉注意力网络包括的至少一个所述基于注意力机制的特征提取层以所述上采样特征为查询值并以所述中层局部特征为关键值和索引值；利用所述全局交叉注意力网络对所述上采样特征和所述中层局部特征进行特征融合，得到所述深层全局特征，其中，所述全局交叉注意力网络包括的至少一个所述基于注意力机制的特征提取层以所述中层局部特征为查询值并以所述上采样特征为关键值和索引值。4.根据权利要求1至3任一项所述的方法，其中，所述深层浅层特征融合网络包括N1个上采样层、N2个卷积层和N3个非线性层，其...
【专利技术属性】
技术研发人员：熊志伟，李越，张越一，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。