本公开提供了一种深度检测方法、装置、电子设备及存储介质，其中，该方法包括：获取双目相机采集的目标场景的双目图像；基于双目图像，生成目标场景的深度图像以及与深度图像对齐的色彩图像；对色彩图像进行语义分割，得到色彩图像的语义分割结果，语义分割结果用于指示色彩图像中与目标对象匹配的像素点；基于色彩图像的语义分割结果以及深度图像，生成目标对象的目标对象深度图。对象的目标对象深度图。对象的目标对象深度图。
【技术实现步骤摘要】
一种深度检测方法、装置、电子设备及存储介质
[0001]本公开涉及计算机视觉
，具体而言，涉及一种深度检测方法、装置、电子设备及存储介质。
技术介绍
[0002]在计算机视觉技术中，常常需要涉及到深度信息识别的过程，比如在增强现实(Augmented Reality，AR)交互、虚拟拍照和短视频特效等应用场景中，需要通过对目标物进行深度信息识别，来实现更逼真的画面效果。
[0003]一般情况下，可以通过单目相机或者飞行时间法(Time Of Flight，TOF)相机来完成针对目标物的深度信息识别，比如通过单目相机采集的图像和预先训练的深度检测网络，可以预估目标物与单目相机之间的深度信息；或者可以通过TOF相机从发射光脉冲到接收光脉冲之间的时间间隔，以及光脉冲的传输速度，获取目标物所在的深度图像。
[0004]在基于单目相机采集的图像进行深度信息识别时，依赖预先训练的深度检测网络，会存在误差大的问题，而基于TOF相机确定深度信息时，容易存在分辨率低、户外场景效果差和硬件成本大的缺点。
技术实现思路
[0005]本公开实施例至少提供一种深度检测方案。
[0006]第一方面，本公开实施例提供了一种深度检测方法，包括：
[0007]获取双目相机采集的目标场景的双目图像；
[0008]基于所述双目图像，生成所述目标场景的深度图像以及与所述深度图像对齐的色彩图像；
[0009]对所述色彩图像进行语义分割，得到所述色彩图像的语义分割结果，所述语义分割结果用于指示所述色彩图像中与目标对象匹配的像素点；
[0010]基于所述色彩图像中属于目标对象的目标图像信息，以及所述深度图像，生成所述目标对象的目标对象深度图。
[0011]本公开实施例中，通过双目相机采集的目标场景的双目图像，相比基于单目相机和TOF相机可以得到准确度较高的深度图像以及与深度图像对齐的色彩图像，进而可以对色彩图像进行语义分割，确定色彩图像中包含与目标对象匹配的像素点，这样可以在与色彩图像对齐的深度图像中准确得到目标对象的像素点的深度值。
[0012]在一种可能的实施方式中，所述基于所述色彩图像的语义分割结果以及所述深度图像，生成所述目标对象的目标对象深度图，包括：
[0013]将所述深度图像中深度值不符合预设深度值范围的像素点的深度值调整为目标深度值；
[0014]基于所述色彩图像的语义分割结果所指示的所述目标对象在色彩图像中的像素点的位置信息，确定该目标对象在与该色彩图像对齐的深度图像中的像素点的位置信息；
[0015]基于确定的像素点的位置信息，将所述深度图像中除所述目标对象所在图像区域之外的像素点的深度值调整为所述目标深度值，得到所述目标对象的目标对象深度图。
[0016]本公开实施例中，通过将深度图像中深度值不符合预设深度值范围的像素点以及深度图像中除目标对象所在图像区域之外的像素点的深度值调整为目标深度值，比如调整为0，这样可以过滤掉除目标对象之外的像素点的深度信息，从而得到能够直观表示目标对象深度信息的目标对象深度图。
[0017]在一种可能的实施方式中，生成所述目标对象的目标对象深度图之后，还包括：
[0018]对所述目标对象深度图中，对应的深度值等于目标深度值的像素点进行深度值修正，并对修正后的目标对象深度图进行平滑处理，得到优化后的目标对象深度图。
[0019]本公开实施例中，提出对目标对象深度图中目标对象所在图像区域中深度值等于目标深度值的像素点的深度值进行修正，补全目标对象所在图像区域中深度值等于目标深度值的像素点的深度值，然后对修正后的目标对象进行平滑处理，可以提高得到的目标对象深度图的准确度和完整性。
[0020]在一种可能的实施方式中，所述对所述目标对象深度图中，对应的深度值等于目标深度值的像素点进行深度值修正，包括：
[0021]遍历所述目标对象深度图中所述目标对象所在图像区域的像素点，检测遍历的当前像素点的深度值是否等于所述目标深度值；
[0022]在检测到当前像素点的深度值不等于所述目标深度值的情况下，检测第一关联像素点的深度值是否等于所述目标深度值；所述第一关联像素点为与所述当前像素点相邻且在所述目标对象所在图像区域的像素点；
[0023]在检测到所述第一关联像素点的深度值等于所述目标深度值的情况下，将与所述第一关联像素点的深度值更新为所述当前像素点的深度值。
[0024]本公开实施例中，在当前像素点的深度值不等于目标深度值的情况下，可以通过当前像素点的深度值对相邻的且在目标对象所在图像区域内的像素点的深度值进行补全，按照该方式可以快速确定深度图中目标对象所在图像区域内深度值等于目标深度值的像素点的真实深度值，从而得到的完整的目标对象深度图。
[0025]在一种可能的实施方式中，所述对修正后的目标对象深度图进行平滑处理，包括：
[0026]针对所述修正后的目标对象深度图中所述目标对象所在图像区域的任一像素点，确定该任一像素点和第二关联像素点的平均深度值；所述第二关联像素点为与该任一像素点间隔预设像素点数量范围内且在所述目标对象所在图像区域的像素点；
[0027]将该任一像素点的深度值调整为所述平均深度值。
[0028]本公开实施例中，通过对目标对象中与任一像素点间隔预设像素点数量范围内的像素点和该任一像素点的深度值对该任一像素点深度值进行平滑处理，从而可以得到平滑的目标对象深度图。
[0029]在一种可能的实施方式中，生成所述目标对象的目标对象深度图之后，所述深度检测方法还包括：
[0030]基于所述目标对象在所述色彩图像中的位置信息、所述目标对象深度图、以及所述双目相机的位姿数据，确定所述目标对象在现实场景中的第一位置信息；
[0031]基于目标虚拟对象在与所述现实场景匹配的三维场景模型中的位置信息，确定所
述目标虚拟对象在所述现实场景中的第二位置信息；
[0032]根据AR设备在所述现实场景中的位姿数据、所述第一位置信息和所述第二位置信息，确定在所述AR设备呈现所述目标虚拟对象时的AR特效。
[0033]本公开实施例中，在确定出目标对象深度图后，可以进一步确定目标对象在世界坐标系中的第一位置信息，这样结合目标虚拟对象在世界坐标系中的第二位置信息，可以确定出目标虚拟对象在AR设备中呈现时的AR特效，提高AR特效的真实感。
[0034]在一种可能的实施方式中，所述对所述色彩图像进行语义分割，得到所述色彩图像的语义分割结果，包括：
[0035]根据预先训练的目标神经网络对所述色彩图像中的像素点进行分类识别，得到所述色彩图像中的像素点属于目标对象的概率；
[0036]基于所述色彩图像中的各像素点属于目标对象的概率，得到所述色彩图像的语义分割结果。
[0037]本公开实施例中，可以通过预先训练的目标神经网络对色彩图像中各像素点进行分类，快速确定出色彩图像中属于目标对象的本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种深度检测方法，其特征在于，包括：获取双目相机采集的目标场景的双目图像；基于所述双目图像，生成所述目标场景的深度图像以及与所述深度图像对齐的色彩图像；对所述色彩图像进行语义分割，得到所述色彩图像的语义分割结果，所述语义分割结果用于指示所述色彩图像中与目标对象匹配的像素点；基于所述色彩图像的语义分割结果以及所述深度图像，生成所述目标对象的目标对象深度图。2.根据权利要求1所述的深度检测方法，其特征在于，所述基于所述色彩图像的语义分割结果以及所述深度图像，生成所述目标对象的目标对象深度图，包括：将所述深度图像中深度值不符合预设深度值范围的像素点的深度值调整为目标深度值；基于所述色彩图像的语义分割结果所指示的所述目标对象在色彩图像中的像素点的位置信息，确定该目标对象在与该色彩图像对齐的深度图像中的像素点的位置信息；基于确定的像素点的位置信息，将所述深度图像中除所述目标对象所在图像区域之外的像素点的深度值调整为所述目标深度值，得到所述目标对象的目标对象深度图。3.根据权利要求2所述的深度检测方法，其特征在于，生成所述目标对象的目标对象深度图之后，还包括：对所述目标对象深度图中，对应的深度值等于目标深度值的像素点进行深度值修正，并对修正后的目标对象深度图进行平滑处理，得到优化后的目标对象深度图。4.根据权利要求3所述的深度检测方法，其特征在于，所述对所述目标对象深度图中，对应的深度值等于目标深度值的像素点进行深度值修正，包括：遍历所述目标对象深度图中所述目标对象所在图像区域的像素点，检测遍历的当前像素点的深度值是否等于所述目标深度值；在检测到当前像素点的深度值不等于所述目标深度值的情况下，检测第一关联像素点的深度值是否等于所述目标深度值；所述第一关联像素点为与所述当前像素点相邻且在所述目标对象所在图像区域的像素点；在检测到所述第一关联像素点的深度值等于所述目标深度值的情况下，将与所述第一关联像素点的深度值更新为所述当前像素点的深度值。5.根据权利要求3或4所述的深度检测方法，其特征在于，所述对修正后的目标对象深度图进行平滑处理，包括：针对所述修正后的目标对象深度图中所述目标对象所在图像区域的任一像素点...
【专利技术属性】
技术研发人员：李雷，李健华，张家旺，史璇珂，王权，钱晨，
申请(专利权)人：深圳市商汤科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。