基于图像提取的深度信息计算方法、装置及电子设备制造方法及图纸

本发明专利技术实施例公开了一种基于图像提取的深度信息计算方法、装置及电子设备，涉及数据处理技术领域。该方法包括：对双摄设备获取到的目标图像进行区域提取，所述目标图像包括第一图像和第二图像，所述第一图像和所述第二图像分别由所述双摄设备的不同摄像头采集得到；在区域提取之后的图像上的不同区域进行特征点检测；基于所述第一图像和所述第二图像，查找所述特征点相关的对应点；利用所述对应点，生成所述目标图像的深度信息，所述深度信息用于生成与所述目标图像对应的深度图像。通过本申请的方案，提高了深度信息提取的准确度。

Depth Information Computing Method, Device and Electronic Equipment Based on Image Extraction

【技术实现步骤摘要】
基于图像提取的深度信息计算方法、装置及电子设备
本专利技术涉及数据处理
，尤其涉及基于图像提取的深度信息计算技术。
技术介绍
科学在不断发展，前沿技术也在不断更新进步。目前，双摄系统已经成为市场主流，得到了普遍推广与应用。电子移动设备向着更加小型化、智能化发展。这对当前移动设备既是挑战也是机遇。利用双摄像头系统进行拍照并获取视差及物体深度，以实现变焦，背景虚化，深度测量等得到了广泛的应用。而近两年，机器学习也获得了较快的发展，利用卷积网络来获取想要的特征信息，与传统基于图像提取的深度信息计算相比，通用性更广，鲁棒性更强，且不需要增加图像去噪，图像滤波，图像增强等预处理模块，不会破坏原本图片记录的信息，降低了图像的损失，去除了图像预处理的冗余。景深，即能够在像平面上清晰成像的物空间深度。在获取场景深度后，可以任意去定义想要的景深，这在视觉系统中具有重要的应用。视差，在同一深度不同视角，对同一场景或物体进行信息记录时所产生的差异。这两个词语在应用中息息相关，互相影响，有广泛的应用。根据立体视觉理论，在从不同视角获取同一场景的信息后，进一步地可以获取场景中同一物点在两幅图片上位置的差异。根据这个差异，结合获取这些信息所使用的光学系统的一些固有参数，可以计算出场景中任一物点的深度，进而可以实现图像虚化，物体测距等应用。视差计算是立体视觉的第一步，也是最关键的一步，视差的精度决定了后续所有步骤的精度。而计算视差的首要步骤就是进行立体匹配。当前图像匹配方法大体上分为三大类：局部的特征点匹配，全局的特征点匹配以及半全局的特征点匹配。由于对速度，硬件等的要求，全局和半全局并未在实践中得到广泛应用。相比单纯的局部算法，全局和半全局精度可能更高，但速度较慢。更多的，是放在了局部算法上。因此产生了很多对局部算法的预处理、优化等的方法以保证精度来进行产品应用。当前对于局部算法的优化，有诸多方式。如双次校验(double-check)，不仅增加了计算量和时间消耗，而且对于一些处于边缘的点并不起作用。有一些加入了图像分割算法，如k均值(k-means),均值漂移(mean-shift)等，效果有改善，计算量较大，而且一旦分割出现较大误差，也会导致最终的深度计算错误。还有的利用一些边缘算子如sobel，canny等提取边缘点作为特征点，采用这种方法提取的特征点有的时候过分多，有的时候不够具有代表性，导致计算错误。这些都会给最终效果带来误差，同时增加额外成本。全局和半全局的算法由于计算量巨大，很难应用到一些移动终端中。而局部的算法也因为各种算子的缺陷，如误差较大、效果不显著等，给最终的深度计算带来误差，给实际应用带来诸多影响。针对上述问题，亟需一种全新的基于图像提取的深度信息计算技术。
技术实现思路
有鉴于此，本专利技术实施例提供一种基于图像提取的深度信息计算方法、装置、电子设备、非暂态计算机可读存储介质及计算机程序，至少部分的解决现有技术中存在的问题。第一方面，本专利技术实施例提供了一种基于图像提取的深度信息计算方法，包括：对双摄设备获取到的目标图像进行区域提取，所述目标图像包括第一图像和第二图像，所述第一图像和所述第二图像分别由所述双摄设备的不同摄像头采集得到；在区域提取之后的图像上的不同区域进行特征点检测；基于所述第一图像和所述第二图像，查找所述特征点相关的对应点；利用所述对应点，生成所述目标图像的深度信息，所述深度信息用于生成与所述目标图像对应的深度图像。根据本专利技术实施例的一种具体实现方式，所述利用所述对应点，生成所述目标图像的深度信息之后，所述方法还包括：判断所述深度图像相邻的两个区域的视差是否小于预设阈值；若是，则对所述两个相邻区域执行合并操作。根据本专利技术实施例的一种具体实现方式，所述对双摄设备获取到的目标图像进行区域提取，包括：从所述目标图像中选取所述第一图像作为参考图；利用构建的神经网络对所述参考图进行特征提取，得到所述参考图的特征图；基于所述特征图来对所述目标区域进行区域提取。根据本专利技术实施例的一种具体实现方式，所述基于所述特征图来对所述目标区域进行区域提取，包括：利用所述神经网络的全连接层确定所述特征图中的不同区域；基于所述不同区域对所述特征图执行分块操作。根据本专利技术实施例的一种具体实现方式，所述在区域提取之后的图像上的不同区域进行特征点检测，包括：利用高斯差分图像计算出区域提取之后的图像上的极值点；基于所述极值点来确定所述区域提取之后的图像上的不同区域的特征点。根据本专利技术实施例的一种具体实现方式，所述在区域提取之后的图像上的不同区域进行特征点检测，还包括：计算所述特征点的偏移量；判断所述特征点的偏移量是否小于预设值；若是，则将该特征点从特征点集合中删除。根据本专利技术实施例的一种具体实现方式，所述基于所述第一图像和所述第二图像，查找所述特征点相关的对应点，包括：利用所述特征点，从所述第一图像和所述第二图像中查找相差最小的像素点，将相差最小的像素点作为所述特征点相关的对应点。根据本专利技术实施例的一种具体实现方式，所述利用所述对应点，生成所述目标图像的深度信息，包括：查找所述对应点对应的相差值以及所述双摄设备的基线参数；基于所述相差值和所述基线参数，确定所述目标图像的深度信息。第二方面，本专利技术实施例还提供了一种基于图像提取的深度信息计算装置，包括：提取模块，用于对双摄设备获取到的目标图像进行区域提取，所述目标图像包括第一图像和第二图像，所述第一图像和所述第二图像分别由所述双摄设备的不同摄像头采集得到；检测模块，用于在区域提取之后的图像上的不同区域进行特征点检测；查找模块，用于基于所述第一图像和所述第二图像，查找所述特征点相关的对应点；生成模块，用于利用所述对应点，生成所述目标图像的深度信息，所述深度信息用于生成与所述目标图像对应的深度图像。第三方面，本专利技术实施例还提供了一种电子设备，所述电子设备包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述任第一方面或第一方面的任一实现方式所述的基于图像提取的深度信息计算方法。第四方面，本专利技术实施例还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行前述第一方面或第一方面的任一实现方式所述的基于图像提取的深度信息计算方法。第五方面，本专利技术实施例还提供了一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行前述第一方面或第一方面的任一实现方式所述的基于图像提取的深度信息计算方法。本专利技术实施例提供的基于图像提取的深度信息计算方法、装置、电子设备、非暂态计算机可读存储介质及计算机程序，包括对双摄设备获取到的目标图像进行区域提取，所述目标图像包括第一图像和第二图像，所述第一图像和所述第二图像分别由所述双摄设备的不同摄像头采集得到；在区域提取之后的图像上的不同区域进行特征点检测；基于所述第一图像和所述第二图像，查找所述特征点相关的对应点；利用所述对应点，生成所述目标图像的深度信息，所述本文档来自技高网...

【技术保护点】
1.一种基于图像提取的深度信息计算方法，其特征在于，包括：对双摄设备获取到的目标图像进行区域提取，所述目标图像包括第一图像和第二图像，所述第一图像和所述第二图像分别由所述双摄设备的不同摄像头采集得到；在区域提取之后的图像上的不同区域进行特征点检测；基于所述第一图像和所述第二图像，查找所述特征点相关的对应点；利用所述对应点，生成所述目标图像的深度信息，所述深度信息用于生成与所述目标图像对应的深度图像。

【技术特征摘要】
1.一种基于图像提取的深度信息计算方法，其特征在于，包括：对双摄设备获取到的目标图像进行区域提取，所述目标图像包括第一图像和第二图像，所述第一图像和所述第二图像分别由所述双摄设备的不同摄像头采集得到；在区域提取之后的图像上的不同区域进行特征点检测；基于所述第一图像和所述第二图像，查找所述特征点相关的对应点；利用所述对应点，生成所述目标图像的深度信息，所述深度信息用于生成与所述目标图像对应的深度图像。2.根据权利要求1所述的基于图像提取的深度信息计算方法，其特征在于，所述利用所述对应点，生成所述目标图像的深度信息之后，所述方法还包括：判断所述深度图像相邻的两个区域的视差是否小于预设阈值；若是，则对所述两个相邻区域执行合并操作。3.根据权利要求1所述的基于图像提取的深度信息计算方法，其特征在于，所述对双摄设备获取到的目标图像进行区域提取，包括：从所述目标图像中选取所述第一图像作为参考图；利用构建的神经网络对所述参考图进行特征提取，得到所述参考图的特征图；基于所述特征图来对所述目标区域进行区域提取。4.根据权利要求3所述的基于图像提取的深度信息计算方法，其特征在于，所述基于所述特征图来对所述目标区域进行区域提取，包括：利用所述神经网络的全连接层确定所述特征图中的不同区域；基于所述不同区域对所述特征图执行分块操作。5.根据权利要求1所述的基于图像提取的深度信息计算方法，其特征在于，所述在区域提取之后的图像上的不同区域进行特征点检测，包括：利用高斯差分图像计算出区域提取之后的图像上的极值点；基于所述极值点来确定所述区域提取之后的图像上的不同区域的特征点。6.根据权利要求5所述的基于图像提取的深度信息计...

【专利技术属性】
技术研发人员：郭鑫，邢一帆，
申请(专利权)人：中科创达重庆汽车科技有限公司，
类型：发明
国别省市：重庆,50