图像深度计算方法、装置、存储介质和电子设备制造方法及图纸

本发明专利技术实施例提供一种图像深度计算方法、装置、存储介质和电子设备。图像深度计算方法包括：基于拍摄的相互关联的至少两个视图图像，确定对应的匹配代价数据；通过用于生成深度图的神经网络模型，根据所述匹配代价数据，为所述至少两个视图图像中的选定图像生成相应的深度图。由此通过设计相对小型化的该神经网络模型获得准确性较高的深度图。在计算能力较低的终端设备(例如手机)上，可在获得摄像设备拍摄的同一场景的至少两个视图图像后，即时、快速地生成相应的深度图，以便于根据生成的深度图对图像进行各种处理。

【技术实现步骤摘要】
图像深度计算方法、装置、存储介质和电子设备
本专利技术实施例涉及计算机视觉技术，尤其涉及一种图像深度计算方法、装置、计算机可读存储介质和电子设备。
技术介绍
双目立体视觉是机器视觉的一种重要形式，其使用成像设备模仿双眼抓取被测物体的两幅图像，以获取物体的三维几何信息。立体视觉在机器人视觉、医学成像和工业检测等领域中已得到越来越广泛的应用。在现有的双目立体视觉实现方案中，景深计算具有较高的计算复杂度，并且难于实现实时的景深计算。虽然在损失一定的景深计算准确度的前提下，能够在电脑上实现实时计算景深，但是同样的景深计算方法由于计算复杂度依然过高，因此在计算能力较低的终端设备(例如手机等)上无法实现实时的景深计算。
技术实现思路
本专利技术实施例的目的在于，提供一种图像的深度计算技术。根据本专利技术的第一方面，提供一种图像深度计算方法，包括：基于拍摄的相互关联的至少两个视图图像，确定对应的匹配代价数据；通过用于生成深度图的神经网络模型，根据所述匹配代价数据，为所述至少两个视图图像中的选定图像生成相应的深度图。可选地，所述基于拍摄的相互关联的至少两个视图图像，确定对应的匹配代价数据，包括：通过立体匹配方法，计算所述至少两个视图图像之间的匹配代价数据。可选地，在基于拍摄的相互关联的至少两个视图图像，确定对应的匹配代价数据之前，所述方法还包括：对所述至少两个视图图像进行校准，以使所述至少两个视图图像行对齐。可选地，所述视图图像由双目摄像装置拍摄获得，所述视图图像的个数为两个。可选地，所述通过用于生成深度图的神经网络模型，根据所述匹配代价数据，为所述至少两个视图图像中的选定图像生成相应的深度图，包括：通过用于生成深度图的神经网络模型，根据所述匹配代价数据，为所述两个视图图像中分辨率高的视图图像，生成相应的深度图。可选地，所述视图图像由单目摄像装置拍摄获得，所述视图图像的个数为两个，所述两个视图图像包括左视图图像和右视图图像。可选地，所述方法还包括：根据所述深度图，对所述选定图像进行景深相关的处理。可选地，所述根据所述深度图，对所述选定图像进行景深相关的处理，包括以下处理当中的至少一个：根据所述深度图对所述选定图像进行前背景分割处理；或，根据所述深度图对所述选定图像进行虚化处理；或，根据所述深度图，计算所述选定图像的点云数据，并且根据所述点云数据对所述场景进行三维建模；或，根据所述深度图，对所述选定图像执行增强现实处理。可选地，在便携式终端设备中执行所述图像深度计算方法。可选地，在基于拍摄的相互关联的至少两个视图图像，确定对应的匹配代价数据之前，所述方法还包括：获取训练样本数据，所述训练样本数据含有样本图像、所述样本图像的匹配代价数据以及为所述样本图像标注的深度图；通过所述训练样本数据，训练所述神经网络模型。可选地，所述获取训练样本数据，包括：获取拍摄的相互关联的所述样本图像和辅助图像；根据所述样本图像和辅助图像，确定所述样本图像的匹配代价数据；获取为所述样本图像标注的深度图。可选地，所述根据所述样本图像和辅助图像，确定所述样本图像的匹配代价数据，包括：通过立体匹配方法，根据所述样本图像和所述辅助图像，计算所述样本图像的匹配代价数据。可选地，在根据所述样本图像和辅助图像，确定所述样本图像的匹配代价数据之前，还包括：对所述样本图像和辅助图像进行校准，以使所述样本图像和辅助图像行对齐。可选地，所述获取拍摄的相互关联的所述样本图像和辅助图像，包括：获取通过双目摄像装置或单目摄像装置拍摄的相互关联的两个图像；将所述两个图像之一者作为所述样本图像，将所述之另一者作为所述辅助图像。可选地，选取所述两个图像之一者为所述样本图像，将所述之另一者作为所述辅助图像，包括：将所述两个图像当中，分辨率更高的图像作为所述样本图像，将另一图像作为所述辅助图像。可选地，所述获取训练样本数据，还包括：通过三维视觉引擎，生成相互关联的左眼图像、右眼图像以及相应的深度图；将所述左眼图像和右眼图像之一者作为所述样本图像，将所述左眼图像和右眼图像之另一者作为所述辅助图像；根据所述左眼图像和右眼图像，确定所述样本图像的匹配代价数据。根据本专利技术的第二方面，提供一种图像深度计算装置，包括：图像数据获取模块，用于基于拍摄的相互关联的至少两个视图图像，确定对应的匹配代价数据；深度计算模块，用于通过用于生成深度图的神经网络模型，根据所述图像数据获取模块确定匹配代价数据，为所述至少两个视图图像中的选定图像生成相应的深度图。可选地，所述图像数据获取模块用于通过立体匹配方法，计算所述至少两个视图图像之间的匹配代价数据。可选地，在所述图像数据获取模块基于拍摄的相互关联的至少两个视图图像，确定对应的匹配代价数据之前，所述装置还包括：图像校准模块，用于对所述至少两个视图图像进行校准，以使所述至少两个视图图像行对齐。可选地，所述视图图像由双目摄像装置拍摄获得，所述视图图像的个数为两个。可选地，所述深度计算模块用于：通过用于生成深度图的神经网络模型，根据所述匹配代价数据，为所述两个视图图像中分辨率高的视图图像，生成相应的深度图。可选地，所述视图图像由单目摄像装置拍摄获得，所述视图图像的个数为两个，所述两个视图图像包括左视图图像和右视图图像。可选地，所述装置还包括：图像处理模块，用于根据所述深度图，对所述选定图像进行景深相关的处理。可选地，所述图像处理模块包括以下处理单元当中的至少一个：前背景分割处理单元，用于根据所述深度图对所述选定图像进行前背景分割处理；或，虚化处理单元，用于根据所述深度图对所述选定图像进行虚化处理；或，三维建模处理单元，用于根据所述深度图，计算所述选定图像的点云数据，并且根据所述点云数据对所述场景进行三维建模；或，增强现实处理单元，用于根据所述深度图，对所述选定图像执行增强现实处理。可选地，所述图像深度计算装置设置在便携式终端设备中。可选地，在所述图像数据获取模块基于拍摄的相互关联的至少两个视图图像，确定对应的匹配代价数据之前，所述装置还包括：训练样本获取模块，用于获取训练样本数据，所述训练样本数据含有样本图像、所述样本图像的匹配代价数据以及为所述样本图像标注的深度图；模型训练模块，用于通过所述训练样本获取模块获取的训练样本数据，训练所述神经网络模型。可选地，所述训练样本获取模块包括：第一样本图像获取单元，用于获取拍摄的相互关联的所述样本图像和辅助图像；第一匹配代价确定单元，用于根据所述样本图像和辅助图像，确定所述样本图像的匹配代价数据；样本深度图获取单元，用于获取为所述样本图像标注的深度图。可选地，所述第一匹配代价确定单元用于：通过立体匹配方法，根据所述样本图像和所述辅助图像，计算所述样本图像的匹配代价数据。可选地，在所述第一匹配代价确定单元根据所述样本图像和辅助图像，确定所述样本图像的匹配代价数据之前，所述训练样本获取模块还包括：样本校准单元，用于对所述样本图像和辅助图像进行校准，以使所述样本图像和辅助图像行对齐。可选地，所述第一样本图像获取单元用于获取通过双目摄像装置或单目摄像装置拍摄的相互关联的两个图像，并且将所述两个图像之一者作为所述样本图像，将所述之另一者作为所述辅助图像。可选地，所述第一样本图像获取单元用于将所述两个图像当中，分辨率更高的图像作为所述样本本文档来自技高网...

【技术保护点】
1.一种图像深度计算方法，包括：基于拍摄的相互关联的至少两个视图图像，确定对应的匹配代价数据；通过用于生成深度图的神经网络模型，根据所述匹配代价数据，为所述至少两个视图图像中的选定图像生成相应的深度图。

【技术特征摘要】
1.一种图像深度计算方法，包括：基于拍摄的相互关联的至少两个视图图像，确定对应的匹配代价数据；通过用于生成深度图的神经网络模型，根据所述匹配代价数据，为所述至少两个视图图像中的选定图像生成相应的深度图。2.根据权利要求1所述的方法，其特征在于，所述基于拍摄的相互关联的至少两个视图图像，确定对应的匹配代价数据，包括：通过立体匹配方法，计算所述至少两个视图图像之间的匹配代价数据。3.根据权利要求2所述的方法，其特征在于，在基于拍摄的相互关联的至少两个视图图像，确定对应的匹配代价数据之前，所述方法还包括：对所述至少两个视图图像进行校准，以使所述至少两个视图图像行对齐。4.根据权利要求1～3中任一项所述的方法，其特征在于，所述视图图像由双目摄像装置拍摄获得，所述视图图像的个数为两个。5.一种图像深度计算装置，包括：图像数据获取模块，用于基于拍摄的相互关联的至少两个视图图像，确定对应的匹配代价数据；深度计算模块，用于通过用于生成深度图的神经网络模型，根据所述图像数据获取模块确定匹配代价数据，为所述至少两个视图图像...

【专利技术属性】
技术研发人员：任思捷，陈晓濠，孙文秀，庞家昊，严琼，
申请(专利权)人：深圳市商汤科技有限公司，
类型：发明
国别省市：广东,44