用于深度神经网络特征匹配的非对称归一化相关层制造技术

一种方法，包括使用电子设备的第一图像传感器获得场景的第一图像，并且使用电子设备的第二图像传感器获得场景的第二图像。所述方法也包括从第一图像生成第一特征图并且从第二图像生成第二特征图。所述方法还包括基于第一特征图、第二特征图以及非对称搜索窗口生成第三特征图。所述方法还包括通过对第三特征图恢复空间分辨率来生成深度图。复空间分辨率来生成深度图。复空间分辨率来生成深度图。

Asymmetric normalized correlation layer for feature matching of deep neural networks

【技术实现步骤摘要】
【国外来华专利技术】用于深度神经网络特征匹配的非对称归一化相关层


[0001]本公开总体上涉及图像捕获系统。更具体地，本公开涉及用于深度神经网络特征匹配的非对称归一化相关层。

技术介绍

[0002]许多移动电子设备，诸如智能手机和平板电脑，包括能够被用于捕获静态和视频图像的相机。虽然方便，但移动电子设备上的相机通常有许多缺点，降低了它们的图像质量。各种机器学习算法能够被用于许多图像处理相关应用中，以提高使用移动电子设备或其他设备捕获的图像的质量。例如，不同的神经网络可以被训练，然后被用于执行不同的图像处理任务，以提高捕获图像的质量。作为一个特定的示例，神经网络可以被训练并用于模糊捕获图像的特定部分。

技术实现思路

[0003]解决方案
[0004]一种方法包括使用电子设备的第一图像传感器获得场景的第一图像，并且使用电子设备的第二图像传感器获得场景的第二图像。所述方法也包括从第一图像生成第一特征图并且从第二图像生成第二特征图。所述方法还包括基于第一特征图、第二特征图和非对称搜索窗口生成第三特征图。所述方法额外包括通过对第三特征图恢复空间分辨率来生成深度图。
附图说明
[0005]为了更完整地理解本公开及其优点，现在结合附图参考以下描述，其中相同的附图标记表示相同的部件：
[0006]图1图示根据本公开的包括电子设备的示例网络配置；
[0007]图2A、图2B和图2C图示根据本公开的示例输入图像和在神经网络中使用非对称归一化相关层可以获得的示例处理结果；
[0008]图3图示根据本公开的示例神经网络架构；
[0009]图4图示根据本公开的包括非对称归一化相关层的神经网络的详细示例；
[0010]图5图示根据本公开的神经网络的可逆小波层的示例应用；
[0011]图6A和图6B图示根据本公开的在非对称归一化相关层中使用的示例非对称搜索窗口和非对称归一化相关层的示例应用；以及
[0012]图7图示根据本公开的使用非对称归一化相关层进行深度神经网络特征匹配的示例方法。
具体实施方式
[0013]最佳模式
[0014]本公开提供了用于深度神经网络特征匹配的非对称归一化相关层。
[0015]在第一实施例中，一种方法包括使用电子设备的第一图像传感器获得场景的第一图像，并且使用电子设备的第二图像传感器获得场景的第二图像。所述方法也包括从第一图像生成第一特征图并且从第二图像生成第二特征图。所述方法还包括基于第一特征图、第二特征图和非对称搜索窗口生成第三特征图。此外，所述方法包括通过对第三特征图恢复空间分辨率来生成深度图。
[0016]在第二实施例中，电子设备包括第一图像传感器、第二图像传感器和可操作地耦合到第一图像传感器和第二图像传感器的至少一个处理器。所述至少一个处理器被配置为使用第一图像传感器获得场景的第一图像，并且使用第二图像传感器获得场景的第二图像。所述至少一个处理器也被配置为从第一图像生成第一特征图并且第二图像生成第二特征图。所述至少一个处理器还被配置为基于第一特征图、第二特征图和非对称搜索窗口生成第三特征图。此外，所述至少一个处理器被配置为通过对第三特征图恢复空间分辨率来生成深度图。
[0017]在第三实施例中，非暂时性机器可读介质包含指令，当所述指令被执行时，使得电子设备的至少一个处理器使用电子设备的第一图像传感器获得场景的第一图像，并且使用电子设备的第二图像传感器获得场景的第二图像。所述介质也包含指令，当所述指令被执行时，使得至少一个处理器从第一图像生成第一特征图并且从第二图像生成第二特征图。所述介质还包含指令，当所述指令被执行时，使得至少一个处理器基于第一特征图、第二特征图和非对称搜索窗口生成第三特征图。此外，所述介质包含指令，当所述指令被执行时，使得至少一个处理器通过对第三特征图恢复空间分辨率来生成深度图。
[0018]从以下附图、描述和权利要求中，其他技术特征对于本领域技术人员来说是显而易见的。
[0019]在进行下面的详细描述之前，阐述贯穿本专利文件使用的某些单词和短语的定义可以是有利的。术语“发送”、“接收”和“通信”及其派生词包括直接和间接通信。术语“包括”和“包含”及其派生词是指包括但不限于此。术语“或”是包含性的，意味着和/或。短语“与
…
相关联”及其派生词是指包括、被包括在内、与
…
互连、包含、被包含在内、连接到
…
或与
…
连接、耦合到
…
或与
…
耦合、与
…
通信、与
…
合作、与
…
交错、与
…
并置、与
…
接近、结合到
…
或与
…
结合、具有
…
性质、与
…
有关等。
[0020]此外，下面描述的各种功能能够由一个或多个计算机程序实现或支持，计算机程序中的每一个由计算机可读程序代码形成并包含在计算机可读介质中。术语“应用”和“程序”是指一个或多个计算机程序、软件组件、指令集、过程、函数、对象、类、实例、相关数据或其适于在合适的计算机可读程序代码中实现的部分。短语“计算机可读程序代码”包括任何类型的计算机代码，包括源代码、目标代码和可执行代码。短语“计算机可读介质”包括能够被计算机访问的任何类型的介质，诸如只读存储器(ROM)、随机存取存储器(RAM)、硬盘驱动器、光盘(CD)、数字视盘(DVD)或任何其他类型的存储器。“非暂时性”计算机可读介质不包括传输暂时性电信号或其他信号的有线、无线、光学或其他通信链路。非暂时性计算机可读介质包括能够永久存储数据的介质和能够存储数据并稍后重写的介质，诸如可重写光盘或可擦除存储设备。
[0021]如本文所使用的，诸如“具有”、“可以具有”、“包括”或“可以包括”特征(如数字、功
能、操作或组件，诸如部件)的术语和短语指示该特征的存在，并且不排除其他特征的存在。此外，如本文所使用的，短语“A或B”、“A和/或B中的至少一个”或“A和/或B中的一个或多个”可以包括A和B的所有可能组合。例如，“A或B”、“A和B中的至少一个”和“A或B中的至少一个”可以表示所有(1)包括至少一个A、(2)包括至少一个B，或者(3)包括至少一个A和至少一个B。此外，如本文所使用的，术语“第一”和“第二”可以修饰各种组件，而不管其重要性如何，并且不限制这些组件。这些术语仅用于区分不同的组件。例如，第一用户设备和第二用户设备可以指示彼此不同的用户设备，而不管设备的顺序或重要性如何。在不脱离本公开的范围的情况下，第一组件可以被表示为第二组件，反之亦然。
[0022]应当理解，当一个元件(诸如第一元件)被称为“耦合到”另一元件(诸如第二元件)、与另一元件(诸如第二元件)“耦合”或被称为“连接到”另一元件(诸如第二元件)、与另一元件(诸如第二元件)“连接”时，它能够直接或通过第三元件与另一个元件耦合或连接本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：使用电子设备的第一图像传感器获得场景的第一图像，并且使用电子设备的第二图像传感器获得场景的第二图像；从第一图像生成第一特征图并且从第二图像生成第二特征图；使用非对称搜索窗口，基于第一特征图和第二特征图生成第三特征图；以及通过对第三特征图恢复空间分辨率来生成深度图。2.根据权利要求1所述的方法，其中，生成第一特征图和第二特征图包括：修改第一图像和第二图像中的至少一个，以生成校准图像对；以及使用校准图像对生成第一特征图和第二特征图。3.根据权利要求1所述的方法，进一步包括：识别第一特征图的高频分量和低频分量，其中，高频分量用于对第三特征图恢复空间分辨率。4.根据权利要求1所述的方法，其中，所述非对称搜索窗口包括所述非对称搜索窗口中关于至少两个不同方向的至少两个不同距离。5.根据权利要求1所述的方法，其中，使用神经网络中的不同特征提取器并行地生成第一特征图和第二特征图。6.根据权利要求1所述的方法，其中，生成第三特征图包括：跨越第一特征图和第二特征图应用随机二进制掩模，以生成掩模的第一特征图和掩模的第二特征图；和通过计算掩模的第一特征图和掩模的第二特征图的移位版本之间的通道归一化互相关来识别第三特征图，其中，掩模的第二特征图基于非对称搜索窗口的大小被移位多次。7.根据权利要求1所述的方法，进一步包括：获得第一图像内的焦点；以及使用深度图，通过模糊第一图像中与不同于与焦点相关联的深度的深度相对应的部分来生成博克效果。8.一种电子设备，包括：第一图像传感器；第二图像传感器；以及至少一个处理器，可操作地耦合到第一图像传感器和第二图像传感器，并且被配置为：使用第一图像传感器获得场景的第一图像，并且使用第二图像传感器获得场景的第二图像；从第一图像生成第一特征图并且从...

【专利技术属性】
技术研发人员：罗谌持，李英茂，柳荣俊，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：