图像处理方法、装置、电子设备和存储介质制造方法及图纸

本公开提供了一种图像处理方法，涉及人工智能、深度学习、图像处理和计算机视觉技术领域。具体实现方案为：从第一图像和第二图像的特征点匹配区域中选取N个初始匹配点对，生成初始单应矩阵；从特征点匹配区域中选取M个验证匹配点对验证初始单应矩阵，得到内点集；在内点集符合预设条件的情况下，使用内点集生成候选单应矩阵；确定最大返回次数；响应于当前返回次数小于最大返回次数，返回生成初始单应矩阵的步骤，直至当前返回次数不小于最大返回次数，得到至少一个候选单应矩阵；从至少一个候选单应矩阵中确定目标单应矩阵，并使用目标单应矩阵将第一图像和第二图像进行拼接。本公开还提供了一种图像处理装置、电子设备和存储介质。介质。介质。

【技术实现步骤摘要】
图像处理方法、装置、电子设备和存储介质


[0001]本公开涉及人工智能
，尤其涉及深度学习、图像处理和计算机视觉技术。更具体地，本公开提供了一种图像处理方法、装置、电子设备和存储介质。

技术介绍

[0002]单应矩阵(也称为单应性矩阵)，是指从一个图像中的一个点映射到另一个图像中的对应点的变换矩阵，通常描述空间中同一平面上的三维点在两个图像中的映射关系。

技术实现思路

[0003]本公开提供了一种图像处理方法、装置、设备以及存储介质。
[0004]根据第一方面，提供了一种图像处理方法，该方法包括：从第一图像和第二图像的特征点匹配区域中选取N个初始匹配点对，来生成初始单应矩阵，N为大于1的整数；从特征点匹配区域中选取M个验证匹配点对来验证初始单应矩阵，得到通过验证的内点集，M为大于1的整数；在内点集符合预设条件的情况下，使用内点集生成候选单应矩阵；根据M个验证匹配点对均为内点的期望概率，确定最大返回次数；响应于当前返回次数小于最大返回次数，返回生成初始单应矩阵的步骤，返回次数递增，直至当前返回次数不小于最大返回次数，得到至少一个候选单应矩阵；以及从至少一个候选单应矩阵中确定目标单应矩阵，并使用目标单应矩阵将第一图像和第二图像进行拼接。
[0005]根据第二方面，提供了一种图像处理装置，该装置包括：第一生成模块，用于从第一图像和第二图像的特征点匹配区域中选取N个初始匹配点对，来生成初始单应矩阵，N为大于1的整数；验证模块，用于从特征点匹配区域中选取M个验证匹配点对来验证初始单应矩阵，得到通过验证的内点集，M为大于1的整数；第二生成模块，用于在内点集符合预设条件的情况下，使用内点集生成候选单应矩阵；第一确定模块，用于根据M个验证匹配点对均为内点的期望概率，确定最大返回次数；处理模块，用于响应于当前返回次数小于最大返回次数，返回生成初始单应矩阵的步骤，返回次数递增，直至当前返回次数不小于最大返回次数，得到至少一个候选单应矩阵；以及拼接模块，用于从至少一个候选单应矩阵中确定目标单应矩阵，并使用目标单应矩阵将第一图像和第二图像进行拼接。
[0006]根据第三方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行根据本公开提供的方法。
[0007]根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行根据本公开提供的方法。
[0008]根据第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序存储于可读存储介质和电子设备其中至少之一上，所述计算机程序在被处理器执行时实现根据本公开提供的方法。
[0009]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特
征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0010]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0011]图1是根据本公开的一个实施例的可以应用图像处理方法和装置的示例性系统架构示意图；
[0012]图2是根据本公开的一个实施例的图像处理方法的流程图；
[0013]图3是根据本公开的一个实施例的确定目标单应矩阵的方法的流程图；
[0014]图4是根据本公开的一个实施例的第一图像和第二图像的特征点匹配区域的示意图；
[0015]图5是根据本公开的一个实施例的图像处理装置的框图；
[0016]图6是根据本公开的一个实施例的图像处理方法的电子设备的框图。
具体实施方式
[0017]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0018]单应矩阵在图像领域有较多应用。例如在制作全景图的场景，利用单应矩阵可以将两个包含有相同场景的图像进行拼接，得到全景图像。
[0019]针对待拼接的两个图像，一个图像中的点与另一个图像中的对应点可以组成匹配点对，根据匹配点对可以计算得到单应矩阵。但是要得到最适合所有匹配点对的单应矩阵往往需要多次迭代计算。因此，单应矩阵的计算存在速度慢、耗时长的问题，导致图像处理效率低。
[0020]需要说明的是，除图像拼接之外，单应矩阵还可以应用在图像校正(例如将有倾斜角度的图像回正)、视角转换(例如将一个图像中的点全部转换到另一个图像的平面)等多种图像处理场景。另外，单应矩阵还可以应用在相机位姿估计、增强现实等多种场景。
[0021]本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
[0022]在本公开的技术方案中，在获取或采集用户个人信息之前，均获取了用户的授权或同意。
[0023]图1是根据本公开一个实施例的可以应用图像处理方法和装置的示例性系统架构示意图。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的
技术实现思路
，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
[0024]如图1所示，根据该实施例的系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线和/或无线通信链路等等。
[0025]用户可以使用终端设备101、102、103通过网络104与服务器105进行交互，以接收
或发送消息等。终端设备101、102、103可以是各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机等等。
[0026]本公开实施例所提供的图像处理方法一般可以由服务器105执行。相应地，本公开实施例所提供的图像处理装置一般可以设置于服务器105中。本公开实施例所提供的图像处理方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的图像处理装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。
[0027]图2是根据本公开的一个实施例的图像处理方法的流程图。
[0028]如图2所示，该图像处理方法200可以包括操作S210～操作S260。
[0029]在操作S210，从第一图像和第二图像的特征点匹配区域中选取N个初始匹配点对，来生成初始单应矩阵。
[0030]例如，第一图像和第二图像可以是待拼接的两个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，包括：从第一图像和第二图像的特征点匹配区域中选取N个初始匹配点对，来生成初始单应矩阵，N为大于1的整数；从所述特征点匹配区域中选取M个验证匹配点对来验证所述初始单应矩阵，得到通过验证的内点集，M为大于1的整数；在所述内点集符合预设条件的情况下，使用所述内点集生成候选单应矩阵；根据所述M个验证匹配点对均为内点的期望概率，确定最大返回次数；响应于当前返回次数小于所述最大返回次数，返回生成初始单应矩阵的步骤，返回次数递增，直至所述当前返回次数不小于所述最大返回次数，得到至少一个候选单应矩阵；以及从所述至少一个候选单应矩阵中确定目标单应矩阵，并使用所述目标单应矩阵将所述第一图像和第二图像进行拼接。2.根据权利要求1所述的方法，还包括：计算所述内点集中的匹配点对的数量与所述验证匹配点对的数量M之间的比例，得到内点占比；其中，在所述内点占比符合预设条件的情况下，使用所述内点集生成候选单应矩阵。3.根据权利要求2所述的方法，其中，所述根据所述M个验证匹配点对均为内点的期望概率，确定最大返回次数包括：根据所述内点占比，确定经过K次返回，每次选取的M个验证匹配点对均为内点的期望概率，其中，K为所述最大返回次数；以及根据所述期望概率以及当前返回次数，确定所述最大返回次数K。4.根据权利要求3所述的方法，其中，所述根据所述内点占比，确定经过K次返回，每次选取的M个验证匹配点对均为内点的期望概率包括：根据以下公式确定所述期望概率：P＝1
‑
(1
‑
w
M
)
K
其中，P为所述期望概率，w为所述内点占比，M为所述验证匹配点对的数量，K为所述最大返回次数；所述根据所述期望概率以及当前返回次数，确定所述最大返回次数K包括：根据以下公式确定所述最大返回次数：其中，P为所述期望概率，i为所述当前返回次数，b为常数。5.根据权利要求2所述的方法，还包括：在所述内点占比不符合预设条件的情况下，确定所述当前返回次数是否小于所述最大返回次数；其中，响应于所述当前返回次数小于所述最大返回次数，返回生成初始单应矩阵的步骤，返回次数递增。6.根据权利要求2至5中任一项所述的方法，其中，所述从所述至少一个候选单应矩阵中确定目标单应矩阵包括：
从所述至少一个候选单应矩阵中确定内点占比最高的候选单应矩阵作为所述目标单应矩阵。7.根据权利要求1至6中任一项所述的方法，其中，所述第一图像和第二图像的特征点匹配区域包括多个特征点匹配区域；还包括：确定所述第一图像的特征点集和所述第二图像的特征点集；对所述第一图像的特征点集和所述第二图像的特征点集进行匹配，得到所述多个特征点匹配区域，其中每个特征点匹配区域包括至少一个匹配点对；所述从第一图像和第二图像的特征点匹配区域中选取N个初始匹配点对包括：从每个特征点匹配区域中选取n个匹配点对作为初始匹配点对，得到所述N个初始匹配点对，其中，n为大于等于1的整数；所述从所述特征点匹配区域中选取M个验证匹配点对来验证所述初始单应矩阵包括：针对每个特征点匹配区域，确定该特征点匹配区域中除所述初始匹配点对外的剩余匹配点对；从每个特征点匹配区域的剩余匹配点对中选取m个匹配点对作为验证匹配点对，得到所述M个验证匹配点对，其中，m为大于等于1的整数。8.根据权利要求7所述的方法，其中，所述对所述第一图像的特征点集和所述第二图像的特征点集进行匹配，得到所述多个特征点匹配区域包括：对所述第一图像的特征点集和所述第二图像的特征点集进行匹配，得到匹配点对集合；以及根据所述匹配点对集合中多个匹配点对彼此之间的距离，将所述匹配点对集合划分为所述多个特征点匹配区域。9.一种图像处理装置，包括：第一生成模块，用于从第一图像和第二图像的特征点匹配区域中选取N个初始匹配点对，来生成初始单应矩阵，N为大于1的整数；验证模块，用于从所述特征点匹配区域中选取M个验证匹配点对来验证所述初始单应矩阵，得到通过验证的内点集，M为大...

【专利技术属性】
技术研发人员：胡伟东，张演龙，杨尊程，滕禹桥，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：