本文公开了一种图像处理方法，包括：获取多个捕获图像和与每个捕获图像相关联的方向相关信息；从所获取的每个捕获图像中分割出对应不同朝向的多个图像块；基于所获取的方向相关信息，确定分割出的所述多个图像块中的每个的朝向信息；在所述多个捕获图像之中，对具有相同朝向信息的图像块进行匹配；以及基于所述匹配的结果，对所述多个捕获图像进行分组。对所述多个捕获图像进行分组。对所述多个捕获图像进行分组。
【技术实现步骤摘要】
图像处理方法、装置以及存储介质
[0001]一般地，本专利技术涉及图像处理领域，更具体地涉及一种图像处理方法、图像处理装置以及相应的计算机可读存储介质。
技术介绍
[0002]在空间或平面重建领域，越来越多地使用到了图像处理领域中的各种技术，从而能够实现虚拟场景漫游、二维/三维(2D/3D)场景的生成和预览或诸如此类的应用。例如，在房屋平面图生成的应用中，通常会拍摄各个房间或空间的全景图像，然后基于所拍摄的每张全景图像，生成相应的房间平面图以供预览。然而，如果某些房间或空间的面积过大，或者形状、结构的复杂度较高，仅一张全景图所能提供的信息是有限的，甚至并不能够完全覆盖该房间或空间的全部区域。因此，在这种情况下，可能需要在同一空间内拍摄两张甚至更多张的图像，从而生成该空间的完整平面图。
技术实现思路
[0003]然而，对于在同一空间内拍摄多张图像的上述情况，在生成空间的平面图的处理中却面临以下挑战：如何准确判断出所拍摄的哪些图像属于同一空间。因此，只有在首先解决该问题的基础上，在后续的图像处理流程中，才可以更准确地生成相应空间的平面图。由此可见，在图像处理领域，需要提供一种能够将属于同一空间的所拍摄的图像进行准确分组的方法和装置。
[0004]为了至少解决上述技术问题，根据本专利技术的其中一个方面，提供了一种图像处理方法，包括：获取多个捕获图像和与每个捕获图像相关联的方向相关信息；从所获取的每个捕获图像中分割出对应不同朝向的多个图像块；基于所获取的方向相关信息，确定分割出的多个图像块中的每个的朝向信息；并且在多个捕获图像之中，对具有相同朝向信息的图像块进行匹配；以及基于匹配的结果，对多个捕获图像进行分组。
[0005]根据本专利技术的实施例之一，其中，对应不同朝向的多个图像块是通过布局重建处理从每个捕获图像中分割出的，并且所述布局重建处理包括：检测捕获图像内的角点；根据所检测到的角点，确定捕获图像内的各空间面之间的边界线并且生成与捕获图像对应的平面图；以及基于所确定的边界线，将捕获图像分割成对应于多个空间面的图像块。
[0006]根据本专利技术的实施例之一，其中，基于所获取的方向相关信息，确定分割出的多个图像块中的每个的朝向信息进一步包括：根据方向相关信息确定镜头朝向信息；根据所生成的平面图确定多个图像块对应的空间面之间的夹角；以及基于镜头朝向信息和相邻空间面之间的夹角，确定分割出的多个图像块中的每个的朝向信息。
[0007]根据本专利技术的实施例之一，其中，从所获取的每个捕获图像中对应不同朝向的多个图像块进一步包括：确定与分割出的图像块相关联的图像块信息；如果图像块信息的值低于第一阈值，则丢弃该图像块；并且其中，图像块信息为分割出的图像块的面积或图像块中的像素数量中的任何一个。
[0008]根据本专利技术的实施例之一，其中，在所述多个捕获图像之中，对具有相同朝向信息的图像块进行匹配进一步包括：在所述多个捕获图像中的任意两个之间，对其中具有相同朝向信息的图像块进行特征点匹配；统计所匹配的图像块中的特征点匹配对的总数；并且其中，基于所述特征点匹配的结果，对所述多个捕获图像进行分组进一步包括：将所统计的特征点匹配对的总数满足第二条件的两个捕获图像分为同一分组，其中，所述第二条件为所述特征点匹配对的总数大于第二阈值；并且根据所述图像块的像素总数的百分比以及所有特征点匹配对的总数的平均值来设置所述第二阈值。
[0009]根据本专利技术的实施例之一，其中，图像处理方法还包括：将被分为同一分组的捕获图像所对应的平面图进行融合，以获得各分组的局部平面图；以及将所获得的局部平面图进一步融合，以获得全局平面图。
[0010]根据本专利技术的另一个方面，提供了一种图像处理装置，包括：获取单元，配置为获取多个捕获图像和与每个捕获图像相关联的方向相关信息；分割单元，配置为从所获取的每个捕获图像中分割出对应不同朝向的多个图像块；确定单元，配置为基于所获取的方向相关信息，确定分割出的多个图像块中的每个的朝向信息；以及匹配单元，配置为在多个捕获图像之中，对具有相同朝向信息的图像块进行匹配，并且基于匹配的结果，对多个捕获图像进行分组。
[0011]根据本专利技术的又一个方面，提供了一种图像处理装置，包括：处理器和存储器，在存储器中存储有计算机程序指令，其中，在计算机程序指令被处理器运行时，使得处理器执行以下步骤：获取多个捕获图像和与每个捕获图像相关联的方向相关信息；从所获取的每个捕获图像中分割出对应不同朝向的多个图像块；基于所获取的方向相关信息，确定分割出的多个图像块中的每个的朝向信息；在多个捕获图像之中，对具有相同朝向信息的图像块进行匹配；以及基于匹配的结果，对多个捕获图像进行分组。
[0012]根据本专利技术的又一个方面，提供了计算机可读存储介质，其上存储有计算机程序指令，其中，计算机程序指令被处理器执行时实现以下步骤：获取多个捕获图像和与每个捕获图像相关联的方向相关信息；从所获取的每个捕获图像中分割出对应不同朝向的多个图像块；基于所获取的方向相关信息，确定分割出的多个图像块中的每个的朝向信息；在多个捕获图像之中，对具有相同朝向信息的图像块进行匹配；以及基于匹配的结果，对多个捕获图像进行分组。
[0013]根据本专利技术的上述的图像处理方法、图像处理装置，以及计算机可读存储介质，能够结合图像信息以及方向相关信息，通过仅在具有相同朝向信息的图像块之间进行匹配，以显著降低甚至避免不同图像之间可能产生的错误匹配，改善后续的图像处理的准确性；同时还减少了用于无效匹配的运算量，因此，还能提高图像处理的整体效率。
附图说明
[0014]通过结合以下附图对本专利技术的实施例进行详细描述，本专利技术的上述和其它目的、特征、优点将会变得更加清楚。应理解，这些附图用来提供对本专利技术实施例的进一步理解，并且构成说明书的一部分，与本专利技术实施例一起用于解释本专利技术，并不构成对本专利技术的限制。此外在附图中，相同的参考标号通常代表相同部件或步骤。
[0015]图1是示出根据本专利技术实施例的图像处理方法的流程图；
[0016]图2是示出根据本专利技术实施例的，通过布局重建处理进行图像块分割的流程图；
[0017]图3是示出根据本专利技术实施例的角点检测的示意图；
[0018]图4是示出根据本专利技术实施例的，分割出对应不同朝向的多个图像块的示意图；
[0019]图5是示出根据本专利技术实施例的，通过上述布局重建处理中获得信息来确定图像块的朝向信息的流程图；
[0020]图6是示出根据本专利技术实施例的平面图的示意图；
[0021]图7是示出根据本专利技术实施例的，通过图像块信息来筛选图像块的流程图；
[0022]图8是示出根据本专利技术实施例的被丢弃的图像块的示意图；
[0023]图9是示出根据本专利技术实施例的，基于特征点匹配分组捕获图像的流程图；
[0024]图10是示出现有技术中的特征点匹配和根据本专利技术实施例的特征点匹配的示意图；
[0025]图11示出了根据本专利技术实施例的图像处理装置的框图；...
【技术保护点】
【技术特征摘要】
1.一种图像处理方法，包括：获取多个捕获图像和与每个捕获图像相关联的方向相关信息；从所获取的每个捕获图像中分割出对应不同朝向的多个图像块；基于所获取的方向相关信息，确定分割出的所述多个图像块中的每个的朝向信息；在所述多个捕获图像之中，对具有相同朝向信息的图像块进行匹配；以及基于所述匹配的结果，对所述多个捕获图像进行分组。2.如权利要求1所述的方法，其中，所述对应不同朝向的多个图像块是通过布局重建处理从每个捕获图像中分割出的，并且所述布局重建处理包括：检测捕获图像内的角点；根据所检测到的角点，确定所述捕获图像内的各空间面之间的边界线并且生成与所述捕获图像对应的平面图；以及基于所确定的边界线，将所述捕获图像分割成对应于多个空间面的图像块。3.如权利要求2所述的方法，其中，基于所获取的方向相关信息，确定分割出的所述多个图像块中的每个的朝向信息进一步包括：根据所述方向相关信息确定镜头朝向信息；根据所生成的平面图确定所述多个图像块对应的空间面之间的夹角；基于所述镜头朝向信息和相邻空间面之间的夹角，确定分割出的所述多个图像块中的每个的朝向信息。4.如权利要求2或3所述的方法，还包括：将被分为同一分组的捕获图像所对应的平面图进行融合，以获得各分组的局部平面图；以及将所获得的局部平面图进一步融合，以获得全局平面图。5.如权利要求1至3中任一项所述的方法，其中，从所获取的每个捕获图像中对应不同朝向的多个图像块进一步包括：确定与分割出的图像块相关联的图像块信息；如果所述图像块信息的值低于第一阈值，则丢弃所述图像块；其中，所述图像块信息为分割出的图像块的面积或图像块中的像素数量中的任何一个。6.如权利要求1至3中任一项所述的方法，其中，在所述多个捕获图像之中，对具有相同朝向信息的图像块进行匹配进一步包括：在所述多个捕获图像中的任意两个之间，对其中具有相同朝向信息的图像块进行特征点匹配；统计所匹配的图像...
【专利技术属性】
技术研发人员：刘丽艳，伊红，贾海晶，王炜，
申请(专利权)人：株式会社理光，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。