图像构图评估装置、信息处理装置及其方法制造方法及图纸

本发明专利技术公开了图像构图评估装置、信息处理装置及其方法。图像构图评估装置包括：区域分割单元，被配置成将图像分割成多个区域；区域属性提取单元，被配置成从每一个区域提取至少一个属性；区域关系描述单元，被配置成基于提取的属性来描述区域之间的关系；以及构图评估单元，被配置成基于提取的属性、描述的关系和至少一个预设的准则来评估图像的构图。本发明专利技术能够对更多类型的图像和/或更多类型的构图问题进行评估。

【技术实现步骤摘要】
【专利摘要】本专利技术公开了。图像构图评估装置包括：区域分割单元，被配置成将图像分割成多个区域；区域属性提取单元，被配置成从每一个区域提取至少一个属性；区域关系描述单元，被配置成基于提取的属性来描述区域之间的关系；以及构图评估单元，被配置成基于提取的属性、描述的关系和至少一个预设的准则来评估图像的构图。本专利技术能够对更多类型的图像和/或更多类型的构图问题进行评估。【专利说明】
本专利技术一般涉及图像处理和计算机视觉的领域，尤其涉及图像构图评估装置、信 息处理装置及其方法。
技术介绍
图像的质量不仅由其内容决定，而且还由其构图决定。以摄影图像作为例子。许 多相片包含了人们希望拍摄的景物，但是，由于各种构图问题，它们看起来仍无吸引力。由 于构图对于初学者而言太复杂，所以大多数初学者需要智能照相机来帮助他们得到较好的 相片。 为了应对该情形，Fujifilm已经提出具有人体构图判断（HumanComposition Judgment)的成像装置，其能够基于人体提取结果来判断构图是否合适。图1和图2?3分 别示出Fujifilm的人体构图判断方法的示意图和流程图。如图2所示，首先，在步骤210 处，基于图像中的脸部检测来提取人体对象(在图1中用实线的长方形示出人体对象提取 结果)。接下来，在步骤220处，基于图像中的除人体对象提取区域之外的区域中的特殊对 象检测来提取非人体对象(在图1中用多边形示出非人体对象提取结果)。最后，在步骤230 处，基于对象的重心是否在图像的预定区域之内来评估布置平衡性。图3给出了布置平衡 性评估步骤的更详细的流程图。如图3所示，在步骤310和320处，分别计算每个人体对象 的重心和每个非人体对象的重心；然后，在步骤340处，对该重心是否在图像的预定区域之 内进行判断。同时，在步骤330处，基于步骤310和320的结果来计算整个的人体及非人体 对象的重心；然后，在步骤350处，对该重心是否远离图像的中心区域进行判断。最后，在步 骤360处，基于步骤340和350的结果对布置平衡性是否合适进行评估。在图1所示的例 子中，实线的长方形内的十字指示提取的人体对象的重心，多边形内的十字指示提取的非 人体对象的重心，十字A指示整个的人体及非人体提取对象的重心，十字B指示图像中心。 结果，评估得出图1所示的图像的构图并不好（即，重心A低)，由此提议画面可以被变焦到 图1中虚线的长方形所示的位置，以使得重心A不远离图像中心B。 然而，以上的人体构图判断方法具有许多限制。 首先，这样的方法仅能够应对具有检测到的人脸的相片。这意味着根本就不能对 诸如无特殊对象的风景相片（参见图25C)、无人体的对象相片（参见图2--25E)、以及甚 至无脸部的人体背侧相片（参见图25B)的其它相片进行评估。 其次，这样的方法仅能够有助于使人体对象在图像的中心区域中，其对于良好的 构图而言并不足够。例如，由于该方法不关心人体对象的比例，因此人体对象可能不显著 (参见图25B);由于该方法不关心人体对象和非人体对象之间的关系，因此人体位置可能令 人不舒服(参见图25A);由于该方法不关心背景环境，因此可能由于不成比例的背景而导致 不合理的构图（参见图25D)等。 因此，希望能够提供一种新的图像构图评估装置及其方法，其能够对更多类型的 图像和/或更多类型的构图问题进行评估。
技术实现思路
鉴于以上问题中的至少一个提出本专利技术。 本专利技术的一个目的是提供一种新的图像构图评估装置、新的信息处理装置、新的 图像构图评估方法和新的信息处理方法。 本专利技术的另一目的是提供一种图像构图评估装置、信息处理装置、图像构图评估 方法和信息处理方法，其能够评估更多类型的图像，包括无特殊对象的风景图像、无人体的 对象图像、无脸部的人体背侧图像等。 本专利技术的又一目的是提供一种图像构图评估装置、信息处理装置、图像构图评 估方法和信息处理方法，其能够评估更多类型的构图问题，包括头上有对象（object on head)、区域尺寸判断、主要对象位置判断、吻边（kissing border)、靠近边界、中分（middle separation)、颜色失配等。 根据本专利技术的第一方面，提供一种图像构图评估装置，其包括：区域分割单元，被 配置成将图像分割成多个区域；区域属性提取单元，被配置成从每一个区域提取至少一个 属性；区域关系描述单元，被配置成基于提取的属性来描述区域之间的关系；以及构图评 估单元，被配置成基于提取的属性、描述的关系和至少一个预设的准则来评估图像的构图。 根据本专利技术的第二方面，提供一种信息处理装置，其包括如上所述的图像构图评 估装置。 根据本专利技术的第三方面，提供一种图像构图评估方法，其包括：将图像分割成多个 区域；从每一个区域提取至少一个属性；基于提取的属性来描述区域之间的关系；以及基 于提取的属性、描述的关系和至少一个预设的准则来评估图像的构图。 根据本专利技术的第四方面，提供一种信息处理方法，其包括如上所述的图像构图评 估方法。 由于以上特征，本专利技术的图像构图评估装置、信息处理装置、图像构图评估方法和 信息处理方法能够评估更多类型的图像，包括无特殊对象的风景图像、无人体的对象图像、 无脸部的人体背侧图像等。 此外，由于以上特征，本专利技术的图像构图评估装置、信息处理装置、图像构图评估 方法和信息处理方法能够评估更多类型的构图问题，包括头上有对象、区域尺寸判断、主要 对象位置判断、吻边、靠近边界、中分、颜色失配等。 从参照附图对示例性实施例的以下详细描述，本专利技术的进一步的目的、特征和优 点将变得明显。 【专利附图】【附图说明】 被包含于说明书中并构成其一部分的附图示出本专利技术的实施例，并与描述一起用 于解释本专利技术的原理。 图1是Fujifilm的人体构图判断方法的示意图； 图2示意性地示出Fujifilm的人体构图判断方法的流程图； 图3示意性地示出Fujifilm的人体构图判断方法的布置平衡性评估步骤的流程 图； 图4A?4D示意性地示出Fujifilm的人体构图判断方法的例子； 图5是能够实施根据本专利技术的图像构图评估方法和信息处理方法的计算设备的 硬件配置的示意性框图； 图6示意性地示出根据本专利技术的图像构图评估方法的一般流程图； 图7示意性地示出根据本专利技术的图像构图评估方法的区域属性提取步骤的流程 图； 图8示意性地示出如何获得训练后的递归神经网络（RecursiveNeural Network, RNN)模型； 图9示意性地示出RNN训练步骤的流程图； 图10示意性地示出根据本专利技术的区域属性提取步骤中的区域更新步骤的流程 图； 图11示意性地示出在根据本专利技术的区域更新步骤中如何对隔离（isolated)区域 进行合并； 图12示意性地示出在根据本专利技术的图像构图评估方法的构图评估步骤中如何检 测吻边问题； 图13示意性地示出根据本专利技术的图像构图评估装置的一般框图； 图14示意性地示出根据本专利技术的图像构图评估装置的区域属性提取单元的框 图； 图15示意性地示出根据本专利技术的区域属性提取单本文档来自技高网...

【技术保护点】
一种图像构图评估装置，包括：区域分割单元，被配置成将图像分割成多个区域；区域属性提取单元，被配置成从每一个区域提取至少一个属性；区域关系描述单元，被配置成基于提取的属性来描述区域之间的关系；以及构图评估单元，被配置成基于提取的属性、描述的关系和至少一个预设的准则来评估图像的构图。

【技术特征摘要】

【专利技术属性】
技术研发人员：吕尤，姜涌，吴波，李献，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：日本;JP