图像处理装置、图像处理方法和程序制造方法及图纸

本发明专利技术的目的是实现利用其可以生成其中亮度或颜色的不均匀降低的高分辨率校正图像。该图像处理装置包括：采样点选择部，其从图像中选择采样点，采样点被用于计算要应用于图像的像素值校正的校正函数；校正函数计算部，其应用采样点的像素值和位置信息并计算校正函数；以及图像校正部，其应用校正函数并执行图像的像素值校正。采样点选择部执行如下处理：执行聚类(簇划分)，在该聚类中，将图像的构成像素划分成多个子集(簇)，从通过聚类生成的多个簇中确定采样点提取簇；以及执行用于从采样点提取簇中选择采样点的处理。

【技术实现步骤摘要】
【国外来华专利技术】图像处理装置、图像处理方法和程序
本公开内容涉及图像处理装置、图像处理方法和程序。更具体地，本公开内容涉及校正图像的亮度不均匀等以生成高画面质量图像的图像处理装置、图像处理方法和程序。
技术介绍
近年来，作为利用遥控执行飞行或基于GPS等执行自主飞行的小型飞行体的无人机的利用迅速增加。例如，无人机具有安装在其上的摄像装置，并且用于从天空中捕获地面场景的图像等的处理。此外，近年来，利用无人机捕获的航空图像被用于农田的作物的生长确认或管理、地形的确认处理以及勘测处理，或者还可以被用于建筑工地等。无人机在运动的同时连续地捕获预定区域的图像。如果多个捕获图像彼此接合，则可以生成具有宽区域的一个图像。然而，当在空中运动的无人机捕获图像时，其姿态由于风的影响等而变化。因此，从成像目标到摄像装置的光的输入条件变化，并且所捕获的图像的亮度和颜色不是变得均匀而是变得稀疏。如果如以上描述的亮度和颜色彼此不同的这样的图像彼此接合以生成一个合成图像，则合成图像的质量劣化，因为图像的接缝处的连续性丧失。此外，例如，在存在稀疏云的环境中，即使在一个捕获图像中，被云遮蔽的部分和未被云遮蔽的部分的亮度和颜色不同。如上所述，在改变捕获位置和捕获方向的同时捕获多个图像并且彼此接合以生成合成图像(全景图像)的接合(拼接)处理中，由于捕获图像的单元的照射状态等的变化，在与合成图像的接缝对应的区域中像素的亮度值不连续地变化的问题出现。以下文献客用作公开了用于解决该问题的技术的文献。非专利文献1，(“内窥镜图像的阴影和色彩校正”，安藤正治，日本胃肠内窥镜学会杂志，第31卷，第7期，第1727至1741页，1989)在该文献中，公开了使用平滑滤波器的信号值校正方法。特别地，公开了以下方法：利用通过对捕获图像或参考图像进行平滑而获得的图像来将捕获图像的每个像素的信号值除以平滑图像的每个像素值的信号值以校正捕获图像的亮度不均匀。然而，在该文献中公开的校正方法具有如下问题：由于除了图像中包括的校正目标之外的成像目标的亮度变化信息也对校正图像有影响，因此在校正图像中出现诸如振铃伪影的误差。此外，在专利文献1(日本公开特许公报第2004-139219号)中公开了基于已知几何条件来校正信号值的方法。该文献公开了以下方法：利用图像捕获环境或摄像装置的照射和成像目标的几何条件来计算用于图像校正的二次函数等的校正函数，并且利用所计算的校正函数来调整用于图像的亮度等的校正量。特别地，通过对根据捕获环境预先预测的亮度变化与校正函数执行拟合以对捕获图像执行亮度校正，对由捕获图像中的照射不均匀引起的亮度变化进行校正。然而，本方法的问题在于，在难以根据几何条件计算精确校正函数的情况下，例如在难以指定照射或摄像装置的坐标或方向的情况下，或者在成像目标的平面不是平坦平面而是不平坦的弯曲平面等的情况下，本方法不能执行高精度校正。引用列表专利文献专利文献1：日本公开特许公报第2004-139219号。非专利文献非专利文献1：“内窥镜图像的阴影和色彩校正”，安藤正治，日本胃肠内窥镜学会杂志，第31卷，第7期，第1727至1741页，1989。
技术实现思路
技术问题例如，鉴于如上所述的这样的问题做出了本公开内容，并且本公开内容的目的是提供以下图像处理装置、图像处理方法和程序：使得当捕获条件不同的图像彼此接合以生成一个合成图像时，能够缩小输出像素值(例如图像之间的亮度)的差异，以使得可以生成高质量合成图像。例如，在对从诸如无人机的运动体在室外捕获的图像进行接合以生成一个图像的接合处理的情况下，即使在难以指定诸如太阳光或照射的照射光条件和诸如摄像装置姿势或成像目标面的不平坦状态的几何条件的环境下，也可以通过适当的像素值校正来抑制引起图像的接缝处不连续的振铃伪影，以生成图像之间的接缝不明显的高质量合成图像。此外，本公开内容的目的是提供以下图像处理装置、图像处理方法和程序：使得即使在一个捕获图像内存在诸如亮度不均匀的输出像素值的差异的情况下，也能够缩小该差异以产生一个高质量图像。问题的解决方案本公开内容的第一方面在于提供一种图像处理装置，该图像处理装置包括：采样点选择部，其被配置成从图像内选择采样点，采样点被用于计算要应用于图像的像素值校正的校正函数；校正函数计算部，其被配置成应用由采样点选择部选择的采样点的像素值和位置信息来计算校正函数；以及图像校正部，其被配置成应用校正函数执行图像的像素值校正，其中，采样点选择部执行如下处理：执行聚类以将图像的构成像素划分成多个子集，从通过聚类生成的多个簇中确定采样点提取簇，以及从采样点提取簇内选择采样点。此外，本公开内容的第二方面在于提供一种在图像处理装置中执行的图像处理方法，该方法包括：采样点选择步骤，由采样点选择部从图像内选择采样点，采样点被用于计算要应用于图像的像素值校正的校正函数；校正函数计算步骤，由校正函数计算部应用由采样点选择部选择的采样点的像素值和位置信息来计算校正函数；以及图像校正步骤，由图像校正部应用校正函数执行图像的像素值校正，其中，采样点选择步骤包括：执行聚类以将图像的构成像素划分成多个子集的步骤，从通过聚类生成的多个簇中确定采样点提取簇的步骤，以及从采样点提取簇内选择采样点的步骤。此外，本公开内容的第三方面在于提供一种用于使图像处理装置执行图像处理的程序，该程序包括：采样点选择步骤，使采样点选择部从图像内选择采样点，采样点被用于计算要应用于图像的像素值校正的校正函数；校正函数计算步骤，使校正函数计算部应用由采样点选择部选择的采样点的像素值和位置信息来计算校正函数；以及图像校正步骤，使图像校正部应用校正函数执行图像的像素值校正，其中，采样点选择步骤包括：执行聚类以将图像的构成像素划分成多个子集的步骤，从通过聚类生成的多个簇中确定采样点提取簇的步骤，以及从采样点提取簇内选择采样点的步骤。要注意的是，本公开内容的程序是能够由存储介质或通信介质提供的程序，该存储介质或通信介质以计算机以可读形式例如向能够执行各种程序代码的信息处理装置或计算机系统提供程序。通过如刚刚描述的以计算机可读形式提供这样的程序，可以在信息处理装置或计算机系统上实现根据该程序的处理。通过基于下文描述的本公开内容的工作示例和附图的更详细描述，本公开内容的其他目的、特征或优点将变得明显。要注意的是，在本说明书中，术语“系统”表示多个装置的逻辑集合配置，并且不限于其中各个配置的期间被容纳在同一壳体中的装置。本专利技术的有利效果利用本公开内容的工作示例的配置，实现了使得能够生成其中亮度不均匀和颜色不均匀降低的高质量校正图像的图像处理装置和图像处理方法。特别地，例如，图像处理装置包括：采样点本文档来自技高网...

【技术保护点】
1.一种图像处理装置，包括：/n采样点选择部，其被配置成从图像内选择采样点，所述采样点被用于计算要应用于所述图像的像素值校正的校正函数；/n校正函数计算部，其被配置成应用由所述采样点选择部选择的所述采样点的像素值和位置信息来计算所述校正函数；以及/n图像校正部，其被配置成应用所述校正函数执行所述图像的像素值校正，其中，/n所述采样点选择部执行如下处理：/n执行聚类以将所述图像的构成像素划分成多个子集，/n从通过所述聚类生成的多个簇中确定采样点提取簇，以及/n从所述采样点提取簇内选择采样点。/n

【技术特征摘要】
【国外来华专利技术】20180925 JP 2018-1783821.一种图像处理装置，包括：
采样点选择部，其被配置成从图像内选择采样点，所述采样点被用于计算要应用于所述图像的像素值校正的校正函数；
校正函数计算部，其被配置成应用由所述采样点选择部选择的所述采样点的像素值和位置信息来计算所述校正函数；以及
图像校正部，其被配置成应用所述校正函数执行所述图像的像素值校正，其中，
所述采样点选择部执行如下处理：
执行聚类以将所述图像的构成像素划分成多个子集，
从通过所述聚类生成的多个簇中确定采样点提取簇，以及
从所述采样点提取簇内选择采样点。


2.根据权利要求1所述的图像处理装置，其中，
所述采样点选择部通过以下方法(a)至方法(c)中的任一种来确定采样点提取簇：
(a)从具有最大像素数目的簇开始依次将一个或更多个簇设置为所述采样点提取簇，
(b)将所包括的像素的像素值的平均值或中值是所有簇的中心的簇、或者与该簇相邻的若干簇设置为所述采样点提取簇，以及
(c)将由用户选择的簇设置为采样点提取簇。


3.根据权利要求1所述的图像处理装置，其中，
所述采样点选择部将包括许多作为所述图像中的分析目标的被摄体的簇确定为采样点提取簇。


4.根据权利要求1所述的图像处理装置，其中，
所述校正函数计算部：
计算近似平面y(x)，所述近似平面y(x)定义与像素位置对应的像素值，并且
生成校正函数，所述校正函数根据所述近似平面y(x)与预先规定的校正参考Yref(x)之间的比率而改变校正量。


5.根据权利要求4所述的图像处理装置，其中，
所述校正参考Yref(x)是所述采样点提取簇的像素值的平均值或中值以及用户选择值中的任一个。


6.根据权利要求4所述的图像处理装置，其中，
所述校正函数计算部使用核回归插值、样条曲面插值、多项式近似曲面或线性插值中的至少一种来计算定义与像素位置对应的像素值的近似平面y(x)。


7.根据权利要求1所述的图像处理装置，其中，
所述校正函数计算部：
计算近似平面y(x)，所述近似平面y(x)定义与像素位置对应的像素值，并且
生成校正函数，所述校正函数根据所述近似平面y(x)与预先规定的校正参考Yref(x)之间的比率而改变校正量，所述校正函数为：
Y'(x)＝(Yref(x)/y(x))Y(x)
其中，
Y'(x)是与校正所述图像之后的像素位置(x)对应的像素值，
Y(x)是与校正所述图像之前的像素位置(x)对应的像素值。


8.根据权利要求1所述的图像处理装置，其中，
所述采样点选择部通过应用以下方法(a)至方法(d)中的任一种来执行所述聚类：
(a)K-Means方法，
(b)K-NN方法，
(c)Ward方法，以及
(d)语义分割。


9.根据权利要求1所述的...

【专利技术属性】
技术研发人员：森内优介，伊藤厚史，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本;JP