图像融合方法和设备技术

公开了一种图像融合方法和设备。所述图像融合方法包括：从第一图像帧检测在第一图像帧中示出的对象的第一特征点，基于检测到的第一特征点和预定义的参考点来转换第一图像帧，从第二图像帧检测在第二图像帧中示出的对象的第二特征点，基于检测到的第二特征点和参考点来转换第二图像帧；通过组合转换的第一图像帧和转换的第二图像帧来获得组合图像。

Image Fusion Method and Equipment

【技术实现步骤摘要】
图像融合方法和设备本申请要求在2018年2月9日提交到韩国知识产权局的第10-2018-0016451号韩国专利申请的优先权，所述韩国专利申请的全部公开出于所有目的通过引用合并于此。
以下描述涉及一种图像处理技术。
技术介绍
在低亮度的环境中拍摄图像的情况下，可能难以清楚地识别拍摄到的图像中的对象。作为解决此问题的方法，存在一种通过增加相机的曝光时间来拍摄图像的方法以及一种执行图像处理(例如，调节由相机拍摄的图像的亮度)的方法。这两种方法可增加图像的亮度。然而，前一种方法在对象移动时可能引起图像中的运动模糊，后一种方法在清楚地显示对象的方面受限。
技术实现思路
提供本
技术实现思路
以简化的形式介绍将在以下具体实施方式中进一步描述的构思的选择。本
技术实现思路
不意在标识要求保护的主题的关键特征或重要特征，也不意在用于帮助确定要求保护的主题的范围。在一个总体方面，一种图像融合方法包括：从第一图像帧检测在第一图像帧中示出的对象的第一特征点，基于检测到的第一特征点和预定义的参考点来转换第一图像帧；从第二图像帧检测在第二图像帧中示出的对象的第二特征点，基于检测到的第二特征点和参考点来转换第二图像帧；通过组合转换的第一图像帧和转换的第二图像帧来获得组合图像。转换第一图像帧的步骤可包括：转换第一图像帧使得第一特征点被置于参考点的位置，转换第二图像帧的步骤可包括：转换第二图像帧使得第二特征点被置于参考点的位置。转换第一图像帧的步骤可包括：基于检测到的第一特征点从第一图像帧检测第一对象区域，并基于包含在检测到的第一对象区域中的第一特征点和参考点通过图像变形来转换第一对象区域。转换第二图像帧的步骤可包括：基于检测到的第二特征点从第二图像帧检测第二对象区域，并基于包含在检测到的第二对象区域中的第二特征点和参考点通过图像变形来转换第二对象区域。获得的步骤可包括：组合转换的第一对象区域和转换的第二对象区域。获得的步骤可包括：通过组合转换的第一图像帧的第一像素值和转换的第二图像帧的第二像素值来生成组合图像。所述图像融合方法还可包括：测量第一图像帧或转换的第一图像帧的图像质量；响应于测量到的图像质量满足预设条件，确定从第一图像帧检测第一特征点，或确定基于转换的第一图像帧获得组合图像。所述图像融合方法还可包括：从第三图像帧检测在第三图像帧中示出的对象的第三特征点，基于检测到的第三特征点和参考点来转换第三图像帧，组合获得的组合图像和转换的第三图像帧。在另一个总体方面，提供一种存储指令的非暂时性计算机可读存储介质。当所述指令由处理器执行时，使处理器执行上述的图像融合方法。在另一个总体方面，一种图像融合设备包括：处理器，处理器可被配置为：从第一图像帧检测在第一图像帧中示出的对象的第一特征点；基于检测到的第一特征点和预定义的参考点来转换第一图像帧；从第二图像帧检测在第二图像帧中示出的对象的第二特征点；基于检测到的第二特征点和参考点来转换第二图像帧；通过组合转换的第一图像帧和转换的第二图像帧获得组合图像。通过以下的具体实施方式、附图和权利要求，其他的特征和方面将清楚。附图说明图1示出图像融合设备的整体操作的示例。图2是示出图像融合方法的示例的流程图。图3和图4是示出图像融合方法的示例的流程图。图5是示出将图像融合方法应用于脸部验证的示例的流程图。图6和图7示出基于多个图像帧执行图像融合的示例。图8示出图像融合设备的配置的示例。图9示出计算设备的配置的示例。贯穿附图和具体实施方式，除非另外描述或提供，否则相同的附图参考数字将被理解为表示相同的元件、特征和结构。附图可不按比例绘制，为了清楚、说明和方便，附图中的元件的相对大小、比例和描述可被夸大。具体实施方式以下结构性或功能性的描述是示例性的，以仅描述示例，并且示例的范围不限于本说明书中提供的描述。本领域的普通技术人员可对其进行各种改变和修改。尽管术语“第一”或者“第二”用于解释各种组件，但是组件不限于该术语。这些术语应仅用于区分一个组件和另一个组件。例如，在根据本公开的构思的权利的范围内，“第一”组件可被称为“第二”组件，或者相似地，“第二”组件可被称为“第一”组件。将理解，当组件被称为“连接到”另一个组件，该组件可直接连接或结合到另一组件，或者可以存在中间组件。如此处所使用，除非上下文明确另有指示，否则单数形式也意在包括复数形式。还将理解为，当术语“包括”和/或“包含”用在本说明书中时，说明存在陈述的特征、整数、步骤、操作、元件、组件或它们的组合，但是不排除存在或增加一个或多个其他的特征、整数、步骤、操作、元件、组件和/或它们的组合。除非在此另有定义，否则在此所用的所有术语(包括技术术语或科学术语)具有与本领域的普通技术人员通常理解的含义相同的含义。除非在此另有定义，否则在通用字典中定义的术语应被解释为具有与相关领域中上下文含义匹配的含义，并且不被解释为理想化或过于形式的含义。在下文中，将参考附图详细的描述示例，其中，相同的附图参考数字用于相同的元件，因此为了简洁，其重复的描述将被省略。图1示出图像融合设备的整体操作的示例。参照图1，图像融合设备100是通过使用处理器融合至少两个图像帧110来生成组合图像122、124、126、……128的设备。例如，图像融合设备100通过融合当前图像帧和与当前图像帧时间上相邻的先前的n个图像帧，来生成组合图像，n是大于0的整数。例如，当假设当前图像帧是图像帧116且图像融合设备100要基于三个图像帧生成组合图像时，图像融合设备100可通过融合图像帧112、114和116来生成组合图片。如果图像融合设备100要基于两个图像帧生成组合图像，则图像融合设备100可通过融合作为当前图像帧的图像帧116和作为先前图像帧的图像帧114，来生成组合图像。图像帧110包括由相机在时间上连续地拍摄的图像帧112、114、116、……、118。这里，术语“图像帧”可被“输入图像”或者“图像”代替。在图像帧在低亮度的黑暗环境中拍摄的情况下，难以清楚的识别图像帧中的对象。在对象识别重要的应用领域，如脸部验证中，尽管图像帧是在黑暗的环境中拍摄的，但是清楚地识别图像帧中的脸部区域是重要的。脸部区域的清楚识别极大地影响脸部验证的准确性。作为克服在低亮度的环境中拍摄图像帧的缺点的通用解决方案，一种通过增加相机曝光时间来拍摄图像帧的方法被采用。然而，当曝光时间增加时，当相机和/或对象移动时在图像帧中引起运动模糊的可能性增加，这再次阻碍对象识别。在一个示例中，通过组合在低亮度环境中拍摄的图像帧，图像融合设备100生成亮度被提高并且在其中对象被相对容易地识别的组合图像。在本示例中，图像融合设备100不是简单地组合图像帧，而是基于图像帧的每一帧的特征点来转换图像帧，并组合转换的图像帧，从而使运动模糊的发生最小化。例如，图像融合设备100从图像帧提取表示对象的形状特征的特征点，转换图像帧使得提取的特征点被置于参考点的位置，并组合转换的图像，从而生成亮度被提高且在其中运动模糊最小化的组合图像。图像融合设备100适用于用户认证系统、金融交易认证系统、访问控制和监视系统以及使用生物特征(biometrics)的对象识别系统。在下文中，将参照附图，进一步描述图像融合设备100的操作。图2是示出图像融合方法的示本文档来自技高网...

【技术保护点】
1.一种图像融合方法，包括：从第一图像帧检测在第一图像帧中示出的对象的第一特征点；基于检测到的第一特征点和预定义的参考点来转换第一图像帧；从第二图像帧检测在第二图像帧中示出的对象的第二特征点；基于检测到的第二特征点和参考点来转换第二图像帧；通过组合转换的第一图像帧和转换的第二图像帧获得组合图像。

【技术特征摘要】
2018.02.09 KR 10-2018-00164511.一种图像融合方法，包括：从第一图像帧检测在第一图像帧中示出的对象的第一特征点；基于检测到的第一特征点和预定义的参考点来转换第一图像帧；从第二图像帧检测在第二图像帧中示出的对象的第二特征点；基于检测到的第二特征点和参考点来转换第二图像帧；通过组合转换的第一图像帧和转换的第二图像帧获得组合图像。2.根据权利要求1所述的图像融合方法，其中，转换第一图像帧的步骤包括：转换第一图像帧使得第一特征点被置于参考点的位置，转换第二图像帧的步骤包括：转换第二图像帧使得第二特征点被置于参考点的位置。3.根据权利要求1所述的图像融合方法，其中，转换第一图像帧的步骤包括：基于检测到的第一特征点从第一图像帧检测第一对象区域；基于包含在检测到的第一对象区域中的第一特征点和参考点通过图像变形来转换第一对象区域，转换第二图像帧的步骤包括：基于检测到的第二特征点从第二图像帧检测第二对象区域；基于包含在检测到的第二对象区域中的第二特征点和参考点通过图像变形来转换第二对象区域。4.根据权利要求3所述的图像融合方法，其中，获得的步骤包括：组合转换的第一对象区域和转换的第二对象区域。5.根据权利要求1所述的图像融合方法，其中，获得的步骤包括：通过组合转换的第一图像帧的第一像素值和转换的第二图像帧的第二像素值来生成组合图像。6.根据权利要求5所述的图像融合方法，其中，第一像素值和第二像素值的组合包括：在转换的第一图像帧和转换的第二图像帧中的相应的位置处的第一像素值和第二像素值的和、平均值、加权和以及加权平均值之一。7.根据权利要求1所述的图像融合方法，还包括：测量第一图像帧或转换的第一图像帧的图像质量；响应于测量到的图像质量满足预设条件，确定从第一图像帧检测第一特征点，或确定基于转换的第一图像帧获得组合图像。8.根据权利要求7所述的图像融合方法，其中，测量的步骤包括：测量第一图像帧的亮度，确定的步骤包括：响应于测量到的第一图像帧的亮度小于预设阈值，确定从第一图像帧检测第一特征点，或确定基于转换的第一图像帧获得组合图像。9.根据权利要求1所述的图像融合方法，还包括：测量第二图像帧或转换的第二图像帧的图像质量；响应于测量到的图像质量满足预设条件，确定从第二图像帧检测第二特征点，或确定基于转换的第二图像帧获得组...

【专利技术属性】
技术研发人员：高民守，韩承周，韩在濬，金智慧，朴成彦，崔昌圭，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国,KR