图像融合系统和方法技术方案

提供了一种图像融合系统和方法。所述系统包括：多个相机，被配置为分别产生多个图像；图像融合单元，被配置为将所述多个图像融合成单个图像。

【技术实现步骤摘要】
本申请要求于2013年8月20日在韩国知识产权局提交的10-2013-0098609号韩 国专利申请的优先权，该申请的公开通过引用全部合并于此。
本专利技术构思的一个或更多个示例性实施例涉及一种基于多个不同类型的相机的 。
技术介绍
与其他类型的相机相比，用于监控系统的可见光相机（例如，电荷耦合器件（CCD) 相机）技术先进，并被应用于各个领域。然而，由于CCD相机仅可在有光的地方执行监控 功能，因此在没有光的情况下可能不在监控系统中使用C⑶相机。热成像相机可被用于黑 暗环境中的监控，并被用于与热辐射相关的各种领域（诸如检测对象的热损耗或分析电路 板）。热成像相机可仅可在具有热源的环境中执行监控功能，而不能在没有任何热辐射的环 境中执行监控功能。
技术实现思路
本专利技术构思的一个或更多个实施例提供一种能够通过对由多个不同类型的相机 捕获并随后进行融合的图像进行监控，来执行最优监控的。 各个方面将在下面的描述中部分地阐明，并且从描述中部分是清楚的，或者通过 提供的实施例的实施可以被理解。 根据示例性实施例的一方面，提供了一种图像融合系统，所述图像融合系统可包 括：图像选择单元，被配置为从由多个不同类型的相机捕获的多个图像中选择至少两个图 像；第一匹配单元，被配置为通过基于关于选择的图像的变焦信息，将选择的图像的宽高比 调整为与参考宽高比相同，来对选择的图像进行匹配，其中，选择的图像的宽高比根据用于 捕获选择的图像的视场（F0V)被分别确定；第二匹配单元，被配置为通过将选择的图像的 分辨率调整为与参考分辨率相同，来对选择的图像进行匹配；第三匹配单元，被配置为通过 应用选择的图像之间的相互几何关系来对选择的图像进行匹配；融合单元，被配置为对经 过第一匹配单元到第三匹配单元匹配的选择的图像进行融合，从而产生融合图像。 第二匹配单元可被配置为对宽高比被调整为与所述参考宽高比相同的选择的图 像的分辨率进行调整，第三匹配单元可被配置为将所述相互几何关系应用到分辨率被调整 为与所述参考分辨率相同的选择的图像。 所述多个不同类型的相机可包括：多个摇摄倾斜变焦（PTZ，pan-tilt-Z〇〇m)相 机，每个PTZ相机以各自的F0V捕获同一拍摄区域；多个全方位相机，以预定间隔排列使得 由全方位相机中的两个相邻相机捕获的拍摄区域的相邻部分重叠。 所述多个PTZ相机可包括：可见光相机，被配置为产生可见光图像；热成像相机， 被配置为产生热图像；红外线相机，被配置为产生红外图像。 图像选择单元可从由所述多个PTZ相机捕获的多个图像和通过从全景图像中裁 剪出与所述多个图像相应的区域而产生的裁剪图像中，选择所述至少两个图像，其中，全景 图像是通过使用由所述多个全方位相机捕获的图像而产生的。 关于选择的图像的变焦信息可包括关于裁剪图像的变焦信息，其中，关于裁剪图 像的变焦信息是从裁剪图像的尺寸转换的数字变焦比。 第一匹配单元可对选择的图像的左边和右边进行裁剪或者对选择的图像执行零 填充。 第三匹配单元可包括：特征提取单元，被配置为检测选择的图像的特征；特征匹 配单元，被配置为将选择的图像中的一个图像确定为参考图像，并检测所述参考图像的特 征和除所述参考图像之外的至少一个图像的特征之间的匹配特征；转换函数估计单元，被 配置为基于检测到的匹配特征，来估计除所述参考图像之外的所述至少一个图像的转换函 数。 融合单元可通过将权重应用于选择的图像中的每个图像来调整选择的图像的透 明度。 所述系统还可包括复用器，其中，复用器被配置为输出所述多个图像和融合图像 中的至少一个图像。 根据另一示例性实施例的一方面，提供了一种图像融合系统，所述图像融合系统 可包括：多个相机，被配置为分别产生多个图像；图像融合单元，被配置为将所述多个图像 融合成单个图像，其中，所述多个相机的视场（F0V)被设置为大体上相同。 所述多个相机可包括可见光相机、热成像相机和红外线相机中的至少两个相机。 图像融合单元可包括：调整尺寸单元，被配置为控制所述多个图像使得所述多个 图像的各自的尺寸是相同的；信息融合单元，被配置为提取未显示在可见光图像中但显示 在热图像中的对象以及未显示在可见光图像和热图像中但显示在红外图像中的对象，并将 热图像和红外图像重叠在可见光图像上，以使得提取出的对象被显示在可见光图像上，其 中，可见光图像由可见光相机捕获，热图像由热成像相机捕获，红外图像由红外线相机捕 犾。 根据另一示例性实施例的一方面，提供了一种图像融合方法，所述方法可包括：从 由多个不同类型的相机捕获的多个图像中选择至少两个图像；通过基于关于选择的图像的 变焦信息，将选择的图像的宽高比调整为与参考宽高比相同，来对选择的图像进行第一匹 配，其中，选择的图像的宽高比根据用于捕获选择的图像的视场（F0V)被分别确定；通过将 选择的图像的分辨率调整为与参考分辨率相同，来对选择的图像进行第二匹配；通过应用 选择的图像之间的相互几何关系，来对选择的图像进行第三匹配；对经过第一匹配、第二匹 配和第三匹配这三个匹配步骤被匹配的选择的图像进行融合，以产生融合图像。 可通过对宽高比被调整为与所述参考宽高比相同的选择的图像的分辨率进行调 整，来执行第二匹配，可通过将所述相互几何关系应用到分辨率被调整为与所述参考分辨 率相同的选择的图像来执行第三匹配。 所述多个不同类型的相机可包括：PTZ相机，每个PTZ相机以各自的F0V捕获同一 拍摄区域；多个全方位相机，以预定间隔排列使得由全方位相机中的两个相邻相机捕获的 拍摄区域的相邻部分重叠，其中，所述多个PTZ相机可包括产生可见光图像的可见光相机、 产生热图像的热成像相机以及产生红外图像的红外线相机。 选择所述至少两个图像的步骤可包括：从由所述多个PTZ相机捕获的多个图像和 通过从全景图像中裁剪出与所述多个图像相应的区域而产生的裁剪图像中，选择所述至少 两个图像，其中，全景图像是通过使用由所述多个全方位相机捕获的图像而产生的。 关于选择的图像的变焦信息包括关于裁剪图像的变焦信息，其中，关于裁剪图像 的变焦信息是从裁剪图像的尺寸转换的数字变焦比。 调整宽高比的步骤可包括：对选择的图像的左边和右边进行裁剪或对选择的图像 进行零填充。 第三匹配的步骤可包括：检测选择的图像的特征；将选择的图像中的一个图像确 定为参考图像，并检测所述参考图像的特征和除所述参考图像之外的至少一个图像的特征 之间的匹配特征；基于检测到的匹配特征来估计除所述参考图像之外的所述至少一个图像 的转换函数。 融合的步骤可包括：通过将权重应用于选择的图像中的每个图像，来调整选择的 图像的透明度。 所述系统还可包括输出所述多个图像和融合图像中的至少一个图像。 根据另一示例性实施例的一方面，提供了一种图像融合方法，所述方法可包括：通 过使用可见光相机以第一F0V产生显示对象的亮度分布的可见光图像；通过使用热成像相 机来产生显示关于对象的温度信息的热图像，其中，热成像相机被控制使得热成像相机的 F0V与可见光相机的F0V相同；通过使用红外线相机来产生通过将红外线发射到对象上本文档来自技高网...

【技术保护点】
一种图像融合系统，包括：图像选择单元，被配置为从由多个不同类型的相机捕获的多个图像中选择至少两个图像；第一匹配单元，被配置为通过基于关于选择的图像的变焦信息，将选择的图像的宽高比调整为与参考宽高比相同，来对选择的图像进行匹配，其中，选择的图像的宽高比根据用于捕获选择的图像的视场(FOV)被分别确定；第二匹配单元，被配置为通过将选择的图像的分辨率调整为与参考分辨率相同，来对选择的图像进行匹配；第三匹配单元，被配置为通过应用选择的图像之间的相互几何关系来对选择的图像进行匹配；融合单元，被配置为对经过第一匹配单元到第三匹配单元匹配的选择的图像进行融合，从而产生融合图像。

【技术特征摘要】
2013.08.20 KR 10-2013-00986091. 一种图像融合系统，包括： 图像选择单元，被配置为从由多个不同类型的相机捕获的多个图像中选择至少两个图 像； 第一匹配单元，被配置为通过基于关于选择的图像的变焦信息，将选择的图像的宽高 比调整为与参考宽高比相同，来对选择的图像进行匹配，其中，选择的图像的宽高比根据用 于捕获选择的图像的视场（FOV)被分别确定； 第二匹配单元，被配置为通过将选择的图像的分辨率调整为与参考分辨率相同，来对 选择的图像进行匹配； 第三匹配单元，被配置为通过应用选择的图像之间的相互几何关系来对选择的图像进 行匹配； 融合单元，被配置为对经过第一匹配单元到第三匹配单元匹配的选择的图像进行融 合，从而产生融合图像。2. 如权利要求1所述的系统，其中，第二匹配单元被配置为对宽高比被调整为与所述 参考宽高比相同的选择的图像的分辨率进行调整， 其中，第三匹配单元被配置为将所述相互几何关系应用到分辨率被调整为与所述参考 分辨率相同的选择的图像。3. 如权利要求1所述的系统，其中，所述多个不同类型的相机包括： 多个摇摄倾斜变焦（PTZ)相机，每个PTZ相机以各自的FOV捕获同一拍摄区域； 多个全方位相机，以预定间隔排列使得由全方位相机中的两个相邻相机捕获的拍摄区 域的相邻部分重叠。4. 如权利要求3所述的系统，其中，所述多个PTZ相机包括： 可见光相机，被配置为产生可见光图像； 热成像相机，被配置为产生热图像； 红外线相机，被配置为产生红外图像。5. 如权利要求3所述的系统，其中，图像选择单元从由所述多个PTZ相机捕获的多个图 像和通过从全景图像中裁剪出与所述多个图像相应的区域而产生的裁剪图像中，选择所述 至少两个图像，其中，全景图像是通过使用由所述多个全方位相机捕获的图像而产生的。6. 如权利要求5所述的系统，其中，关于选择的图像的变焦信息包括关于裁剪图像的 变焦信息，其中，关于裁剪图像的变焦信息是从裁剪图像的尺寸转换的数字变焦比。7. 如权利要求1所述的系统，其中，第一匹配单元对选择的图像的左边和右边进行裁 剪或者对选择的图像执行零填充。8. 如权利要求1所述的系统，其中，第三匹配单元包括： 特征提取单元，被配置为检测选择的图像的特征； 特征匹配单元，被配置为将选择的图像中的一个图像确定为参考图像，并检测所述参 考图像的特征和除所述参考图像之外的至少一个图像的特征之间的匹配特征； 转换函数估计单元，被配置为基于检测到的匹配特征来估计除所述参考图像之外的所 述至少一个图像的转换函数。9. 如权利要求1所述的系统，其中，融合单元通过将权重应用于选择的图像中的每个 图像来调整选择的图像的透明度。10. 如权利要求1所述的系统，还包括：复用器，被配置为输出所述多个图像和融合图 像中的至少一个图像。11. 一种图像融合系统，包括： 多个相机，被配置为分别产生多个图像； 图像融合单元，被配置为将所述多个图像融合成单个图像...

【专利技术属性】
技术研发人员：吴哉仑，李准性，朴永绪，
申请(专利权)人：三星泰科威株式会社，
类型：发明
国别省市：韩国;KR