用于融合图像的系统及方法技术方案

本发明专利技术描述一种通过电子装置执行的方法

【技术实现步骤摘要】
用于融合图像的系统及方法
[0001]本申请是申请日为
2017
年7月
25
日
、
申请号为
202110879580.6、
专利技术名称为“用于融合图像的系统及方法”的专利技术专利的分案申请
。
[0002]相关申请案
[0003]本申请案涉及且主张针对“用于融合图像的系统及方法
(SYSTEMS AND METHODS FOR FUSING IMAGES)”在
2016
年9月
30
日提出申请的美国临时专利申请案第
62/402,182
号的优先权
。


[0004]本专利技术大体来说涉及电子装置
。
更具体来说，本专利技术涉及用于融合图像的系统及方法
。

技术介绍

[0005]一些电子装置
(
例如，摄影机
、
视频便携式摄影机
、
数字摄影机
、
蜂窝式电话
、
智能电话
、
计算机
、
电视
、
汽车
、
个人摄影机
、
动作摄影机
、
监控摄影机
、
安装式摄影机
、
连接式摄影机
、
机器人
、
遥控飞机
、
智能应用程序
、
保健设备
、r/>机顶盒，等
)
捕获及
/
或利用图像
。
例如，智能电话可捕获及
/
或处理静止及
/
或视频图像
。
处理图像可能需要相对大量的时间
、
存储器及能量资源
。
所需资源可根据处理的复杂性而变化
。
[0006]某些类型的图像可能受到细节限制，而某些类型的图像可能在视场上受到限制
。
如从此论述可观察到，改进图像处理的系统及方法可为有益的
。

技术实现思路

[0007]本专利技术描述一种通过电子装置执行的方法
。
所述方法包含，对于视频馈送的多个帧中的每个者，从第一摄影机获得第一图像，第一摄影机具有第一焦距长度及第一视场
。
所述方法还包含，对于多个帧中的每一者，从第二摄影机获得第二图像，第二摄影机具有安置在第一视场内的第二焦距及第二视场
。
所述方法进一步包含：对于多个帧中的每个者，对准第一图像的至少一部分及第二图像的至少一部分以产生经对准图像
。
所述方法还包含，对于多个帧中的每个者，基于扩散核融合经对准图像以产生经融合图像
。
所述扩散核指示灰度级范围内的阈值水平
。
所述方法还包含，对于多个帧中的每个者，输出经融合图像
。
[0008]融合经对准图像可基于由参考图像结构引导的平均滤波器
。
平均滤波器可具有基于对比度的自适应带宽
。
自适应带宽可相对于降低的对比度提供增加的平均值
。
融合经对准图像可包含根据基于经对准图像之间的光度相似性度量的加权来组合经对准图像
。
组合经对准图像可包含混合经对准图像的一或多个像素值
。
[0009]融合经对准图像可包含确定光度相似性度量
。
融合经对准图像还可包含确定扩散核
。
融合经对准图像还可包含基于光度相似性度量及扩散核来混合经对准图像
。
[0010]融合经对准图像可包含在所关注区域内合成经对准图像
。
合成经对准图像可包含从第一图像确定第一合成区域及从第二图像确定第二合成区域
。
合成经对准图像还可包含
在第一合成区域与第二合成区域之间执行接缝混合
。
可执行合成经对准图像以便基于用第一图像的至少一部分替换第二图像中不存在的所关注区域的部分来恢复所关注区域
。
[0011]可同时捕获第一图像及第二图像
。
可在不同时间捕获第一图像及第二图像
。
第一图像可为广角图像，且第二图像可为远摄图像
。
[0012]本专利技术还描述一种电子装置
。
电子装置包含存储器及耦合到存储器的处理器
。
处理器经配置以，对于视频馈送的多个帧中的每一者，从第一摄影机获得第一图像，第一摄影机具有第一焦距及第一视场
。
处理器还经配置以，对于多个帧中的每一者，从第二摄影机获得第二图像，第二摄影机具有第二焦距，且第二视场安置在第一视场内
。
处理器经进一步配置以，对于多个帧中的每一者，对准第一图像的至少一部分及第二图像的至少一部分以产生经对准图像
。
处理器另外经配置以，对于多个帧中的每一者，基于扩散核融合经对准图像以产生经融合图像
。
所述扩散核指示灰度级范围内的阈值水平
。
处理器还经配置以针对多个帧的每一者输出经融合图像
。
[0013]本专利技术还描述存储计算机可执行代码的非暂时性有形计算机可读媒体
。
所述计算机可读媒体包含用于致使电子装置针对视频馈送的多个帧中的每一者从第一摄影机获得第一图像的代码，所述第一摄影机具有第一焦距及第一视场
。
计算机可读媒体还包含用于致使电子装置对于多个帧中的每一者从第二摄影机获得第二图像的代码，第二摄影机具有第二焦距及安置在第一视场内的第二视场
。
计算机可读媒体进一步包含用于致使电子装置针对多个帧中的每一者对准第一图像的至少一部分及第二图像的至少一部分以产生经对准图像的代码
。
计算机可读媒体另外包含用于致使电子装置针对多个帧中的每一者基于扩散核融合经对准图像以产生经融合图像的代码
。
所述扩散核指示灰度级范围内的阈值水平
。
计算机可读媒体还包含用于致使电子装置针对多个帧中的每一者输出经融合图像的代码
。
[0014]本专利技术还描述一种设备
。
设备包含用于从视频馈送的多个帧中的每一者获得来自第一摄影机的第一图像的装置，第一摄影机具有第一焦距及第一视场
。
设备还包含用于从多个帧中的每一者获得来自第二照摄影机的第二图像的装置，第二照摄影机具有第二焦距及安置在第一视场内的第二视场
。
设备进一步包含用于对准第一图像的至少一部分及第二图像的至少一部分以产生用于多个帧中的每一者的经对准图像的装置
。
设备另外包含用于基于扩散核融合经对准图像以产生用于多个帧中的每一者的经融合图像的装置
。
所述扩散核指示灰度级范围内的阈值水平
。...

【技术保护点】

【技术特征摘要】
1.
一种由电子装置执行的方法，所述方法包括：从第一摄影机获得场景的第一图像，所述第一摄影机具有第一焦距及第一视场；从第二摄影机获得所述场景的第二图像，所述第二摄影机具有第二焦距及安置在所述第一视场内的第二视场；确定与所述场景相关联的深度信息；基于所述第一图像的聚焦位置，确定融合所述第一图像的至少第一部分及所述第二图像的至少第二部分；基于所述第一图像和所述第二图像中的每一者中的一个或多个关键点
、
所述深度信息和基于深度的空间变换，对准所述第一图像的所述至少一部分及所述第二图像的所述至少一部分以产生经对准图像；基于各向异性的扩散核来融合所述经对准图像以产生经融合图像，其中，所述各向异性的扩散核是通过在所述第一图像中的至少一个参考结构来引导的；及输出所述经融合图像
。2.
根据权利要求1所述的方法，其中，所述各向异性的扩散核基于噪声特性
、
对象运动程度
、
或边缘信息中的至少一者，来控制对所述经对准图像的融合
。3.
根据权利要求1所述的方法，其中，所述各向异性的扩散核是基于场景内容而确定的
。4.
根据权利要求1所述的方法，其中，融合所述经对准图像包括：确定光度相似性度量；确定所述各向异性的扩散核；及基于所述光度相似性度量及所述各向异性的扩散核来混合所述经对准图像
。5.
根据权利要求1所述的方法，其中，所述聚焦位置与对应于自动聚焦中心的所关注区域相关联
。6.
根据权利要求1所述的方法，其中，所述各向异性的扩散核是基于对比度的
。7.
根据权利要求6所述的方法，其中，所述各向异性的扩散核的宽度是基于对比度而自适应的
。8.
根据权利要求7所述的方法，其中，所述自适应的带宽相对于降低的对比度而提供增加的融合
。9.
根据权利要求1所述的方法，其中，所述各向异性的扩散核执行经引导的噪声降低
。10.
根据权利要求9所述的方法，其中，所述经引导的噪声降低是基于所述第一图像或所述第二图像而被引导的
。11.
根据权利要求1所述的方法，其中，融合所述经对准图像是进一步基于指示所述第一图像的所述至少一部分与所述第二图像的所述至少一部分之间的相似度的相似性度量的
。12.
根据权利要求1所述的方法，其中，所述方法是针对视频馈送的一个或多个帧来执行的
。13.
根据权利要求1所述的方法，其中，所述各向异性的扩散核基于光水平，来控制对所述经对准图像的融合
。14.
根据权利要求1所述的方法，其中，融合所述经对准图像进一步地基于所述第一摄
像机的透镜与所述第二摄像机的透镜之间的透镜特性差异
。15.
根据权利要求1所述的方法，其中，融合所述经对准图像包括在所关注区域内合成所述经对准图像
。16.
根据权利要求
15
所述的方法，其中，合成所述经对准图像包括：确定来自所述第一图像的第一合成区域及来自所述第二图像的第二合成区域；及在所述第一合成区域与所述第二合成区域之间执行接缝混合
。17.
根据权利要求
15
所述的方法，其中，执行合成所述经对准图像是为了：基于用所述第一图像的至少一部分替换所述第二图像中不存在的所述所关注区域的一部分，来恢复所述所关注区域
。18.
根据权利要求1所述的方法，其中，所述第一图像及所述第二图像为同时捕获
。19.
根据权利要求1所述的方法，其中，所述第一图像及所述第二图像为在不同时间捕获
。20.
一种电子装置，其包括：存储器；及处理器，其耦合到所述存储器，其中，所述处理器经配置以：从第一摄影机获得场景的第一图像，所述第一摄影机具有第一焦距及第一视场；从第二摄影机获得所述场景的第二图像，所述第二摄影机具有第二焦距及安置在所述第一视场内的第二视场；确定与所述场景相关联的深度信息；基于所述第一图像的聚焦位置，确定融合所述第一图像的至少第一部分及所述第二图像的至少第二部分；基于所述第一图像和所述第二图像中的每一者中的一个或多个关键点
、
所述深度信息和基于深度的空间变换，对准所述第一图像的所述至少一部分及所述第二图像的所述至少一部分以产生经对准图像；基于各向异性的扩散核来融合所述经对准图像以产生经融合图像，其中，所述各向异性的扩散核是通过在所述第一图像中的至少一个参考结构来引导的；以及输出所述经融合图像
。21.
根据权利要求
20
所述的电子装置，其中，所述各向异性的扩散核基于噪声特性
、
对象运动程度
、
边缘信息中的至少一者，来控制对所述经对准图像的融合
。22.
根据权利要求
20
所述的...

【专利技术属性】
技术研发人员：J，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：