具有多个图像源的图像处理的方法和系统技术方案

本发明专利技术提供了具有多个图像源的图像处理的方法和系统。该方法和系统应用于多个照相机的图像处理。在一个实施方式中，该方法包括：采用被配置有不同的获取设置的多个图像帧源获取图像帧；基于不同的获取设置处理图像帧以生成至少一个最终图像帧；以及输出至少一个最终图像帧。这样，可以利用来自诸如照相机的不同图像帧源的信息来实现提高的帧速率以及改进的图像质量和期望的运动外观。

【技术实现步骤摘要】
具有多个图像源的图像处理的方法和系统
本文公开的主题的实施方式涉及用于具有多个图像源的系统的图像处理。
技术介绍
随着照相机技术从摄影胶片发展到数字图像传感器，照相机的尺寸已经减小到将照相机集成到用户可以方便携带的移动设备(例如，智能电话)中的程度。光学技术和图像传感器技术的进一步发展使这样的设备能够包括配置有不同焦距和视场的多个照相机，它们使用户不仅可以捕获高清照片，还可以捕获高清视频，同时在无需手动切换镜头的情况下轻松地在镜头之间切换。
技术实现思路
在一个实施方式中，一方法包括：采用被配置有不同的获取设置的多个图像帧源获取图像帧；基于不同的获取设置处理图像帧以生成至少一个最终图像帧；以及输出至少一个最终图像帧。这样，可以利用来自诸如照相机的不同图像帧源的信息来实现提高的帧速率以及改进的图像质量和期望的运动外观。应该理解，以上简要描述被提供用来以简化的形式介绍在具体实施方式部分中进一步描述的许多概念。其并不意味着确定所要求保护的主题的关键或必要特征，所要求保护的主题的范围由所附权利要求唯一地限定。此外，所要求保护的主题不限于解决以上或本公开的任何部分中指出的任何缺点的实施方式。附图说明通过参照附图阅读以下非限制性实施方式的描述，将更好地理解本专利技术，在附图中：图1表示高分层框图，其示出了根据一个实施方式的用于处理来自多个图像帧源的输出的示例图像处理系统；图2表示高分层流程图，其示出了根据一个实施方式的用于对来自多个图像帧源的图像帧进行图像处理的示例方法；图3表示高分层流程图，其示出了根据一个实施方式的用于对来自具有不同获取参数的两个图像帧源的图像帧进行图像处理的示例方法；图4表示高分层框图，其示出了根据一个实施方式的用于利用从高帧速率的图像帧的运动估计来提高高分辨率的图像帧的帧速率的示例方法；图5表示曲线图，其示出了根据一个实施方式的采用不同的图像帧源获取图像帧的示例定时；图6表示高分层框图，其示出了根据一个实施方式的用于对来自两个图像帧源的图像帧进行图像处理的示例方法；图7表示高分层流程图，其示出了根据一个实施方式的用于基于用多个图像帧源获取的图像帧来生成高动态范围的图像的示例方法；图8表示高分层框图，其示出了根据一个实施方式的用于利用具有相同曝光的图像帧来改善具有不同曝光的图像帧的内插以生成高动态范围的图像的方法；图9表示高分层流程图，其示出了根据一个实施方式的用于从以低帧速率进行获取的多个图像帧源的输出生成高帧速率视频的示例方法；图10表示高分层示意图，其示出了根据一个实施方式的为了生成高帧速率视频的多个图像帧源的获取时间；图11表示高分层框图，其示出了根据一个实施方式的用于通过调节时间相干性和运动模糊来管理多个图像帧流的示例数据流；图12表示高分层框图，其示出了根据一个实施方式的用于管理多个图像帧流的示例数据流；以及图13表示高分层示意图，其示出了根据一个实施方式的用于多个图像帧源的运动矢量。具体实施方式以下描述涉及图像处理的各种实施方式。特别地，提供了用于多照相机系统的图像处理的系统和方法。图像处理系统(例如，图1中描绘的系统)可以包括记录图像帧的多个照相机或图像帧源。可以对多个照相机的输出进行处理以产生具有期望运动外观的帧速率高(例如，高于每秒24帧的帧速率)的视频。为此，用于图像处理的方法(例如，图2中描绘的方法)利用来自采用不同的照相机获取的图像帧的信息生成包括一系列图像帧的改进的图像帧或视频。例如，如图3至图6所示，两个照相机可以以不同的帧速率和不同的分辨率获取视频，并且可以使用在帧速率较高的视频中估计的运动来改善分辨率较高、帧速率较低的视频的内插，以产生分辨率高、帧速率高的视频。作为另一个示例，如图7和图8所示，第一照相机可以采用不同曝光设置获取图像帧，而第二照相机采用一致的曝光设置获取图像帧，并且可以使用来自第二照相机的图像帧来改善来自第一照相机的图像帧的内插以产生高动态范围(HDR)的图像或视频。作为又一个示例，如图9所示，可以采用更多个照相机以相同的帧速率获取图像帧，并且可以将该图像帧组合或融合为具有更高帧速率的单个视频。如图10所示，通过调节不同照相机的初始获取时间之间的间隔，可以使最终视频的运动外观流畅或根据需要以其他方式对其进行调节。如图11所描绘的，可使用各种图像帧流来调节由各种图像帧流形成的单个图像帧流的时间相干性和运动模糊，或者如图12所描绘的，可以将各种图像帧流简单地组合成无需下游校正的单个图像帧流。如图13所描绘的，可以计算来自每个图像帧源的相邻的图像帧之间运动矢量以及图像帧源之间的运动矢量。图1表示高分层框图，其示出了用于处理来自多个图像帧源110的输出的示例图像处理系统100。在一些示例中，图像处理系统100的组件可以被组合在共享外壳(未被示出)中，例如在单个照相机装置或移动电话内。替代地，图像处理系统100的一个或多个组件被配置为可以通信地耦合以形成图像处理系统100的外围设备。多个图像帧源110至少包括第一图像帧源112和第二图像帧源114。多个图像帧源110中的每个图像帧源可以包括例如被配置为获取一个或多个图像帧的图像传感器或照相机。多个图像帧源可以采用已知的相对定位而彼此相邻地定位。例如，图像帧源可以是不同类型的照相机和/或可以被配置有不同的镜头。图像处理系统100包括图像处理器120，该图像处理器120与多个图像帧源110通信地耦合，并且被配置为从多个图像帧源110接收图像帧。在一些示例中，图像处理器120可以被配置为控制一个或多个图像帧源110以调节一个或多个获取参数。如本文关于图2至图12进一步所述，图像处理器120被配置为处理从多个图像帧源110接收的图像帧。例如，图像处理器120可以利用来自由图像帧源112获取的图像帧的信息来改善由第二图像帧源114获取的图像帧。图像处理器120可包括被配置为执行一个或多个指令的一个或多个物理设备。例如，图像处理器120可包括被配置为执行软件指令的一个或多个处理器。附加地或替代地，图像处理器120可以包括被配置为执行硬件或固件指令的一个或多个硬件或固件逻辑机。图像处理器120可以是单核或多核，并且在其上执行的程序可以被配置为用于并行或分布式处理。图像处理系统100还包括存储器124，该存储器124包括用于存储将由图像处理器120执行以执行本文进一步描述的方法的指令的非瞬态和瞬态存储器。存储器124还可以提供缓冲器和/或高速缓存，以用于存储与来自多个图像帧源110的图像帧的处理有关的数据，从而支持图像处理器120的功能。图像处理系统100还包括显示器130，该显示器130与图像处理器120通信地耦合，并且被配置为显示由图像处理器120输出到显示器130的一个或多个图像帧。即，图像处理器120可以呈现由图像处理器120和/或存储器124保存或输出的数据的视觉表示。显示器130可以包括实际上利用任何类型的技术的显示设备。图2本文档来自技高网...

【技术保护点】
1.一种图像处理方法，包括：/n采用被配置有不同的获取设置的多个图像帧源获取图像帧；/n基于所述不同的获取设置处理所述图像帧以生成至少一个最终图像帧；以及/n输出所述至少一个最终图像帧。/n

【技术特征摘要】
20200214 US 16/792,0051.一种图像处理方法，包括：
采用被配置有不同的获取设置的多个图像帧源获取图像帧；
基于所述不同的获取设置处理所述图像帧以生成至少一个最终图像帧；以及
输出所述至少一个最终图像帧。


2.根据权利要求1所述的图像处理方法，其中，采用所述被配置有不同的获取设置的多个图像帧源获取图像帧包括：采用第一图像帧源获取形成第一视频的第一图像帧组，并且采用第二图像帧源获取形成第二视频的第二图像帧组，其中所述第一图像帧组以低分辨率和高帧速率来获取，并且所述第二图像帧组以高分辨率和低帧速率来获取。


3.根据权利要求2所述的图像处理方法，其还包括：将来自所述第一图像帧组的至少一个图像帧与来自所述第二图像帧组的图像帧对准。


4.根据权利要求2所述的图像处理方法，其中，基于所述不同的获取设置处理所述图像帧以生成所述至少一个最终图像帧包括：估计所述第一图像帧组中的运动。


5.根据权利要求4所述的图像处理方法，其中，基于所述不同的获取设置处理所述图像帧以生成所述至少一个最终图像帧还包括：
采用从所估计的所述第一图像帧组中的运动确定的去卷积核来使所述第二图像帧组锐化；或者
基于所估计的运动在所述第二图像帧组的图像帧之间内插高分辨率的图像帧以生成形成最终视频的一组最终图像帧。


6.根据权利要求1所述的图像处理方法，其中，采用所述多个图像帧源获取所述图像帧包括：
采用第一图像帧源获取第一图像帧组，所述第一图像帧组中的每个图像帧采用不同的曝光设置来获取；以及
采用第二图像帧源获取第二图像帧组，其中所述第二图像帧组采用一致的曝光设置来获取，
其中，基于所述不同的获取设置处理所述图像帧以生成至少一个最终图像帧包括：
估计所述第二图像帧组中的运动；以及
基于所估计的所述第二图像帧组中的运动对所述第一图像帧组进行内插以生成所述至少一个最终图像帧。


7.根据权利要求1所述的图像处理方法，其还包括：根据所述图像帧的获取顺序将所述图像帧布置成单个图像帧组，每个图像帧源被配置有获取帧速率，其中所述不同的获取设置包括每个图像帧源的不同的初始开始时间，并且其中每个图像帧源的所述初始开始时间之间的间隔是可调节的以控制由所述单个图像帧组形成的视频的外观，
其中，所述图像处理方法还包括：
估计所述单个图像帧组中的图像帧之间的运动；以及
基于所估计的运动对所述图像帧应用运动补偿以生成具有高于所述获取帧速率的帧速率的运动校正后的图像帧组，
其中所述至少一个最终图像帧包括所述运动校正后的图像帧组。


8.一种图像处理方法，包括：
采用第一图像帧源获取第一图像帧组；
采用第二图像帧源获取第二图像帧组，所述第一图像帧组与...

【专利技术属性】
技术研发人员：尼尔·伍德尔，张洪敏，马越，
申请(专利权)人：逐点有限公司，
类型：发明
国别省市：美国;US