电子图像稳定方法、装置以及非易失性机器可读介质制造方法及图纸

本发明专利技术提供了一种电子图像稳定方法、装置以及非易失性机器可读介质。电子图像稳定方法，包括：从图像传感器的输出获得多个视频帧，其中多个视频帧中的每一个都具有图像传感器的全视场；获取多个视频帧的运动信息；根据分别位于多个视频帧内的多个裁剪图像的FOV变化动态估计EIS裕度；以及根据运动信息和EIS裕度对多个裁剪图像进行稳定校正，以生成多个稳定图像。本发明专利技术的电子图像稳定方法、装置以及非易失性机器可读介质可以实现更好的EIS质量。易失性机器可读介质可以实现更好的EIS质量。易失性机器可读介质可以实现更好的EIS质量。

【技术实现步骤摘要】
电子图像稳定方法、装置以及非易失性机器可读介质
[0001]【相关申请的交叉引用】
[0002]本申请要求2020年08月17日提出的申请号为63/066,364的美国临时专利申请案的优先权，上述列出的申请的内容以引用方式整体并入本文中。


[0003]本专利技术涉及一种电子图像稳定技术，并且更具体地，涉及一种用于利用动态裕度(dynamic margin)执行电子图像稳定的方法和装置。

技术介绍

[0004]电子图像稳定(electronic image stabilization，简写为EIS)是使用电子处理的图像增强技术。一般来说，EIS可以最大限度地减少模糊，补偿设备的抖动，通常是补偿相机抖动。例如，通过EIS处理的视频帧被划分为一个裁剪后的图像(其具有期望视场(field of view，简写为FOV))的和裁剪后的图像外的EIS裕度，其中对裁剪后的图像施加稳定校正(stabilization correction)以导出一个稳定的图像，并且稳定校正使用EIS裕度，以补偿相机运动。具体而言，视频帧会失去一些FOV以获得稳定的图像，并且失去的FOV被称为EIS裕度。在各种情况下，典型的EIS设计采用固定/预定义EIS裕度(例如，EIS裕度包含水平方向上固定/预定义百分比的像素和垂直方向上固定/预定义百分比的像素)，而不管FOV变化。因此，当在特定场景(例如数字变焦场景)下输出视频FOV较小时，典型的EIS设计会由于使用固定/预定义的EIS裕度而降低EIS质量。

技术实现思路
<br/>[0005]以下
技术实现思路
仅是说明性的，而无意于以任何方式进行限制。即，提供以下概述以介绍本文描述的新颖和非显而易见的技术的概念、重点、益处和优点。在下面的详细描述中将进一步描述选择而非全部实现。因此，以下概述并非旨在标识所要求保护的主题的必要特征，也不旨在用于确定所要求保护的主题的范围。
[0006]本公开的一些实施例提供了一种电子图像稳定方法，包括：从图像传感器的输出获得多个视频帧，其中该多个视频帧中的每一个都具有该图像传感器的全视场；获取该多个视频帧的运动信息；根据分别位于该多个视频帧内的多个裁剪图像的FOV变化动态估计EIS裕度；以及根据该运动信息和该EIS裕度对该多个裁剪图像进行稳定校正，以生成多个稳定图像。
[0007]本专利技术的另一实施例提供了一种电子图像稳定装置，包括：存储设备，用于缓冲从图像传感器的输出导出的多个视频帧，其中该多个视频帧中的每一个都具有该图像传感器的全视场(FOV)；以及处理电路，用于获取该多个视频帧的运动信息，根据该多个视频帧内的多个裁剪图像的FOV变化动态估计EIS裕度，并根据该运动信息和该EIS裕度对该多个裁剪图像应用稳定校正，以生成多个稳定图像。
[0008]本专利技术的另一实施例提供了一种用于存储程序代码的非易失性机器可读介质，其
中当由处理电路加载和执行时，该程序代码指示该处理电路执行以下步骤：从图像传感器的输出获得多个视频帧，其中该多个视频帧中的每一个都具有该图像传感器的全视场；获取该多个视频帧的运动信息；根据分别位于该多个视频帧内的多个裁剪图像的FOV变化动态估计EIS裕度；以及根据该运动信息和该EIS裕度对该多个裁剪图像进行稳定校正，以生成多个稳定图像。
[0009]本专利技术的电子图像稳定方法、装置以及非易失性机器可读介质可以实现更好的EIS质量。
【附图说明】
[0010]包括附图以提供对本公开的进一步理解，并且附图被并入本公开并构成本公开的一部分。附图示出了本公开的实施方式，并且与描述一起用于解释本公开的原理。可以理解的是，附图不一定按比例绘制，因为为了清楚地说明本公开的概念，某些组件可能被显示为与实际实现中的尺寸不成比例。
[0011]图1是图示根据本专利技术实施例的电子图像稳定(EIS)装置的图。
[0012]图2是图示根据本专利技术实施例的电子图像稳定(EIS)方法的流程图。
[0013]图3是图示根据本专利技术的实施例的基于FOV变化的动态EIS裕度估计的图。
[0014]图4是图示根据本专利技术实施例的通过基于运动信息和EIS裕度的稳定性校正生成的稳定视频序列的图。
[0015]图5是图示根据本专利技术实施例的另一电子图像稳定(EIS)装置的图。
【具体实施方式】
[0016]在下面的详细描述中，通过示例的方式阐述了许多具体细节，以便提供对相关教导的透彻理解。基于本文描述的教导的任何变化、导出和/或扩展都在本公开的保护范围内。在一些情况下，与本文公开的一个或多个示例实现有关的公知的方法、过程、组件和/或电路可以在没有详细描述的情况下以相对较高的水平进行描述，以避免不必要地混淆本公开的教导的各个方面。
[0017]图1是图示根据本专利技术实施例的电子图像稳定(EIS)装置的图。EIS装置100可以是带有摄像头模块的电子设备的一部分，其中摄像头模块可以包括图像传感器101。例如，EIS装置100可以用于手机、平板电脑或数字视频记录仪。EIS装置100可以包括存储设备102和处理电路104。存储设备102可以由一个或多个易失性存储器、一个或多个非易失性存储器或任何具有存储能力的组件来实现。在本实施例中，输入缓冲器BUF_1和输出缓冲器BUF_2被分配在存储设备102中。EIS装置100被布置为稳定视频序列VS。视频序列VS的视频帧可缓存在输入缓冲器BUF_1中。处理电路104可以是专用电路，其设计用于对输入缓冲器BUF_1中缓冲的视频帧执行EIS算法以生成包括稳定图像的视频序列VS'。视频序列VS
’
的稳定图像可以存储在输出缓冲器BUF_2中。在本实施例中，处理电路104采用具有动态裕度的电子图像稳定。下面描述所提出的具有动态裕度的电子图像稳定的进一步细节。
[0018]请结合图2参考图1。图2是图示根据本专利技术实施例的电子图像稳定(EIS)方法的流程图。EIS装置100可以采用EIS方法。只要结果基本相同，就不需要按照图2所示的确切顺序执行这些步骤。在步骤202中，EIS装置100获得包含来自图像传感器101的输出的多个视频
帧的视频序列VS，并将视频帧缓存在输入缓冲器BUF_1中，其中每个视频帧具有图像传感器101的全视场(FOV)。例如，馈入(feed into)EIS装置100的每个全FOV视频帧具有与图像传感器101的分辨率相同的分辨率。换言之，馈入EIS装置100的所有全FOV视频帧具有相同数量的像素。在一些实施例中，图像传感器101的输出可以在经过图像信号处理器(ISP)中的某些处理之后由EIS装置100接收。然而，这并不意味着对本专利技术的限制。
[0019]在步骤204，处理电路104获得视频序列VS中包含的视频帧的运动信息INF_M。例如，运动信息INF_M包括每个视频帧的运动数据，其中每个视频帧的运动数据表示在视频帧被图像传感器101捕获时发生的相机运动。例如，每个视频帧的运动数据可以从诸如陀螺仪传感器的运动传感器直接提供。又例如，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种电子图像稳定方法，包括：从图像传感器的输出获得多个视频帧，其中该多个视频帧中的每一个都具有该图像传感器的全视场；获取该多个视频帧的运动信息；根据分别位于该多个视频帧内的多个裁剪图像的视场变化动态估计电子图像稳定裕度；以及根据该运动信息和该电子图像稳定裕度对该多个裁剪图像进行稳定校正，以生成多个稳定图像。2.如权利要求1所述的电子图像稳定方法，其中该多个视频帧包括第一视频帧和第二视频帧，该多个裁剪图像包括该第一视频帧内的第一裁剪图像和该第二视频帧内的第二裁剪图像，该第二裁剪图像的视场与该第一裁剪图像的视场不同，并且该第一视频帧内的电子图像稳定裕度与该第二视频帧内的电子图像稳定裕度不同。3.如权利要求2所述的电子图像稳定方法，其中，该第二裁剪图像的该视场小于该第一裁剪图像的该视场，并且该第一视频帧内的该电子图像稳定裕度大于该第二视频帧内的该电子图像稳定裕度。4.如权利要求2所述的电子图像稳定方法，其中响应于第一数字变焦比设置该第二裁剪图像的该视场，响应于第二数字变焦比设置该第一裁剪图像的该视场，其中该第二数码变焦比不同于第一数码变焦比。5.如权利要求4所述的电子图像稳定方法，其中，该第二数字变焦比大于该第一数字变焦比，并且该第一视频帧内的该电子图像稳定裕度大于该第二视频帧内的该电子图像稳定裕度。6.一种电子图像稳定装置，包括：存储设备，用于缓冲从图像传感器的输出导出的多个视频帧，其中该多个视频帧中的每一个都具有该图像传感器的全视场；以及处理电路，用于获取该多个视频帧的运动信息，根据该多个视频帧内的多个裁剪图像的视场变化动态估计电子图像稳定裕度，并根据该运动信息和该电子图像稳定裕度对该多个裁剪图像应用稳定校正，以生成多个稳定图像。7.如权利要求6所述的电子图像稳定装置，其中该多个视频帧包括第一视频帧和第二视频帧，该多个裁剪图像包括该第一视频帧内的第一裁剪图像和该第二视频帧内的第二裁剪图像，该第二裁剪图像的视场与该第一裁剪图像的视场不同，并且该第一视频帧内的电子图像稳定裕度与该第二视频帧内的电子图像稳定裕度不同。8.如权利要求7所述...

【专利技术属性】
技术研发人员：陈晓薇，卓孟虹，陈昱均，王书凡，张德浩，陈颖睿，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：