处理图像信号的方法、图像信号处理器和图像传感器芯片技术

公开了一种处理图像信号的方法、图像信号处理器和图像传感器芯片。一种处理图像信号的方法包括以下步骤：基于陀螺仪信息的平移信息来生成指示拜耳图案图像的拜耳次序是否已经改变的拜耳次序状态信息；使用平移信息关于拜耳图案图像执行平移校正；以及基于拜耳次序状态信息关于已经执行了平移校正的拜耳图案图像执行插值。

【技术实现步骤摘要】
处理图像信号的方法、图像信号处理器和图像传感器芯片
本专利文献所公开的技术和实现方式涉及一种处理图像信号的方法、图像信号处理器和图像传感器芯片以用来执行抖动校正。
技术介绍
图像传感器是利用对光作出反应的半导体特性来捕获至少一个图像的装置。近来，随着计算机行业和通信行业的不断发展，在例如智能电话、数字相机、游戏机、物联网(IoT)、机器人、监控相机、医疗微型相机等的各种领域中对高质量和高性能图像传感器的需求快速增加。图像传感器可大致分为电荷耦合器件(CCD)图像传感器和互补金属氧化物半导体(CMOS)图像传感器。CCD图像传感器可在噪声和图像质量方面优于CMOS图像传感器。然而，CMOS图像传感器可比CCD图像传感器更容易驱动，并且可使用比CCD图像传感器更多的扫描方案来实现。另外，CMOS图像传感器可允许信号处理电路被集成到单个芯片中，使得CMOS图像传感器可被容易地制造为小尺寸产品，具有非常低的功耗，并且与CMOS制造技术兼容，导致生产成本降低。近来，CMOS图像传感器已被设计为与移动装置更兼容，使得CMOS图像感测装置已被深入研究并快速得以广泛使用。
技术实现思路
所公开的技术的各种实施方式涉及提供一种处理图像信号的方法、图像信号处理器以及图像传感器芯片以用于执行抖动校正。所公开的技术的一些实现方式使用陀螺仪传感器来对拜耳(Bayer)图案图像执行抖动校正。根据本公开的实施方式，一种处理图像信号的方法可包括以下步骤：基于陀螺仪信息的平移信息来生成指示拜耳图案图像的拜耳次序是否改变的拜耳次序状态信息；使用平移信息关于拜耳图案图像执行平移校正；以及基于拜耳次序状态信息关于已经执行了平移校正的拜耳图案图像执行插值。执行平移校正的步骤可包括以下步骤：通过在拜耳图案图像的像素坐标与平移信息之间执行计算来计算第一校正像素坐标；以及基于第一校正像素坐标来生成水平同步信号和垂直同步信号。计算第一校正像素坐标的步骤可包括以下步骤：通过将平移信息的X轴移动信息与像素坐标的X轴坐标相加来计算第一校正像素坐标的X轴坐标；以及通过从像素坐标的Y轴坐标减去平移信息的Y轴移动信息来计算第一校正像素坐标的Y轴坐标。生成水平同步信号和垂直同步信号的步骤可包括以下步骤：按照使得与第一校正像素坐标的整数坐标被包含在最终窗口中的像素坐标对应的拜耳图案图像被存储在线存储器中的方式生成水平同步信号和垂直同步信号。由水平同步信号和垂直同步信号决定的平移窗口可在X轴方向上比最终窗口长第一长度，并且可在Y轴方向上比最终窗口长第二长度。第一长度和第二长度可基于陀螺仪信息来确定。该图像信号处理方法还可包括以下步骤：在执行平移校正之后，使用陀螺仪信息的节段移动信息来执行错切校正。节段移动信息可包括关于多个节段中的每一个的移动距离。执行错切校正的步骤可包括以下步骤：将使用各个节段的移动距离计算的各个节段的斜度乘以第一校正像素坐标的整数坐标的相对位置值；获得斜度与整数坐标的乘积；在该乘积与第一校正像素坐标的整数坐标之间执行计算，并因此校正斜度；以及通过利用使用多个节段中的每一个的移动距离计算的节段偏移基于多个节段中的任一个执行排列来计算第二校正像素坐标。该图像信号处理方法还可包括以下步骤：在完成错切校正之后，使用陀螺仪信息的旋转信息来执行旋转校正。执行旋转校正的步骤可包括以下步骤：将第一校正像素坐标的小数坐标与第二校正像素坐标相加，或者从第二校正像素坐标减去第一校正像素坐标的小数坐标。拜耳图案图像可被存储在线存储器中。生成拜耳次序状态信息的步骤可包括以下步骤：根据平移信息的X轴移动信息和Y轴移动信息中的每一个的整数部分是偶数还是奇数来生成拜耳次序状态信息。执行插值的步骤可包括以下步骤：基于非校正像素坐标与已经执行了平移校正、错切校正和旋转校正的第三校正像素坐标的整数坐标之间的映射信息来读取与第三校正像素坐标的整数坐标对应的像素数据；使用拜耳次序状态信息来确定与第三校正像素坐标的整数坐标对应的颜色；以及使用包括相应颜色决定的像素的掩模来通过插值生成RGB数据。执行插值的步骤还可包括以下步骤：通过使用RGB数据的掩模基于第三校正像素坐标的小数坐标分配权重来生成与第三校正像素坐标的各个整数坐标对应的最终RGB数据。根据本公开的另一实施方式，一种图像信号处理器可包括：拜耳次序计算器，其被配置为基于陀螺仪信息的平移信息来生成指示拜耳图案图像的拜耳次序是否改变的拜耳次序状态信息；电子图像稳定(EIS)计算器，其被配置为使用平移信息关于拜耳图案图像执行平移校正；以及插值电路，其被配置为基于拜耳次序状态信息关于已经执行了平移校正的拜耳图案图像执行插值。根据本公开的另一实施方式，一种图像传感器芯片可包括：图像生成块，其被配置为生成包括各自指示单个颜色信息的像素数据的拜耳图案图像；以及图像信号处理器，其被配置为基于陀螺仪信息的平移信息来生成指示拜耳图案图像的拜耳次序是否改变的拜耳次序状态信息，使用平移信息关于拜耳图案图像执行平移校正，并基于拜耳次序状态信息关于已经执行了平移校正的拜耳图案图像执行插值。将理解，本公开的以上一般描述和以下详细描述二者是示例性和说明性的，旨在提供要求保护的本公开的进一步说明。附图说明当结合附图考虑时，本公开的以上和其它特征和优点将参照以下详细描述变得易于显而易见，附图中：图1是示出基于所公开的技术的一些实现方式的图像处理系统的示例的框图。图2是示出图1所示的图像信号处理器的示例的框图。图3是示出基于所公开的技术的一些实现方式的图像信号处理方法的示例的流程图。图4是示出图3所示的图像信号处理方法S20的示例的流程图。图5是示出图4所示的两个步骤S110和S140的示例的概念图。图6的(a)至图6的(d)是示出图4所示的步骤S130的概念图。图7的(a)至图7的(c)是示出图4所示的步骤S160的概念图。图8是示出图4所示的步骤S170的概念图。图9是示出图4所示的两个步骤S190和S200的概念图。图中的各个元件的符号10：图像处理系统50：光学透镜100：CMOS图像传感器400：主机具体实施方式现在将详细参照本公开的实施方式，其示例示出于附图中。只要可能，贯穿附图将使用相同的标号来表示相同或相似的部分。尽管本公开易于有各种修改和另选形式，但在附图中作为示例示出了其特定实施方式。然而，本公开不应被解释为限于本文所阐述的实施方式，但相反，本公开旨在涵盖所有修改、等同物和另选形式。在附图中，为了描述方便和清晰，元件的尺寸和形状可能被夸大。图1是示出基于所公开的技术的一些实现方式的图像处理系统10的框图。参照图1，图像处理系统10可被实现为各种电子装置中的任一种，例如数字相机、移动电话、智能电话、平板个人计算机(PC)、膝上型计算机、个人数字助理(PDA)、企业数字本文档来自技高网...

【技术保护点】
1.一种处理图像信号的方法，该方法包括以下步骤：/n基于平移信息来生成指示拜耳图案图像的拜耳次序是否已经改变的拜耳次序状态信息，所述拜耳图案图像与各自具有红色、绿色或蓝色之一的颜色信息的像素数据对应，并且所述拜耳次序指示所述拜耳图案图像的所述颜色信息的顺序；/n使用所述平移信息关于所述拜耳图案图像执行平移校正；以及/n基于所述拜耳次序状态信息对已经执行了所述平移校正的所述拜耳图案图像执行插值。/n

【技术特征摘要】
20190110 KR 10-2019-00033371.一种处理图像信号的方法，该方法包括以下步骤：
基于平移信息来生成指示拜耳图案图像的拜耳次序是否已经改变的拜耳次序状态信息，所述拜耳图案图像与各自具有红色、绿色或蓝色之一的颜色信息的像素数据对应，并且所述拜耳次序指示所述拜耳图案图像的所述颜色信息的顺序；
使用所述平移信息关于所述拜耳图案图像执行平移校正；以及
基于所述拜耳次序状态信息对已经执行了所述平移校正的所述拜耳图案图像执行插值。


2.根据权利要求1所述的方法，其中，执行所述平移校正的步骤包括以下步骤：
通过计算所述拜耳图案图像的像素坐标和所述平移信息来获得第一校正像素坐标；以及
基于所述第一校正像素坐标来生成水平同步信号和垂直同步信号。


3.根据权利要求2所述的方法，其中，计算所述第一校正像素坐标的步骤包括以下步骤：
通过将所述平移信息的X轴移动信息与所述像素坐标的X轴坐标相加来计算所述第一校正像素坐标的X轴坐标；以及
通过从所述像素坐标的Y轴坐标减去所述平移信息的Y轴移动信息来计算所述第一校正像素坐标的Y轴坐标。


4.根据权利要求2所述的方法，其中，生成所述水平同步信号和所述垂直同步信号的步骤包括以下步骤：
按照与像素坐标对应的拜耳图案图像被存储在线存储器中并且所述第一校正像素坐标的整数坐标在最终窗口内的方式来生成所述水平同步信号和所述垂直同步信号。


5.根据权利要求4所述的方法，其中，由所述水平同步信号和所述垂直同步信号决定的平移窗口在X轴方向上比所述最终窗口长第一长度，并且在Y轴方向上比所述最终窗口长第二长度。


6.根据权利要求5所述的方法，其中，所述第一长度和所述第二长度基于陀螺仪信息来确定。


7.根据权利要求1所述的方法，该方法还包括以下步骤：
在执行所述平移校正之后，使用陀螺仪信息的节段移动信息来执行错切校正，以获得第二校正像素坐标。


8.根据权利要求7所述的方法，其中，
所述节段移动信息包括多个节段中的每一个的移动距离，并且
执行所述错切校正的步骤包括以下步骤：
校正使用各个节段的所述移动距离计算的各个节段的斜度；以及
通过利用使用各个节段的所述移动距离计算的节段偏移排列所述多个节段来计算所述第二校正像素坐标。


9.根据权利要求1所述的方法，该方法还包括以下步骤：
在执行所述平移校正之后，使用陀螺仪信息的旋转信息来执行旋转校正，以获得第三校正像素坐标。


10.根据权利要求9所述的方法，该方法还包括以下步骤：
使用所述陀螺仪信息的节段移动信息来执行错切校正，以获得第二校正像素坐标，并且其中，执行所述旋转校正的步骤包括以下步骤：
将第一校正像素坐标的小数坐标与所述第二校正像素坐标相加或...

【专利技术属性】
技术研发人员：安材浩，金秀民，金镇寿，金泰贤，柳在玧，片昌喜，
申请(专利权)人：爱思开海力士有限公司，
类型：发明
国别省市：韩国;KR