图像传感器、成像装置、电子设备、图像处理系统及信号处理方法制造方法及图纸

技术编号:24362911 阅读:30 留言:0更新日期:2020-06-03 04:04
本申请公开了一种图像传感器、成像装置、电子设备、图像处理系统及信号处理方法。图像传感器用于:生成纹理图像信号,纹理图像信号中的多个纹理像素信号均具有第一颜色通道的值;处理纹理图像信号以获取目标纹理方向,目标纹理方向用于指示图像传感器输出至处理器的中间图像信号中的像素信号的插值方向。本申请实施方式的图像传感器、成像装置、电子设备、图像处理系统及信号处理方法基于目标纹理方向指示的插值方向对中间图像信号中的像素信号进行插值,中间图像信号中像素信号的插值更为准确,最终获得的彩色图像的色彩还原效果更好,彩色图像中的纹理与拍摄场景的纹理的一致性更高。

Image sensor, imaging device, electronic equipment, image processing system and signal processing method

【技术实现步骤摘要】
图像传感器、成像装置、电子设备、图像处理系统及信号处理方法优先权信息本申请请求2019年3月7日向中国国家知识产权局提交的专利申请号为PCT/CN2019/077338的专利申请的优先权和权益,并且通过参照将其全文并入此处。
本申请涉及影像
,特别涉及一种图像传感器、成像装置、电子设备、图像处理系统及信号处理方法。
技术介绍
为了实现彩色图像的采集,图像传感器中通常会设置以拜耳(Bayer)阵列形式排布的滤光片阵列,以使得图像传感器中的多个像素能够接收穿过对应的滤光片的光线,从而生成具有不同色彩通道的像素信号。其中,每个像素仅能输出一种颜色通道的值的像素信号,其余颜色通道的值的像素信号需要通过插值来获取。然而,采用现有插值算法计算的像素的其余颜色通道的值的准确度不高,导致色彩还原不够准确。
技术实现思路
本申请实施方式提供了一种图像传感器。所述图像传感器用于:生成纹理图像信号,所述纹理图像信号中的多个纹理像素信号均具有第一颜色通道的值;处理所述纹理图像信号以获取目标纹理方向,所述目标纹理方向用于本文档来自技高网...

【技术保护点】
1.一种图像传感器,其特征在于,所述图像传感器用于:/n生成纹理图像信号,所述纹理图像信号中的多个纹理像素信号均具有第一颜色通道的值;及/n处理所述纹理图像信号以获取目标纹理方向,所述目标纹理方向用于指示所述图像传感器输出至处理器的中间图像信号中的像素信号的插值方向。/n

【技术特征摘要】
20190307 CN PCT/CN2019/0773381.一种图像传感器,其特征在于,所述图像传感器用于:
生成纹理图像信号,所述纹理图像信号中的多个纹理像素信号均具有第一颜色通道的值;及
处理所述纹理图像信号以获取目标纹理方向,所述目标纹理方向用于指示所述图像传感器输出至处理器的中间图像信号中的像素信号的插值方向。


2.根据权利要求1所述的图像传感器,其特征在于,所述图像传感器包括:
滤光片阵列,所述滤光片阵列包括多个第一滤光片组和多个第二滤光片组,所述第一滤光片组包括数量相同的多个第一颜色滤光片和多个第二颜色滤光片,所述第二滤光片组包括数量相同的多个所述第一颜色滤光片和多个第三颜色滤光片;及
像素阵列,所述像素阵列包括多个像素,每个所述像素对应所述滤光片阵列的一个滤光片,所述像素用于接收穿过对应的所述滤光片的光线以生成电信号;
所述图像传感器用于将所述第一滤光片组对应的像素产生的电信号合并生成第一像素信号和第三像素信号,所述第一像素信号用于表征作用于所述第一滤光片组对应像素的光线的第一颜色通道的值,所述第三像素信号用于表征作用于所述第一滤光片组对应像素的光线的第二颜色通道的值,所述图像传感器用于将所述第二滤光片组对应的像素产生的电信号合并生成第二像素信号和第四像素信号,所述第二像素信号用于表征作用于所述第二滤光片组对应像素的光线的第一颜色通道的值,所述第四像素信号用于表征作用于所述第二滤光片组对应像素的光线的第三颜色通道的值;
所述纹理图像信号中的多个所述纹理像素信号包括多个所述第一像素信号及多个所述第二像素信号。


3.根据权利要求1所述的图像传感器,其特征在于,所述图像传感器包括:
滤光片阵列,所述滤光片阵列包括多个滤光片组,每个所述滤光片组均包括多个第一颜色滤光片,多个所述滤光片组包括两类,第一类所述滤光片组还包括多个第二颜色滤光片,第二类所述滤光片组还包括多个第三颜色滤光片;及
像素阵列,所述像素阵列包括多个像素,每个所述像素对应所述滤光片阵列的一个滤光片,所述像素用于接收穿过对应的所述滤光片的光线以生成电信号;
其中,所述图像传感器工作在合并模式下时,每个第一类所述滤光片组对应的所述像素作为一个第一类合并像素,每个第二类所述滤光片组对应的所述像素作为一个第二类合并像素,所述图像传感器用于将所述第一类合并像素中的像素产生的电信号合并生成第一像素信号,所述第一像素信号用于表征作用于所述第一类合并像素中的像素的光线的第一颜色通道的值,所述图像传感器用于将所述第二类合并像素中的像素产生的电信号合并生成第二像素信号,所述第二像素信号用于表征作用于所述第二类合并像素中的像素的光线的第一颜色通道的值;
所述纹理图像信号中的多个所述纹理像素信号包括多个所述第一像素信号及多个所述第二像素信号。


4.根据权利要求1所述的图像传感器,其特征在于,所述图像传感器包括:
滤光片阵列,所述滤光片阵列设置在像素阵列上,所述滤光片阵列包括多个第一滤光片组和多个第二滤光片组,所述第一滤光片组包括数量相同的多个第一颜色滤光片和多个第二颜色滤光片,所述第二滤光片组包括数量相同的多个所述第一颜色滤光片和多个第三颜色滤光片;
控制电路,所述控制电路设置在具有所述像素阵列的衬底上,所述控制电路用于将所述第一滤光片组对应的像素产生的电信号合并生成第一像素信号和第三像素信号,所述第一像素信号用于表征作用于所述第一滤光片组对应像素的光线的第一颜色通道的值,所述第三像素信号用于表征作用于所述第一滤光片组对应像素的光线的第二颜色通道的值,所述控制电路用于将所述第二滤光片组对应的像素产生的电信号合并生成第二像素信号和第四像素信号,所述第二像素信号用于表征作用于所述第二滤光片组对应像素的光线的第一颜色通道的值,所述第四像素信号用于表征作用于所述第二滤光片组对应像素的光线的第三颜色通道的值;
所述纹理图像信号中的多个所述纹理像素信号包括多个所述第一像素信号及多个所述第二像素信号。


5.根据权利要求1所述的图像传感器,其特征在于,所述图像传感器包括:
滤光片阵列,所述滤光片阵列包括多个第一颜色滤光片、多个第二颜色滤光片、及多个第三颜色滤光片,滤光片以两个所述第一颜色滤光片、一个所述第二颜色滤光片、一个所述第三颜色滤光片为一个单位,且每个所述单位中的两个所述第一颜色滤光片不相邻,一个所述第二颜色滤光片与一个所述第三颜色滤光片不相邻,在第一方向和第二方向上,多个所述单位均呈周期性排列,其中,所述第一方向与所述第二方向垂直;及
像素阵列,所述像素阵列包括多个像素,每个所述像素对应所述滤光片阵列的一个所述滤光片,所述像素用于接收穿过对应的所述滤光片的光线以生成电信号;
所述图像传感器用于将位于同一区域的多个所述第一颜色滤光片对应像素和多个所述第二颜色滤光片对应像素产生的电信号合并生成第一像素信号和第三像素信号,所述第一像素信号用于表征作用于所述第一颜色滤光片对应像素的光线的第一颜色通道的值,所述第三像素信号用于表征作用于所述第二颜色滤光片对应像素的光线的第二颜色通道的值,所述图像传感器用于将位于同一区域的多个所述第一颜色滤光片对应像素和多个所述第三颜色滤光片对应像素产生的电信号合并生成第二像素信号和第四像素信号,所述第二像素信号用于表征作用于所述第一颜色滤光片对应像素的光线的第一颜色通道的值,所述第四像素信号用于表征作用于所述第三颜色滤光片对应像素的光线的第三颜色通道的值;
所述纹理图像信号中的多个所述纹理像素信号包括多个所述第一像素信号及多个所述第二像素信号。


6.根据权利要求2-5任意一项所述的图像传感器,其特征在于,所述图像传感器还用于:
计算在每个待选纹理方向上两两相邻的所述纹理像素信号之间的差值的绝对值以得到多个纹理像素信号差值,其中,所述待选纹理方向包括水平方向、垂直方向、对角方向、及反对角方向;
根据多个所述纹理像素信号差值计算对应的所述待选纹理方向的特征值;及
根据多个所述待选纹理方向的特征值确定对应所述纹理图像信号的所述目标纹理方向,所述目标纹理方向包括水平方向、垂直方向、对角方向、反对角方向、及平面方向中的至少一种。


7.根据权利要求6所述的图像传感器,其特征在于,所述图像传感器还用于:
从多个所述特征值中选取值最大的所述特征值;
在最大的所述特征值与剩余的所有所述特征值之间的差值均大于预定阈值时,确定值最大的所述特征值对应的所述待选纹理方向为所述目标纹理方向;
在最大的所述特征值与剩余的所有所述特征值之间的差值中存在一个所述差值小于所述预定阈值时,则确定所述目标纹理方向为平面方向。


8.根据权利要求2-5任意一项所述的图像传感器,其特征在于,所述图像传感器工作在动态模式时,所述图像传感器还用于处理所述第一像素信号、所述第二像素信号、用于表征作用于所述第二颜色滤光片对应像素的光线的值的第三像素信号、及用于表征作用于所述第三颜色滤光片对应像素的光线的值的第四像素信号以输出所述中间图像信号;所述中间图像信号包括多个图像信号单元,每个所述图像信号单元均包括四个像素信号,其中两个所述像素信号具有第一颜色通道的值,另一个所述像素信号具有第二颜色通道的值,剩余一个所述像素信号具有第三颜色通道的值,四个所述像素信号对应的颜色通道呈拜耳阵列排布;所述目标纹理方向包括水平方向、垂直方向、对角方向、反对角方向、及平面方向中的至少一种。


9.根据权利要求8所述的图像传感器,其特征在于,多个所述第一像素信号及多个所述第二像素信号形成第一原始图像信号,多个所述第三像素信号形成第二原始图像信号,多个所述第四像素信号形成第三原始图像信号;所述图像传感器还用于:
根据第一插值策略及第二插值策略对所述第二原始图像信号做插值处理,以使插值处理后的所述第二原始图像信号中的每一个像素信号均具有第二颜色通道的值;
根据所述第一插值策略及所述第二插值策略对所述第三原始图像信号做插值处理,以使插值处理后的所述第三原始图像信号中的每一个像素信号均具有第三颜色通道的值;及
根据所述第一原始图像信号、插值处理后的所述第二原始图像信号、插值处理后的所述第三原始图像信号获取所述中间图像信号;
其中,所述第一插值策略为根据具有相同颜色通道的值的多个像素信号及所述目标纹理方向指示的插值方向对对应的原始图像信号做插值处理,所述第二插值策略为根据具有相同颜色通道的值的多个像素信号对对应的所述原始图像信号做插值处理。


10.根据权利要求9所述的图像传感器,其特征在于,所述图像传感器还用于:
根据多个所述第三像素信号及所述目标纹理方向指示的插值方向对所述第二原始图像信号中不具有第二颜色通道的值的部分像素信号进行插值处理,根据多个所述第三像素信号对所述第二原始图像信号中不具有第二颜色通道的值的另一部分像素信号进行插值处理;及
根据多个所述第四像素信号及所述目标纹理方向指示的插值方向对所述第三原始图像信号中不具有第三颜色通道的值的部分像素信号进行插值处理,根据多个所述第四像素信号对所述第三原始图像信号中不具有第三颜色通道的值的另一部分像素信号进行插值处理。


11.一种成像装置,其特征在于,包括权利要求1-10任意一项所述的图像传感器。


12.根据权利要求11所述的成像装置,其特征在于,所述成像装置还包括所述处理器,所述处理器用于处理用于表征作用于所述图像传感器中的第一颜色滤光片对应像素的光线的第一颜色通道的值的第一像素信号、用于表征作用于所述图像传感器中的第一颜色滤光片对应像素的光线的第一颜色通道的值的第二像素信号、用于表征作用于所述图像传感器中的第二颜色滤光片对应像素的光线的第二颜色通道的值的第三像素信号、及用于表征作用于所述图像传感器中的第三颜色滤光片对应像素的光线的第三颜色通道的值的第四像素信号以生成彩色图像。


13.根据权利要求12所述的成像装置,其特征在于,在所述图像传感器工作在静态模式时,所述中间图像信号包括第一中间图像信号、第二中间图像信号及第三中间图像信号,多个所述第一像素信号及多个所述第二像素信号形成所述第一中间图像信号,多个所述第三像素信号形成所述第二中间图像信号,多个所述第四像素信号形成所述第三中间图像信号;所述处理器还用于:
根据第一插值策略及第二插值策略对所述第二中间图像信号做插值处理,以使插值处理后的所述第二中间图像信号中的每一个像素信号均具有第二颜色通道的值;
根据所述第一插值策略及所述第二插值策略对所述第三中间图像信号做插值处理,以使插值处理后的所述第三中间图像信号中的每一个像素信号均具有第三颜色通道的值;及
处理所述第一中间图像信号、插值处理后的所述第二中间图像信号、插值处理后的所述第三中间图像信号以生成所述彩色图像;
其中,所述第一插值策略为根据具有相同颜色通道的值的多个像素信号及所述目标纹理方向指示的插值方向对对应的所述中间图像信号做插值处理,所述第二插值策略为根据具有相同颜色通道的值的多个像素信号对对应的所述中间图像信号做插值处理。


14.根据权利要求13所述的成像装置,其特征在于,所述处理器还用于:
根据多个所述第三像素信号及所述目标纹理方向指示的插值方向对所述第二中间图像信号中不具有第二颜色通道的值的部分像素信号进行插值处理,根据多个所述第三像素信号对所述第二中间图像信号中不具有第二颜色通道的值的另一部分像素信号进行插值处理;
根据多个所述第四像素信号及所述目标纹理方向指示的插值方向对所述第三中间图像信号中不具有第三颜色通道的值的部分像素信号进行插值处理,根据多个所述第四像素信号对所述第三中间图像信号中不具有第三颜色通道的值的另一部分像素信号进行插值处理。


15.根据权利要求12所述的成像装置,其特征在于,在所述图像传感器工作在动态模式时,所述中间图像信号包括多个具有四个对应的颜色通道呈拜耳阵列排布的像素信号的图像信号单元;所述中间图像信号包括第一中间图像信号、第二中间图像信号、及第三中间图像信号,多个所述第一像素信号及多个所述第二像素信号形成所述第一中间图像信号,多个所述第三像素信号形成所述第二中间图像信号,多个所述第四像素信号形成所述第三中间图像信号;所述处理器还用于:
根据第一插值策略及第二插值策略对多个所述第一中间图像信号做插值处理,以使插值处理后的所述第一中间图像信号中的每一个像素信号均具有第一颜色通道的值;
根据所述第二插值策略对所述第二中间图像信号做插值处理,以使插值处理后的所述第二中间图像信号中的每一个像素信号均具有第二颜色通道的值;
根据所述第二插值策略对所述第三中间图像信号做插值处理,以使插值处理后的所述第三中间图像信号中的每一个像素信号均具有第三颜色通道的值;及
处理插值处理后的所述第一中间图像信号、插值处理后的所述第二中间图像信号、插值处理后的所述第三中间图像信号以生成所述彩色图像;
其中,所述第一插值策略为根据具有相同颜色通道的值的多个像素信号及所述目标纹理方向指示的插值方向对对应的所述中间图像信号做插值处理,所述第二插值策略为根据具有相同颜色通道的值的多个像素信号对对应的所述中间图像信号做插值处理。


16.根据权利要求15所述的成像装置,其特征在于,所述处理器还用于:
根据多个所述第一像素信号、多个所述第二像素信号及所述目标纹理方向指示的插值方向对所述第一中间图像信号中不具有第一颜色通道的值的部分像素信号进行插值处理,根据多个所述第一像素信号及多个所述第二像素信号对所述第一中间图像信号中不具有第一颜色通道的值的另一部分像素信号进行插值处理;
根据多个所述第三像素信号对所述第二中间图像信号中不具有第二颜色通道的值的所有像素信号做插值处理,以使插值处理后的所述第二中间图像信号中的每一个像素信号均具有第二颜色通道的值;
根据多个所述第四像素信号对所述第三中间图像信号中不具有第三颜色通道的值的所有像素信号做插值处理,以使插值处理后的所述第三中间图像信号中的每一个像素信号均具有第三颜色通道的值。


17.一种电子设备,其特征在于,包括成像装置,所述成像装置包括权利要求1-10任意一项所述的图像传感器。


18.一种图像处理系统,其特征在于,包括电子设备,所述电子设备包括成像装置,所述成像装置包括权利要求1-10任意一项所述的图像传感器。


19.一种信号处理方法,用于图像传感器,其特征在于,所述信号处理方法包括:
生成纹理...

【专利技术属性】
技术研发人员:沼田肇
申请(专利权)人:OPPO广东移动通信有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1