用于处理图像处理链中的像素矩阵的方法及对应电子设备技术

本公开的实施例涉及用于处理图像处理链中的像素矩阵的方法及对应电子设备。用于处理每个包含原有红色、绿色、蓝色或红外组分的像素矩阵的方法，包括：从与感兴趣像素邻近的像素组的组分中对与感兴趣像素的原有组分不同的插值组分进行至少一个插值。插值包括：计算由分别分配的权重所加权的参考像素的组分的总和，参考像素是具有与插值组分相同的原有组分的组中的像素，评估每个参考像素组内的环境的空间均匀度，以与相应的空间均匀度成比例并被归一化的值来计算分配给参考像素的权重。被归一化的值来计算分配给参考像素的权重。被归一化的值来计算分配给参考像素的权重。

【技术实现步骤摘要】
用于处理图像处理链中的像素矩阵的方法及对应电子设备
[0001]相关申请的交叉引用
[0002]本申请要求于2021年9月27日提交的法国专利申请号2110166的优先权，该申请的全部内容通过引用并入于此。


[0003]本公开一般涉及图像处理，并且在特定实施例中，涉及红色、绿色、蓝色和红外(RGB
‑
IR)像素的矩阵的处理。

技术介绍

[0004]通常，“RGB
‑
IR”像素矩阵是利用可见和红外信息项两者而从“机器视觉”系统中使用的成像器获得的。事实上，在机器视觉框架中，红外可以允许对来自场景的信息进行不同的处理。例如，可以使用主动照明技术、通过红外发射器而跟随车辆驾驶员在极低光照条件下(可见光)的注视。在另一示例中，可以执行飞行时间测量。
[0005]通常，“RGB
‑
IR”成像技术配备有矩阵，该矩阵包括专用于可见光组分的光敏像素和专用于红外光组分的光敏像素的交错图案。光敏像素生成表示在采集阶段期间接收到的光量的电信号，而不管其波长如何。光敏像素的组分传统上分别由相对于对应光敏像素的蓝色、绿色、红色和红外带宽滤光器来定义。此外，在像素矩阵上方的光学模块通常包含在双频带滤光器，其具有指定了在有源光源的波长上的灵敏度的红外薄光谱带以及可见光谱带。
[0006]结果，专用于红外的像素接收来自有源光源的信号，但是专用于可见光组分的像素也接收信号，并且因此部分地被该红外的量污染。
[0007]这种类型的RGB
‑
IR成像器尤其在尺寸方面是有利的。尽管如此，红色、绿色和蓝色光敏像素之中的红外光敏像素的存在和特定的空间分布在光信号采集的下游的图像处理中存在困难。
[0008]实际上，一方面，对于可见光敏像素，红外波带通常不被过滤，因此生成被红外噪声所劣化的信号。另一方面，由于存在专用的红外光敏像素，可见分辨率降低。此外，这种类型的RGB
‑
IR矩阵的格式通常不适用于传统的图像处理，后者在传统上是为传统格式的矩阵而提供的，并且本身“从拜耳”可知。
[0009]因此，在这种类型的RGB
‑
IR矩阵中，通常在图像处理链的开始处提供用于红外去污染处理、用可见组分替换红外组分以及以拜耳格式进行格式化的算法。
[0010]这些不同的处理在传统上包括双线性插值技术，即，简要地通过来自邻近像素的对应信息项的算术平均进行丢失信息项的重建(即，分别为红外噪声组分、替换红外组分的可见组分和拜耳格式重建的可见组分)。
[0011]然而，应用于RGB
‑
IR类型矩阵的双线性插值处理在最终图像质量方面缺乏表现，因为这些传统处理暴露了结构和颜色伪像，特别是在像素之间的强过渡区域(即，例如高对比度区域)，从而降低了所获得的图像的质量，
[0012]需要提出“RGB
‑
IR”类型的像素矩阵处理技术以改进已处理图像的质量，特别是在可见组分中的红外去污染处理、丢失像素的组分的重建以及拜耳矩阵格式化的环境方面。

技术实现思路

[0013]下面所定义的实施例和实现提出了适用于这三种类型处理的插值技术，其中考虑了图像中的纹理和边缘的变化以调整分配给邻近像素的组分的权重。进行权重分配以使得将最强权重给予位于“最平坦”或“纹理最少”即最均匀的区域中的像素。这允许改进图像质量，并使得更如实的再现。
[0014]根据一个方面，因此提供了一种方法，用于在旨在连接到成像器的图像处理链中处理每个包含原有红色、绿色、蓝色或红外组分的像素矩阵，该方法包括：从与感兴趣像素邻近的像素组的组分中对与感兴趣像素的原有组分不同的插值组分进行至少一个插值，插值包括：计算由分别分配的权重所加权的参考像素的组分的总和，参考像素是具有与插值组分相同的原有组分的组中的像素，评估每个参考像素组内的环境的空间均匀度，以与相应的空间均匀度成比例并被归一化的值来计算分配给参考像素的权重。
[0015]在图像处理的环境中，术语“像素”的含义对应于由图像采集产生的数字数据矩阵中的给定位置；每个像素包含表示图像中在该像素位置处的相应的红色、绿色、蓝色或红外组分强度的单个数字数据，其被称为组分。
[0016]术语“比例”在广义上来理解，即，所分配的权重值在与所评估的均匀度相同的意义变化，而不是在这些量之间以恒定比率的严格意义变化。因此，当均匀度升高时，权重值增加，并且当均匀度降低时，权重值减小，从而将高值权重分配给位于高均匀度的环境中的像素的组分，反之，将较低值的权重分配给位于较低均匀度的环境中的像素的组分。
[0017]因此，在根据该方面的方法中，在计算插值组分时考虑纹理和边缘的变化，以放大最能表示感兴趣像素的环境的参考像素的组分的影响，并且作为必然结果，限制属于较少地表示感兴趣像素的环境的图像中的过渡区域的参考像素的组分的影响。
[0018]根据一个实施例，每个参考像素的空间均匀度的评估包括：计算与相应的参考像素相邻的具有原有绿色组分的像素的组分的梯度。
[0019]例如，梯度的计算包括：测量与参考像素相邻的具有原有绿色组分的像素的组分的最大值和最小值之间的绝对差。
[0020]实际上，根据定义计算梯度提供了关于所计算元素的空间变化的信息项以及因此关于空间均匀度的信息项。考虑到“绿色像素”(即具有原有绿色组分的像素)在矩阵中的数量通常更多，并且因此可以提供关于与参考像素更接近的环境的信息项，因此使用与参考像素相邻的绿色像素是有利的。实际上，在RGBIR矩阵的情况下，绿色像素通常以更大的密度存在，因为绿色通道最能表示人眼所感知的光强度的变化。
[0021]根据一种实现方式，空间均匀度的评估包括根据参考像素的组分的比较来标识空间变化的取向和在所标识的取向上选择具有被用于计算梯度的原有绿色组分的像素。
[0022]该实施例，特别地但不排他地适用于红外噪声去污染处理，对应于执行来自参考像素的组分的均匀度的第一近似，以限制与在计算梯度中使用的参考像素相邻的绿色像素的数量。
[0023]根据一种实现方式，与感兴趣像素邻近的像素组包括像素集，像素集属于在每侧
上具有奇数个像素(例如，五个像素)的像素方格，感兴趣像素位于方格的中心。
[0024]根据一个实施例，由成像器根据基本图案将像素矩阵递送到处理链，该基本图案是具有两个红色像素(即，具有原有红色组分的像素)、八个绿色像素(即，具有原有绿色组分的像素)、两个蓝色像素(即，具有原有蓝色组分的像素)和四个红外像素(即，具有原有红外组分的像素)的“RGB
‑
IR 4x4”类型，它们被布置成使得每个红色、蓝色和红外像素仅与绿色像素相邻。
[0025]根据一种实现方式，插值是在对来自像素的红外噪声的去污染处理中实现的，该插值组分是红外组分，感兴趣像素具有原有红色、绿色和蓝色组分。
[0026]根据一种实现方式，在重建可见组分而不是红外组分的处理中实现插值，插值组本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于处理能够耦合到成像器电路的图像处理链电路中的像素矩阵的方法，每个像素包括原有红色、原有绿色、原有蓝色中的一项的原有组分、或原有红外组分，所述方法包括：从与感兴趣像素邻近的像素组的组分中插值与所述感兴趣像素的所述原有组分不同的插值组分，所述插值包括：计算由分配的权重所加权的参考像素的组分的总和，所述参考像素是具有与所述插值组分相同的原有组分的所述像素组的像素，评估所述像素组内的环境中的每个参考像素的空间均匀度，以及用与所述空间均匀度成比例并被归一化的值来计算所述参考像素的分配权重。2.根据权利要求1所述的方法，其中评估所述空间均匀度包括：计算与所述参考像素相邻的具有原有绿色组分的像素的组分的梯度。3.根据权利要求2所述的方法，其中计算所述像素的组分的梯度包括：测量与所述参考像素相邻的具有原有绿色组分的像素的组分的最大值和最小值之间的绝对差。4.根据权利要求2所述的方法，其中评估所述空间均匀度包括：从所述参考像素的组分的比较中标识空间变化的取向；以及基于所标识的所述空间变化的所述取向，选择具有被用于计算所述像素的组分的梯度的原有绿色组分的像素。5.根据权利要求1所述的方法，其中所述像素组包括像素集，所述像素集属于在每侧上具有奇数个像素的像素方格，所述感兴趣像素位于所述像素方格的中心。6.根据权利要求1所述的方法，其中像素矩阵由所述成像器电路根据基本图案递送到所述图像处理链电路，所述基本图案是具有两个红色像素、八个绿色像素、两个蓝色像素和四个红外像素的红
‑
绿
‑
蓝
‑
红外RGB
‑
IR 4x4类型，每个红色像素、蓝色像素和红外像素被布置成仅与绿色像素相邻。7.根据权利要求1所述的方法，其中所述插值在对来自所述像素矩阵的红外噪声的去污染处理中被实现，所述插值组分是红外组分，所述感兴趣像素具有原有红色组分、原有绿色组分和原有蓝色组分。8.根据权利要求1所述的方法，其中所述插值在可见组分的重建处理中被实现、而不是在红外组分的重建处理中被实现，所述插值组分是红色组分和蓝色组分，所述感兴趣像素具有原有红外组分。9.根据权利要求1所述的方法，其中所述插值在用于将所述像素矩阵格式化为拜耳矩阵的处理中被实现，所述插值组分是红色组分或蓝色组分中的一项，所述感兴趣像素具有原有蓝色组分或原有红色组分中的一项。10.一种电子设备，包括：图像处理链电路，能够耦合到成像器电路，所述图像处理链电路被配置为：处理像素矩阵，每个像素包括原有红色、原有绿色、原有蓝色中的一项的原有组分或原有红外组分；以及从与感兴趣像素邻近的像素组的组分确定与所述感兴趣像素的所述原有组分不同的插值组分，为了确定所述插值组分，所述图像处理链电路被配置为：计算由分配的权重所加权的参考像素的组分的总和，所述参考像素是具有与所述插值
组分相同的原有组分的所述像素组的像素，评估所述像素组内的环境中的每个参考像素的空间均匀度，以及用与所述空间均匀度成比例并被归一化的值来计算所述参考像素的分配...

【专利技术属性】
技术研发人员：P，
申请(专利权)人：意法半导体有限公司，
类型：发明
国别省市：