用于处理图像的图像信号处理器制造技术

技术编号:24255006 阅读:76 留言:0更新日期:2020-05-23 01:29
提供用于使用一或多个神经网络处理图像数据的技术和系统。举例来说,可以获得原始图像数据的分块。所述分块可包含原始图像数据的帧的像素的子集,并且所述帧可以是使用一或多个图像传感器俘获的。所述原始图像数据的分块包含用于所述像素的子集中的每个像素的单一色彩分量。至少一个神经网络可被应用于所述原始图像数据的分块以确定用于所述像素的子集中的一或多个像素的多个色彩分量值。输出图像数据的分块可以随后基于将所述至少一个神经网络应用于所述原始图像数据的分块而产生。所述输出图像数据的分块包含输出图像数据的帧的像素的子集,并且还包含用于所述输出图像数据的帧的所述像素的子集中的一或多个像素的所述多个色彩分量值。所述至少一个神经网络的应用使得所述输出图像数据的分块包含与所述原始图像数据的分块相比较少的像素。来自所述帧的多个分块可以由所述至少一个神经网络处理以便产生最终输出图像。在一些情况下,来自所述帧的所述分块可以重叠使得所述最终输出图像含有完整图片。

Image signal processor for image processing

【技术实现步骤摘要】
【国外来华专利技术】用于处理图像的图像信号处理器相关申请的交叉参考本申请主张2017年10月11日递交的第62/571,182号美国临时申请的权益,所述申请在此以全文引用的方式并入本文中并且出于所有目的。
本专利技术大体上涉及图像处理,且更确切地说涉及用于使用图像信号处理器执行图像处理的技术和系统。
技术实现思路
在一些实例中,描述了用于执行图像处理的技术和系统。传统的图像信号处理器(ISP)具有解决基于图像的问题空间的各种分割的单独的离散块。举例来说,典型的ISP具有离散功能块,所述功能块各自将特定操作应用于原始相机传感器数据以形成最终输出图像。此类功能块可包含用于去马赛克、噪声减少(去噪)、色彩处理、色调映射的块,以及用于许多其它图像处理功能的块。这些功能块中的每一个含有许多手动调谐参数,引起具有大量手动调谐参数(例如,超过10,000)的ISP,所述参数必须根据每个客户的调谐偏好重新调谐。此类手动调谐是非常耗时且昂贵的。本文中所描述的机器学习ISP使用机器学习系统和方法以将来自由一或多个图像传感器俘获的原始图像数据的映射导出到最终输出图像。在一些实例中,原始图像数据可包含用于每个像素位置的单一色彩或灰度值。举例来说,具有在每个像素位置处的红色、绿色或蓝色滤光器中的一个的拜耳图案彩色滤光器阵列(或其它合适的彩色滤光器阵列)的传感器可用于俘获每像素位置具有单一色彩的原始图像数据。在一些情况下,装置可包含多个图像传感器以俘获由机器学习ISP处理的原始图像数据。最终输出图像可以含有从原始图像数据导出的经处理的图像数据。机器学习ISP可以使用卷积滤光器的神经网络(例如,卷积神经网络(CNN))用于ISP任务。机器学习ISP的神经网络可包含具有高数目的信道的卷积滤光器的若干类似或重复块(例如,大于RGB或YCbCr图像中的信道的数目的数量级)。机器学习ISP充当单个单元,而非具有存在于传统的ISP中的个体功能块。ISP的神经网络可包含输入层、多个隐蔽层和输出层。输入层包含来自一或多个图像传感器的原始图像数据。隐蔽层可包含可应用于输入数据或可应用于来自先前隐蔽层的输出以产生特征地图的卷积滤光器。隐蔽层的滤光器可包含用于指示滤光器的节点的重要性的权重。在一些情况下,神经网络可以具有一系列的许多隐蔽层,具有确定原始图像输入数据的简单和低层级特性的较早层,以及积累更复杂的且抽象特性的阶层的较晚层。神经网络可以随后基于所确定的高层级特征产生最终输出图像(组成输出层)。根据至少一个实例,提供使用一或多个神经网络处理图像数据的方法。所述方法包含获得原始图像数据的分块。原始图像数据的分块包含使用一或多个图像传感器俘获的原始图像数据的帧的像素的子集。原始图像数据的分块包含用于像素的子集中的每个像素的单一色彩分量。所述方法进一步包含将至少一个神经网络应用于原始图像数据的分块以确定用于像素的子集中的一或多个像素的多个色彩分量值。所述方法进一步包含基于将至少一个神经网络应用于原始图像数据的分块产生输出图像数据的分块。输出图像数据的分块包含输出图像数据的帧的像素的子集。输出图像数据的分块还包含用于输出图像数据的帧的像素的子集中的一或多个像素的多个色彩分量值。至少一个神经网络的应用使得输出图像数据的分块包含与原始图像数据的分块相比较少的像素。在另一实例中,用于使用一或多个神经网络处理图像数据的设备被提供为包含经配置以存储视频数据的存储器和处理器。处理器经配置以并且可以获得原始图像数据的分块。原始图像数据的分块包含使用一或多个图像传感器俘获的原始图像数据的帧的像素的子集。原始图像数据的分块包含用于像素的子集中的每个像素的单一色彩分量。处理器进一步经配置以并且可以将至少一个神经网络应用于原始图像数据的分块以确定用于像素的子集中的一或多个像素的多个色彩分量值。处理器进一步经配置以并且可以基于将至少一个神经网络应用于原始图像数据的分块产生输出图像数据的分块。输出图像数据的分块包含输出图像数据的帧的像素的子集。输出图像数据的分块还包含用于输出图像数据的帧的像素的子集中的一或多个像素的多个色彩分量值。至少一个神经网络的应用使得输出图像数据的分块包含与原始图像数据的分块相比较少的像素。在另一实例中,非暂时性计算机可读媒体被提供为上面存储有指令,所述指令在由一或多个处理器执行时使得所述一或多个处理器:获得原始图像数据的分块,原始图像数据的分块包含使用一或多个图像传感器俘获的原始图像数据的帧的像素的子集,其中原始图像数据的分块包含用于像素的子集中的每个像素的单一色彩分量;将至少一个神经网络应用于原始图像数据的分块以确定用于像素的子集中的一或多个像素的多个色彩分量值;以及基于将至少一个神经网络应用于原始图像数据的分块产生输出图像数据的分块,输出图像数据的分块包含输出图像数据的帧的像素的子集。输出图像数据的分块还包含用于输出图像数据的帧的像素的子集中的一或多个像素的多个色彩分量值。至少一个神经网络的应用使得输出图像数据的分块包含与原始图像数据的分块相比较少的像素。在另一实例中,提供用于使用一或多个神经网络处理图像数据的设备。所述设备包含用于获得原始图像数据的分块的装置。原始图像数据的分块包含使用一或多个图像传感器俘获的原始图像数据的帧的像素的子集。原始图像数据的分块包含用于像素的子集中的每个像素的单一色彩分量。所述设备进一步包含用于将至少一个神经网络应用于原始图像数据的分块以确定用于像素的子集中的一或多个像素的多个色彩分量值的装置。所述设备进一步包含用于基于将至少一个神经网络应用于原始图像数据的分块产生输出图像数据的分块的装置。输出图像数据的分块包含输出图像数据的帧的像素的子集。输出图像数据的分块还包含用于输出图像数据的帧的像素的子集中的一或多个像素的多个色彩分量值。至少一个神经网络的应用使得输出图像数据的分块包含与原始图像数据的分块相比较少的像素。在一些方面中,原始图像数据的帧包含来自通过彩色滤光器阵列滤光的一或多个图像传感器的图像数据。在一些实例中,彩色滤光器阵列包含拜耳彩色滤光器阵列。在一些方面中,将至少一个神经网络应用于原始图像数据的分块包含将一或多个跨步卷积滤光器应用于原始图像数据的分块以产生表示原始图像数据的分块的降低分辨率数据。举例来说,跨步卷积滤光器可包含具有大于一的跨距的卷积滤光器。一或多个跨步卷积滤光器中的每个跨步卷积滤光器包含权重的阵列。在一些方面中,一或多个跨步卷积滤光器中的每个跨步卷积滤光器包含多个信道。多个信道中的每个信道包含权重的不同的阵列。在一些方面中,一或多个跨步卷积滤光器包含多个跨步卷积滤光器。在一些实例中,多个跨步卷积滤光器包含:第一跨步卷积滤光器,其具有权重的第一阵列,其中将第一跨步卷积滤光器应用于原始图像数据的分块产生表示原始图像数据的分块的加权数据的第一集合,加权数据的第一集合具有第一分辨率;以及第二跨步卷积滤光器,其具有权重的第二阵列,其中第二跨步卷积滤光器的应用产生表示原始图像数据的分块的加权数据的第二集合,加权数据的第二集合具有第二分辨率,所述第二分辨率是与第一分辨率相比较低的分辨率本文档来自技高网...

【技术保护点】
1.一种使用一或多个神经网络处理图像数据的方法,所述方法包括:/n获得原始图像数据的分块,所述原始图像数据的分块包含使用一或多个图像传感器俘获的原始图像数据的帧的像素的子集,其中所述原始图像数据的分块包含用于所述像素的子集中的每个像素的单一色彩分量;/n将至少一个神经网络应用于所述原始图像数据的分块以确定用于所述像素的子集中的一或多个像素的多个色彩分量值;以及/n基于将所述至少一个神经网络应用于所述原始图像数据的分块产生输出图像数据的分块,所述输出图像数据的分块包含输出图像数据的帧的像素的子集并且包含用于所述输出图像数据的帧的所述像素的子集中的一或多个像素的所述多个色彩分量值,其中所述至少一个神经网络的应用使得所述输出图像数据的分块包含与所述原始图像数据的分块相比较少的像素。/n

【技术特征摘要】
【国外来华专利技术】20171011 US 62/571,182;20180530 US 15/993,2231.一种使用一或多个神经网络处理图像数据的方法,所述方法包括:
获得原始图像数据的分块,所述原始图像数据的分块包含使用一或多个图像传感器俘获的原始图像数据的帧的像素的子集,其中所述原始图像数据的分块包含用于所述像素的子集中的每个像素的单一色彩分量;
将至少一个神经网络应用于所述原始图像数据的分块以确定用于所述像素的子集中的一或多个像素的多个色彩分量值;以及
基于将所述至少一个神经网络应用于所述原始图像数据的分块产生输出图像数据的分块,所述输出图像数据的分块包含输出图像数据的帧的像素的子集并且包含用于所述输出图像数据的帧的所述像素的子集中的一或多个像素的所述多个色彩分量值,其中所述至少一个神经网络的应用使得所述输出图像数据的分块包含与所述原始图像数据的分块相比较少的像素。


2.根据权利要求1所述的方法,其中所述原始图像数据的帧包含来自通过彩色滤光器阵列滤光的所述一或多个图像传感器的图像数据。


3.根据权利要求2所述的方法,其中所述彩色滤光器阵列包含拜耳彩色滤光器阵列。


4.根据权利要求1所述的方法,其中将所述至少一个神经网络应用于所述原始图像数据的分块包含:
将一或多个跨步卷积滤光器应用于所述原始图像数据的分块以产生表示所述原始图像数据的分块的降低分辨率数据,所述一或多个跨步卷积滤光器中的每个跨步卷积滤光器包含权重的阵列。


5.根据权利要求4所述的方法,其中所述一或多个跨步卷积滤光器中的每个跨步卷积滤光器包含多个信道,其中所述多个信道中的每个信道包含权重的不同的阵列。


6.根据权利要求4所述的方法,其中所述一或多个跨步卷积滤光器包含多个跨步卷积滤光器,所述多个跨步卷积滤光器包含:
第一跨步卷积滤光器,其具有权重的第一阵列,其中将所述第一跨步卷积滤光器应用于所述原始图像数据的分块产生表示所述原始图像数据的分块的加权数据的第一集合,所述加权数据的第一集合具有第一分辨率;以及
第二跨步卷积滤光器,其具有权重的第二阵列,其中所述第二跨步卷积滤光器的应用产生表示所述原始图像数据的分块的加权数据的第二集合,所述加权数据的第二集合具有第二分辨率,所述第二分辨率是与所述第一分辨率相比较低的分辨率。


7.根据权利要求6所述的方法,其进一步包括:
将具有所述第二分辨率的所述加权数据的第二集合按比例增大到所述第一分辨率;以及
产生表示所述原始图像数据的分块的组合的加权数据,方法是组合所述加权数据的经按比例增大的第二集合与具有所述第一分辨率的所述加权数据的第一集合。


8.根据权利要求7所述的方法,其进一步包括:
将一或多个卷积滤光器应用于所述组合的加权数据以产生表示所述原始图像数据的分块的特征数据,所述一或多个卷积滤光器中的每个卷积滤光器包含权重的阵列。


9.根据权利要求8所述的方法,其进一步包括:
将所述特征数据按比例增大到全分辨率;以及
产生表示所述原始图像数据的分块的组合的特征数据,方法是组合所述经按比例增大的特征数据与全分辨率特征数据,所述全分辨率特征数据通过将卷积滤光器应用于所述原始图像数据的分块的全分辨率版本而产生。


10.根据权利要求9所述的方法,其中产生所述输出图像数据的分块包含:
将最终卷积滤光器应用于所述特征数据或所述组合的特征数据以产生所述输出图像数据。


11.根据权利要求1所述的方法,其进一步包括:
获得用于增强所述原始图像数据的获得的分块的额外数据,所述额外数据包含色调数据、径向距离数据或自动白平衡AWB增益数据中的至少一或多个。


12.根据权利要求1所述的方法,其中所述至少一个神经网络包含多个层,并且其中所述多个层与所述原始图像数据的分块的高维表示连接。


13.一种用于使用一或多个神经网络处理图像数据的设备,其包括:
存储器,其经配置以存储图像数据;以及
处理器,其经配置以:
获得原始图像数据的分块,所述原始图像数据的分块包含使用一或多个图像传感器俘获的原始图像数据的帧的像素的子集,其中所述原始图像数据的分块包含用于所述像素的子集中的每个像素的单一色彩分量;
将至少一个神经网络应用于所述原始图像数据的分块以确定用于所述像素的子集中的一或多个像素的多个色彩分量值;以及
基于将所述至少一个神经网络应用于所述原始图像数据的分块产生输出图像数据的分块,所述输出图像数据的分块包含输出图像数据的帧的像素的子集并且包含用于所述输出图像数据的帧的所述像素的子集中的一或多个像素的所述多个色彩分量值,其中所述至少一个神经网络的应用使得所述输出图像数据的分块包含与所述原始图像数据的分块相比较少的像素。


14.根据权利要求13所述的设备,其中所述原始图像数据的帧包含来自通过彩色滤光器阵列滤光的所述一或多个图像传感器的图像数据。


15.根据权利要求14所述的设备,其中所述彩色滤光器阵列包含拜耳彩色滤光器阵列。

【专利技术属性】
技术研发人员:黄豪T·S·潘卡伊V·古普塔J·李
申请(专利权)人:高通股份有限公司
类型:发明
国别省市:美国;US

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1