【技术实现步骤摘要】
本专利技术大体上涉及图像处理，且更确切地说涉及用于使用图像信号处理器执行图像处理的技术和系统。
技术介绍
技术实现思路
1、在一些实例中，描述了用于执行图像处理的技术和系统。传统的图像信号处理器(isp)具有解决基于图像的问题空间的各种分割的单独的离散块。举例来说，典型的isp具有离散功能块，所述功能块各自将特定操作应用于原始相机传感器数据以形成最终输出图像。此类功能块可包含用于去马赛克、噪声减少(去噪)、色彩处理、色调映射的块，以及用于许多其它图像处理功能的块。这些功能块中的每一个含有许多手动调谐参数，引起具有大量手动调谐参数(例如，超过10,000)的isp，所述参数必须根据每个客户的调谐偏好重新调谐。此类手动调谐是非常耗时且昂贵的。
2、本文中所描述的机器学习isp使用机器学习系统和方法以将来自由一或多个图像传感器俘获的原始图像数据的映射导出到最终输出图像。在一些实例中，原始图像数据可包含用于每个像素位置的单一色彩或灰度值。举例来说，具有在每个像素位置处的红色、绿色或蓝色滤光器中的一个的拜耳图案彩色滤光器阵列(或其它合适的彩色滤光器阵列)的传感器可用于俘获每像素位置具有单一色彩的原始图像数据。在一些情况下，装置可包含多个图像传感器以俘获由机器学习isp处理的原始图像数据。最终输出图像可以含有从原始图像数据导出的经处理的图像数据。机器学习isp可以使用卷积滤光器的神经网络(例如，卷积神经网络(cnn))用于isp任务。机器学习isp的神经网络可包含具有高数目的信道的卷积滤光器的
3、isp的神经网络可包含输入层、多个隐蔽层和输出层。输入层包含来自一或多个图像传感器的原始图像数据。隐蔽层可包含可应用于输入数据或可应用于来自先前隐蔽层的输出以产生特征地图的卷积滤光器。隐蔽层的滤光器可包含用于指示滤光器的节点的重要性的权重。在一些情况下，神经网络可以具有一系列的许多隐蔽层，具有确定原始图像输入数据的简单和低层级特性的较早层，以及积累更复杂的且抽象特性的阶层的较晚层。神经网络可以随后基于所确定的高层级特征产生最终输出图像(组成输出层)。
4、根据至少一个实例，提供使用一或多个神经网络处理图像数据的方法。所述方法包含获得原始图像数据的分块。原始图像数据的分块包含使用一或多个图像传感器俘获的原始图像数据的帧的像素的子集。原始图像数据的分块包含用于像素的子集中的每个像素的单一色彩分量。所述方法进一步包含将至少一个神经网络应用于原始图像数据的分块以确定用于像素的子集中的一或多个像素的多个色彩分量值。所述方法进一步包含基于将至少一个神经网络应用于原始图像数据的分块产生输出图像数据的分块。输出图像数据的分块包含输出图像数据的帧的像素的子集。输出图像数据的分块还包含用于输出图像数据的帧的像素的子集中的一或多个像素的多个色彩分量值。至少一个神经网络的应用使得输出图像数据的分块包含与原始图像数据的分块相比较少的像素。
5、在另一实例中，用于使用一或多个神经网络处理图像数据的设备被提供为包含经配置以存储视频数据的存储器和处理器。处理器经配置以并且可以获得原始图像数据的分块。原始图像数据的分块包含使用一或多个图像传感器俘获的原始图像数据的帧的像素的子集。原始图像数据的分块包含用于像素的子集中的每个像素的单一色彩分量。处理器进一步经配置以并且可以将至少一个神经网络应用于原始图像数据的分块以确定用于像素的子集中的一或多个像素的多个色彩分量值。处理器进一步经配置以并且可以基于将至少一个神经网络应用于原始图像数据的分块产生输出图像数据的分块。输出图像数据的分块包含输出图像数据的帧的像素的子集。输出图像数据的分块还包含用于输出图像数据的帧的像素的子集中的一或多个像素的多个色彩分量值。至少一个神经网络的应用使得输出图像数据的分块包含与原始图像数据的分块相比较少的像素。
6、在另一实例中，非暂时性计算机可读媒体被提供为上面存储有指令，所述指令在由一或多个处理器执行时使得所述一或多个处理器：获得原始图像数据的分块，原始图像数据的分块包含使用一或多个图像传感器俘获的原始图像数据的帧的像素的子集，其中原始图像数据的分块包含用于像素的子集中的每个像素的单一色彩分量；将至少一个神经网络应用于原始图像数据的分块以确定用于像素的子集中的一或多个像素的多个色彩分量值；以及基于将至少一个神经网络应用于原始图像数据的分块产生输出图像数据的分块，输出图像数据的分块包含输出图像数据的帧的像素的子集。输出图像数据的分块还包含用于输出图像数据的帧的像素的子集中的一或多个像素的多个色彩分量值。至少一个神经网络的应用使得输出图像数据的分块包含与原始图像数据的分块相比较少的像素。
7、在另一实例中，提供用于使用一或多个神经网络处理图像数据的设备。所述设备包含用于获得原始图像数据的分块的装置。原始图像数据的分块包含使用一或多个图像传感器俘获的原始图像数据的帧的像素的子集。原始图像数据的分块包含用于像素的子集中的每个像素的单一色彩分量。所述设备进一步包含用于将至少一个神经网络应用于原始图像数据的分块以确定用于像素的子集中的一或多个像素的多个色彩分量值的装置。所述设备进一步包含用于基于将至少一个神经网络应用于原始图像数据的分块产生输出图像数据的分块的装置。输出图像数据的分块包含输出图像数据的帧的像素的子集。输出图像数据的分块还包含用于输出图像数据的帧的像素的子集中的一或多个像素的多个色彩分量值。至少一个神经网络的应用使得输出图像数据的分块包含与原始图像数据的分块相比较少的像素。
8、在一些方面中，原始图像数据的帧包含来自通过彩色滤光器阵列滤光的一或多个图像传感器的图像数据。在一些实例中，彩色滤光器阵列包含拜耳彩色滤光器阵列。
9、在一些方面中，将至少一个神经网络应用于原始图像数据的分块包含将一或多个跨步卷积滤光器应用于原始图像数据的分块以产生表示原始图像数据的分块的降低分辨率数据。举例来说，跨步卷积滤光器可包含具有大于一的跨距的卷积滤光器。一或多个跨步卷积滤光器中的每个跨步卷积滤光器包含权重的阵列。
10、在一些方面中，一或多个跨步卷积滤光器中的每个跨步卷积滤光器包含多个信道。多个信道中的每个信道包含权重的不同的阵列。
11、在一些方面中，一或多个跨步卷积滤光器包含多个跨步卷积滤光器。在一些实例中，多个跨步卷积滤光器包含：第一跨步卷积滤光器，其具有权重的第一阵列，其中将第一跨步卷积滤光器应用于原始图像数据的分块产生表示原始图像数据的分块的加权数据的第一集合，加权数据的第一集合具有第一分辨率；以及第二跨步卷积滤光器，其具有权重的第二阵列，其中第二跨步卷积滤光器的应用产生表示原始图像数据的分块的加权数据的第二集合，加权数据的第二集合具有第二分辨率，所述第二分辨率是与第一分辨率相比较低的分辨率。
12、在一些方面中，上文所描述的方法、设本文档来自技高网...
【技术保护点】
1.一种使用一个或多个机器学习系统处理图像数据的方法，所述方法包括：
2.根据权利要求1所述的方法，其中所述图像数据包含原始图像数据。
3.根据权利要求1所述的方法，其中所述图像数据包含来自图像数据的帧的像素的分块，并且其中所述至少一个机器学习系统被应用于所述像素的分块。
4.根据权利要求1所述的方法，其中所述图像数据包含原始图像数据的分块，所述原始图像数据的分块包含原始图像数据的帧的像素的子集。
5.根据权利要求4所述的方法，其中所述原始图像数据的帧包含通过彩色滤光器阵列滤光的来自一个或多个图像传感器的原始图像数据。
6.根据权利要求1所述的方法，其中所述至少一个机器学习系统包含至少一个神经网络。
7.根据权利要求1所述的方法，其中将所述至少一个机器学习系统应用于所述图像数据包含：
8.根据权利要求1所述的方法，其中将所述至少一个机器学习系统应用于所述图像数据引起确定用于所述输出图像数据的帧的所述一个或多个像素中的每个像素的多个色彩分量值。
9.根据权利要求1所述的方法，其中输出图像
10.根据权利要求1所述的方法，还包括：
11.根据权利要求1所述的方法，其中所述图像数据由图像传感器俘获。
12.根据权利要求1所述的方法，其中所述图像数据由多个图像传感器俘获。
13.一种用于使用一个或多个机器学习系统处理图像数据的设备，其包括：
14.根据权利要求13所述的设备，其中所述图像数据包含原始图像数据。
15.根据权利要求13所述的设备，其中所述图像数据包含来自图像数据的帧的像素的分块，并且其中所述至少一个机器学习系统被应用于所述像素的分块。
16.根据权利要求13所述的设备，其中所述图像数据包含原始图像数据的分块，所述原始图像数据的分块包含原始图像数据的帧的像素的子集。
17.根据权利要求16所述的设备，其中所述原始图像数据的帧包含通过彩色滤光器阵列滤光的来自一个或多个图像传感器的原始图像数据。
18.根据权利要求13所述的设备，其中所述至少一个机器学习系统包含至少一个神经网络。
19.根据权利要求13所述的设备，其中将所述至少一个机器学习系统应用于所述图像数据包含：
20.根据权利要求13所述的设备，其中将所述至少一个机器学习系统应用于所述图像数据引起确定用于所述输出图像数据的帧的所述一个或多个像素中的每个像素的多个色彩分量值。
21.根据权利要求13所述的设备，其中输出图像数据包含输出图像数据的分块，所述输出图像数据的分块包含所述输出图像数据的帧的像素的子集。
22.根据权利要求13所述的设备，其中所述处理器被配置为：
23.根据权利要求13所述的设备，其中所述图像数据由图像传感器俘获。
24.根据权利要求13所述的设备，其中所述图像数据由多个图像传感器俘获。
25.根据权利要求13所述的设备，还包括用于俘获图片的相机。
26.一种在其上存储有指令的非暂时性计算机可读介质，所述指令在由一个或多个处理器执行时使得所述一个或多个处理器进行以下操作：
27.根据权利要求26所述的非暂时性计算机可读介质，其中所述图像数据包含原始图像数据。
28.根据权利要求26所述的非暂时性计算机可读介质，其中所述图像数据包含来自图像数据的帧的像素的分块，并且其中所述至少一个机器学习系统被应用于所述像素的分块。
29.根据权利要求26所述的非暂时性计算机可读介质，其中所述图像数据包含原始图像数据的分块，所述原始图像数据的分块包含原始图像数据的帧的像素的子集。
30.根据权利要求29所述的非暂时性计算机可读介质，其中所述原始图像数据的帧包含通过彩色滤光器阵列滤光的来自一个或多个图像传感器的原始图像数据。
31.一种使用一个或多个机器学习系统处理图像数据的方法，所述方法包括：
32.根据权利要求31所述的方法，其中所述额外数据包含色调数据、径向距离数据或自动白平衡AWB增益数据中的至少一个或多个。
33.根据权利要求31所述的方法，其中所述输出图像数据包含用于所述输出图像数据的帧的一个或多个像素的至少一个色彩分量值，其中所述至少一个机器学习系统到所述输入数据的应用使得所述输出图像数据具有相对于所述输入数据减少的维度。
...【技术特征摘要】
1.一种使用一个或多个机器学习系统处理图像数据的方法，所述方法包括：
2.根据权利要求1所述的方法，其中所述图像数据包含原始图像数据。
3.根据权利要求1所述的方法，其中所述图像数据包含来自图像数据的帧的像素的分块，并且其中所述至少一个机器学习系统被应用于所述像素的分块。
4.根据权利要求1所述的方法，其中所述图像数据包含原始图像数据的分块，所述原始图像数据的分块包含原始图像数据的帧的像素的子集。
5.根据权利要求4所述的方法，其中所述原始图像数据的帧包含通过彩色滤光器阵列滤光的来自一个或多个图像传感器的原始图像数据。
6.根据权利要求1所述的方法，其中所述至少一个机器学习系统包含至少一个神经网络。
7.根据权利要求1所述的方法，其中将所述至少一个机器学习系统应用于所述图像数据包含：
8.根据权利要求1所述的方法，其中将所述至少一个机器学习系统应用于所述图像数据引起确定用于所述输出图像数据的帧的所述一个或多个像素中的每个像素的多个色彩分量值。
9.根据权利要求1所述的方法，其中输出图像数据包含输出图像数据的分块，所述输出图像数据的分块包含所述输出图像数据的帧的像素的子集。
10.根据权利要求1所述的方法，还包括：
11.根据权利要求1所述的方法，其中所述图像数据由图像传感器俘获。
12.根据权利要求1所述的方法，其中所述图像数据由多个图像传感器俘获。
13.一种用于使用一个或多个机器学习系统处理图像数据的设备，其包括：
14.根据权利要求13所述的设备，其中所述图像数据包含原始图像数据。
15.根据权利要求13所述的设备，其中所述图像数据包含来自图像数据的帧的像素的分块，并且其中所述至少一个机器学习系统被应用于所述像素的分块。
16.根据权利要求13所述的设备，其中所述图像数据包含原始图像数据的分块，所述原始图像数据的分块包含原始图像数据的帧的像素的子集。
17.根据权利要求16所述的设备，其中所述原始图像数据的帧包含通过彩色滤光器阵列滤光的来自一个或多个图像传感器的原始图像数据。
18.根据权利要求13所述的设备，其中所述至少一...
【专利技术属性】
技术研发人员：黄豪，T·S·潘卡伊，V·古普塔，J·李，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。