用于图像信号处理器调谐的系统和方法技术方案

本公开的方面涉及用于调谐图像信号处理器ISP的系统和方法。装置可包含一或多个处理器，所述一或多个处理器配置成：接收待由所述ISP处理的图像；确定第一参数值集；在处理所接收图像时基于所述第一参数值集从所述ISP接收第一已处理图像；确定第二参数值集；以及在处理所述所接收图像时基于所述第二参数值集从所述ISP接收第二已处理图像。所述一或多个处理器进一步配置成选择所述第一已处理图像或所述第二已处理图像中的一个作为优选已处理图像。所述一或多个处理器还配置成将对应于所述优选已处理图像的所述参数值集识别为用于处理图像的优选参数值集。

【技术实现步骤摘要】
【国外来华专利技术】用于图像信号处理器调谐的系统和方法
本公开大体上涉及用于调谐图像信号处理器的系统和方法，且具体来说，涉及确定由图像信号处理器用来处理图像的一或多个参数。
技术介绍
由相机传感器捕获的原始图像由图像信号处理器(ISP)处理以生成最终图像。处理可包含应用于所捕获图像的多个滤波器或处理块，例如去噪或噪声滤波、边缘增强、色彩平衡、对比度、强度调整(例如变暗或变亮)、色调调整等等。图像处理块或模块可包含透镜/传感器噪声校正、拜耳(Bayer)滤波器、去马赛克、色彩转换、图像属性的校正或增强/抑制、去噪滤波器和锐化滤波器。每一模块可包含大量可调谐参数(例如每模块数百或数千个参数)。另外，模块可以是共依赖的，因为不同的模块可能影响图像的类似方面。举例来说，去噪和纹理校正或增强都可能影响图像的高频方面。因此，针对ISP确定或调整大量参数以从所捕获原始图像生成最终图像。ISP的参数常规地由具有如何处理输入图像以获得合乎需要的输出图像的经验的专家手动调谐。由于ISP滤波器/模块与绝对数目的可调谐参数之间的相关性，所以专家可能需要3到4周来基于特定相机传感器与ISP的组合确定或调整参数的装置设定。由于相机传感器或其它相机特征(例如透镜特性或缺陷、光圈大小、快门速度和移动、闪光亮度和色彩等等)可能影响所捕获图像，且因此影响ISP的可调谐参数中的至少一些，所以相机传感器与ISP的每一组合可能需要由专家调谐。
技术实现思路
提供本
技术实现思路
而以简化形式引入下文在具体实施方式中进一步描述的概念选择。本
技术实现思路
并不既定识别所要求主题的关键特征或基本特征，也并不既定限制所要求主题的范围。本公开的方面涉及用于调谐图像信号处理器(ISP)的系统和方法。在一些实例实施方案中，一种装置可包含一或多个处理器，所述一或多个处理器配置成：接收待由ISP处理的图像；确定第一参数值集；在处理所接收图像时基于第一参数值集从ISP接收第一已处理图像；确定第二参数值集；以及在处理所接收图像时基于第二参数值集从ISP接收第二已处理图像。一或多个处理器进一步配置成选择第一已处理图像或第二已处理图像中的一个作为优选已处理图像。一或多个处理器还配置成将对应于优选已处理图像的参数值集识别为用于处理图像的优选参数值集。在另一实例中，公开一种方法。实例方法包含：由处理器接收待由ISP处理的图像；由处理器确定第一参数值集；以及从ISP接收第一已处理图像。ISP可使用第一参数值集处理所接收图像来生成第一已处理图像。实例方法进一步包含：由处理器确定第二参数值集；以及从ISP接收第二已处理图像。ISP可使用第二参数值集处理所接收图像来生成第二已处理图像。实例方法还包含：选择第一已处理图像或第二已处理图像中的一个作为优选已处理图像；以及由处理器将对应于优选已处理图像的参数值集识别为用于处理图像的优选参数值集。在另一实例中，公开一种非暂时性计算机可读媒体。非暂时性计算机可读媒体可存储指令，所述指令在由处理器执行时使得装置在调谐ISP时进行以下操作：接收待由ISP处理的图像；确定第一参数值集；以及接收第一已处理图像。ISP使用第一参数值集处理所接收图像来生成第一已处理图像。指令进一步使得装置确定第二参数值集并接收第二已处理图像。ISP使用第二参数值集处理所接收图像来生成第二已处理图像。指令还使得装置选择第一已处理图像或第二已处理图像中的一个作为优选已处理图像，并将对应于优选已处理图像的参数值集识别为用于处理图像的优选参数值集。在另一实例中，公开一种用于调谐ISP的装置。装置包含用于接收待由ISP处理的图像的装置、用于确定第一参数值集的装置以及用于从ISP接收第一已处理图像的装置。ISP使用第一参数值集处理所接收图像来生成第一已处理图像。装置进一步包含用于确定第二参数值集的装置以及用于接收第二已处理图像的装置。ISP使用第二参数值集处理所接收图像来生成第二已处理图像。装置还包含用于选择第一已处理图像或第二已处理图像中的一个作为优选已处理图像的装置，以及用于将对应于优选已处理图像的参数值集识别为用于处理图像的优选参数值集的装置。附图说明本公开的方面在附图的图中以实例方式而不是限制的方式说明，且其中相同参考标号指代类似元件。图1是用于调谐ISP的实例装置的框图。图2是描绘用于针对场景类型调谐ISP的常规操作的说明性流程图。图3是描绘用于自动调谐ISP的实例操作的说明性流程图。图4是描绘用于调整参数数据库的实例操作的说明性流程图。图5是纹理与锐度IQ度量之间的关系的绘图。图6是描绘用于确定用于调整参数数据库的新参数值集的实例操作的说明性流程图。图7是描绘用于在针对个人偏好调整参数时以依序方式调整一或多个IQ度量的实例操作的说明性流程图。图8是如由噪声与纹理的关系说明的参数集的实例聚类的绘图。图9是用于依序调整IQ度量的实例树支图解的绘图。图10是用于调整边缘IQ度量的实例GUI的快照。图11是用于调整高对比度纹理IQ度量的实例GUI的快照。图12是用于调整低对比度纹理IQ度量的实例GUI的快照。图13是用于调整噪声IQ度量的实例GUI的快照。图14是指示不同IQ度量的选择的级联的实例GUI的快照。具体实施方式本公开的方面可用于调谐图像信号处理器(ISP)，例如确定或调整由ISP用于处理输入图像的参数。在常规地调谐ISP时，专家可能需要数周的测试和调整以确定待由ISP使用的参数。另外，用户可具有与专家可能认为合乎需要的已处理图像的偏好不同的偏好。举例来说，用户可能比调谐ISP的专家偏好更大的色彩饱和度、更柔和的图像或其它。本公开的方面可用于调谐ISP中，使得调谐ISP可能需要更少时间且/或没有专门知识的个人(例如装置用户)可利用他或她的偏好来辅助调谐ISP。在一些方面中，可基于用户偏好来填充、调适或更新ISP参数的数据库。最终或更新的数据库可接着用来在处理传入图像时将参数提供到ISP。在以下描述中，阐述例如特定组件、电路和过程的实例等许多特定细节以提供对本公开的透彻理解。如本文中所使用的术语“耦合”意指直接连接或通过一或多个介入组件或电路连接。而且，在以下描述中且出于解释的目的，阐述特定术语以提供对本公开的透彻理解。然而，所属领域的技术人员将显而易见，这些特定细节可能并非实践本文公开的教示所必需的。在其它情况下，以框图形式示出众所周知的电路和装置以避免混淆本公开的教示。以下详细描述的一些部分是相对于对计算机存储器内的数据位的操作的程序、逻辑块、处理和其它符号表示来呈现。在本公开中，程序、逻辑块、过程等被视为产生所需结果的步骤或指令的自一致序列。步骤是要求对物理量进行物理操控的步骤。这些量通常采用能够在计算机系统中存储、传递、组合、比较和以其它方式操控的电信号或磁信号的形式，但不一定如此。然而，应牢记，所有这些和类似术语与适当物理量相关联，且仅为应用于这些量的方便的标签。除非另外具体陈述，否则如从以下论述显而易见的本文档来自技高网...

【技术保护点】
1.一种用于调谐图像信号处理器ISP的方法，其包括：/n由处理器接收待由所述ISP处理的图像；/n由所述处理器确定第一参数值集；/n从所述ISP接收第一已处理图像，其中所述ISP使用所述第一参数值集处理所接收图像来生成所述第一已处理图像；/n由所述处理器确定第二参数值集；/n从所述ISP接收第二已处理图像，其中所述ISP使用所述第二参数值集处理所述所接收图像来生成所述第二已处理图像；/n选择所述第一已处理图像或所述第二已处理图像中的一个作为优选已处理图像；以及/n由所述处理器将对应于所述优选已处理图像的所述参数值集识别为用于处理图像的优选参数值集。/n

【技术特征摘要】
【国外来华专利技术】20180130 IN 2018410033951.一种用于调谐图像信号处理器ISP的方法，其包括：
由处理器接收待由所述ISP处理的图像；
由所述处理器确定第一参数值集；
从所述ISP接收第一已处理图像，其中所述ISP使用所述第一参数值集处理所接收图像来生成所述第一已处理图像；
由所述处理器确定第二参数值集；
从所述ISP接收第二已处理图像，其中所述ISP使用所述第二参数值集处理所述所接收图像来生成所述第二已处理图像；
选择所述第一已处理图像或所述第二已处理图像中的一个作为优选已处理图像；以及
由所述处理器将对应于所述优选已处理图像的所述参数值集识别为用于处理图像的优选参数值集。


2.根据权利要求1所述的方法，其进一步包括：
确定待调整的一或多个图像质量IQ度量；以及
确定对应于待调整的所述一或多个IQ度量的多个参数值集，其中确定所述第一参数值集和所述第二参数值集包括从所述多个参数值集中识别所述第一参数值集和所述第二参数值集。


3.根据权利要求2所述的方法，其中确定所述多个参数值集包括在耦合到所述处理器的参数数据库中识别所述多个参数值集。


4.根据权利要求3所述的方法，其进一步包括：
输出所述第一已处理图像以用于向用户显示；
输出所述第二已处理图像以用于向所述用户显示；以及
接收指示所述优选已处理图像的用户输入。


5.根据权利要求4所述的方法，其进一步包括：
确定用于所述优选已处理图像的所述一或多个IQ度量中的第一IQ度量的值；
调整所述第一IQ度量的所述值；
基于所述第一IQ度量的调整值在所述参数数据库中识别第三参数值集；
从所述ISP接收第三已处理图像，其中所述ISP使用所述第三参数值集处理所述所接收图像来生成所述第三已处理图像；
输出所述优选已处理图像以用于向所述用户显示；
输出所述第三已处理图像以用于向所述用户显示；
接收指示是否更新所述优选已处理图像的用户输入；以及
由所述处理器响应于所述用户输入而将对应于所述优选已处理图像的所述参数值集识别为用于处理图像的所述优选参数值集。


6.根据权利要求5所述的方法，其进一步包括：
确定用于所述优选已处理图像的所述一或多个IQ度量中的第二IQ度量的值；
调整所述第二IQ度量的所述值；
基于所述第二IQ度量的调整值和对应于所述优选已处理图像的所述第一IQ度量的所述值而在所述参数数据库中识别第四参数值集；
从所述ISP接收第四已处理图像，其中所述ISP使用所述第四参数值集处理所述所接收图像来生成所述第四已处理图像；
输出已更新优选已处理图像以用于向所述用户显示；
输出所述第四已处理图像以用于向所述用户显示；
接收指示是否更新所述优选已处理图像的用户输入；以及
由所述处理器响应于所述用户输入而将对应于所述优选已处理图像的所述参数值集识别为用于处理图像的所述优选参数值集。


7.根据权利要求6所述的方法，其中识别所述参数值集包括在所述参数数据库中识别待用于处理由装置的相机传感器捕获的图像的所述参数值集，其中所述装置包含所述处理器、耦合到所述相机传感器的所述ISP以及所述参数数据库。


8.根据权利要求7所述的方法，其进一步包括：
经由所述装置的并耦合到所述处理器的输入传感器，接收指示图像的处理偏好的用户输入，其中确定待调整的所述一或多个IQ度量是基于所述处理偏好。


9.根据权利要求8所述的方法，其中在捕获图像时，能够针对不同场景类型在所述参数数据库中识别不同的优选参数值集。


10.根据权利要求8所述的方法，其进一步包括在确定所述多个参数值集之前由所述处理器调整所述参数数据库，其中调整所述参数数据库包括以下中的至少一个：
利用一或多个新参数值集来使所述参数数据库致密化，
从所述参数数据库中去除一或多个现有参数值集，或
调整所述参数数据库中的一或多个现有参数值集。


11.根据权利要求8所述的方法，其进一步包括：
在所述装置的并耦合到所述处理器的显示器上，显示所述第一IQ度量的多个值；经由所述装置的并耦合到所述处理器的输入传感器，接收指示对所述第一IQ度量的所述多个值中的一或多个的选择的用户输入，其中确定所述第一IQ度量的所述值是基于对所述第一IQ度量的所述选择；
在所述装置的并耦合到所述处理器的所述显示器上，显示所述第二IQ度量的多个值；以及
经由所述装置的并耦合到所述处理器的所述输入传感器，接收指示对所述第二IQ度量的所述多个值中的一或多个的选择的用户输入，其中确定所述第二IQ度量的所述值是基于对所述第二IQ度量的所述选择；


12.根据权利要求11所述的方法，其进一步包括经由所述装置的一或多个无线收发器和基带处理器执行无线通信。


13.一种配置成调谐图像信号处理器ISP的装置，其包括：
一或多个处理器，其配置成：
接收待由所述ISP处理的图像；
确定第一参数值集；
接收第一已处理图像，其中所述ISP使用所述第一参数值集处理所接收图像来生成所述第一已处理图像；
确定第二参数值集；
接收第二已处理图像，其中所述ISP使用所述第二参数值集处理所述所接收图像来生成所述第二已处理图像；
选择所述第一已处理图像或所述第二已处理图像中的一个作为优选已处理图像；以及
将对应于所述优选已处理图像的所述参数值集识别为用于处理图像的优选参数值集。


14.根据权利要求13所述的装置，其中所述一或多个处理器进一步配置成：
确定待调整的一或多个图像质量IQ度量；以及
确定对应于待调整的所述一或多个IQ度量的多个参数值集，其中确定所述第一参数值集和所述第二参数值集包括从所述多个参数值集中识别所述第一参数值集和所述第二参数值集。


15.根据权利要求14所述的装置，其进一步包括耦合到所述一或多个处理器的存储器，其中在确定所述多个参数值集时，所述一或多个处理器配置成识别所述存储器中的在参数数据库中的所述多个参数值集。


16.根据权利要求15所述的装置，其进一步包括：
显示器，其耦合到所述一或多个处理器；以及
输入传感器，其耦合到所述一或多个处理器，其中：
所述一或多个处理器进一步配置成：
将所述第一已处理图像输出到所述显示器；
将所述第二已处理图像输出到所述显示器；且
从指示所述优选已处理图像的所述输入传感器接收用户输入；
所述显示器配置成向用户显示所述第一已处理图像且显示所述第二已处理图像；且
所述输入传感器配置成从所述用户接收所述用户输...

【专利技术属性】
技术研发人员：S·萨胡，P·K·拜哈提，A·尚迪莉娅，S·H·希瓦库马尔，N·斯里尼瓦沙穆尔蒂，Y·古普塔，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国;US