图像质量评估制造技术

公开了用于图像信号处理的系统和方法。例如，方法可以包括：从第一图像传感器接收第一图像；从第二图像传感器接收第二图像；拼接第一图像和第二图像以获取拼接图像；标识拼接图像的位于拼接图像的拼接边界上的图像部分；以及将图像部分输入到机器学习模块以获取得分，其中机器学习模块已经使用训练数据被训练，该训练数据包括被标记为反映拼接的不存在的图像部分和被标记为反映拼接的存在的图像部分，其中被标记为反映拼接的存在的图像部分包括拼接。

Image quality assessment

Systems and methods for image signal processing are disclosed. For example, the method may include: receiving the first image from the first image sensor; receiving the second image from the second image sensor; splicing the first image and the second image to obtain the splicing image; identifying the image part of the splicing image on the splicing boundary of the splicing image; and inputting the image part to the machine learning module to obtain scores, wherein the machine learning module has Using training data to be trained, the training data includes the non-existent image part marked to reflect the splicing and the existing image part marked to reflect the splicing, and the existing image part marked to reflect the splicing includes the splicing.

【技术实现步骤摘要】
【国外来华专利技术】图像质量评估相关申请的交叉引用本申请要求于2017年3月10日提交的美国专利申请No.15/455,446的权益，该申请通过引用整体并入本文。
本公开涉及图像质量评估。
技术介绍
图像捕获设备(诸如相机)可以捕获内容作为图像或视频。可以经由镜头接收和聚焦光，并且可以通过图像传感器将光转换为电子图像信号。图像信号可以由图像信号处理器(ISP)处理以形成可以被存储和/或编码的图像。在一些实现中，来自不同图像传感器的多个图像或视频帧可以包括空间相邻或重叠的内容，其可以拼接在一起以形成具有较大视场的较大图像。图像拼接过程可能引入失真，失真取决于出现在相机视场内的对象和/或那些对象的相对位置和取向。
技术实现思路
本文中公开的是图像质量评估的实现。在第一方面，本说明书中描述的技术方案可以在系统中实施，该系统包括被配置为捕获第一图像的第一图像传感器和被配置为捕获第二图像的第二图像传感器。该系统包括处理装置，该处理装置被配置为：从第一图像传感器接收第一图像；从第二图像传感器接收第二图像；拼接第一图像和第二图像以获取拼接图像；标识拼接图像的位于拼接图像的拼接边界上的图像部分；将该图像部分输入到机器学习模块以获取得分，其中机器学习模块已经使用训练数据被训练，该训练数据包括被标记为反映拼接的不存在的图像部分和被标记为反映拼接的存在的图像部分，其中被标记为反映拼接的存在的图像部分包括拼接图像的拼接边界；至少部分地基于得分选择拼接算法的参数；使用参数来拼接第一图像和第二图像以获取合成图像；以及基于合成图像存储、显示或传输输出图像。在第二方面，本说明书中描述的技术方案可以在方法中实施，该方法包括：从第一图像传感器接收第一图像；从第二图像传感器接收第二图像；拼接第一图像和第二图像以获取拼接图像；标识拼接图像的位于拼接图像的拼接边界上的图像部分；以及将图像部分输入到机器学习模块以获取得分，其中机器学习模块已经使用训练数据被训练，该训练数据包括被标记为反映拼接的不存在的图像部分和被标记为反映拼接的存在的图像部分，其中被标记为反映拼接的存在的图像部分包括拼接图像的拼接边界。在第三方面，本说明书中描述的技术方案可以在方法中实施，该方法包括：向人类呈现图像；从人类接收针对图像的得分；利用训练数据训练机器学习模块，该训练数据包括来自图像的利用来自人类的针对图像的得分而被标记的图像部分；以及将来自第一图像的图像部分输入到经训练的所述机器学习模块以获取第一图像的质量估计。本公开的这些和其他方面在以下具体实施方式、所附权利要求和附图中公开。附图说明当结合附图阅读时，从以下详细描述中可以最好地理解本公开。需要强调的是，根据惯例，附图的各种特征不是按比例的。相反，为了清楚起见，各种特征的尺寸被任意扩大或缩小。图1是用于内容捕获的图像捕获系统的一个示例的示图。图2A是被配置用于图像捕获和拼接的示例系统的框图。图2B是被配置用于图像捕获和拼接的示例系统的框图。图3是用于图像捕获和拼接的示例技术的流程图。图4是用于训练机器学习模块以使得图像拼接质量能够被评估的示例技术的流程图。图5是用于训练机器学习模块以估计主观图像质量的示例技术的流程图。图6示出了拼接图像的示例布局。图7A是被配置用于图像质量评估的示例机器学习模块的框图。图7B是被配置用于图像质量评估的示例机器学习模块的框图。图8是用于图像捕获和拼接的示例技术的流程图。具体实施方式本文档包括用于图像质量评估以使得由图像捕获系统生成的图像的质量能够提高的系统、装置和方法的公开内容。例如，一些图像捕获系统包括多个(例如，两个或六个)图像传感器，并且通过将来自两个或更多个传感器的图像拼接在一起来生成合成图像。拼接可以是动态的依赖于数据的操作，该操作可能在所得到的合成图像中引入失真。例如，来自被拼接的两个图像的像素的轻微未对准可能导致合成的拼接图像中的不连续性(例如，颜色突然改变的线)，这对人类来说是非常明显的并且显著降低图像质量。在设计和/或应用用于拼接或其他图像处理的过程时，能够一致地评估图像质量以提供使得这些过程能够被调节的反馈(例如，在图像捕获处理期间或在正在设计图像捕获系统的实验室中实时地调节)以提高图像质量是有用的。拼接是将具有重叠视场的图像组合以产生合成图像(例如，以形成全景图像)的过程。拼接可以包括沿着合成图像的分别基于两个不同输入图像的段之间的边界(称为拼接边界)在一个区域(可以称为接缝)中将正在被组合的两个图像的像素对准。例如，拼接可以包括应用视差校正(例如，双目差异校正)以对准与出现在多个图像传感器的视场中的对象相对应的像素。例如，因为双目差异取决于对象距图像传感器的距离，所以拼接过程可以是数据相关的，因为它在特定图像(例如，特定视频帧)的捕获期间利用反映对象在传感器的视场中的位置的图像数据来确定来自输入图像的像素到合成图像的映射。可能有利的是，具有在合成图像正在被捕获和编码时可用的图像质量的一致评估，使得拼接过程的参数(例如，所考虑的维度的数目)可以被调节以最佳地适合当前场景。可以通过将拼接图像的来自沿着拼接边界的部分(例如，像素块)输入到机器学习模块来评估图像中的拼接质量，该机器学习模块已经被训练以区分来自单个图像传感器的图像数据的部分和已经被拼接的数据部分。例如，可以使用两组数据来训练机器学习模块(例如，卷积神经网络或支持向量机)。第一组数据包括由用单个图像传感器捕获的像素组成并且用与非接缝图像部分相对应的得分(例如，1)标记的图像部分。第二组训练包括如下图像部分：该图像部分包括基于来自已经被拼接在一起的至少两个不同图像(用不同图像传感器捕获)的像素的像素。第二组训练数据中的数据的部分可以用与接缝图像部分相对应的得分(例如，0)标记。当新的合成(例如，全景)图像被拼接时，来自沿着拼接边界的数据的部分可以被输入到经训练的机器学习模块，以获取反映该部分来自拼接接缝的预测(例如，估计的概率)的得分。与针对非接缝数据的得分接近的得分可以指示该部分中的高质量拼接。与针对接缝数据的得分接近的得分可以指示该部分中的低质量拼接。在一些实现中，确定并且组合(例如，求平均)来自沿着拼接边界的多个部分的得分，以确定对合成图像的拼接的质量的估计。例如，对图像的拼接质量的这种估计可以用作反馈以确定是否和/或如何调节拼接算法的参数以改善合成图像的图像质量。具有与图像质量的主观人类评估良好相关的自动确定的图像质量得分也可能是有用的。机器学习模块可以用已经用由人类提供的图像质量得分标记的图像数据进行训练。以这种方式训练的机器学习模块可以被配置为将图像数据(例如，图像中的像素的一部分)作为输入，并且输出与主观人类得分良好相关的图像质量得分。例如，可以向人类呈现图像，并且那些图像的图像质量得分可以从人类被接收并且用于标记来自相应图像的图像数据的一个或多个部分。例如，标记的图像数据可以用于训练神经网络(例如，卷积神经网络)。参考附图详细描述实现本文档来自技高网...

【技术保护点】
1.一种系统，包括：/n第一图像传感器，被配置为捕获第一图像；/n第二图像传感器，被配置为捕获第二图像；以及/n处理装置，被配置为：/n从所述第一图像传感器接收所述第一图像；/n从所述第二图像传感器接收所述第二图像；/n拼接所述第一图像和所述第二图像以获取拼接图像；/n标识所述拼接图像的位于所述拼接图像的拼接边界上的图像部分；/n将所述图像部分输入到机器学习模块以获取得分，其中所述机器学习模块已经使用训练数据被训练，所述训练数据包括被标记为反映拼接的不存在的图像部分和被标记为反映拼接的存在的图像部分，其中所述被标记为反映拼接的存在的图像部分包括拼接图像的拼接边界；/n至少部分地基于所述得分，选择拼接算法的参数；/n使用所述参数来拼接所述第一图像和所述第二图像，以获取合成图像；以及/n基于所述合成图像存储、显示或传输输出图像。/n

【技术特征摘要】
【国外来华专利技术】20170310 US 15/455,4461.一种系统，包括：
第一图像传感器，被配置为捕获第一图像；
第二图像传感器，被配置为捕获第二图像；以及
处理装置，被配置为：
从所述第一图像传感器接收所述第一图像；
从所述第二图像传感器接收所述第二图像；
拼接所述第一图像和所述第二图像以获取拼接图像；
标识所述拼接图像的位于所述拼接图像的拼接边界上的图像部分；
将所述图像部分输入到机器学习模块以获取得分，其中所述机器学习模块已经使用训练数据被训练，所述训练数据包括被标记为反映拼接的不存在的图像部分和被标记为反映拼接的存在的图像部分，其中所述被标记为反映拼接的存在的图像部分包括拼接图像的拼接边界；
至少部分地基于所述得分，选择拼接算法的参数；
使用所述参数来拼接所述第一图像和所述第二图像，以获取合成图像；以及
基于所述合成图像存储、显示或传输输出图像。


2.根据权利要求1所述的系统，其中所述处理装置被配置为：
标识所述拼接图像内沿着所述拼接图像的所述拼接边界出现的一个或多个附加图像部分；
将所述一个或多个附加图像部分输入到所述机器学习模块，以获取一个或多个附加得分；以及
基于所述一个或多个附加得分，选择所述参数。


3.根据权利要求1或2所述的系统，其中所述机器学习模块包括被配置为基于所述图像部分确定特征的特征提取子模块。


4.根据权利要求1至3中的任一项所述的系统，其中拼接以获取所述拼接图像被执行，使得所述拼接图像的个体像素分别基于所述第一图像或所述第二图像，但不基于所述第一图像和所述第二图像两者；并且
其中拼接以获取所述合成图像被执行，使得所述合成图像的至少一个像素基于所述第一图像和所述第二图像两者。


5.根据权利要求1至3中的任一项所述的系统，其中拼接以获取所述拼接图像被执行，使得所述拼接图像的个体像素分别基于所述第一图像或所述第二图像，但不基于所述第一图像和所述第二图像两者；并且
其中所述训练数据的被标记为反映拼接的存在的图像部分包括在没有混合的情况下被拼接的拼接图像的拼接边界。


6.根据权利要求1至5中的任一项所述的系统，其中所述参数指定一维视差校...

【专利技术属性】
技术研发人员：A·梅勒，B·C·道亚迪普勒文，
申请(专利权)人：高途乐公司，
类型：发明
国别省市：美国;US