彩色和单色图像的移位和匹配融合制造技术

一般来说，描述促进使用单色图像数据和彩色图像数据两者来处理彩色图像数据的技术。一种包括单色相机、彩色相机和处理器的装置可经配置以执行所述技术。所述单色相机可经配置以捕获场景的单色图像数据。所述彩色相机可经配置以捕获所述场景的彩色图像数据。一种处理器可经配置以使所述彩色图像数据的特征与所述单色图像数据的特征匹配，且基于所述彩色图像数据和所述单色图像数据的所述匹配特征来计算有限的偏移值数目。所述处理器可进一步经配置以基于所述有限的移位值数目使所述彩色图像数据移位，以产生增强的彩色图像数据。

【技术实现步骤摘要】
【国外来华专利技术】彩色和单色图像的移位和匹配融合本申请案主张2016年4月28日申请的标题为“使用单声道和彩色图像的彩色图像处理(COLORIMAGEPROCESSINGUSINGMONOANDCOLORIMAGES)”的第62/328,927号美国临时申请案的权益，其整个内容以引用的方式并入本文中。
本公开涉及图像产生，且更具体地说，涉及使用单声道和彩色图像的图像产生。
技术介绍
相机可并入有借此增强彩色照片捕获的若干过程。举例来说，一种被称作高动态范围(HDR)的过程可涉及在不同曝光等级捕获两个或更多个彩色照片，以及组合不同的彩色照片以产生可被称为单HDR照片的照片。换句话说，HDR可涉及以不同的快门速度与光圈组合捕获同一场景的不同彩色照片，以便产生具有不同发光度和景深的一组彩色照片。相机接着可后处理所述组彩色照片以将所述彩色照片混合在一起，且从而创建包括所述场景的最聚焦、光线好且彩色部分的单HDR照片。借此增强图像捕获的另一示范性过程被称作光学图像稳定(OIS)。OIS过程可涉及使用传感器(例如陀螺仪)来检测相机的移动(例如归因于操作人员在握持相机时保持完全静止的固有不可能性)。使用OIS过程，相机可以抵消所检测到的相机的移动的方式来移动镜头或传感器，从而潜在地减少模糊且改进低光、近距和其它较困难的图像捕获情景。OIS过程可作为调整彩色照片捕获的预处理操作，而HDR过程可作为后处理操作以从多个所捕获的彩色照片产生HDR照片。不管独自使用还是组合使用，两者均可改进彩色照片捕获。
技术实现思路
本公开描述借此利用单色相机(或“单色相机(monocamera)”)捕获的单色照片(其可被称为“单色照片(monophoto)”)来潜在地改进使用彩色相机捕获的彩色照片。并非唯一地依靠后处理或预处理期间的彩色照片来改进图像捕获，所述技术可利用从单色照片捕获获得的较详细内容来增强通常以较低分辨率捕获的彩色照片。与其它类型的彩色照片捕获增强过程相比，根据本公开中描述的技术使用同时捕获的单色照片来对彩色照片进行后处理可导致彩色图像具有改进的细节等级和减小的噪声。在一个实例中，一种捕获彩色图像数据的方法包括：通过装置的单色相机来捕获场景的单色图像数据；以及通过装置的彩色相机来捕获场景的彩色图像数据。所述方法还包括：通过所述装置的处理器，相对于彩色图像数据或单色图像数据的亮度分量执行强度均衡，以校正彩色相机与单色相机之间的强度差。在另一实例中，一种经配置以捕获彩色图像数据的装置包括：单色相机，其经配置以捕获场景的单色图像数据；以及彩色相机，其经配置以捕获场景的彩色图像数据。所述装置进一步包括：处理器，其经配置以相对于彩色图像数据或单色图像数据的亮度分量执行强度均衡，以校正彩色相机与单色相机之间的强度差。在另一实例中，一种经配置以捕获彩色图像数据的装置包括：用于捕获场景的单色图像数据的装置；以及用于捕获所述场景的彩色图像数据的装置。所述装置进一步包括：用于相对于彩色图像数据或单色图像数据的亮度分量执行强度均衡以校正用于捕获彩色图像数据的装置与用于捕获单色图像数据的装置之间的强度差的装置。在另一实例中，一种非暂时性计算机可读存储媒体上面存储有指令，所述指令在被执行时，致使一或多个处理器与单色相机介接以起始场景的单色图像数据的捕获，与彩色相机介接以起始所述场景的彩色图像数据的捕获，且相对于彩色图像数据或单色图像数据的亮度分量执行强度均衡，以校正彩色相机与单色相机之间的强度差。在另一实例中，一种捕获彩色图像数据的方法包括：通过装置的单色相机来捕获场景的单色图像数据；以及通过装置的彩色相机来捕获场景的彩色图像数据。所述方法进一步包括：通过装置的处理器，使彩色图像数据的特征与单色图像数据的特征匹配；以及通过所述处理器，基于彩色图像数据与单色图像数据的匹配特征来计算有限数目的移位值，所述有限数目的移位值将彩色图像数据的像素映射到单色图像数据的像素。所述方法还包括通过所述处理器，基于所述有限数目的移位值来使彩色图像数据移位，以产生增强的彩色图像数据。在另一实例中，一种经配置以捕获彩色图像数据的装置包括：单色相机，其经配置以捕获场景的单色图像数据；以及彩色相机，其经配置以捕获场景的彩色图像数据。所述装置进一步包括处理器，其经配置以：使彩色图像数据的特征与单色图像数据的特征匹配；且基于彩色图像数据和单色图像数据的匹配特征来计算有限数目的移位值，所述有限数目的移位值将彩色图像数据的像素映射到单色图像数据的像素。所述处理器进一步经配置以基于有限数目的移位值使彩色图像数据移位，以产生增强的彩色图像数据。在另一实例中，一种经配置以捕获彩色图像数据的装置包括：用于捕获场景的单色图像数据的装置；以及用于捕获所述场景的彩色图像数据的装置。所述装置进一步包括：用于使彩色图像数据的特征与单色图像数据的特征匹配的装置；以及用于基于彩色图像数据和单色图像数据的匹配特征来计算有限数目的移位值，所述有限数目的移位值将彩色图像数据的像素映射到单色图像数据的像素。所述装置还包括用于基于有限数目的移位值使彩色图像数据移位以产生增强的彩色图像数据的装置。在另一实例中，一种非暂时性计算机可读媒体上面存储有指令，所述指令在被执行时，致使装置的一或多个处理器：与单色相机介接以捕获场景的单色图像数据；与彩色相机介接以捕获场景的彩色图像数据；使所述彩色图像数据的特征与单色图像数据的特征匹配；基于彩色图像数据和单色图像数据的匹配特征来计算有限数目的移位值，所述有限数目的移位值将彩色图像数据的像素映射到单色图像数据的像素；以及基于所述有限数目的移位值来使彩色图像数据移位，以产生增强的彩色图像数据。在另一实例中，一种捕获彩色图像数据的方法包括：通过装置的单色相机来捕获场景的单色图像数据；以及通过装置的彩色相机来捕获场景的彩色图像数据。所述方法还包括：通过装置的处理器来确定指示单色图像数据与彩色图像数据之间的视差等级的视差值；以及通过所述处理器来确定所述视差值大于视差阈值。所述方法进一步包含通过所述处理器且响应于确定视差值大于视差阈值，将彩色图像数据的亮度分量与单色图像数据的亮度分量组合，以产生增强的彩色图像数据的亮度分量。在另一实例中，一种经配置以捕获彩色图像数据的装置包括：单色相机，其经配置以捕获场景的单色图像数据；以及彩色相机，其经配置以捕获场景的彩色图像数据。所述装置进一步包括处理器，其经配置以确定指示单色图像数据与彩色图像数据之间的视差等级的视差值，且确定所述视差大于视差阈值。所述处理器还经配置以响应于确定视差大于视差阈值，将彩色图像数据的亮度分量与单色图像数据的亮度分量组合，以产生增强的彩色图像数据的亮度分量。在另一实例中，一种经配置以捕获彩色图像数据的装置包括：用于捕获场景的单色图像数据的装置；以及用于捕获所述场景的彩色图像数据的装置。所述装置还包括：用于确定单色图像数据与彩色图像数据之间的视差的装置；以及用于确定视差大于视差阈值的装置。所述装置进一步包括：用于响应于确定视差大于视差阈值，将彩色图像数据的亮度分量与单色图像数据的亮度分量组合以产生增强的彩色图像数据的亮度分量的装置。在另一实例中，一种非暂时性计算机可读存储媒体上面存储有指令，所述指令在被执行时，致使装置的一或多个处理器本文档来自技高网...

【技术保护点】
1.一种捕获彩色图像数据的方法，所述方法包括：通过装置的单色相机，捕获场景的单色图像数据；通过所述装置的彩色相机，捕获所述场景的彩色图像数据；通过所述装置的处理器，使所述彩色图像数据的特征与所述单色图像数据的特征匹配；通过所述处理器，基于所述彩色图像数据和所述单色图像数据的所述匹配特征来计算有限的移位值数目，所述有限的移位值数目将所述彩色图像数据的像素映射到所述单色图像数据的像素；以及通过所述处理器，基于所述有限的移位值数目使所述彩色图像数据移位，以产生增强的彩色图像数据。

【技术特征摘要】
【国外来华专利技术】2016.04.28 US 62/328,927;2016.09.19 US 15/269,1291.一种捕获彩色图像数据的方法，所述方法包括：通过装置的单色相机，捕获场景的单色图像数据；通过所述装置的彩色相机，捕获所述场景的彩色图像数据；通过所述装置的处理器，使所述彩色图像数据的特征与所述单色图像数据的特征匹配；通过所述处理器，基于所述彩色图像数据和所述单色图像数据的所述匹配特征来计算有限的移位值数目，所述有限的移位值数目将所述彩色图像数据的像素映射到所述单色图像数据的像素；以及通过所述处理器，基于所述有限的移位值数目使所述彩色图像数据移位，以产生增强的彩色图像数据。2.根据权利要求1所述的方法，其中计算所述有限的移位值数目包括：计算所述彩色图像数据和所述单色图像数据的所述匹配特征之间的距离的经加权直方图；以及选择所述有限的移位值数目作为距离的所述经加权直方图的最大值的阈值数目。3.根据权利要求1所述的方法，其进一步包括：在使所述彩色图像数据的所述特征与所述单色图像数据的所述特征匹配之前，相对于所述彩色图像数据的亮度分量和所述单色图像数据的亮度分量执行强度均衡，以校正所述彩色相机与所述单色相机之间的强度差异。4.根据权利要求1所述的方法，其进一步包括：在使所述彩色图像数据的所述特征与所述单色图像数据的所述特征匹配之前，确定指示所述单色图像数据与所述彩色图像数据之间的视差等级的视差值，并确定所述视差值是否大于视差阈值，其中使所述彩色图像数据的所述特征与所述单色图像数据的所述特征匹配包括响应于所述确定所述视差值大于所述视差阈值，使所述彩色图像数据的所述特征与所述单色图像数据的所述特征匹配包括匹配。5.根据权利要求4所述的方法，其中执行强度均衡包括将所述经训练的回归因子应用于所述彩色图像数据或所述经移位的彩色图像数据的所述亮度分量以及所述单色图像数据的所述亮度分量，以调适所述单色图像数据的所述亮度分量或所述彩色图像数据的所述亮度分量。6.根据权利要求5所述的方法，其中所述回归因子包括脊回归因子。7.根据权利要求1所述的方法，其中捕获所述单色图像数据包括在一时间周期内捕获两个或更多个不同单色图像数据，其中所述方法进一步包含处理所述两个或更多个不同单色图像数据，以产生单个组合的单色图像数据，且其中使所述彩色图像数据的所述特征与所述亮度图像数据的所述特征匹配包括使所述彩色图像数据的所述特征与所述单个组合的亮度图像数据的所述特征匹配。8.根据权利要求1所述的方法，其中捕获所述彩色图像数据包括在一时间周期内捕获两组或更多组彩色图像数据，其中所述方法进一步包括处理所述两个或更多个不同彩色图像数据，以产生单个组合的彩色图像数据，且其中使所述彩色图像数据的所述特征与所述亮度图像数据的所述特征匹配包括使所述彩色图像数据的所述特征与所述单个组合的亮度图像数据的所述特征匹配。9.根据权利要求1所述的方法，其中捕获所述单色图像数据包括在一时间周期内捕获两个或更多个不同单色图像数据，其中捕获所述彩色图像数据包括在所述时间周期内捕获两组或更多组彩色图像数据，且其中所述方法进一步包括：处理所述两个或更多个不同单色图像数据，以产生单个组合的单色图像数据；以及处理所述两个或更多个不同彩色图像数据，以产生单个组合的彩色图像数据，且其中使所述彩色图像数据的所述特征与所述亮度图像数据的所述特征匹配包括使所述单个组合的彩色图像数据的所述特征与所述单个组合的亮度图像数据的所述特征匹配。10.根据权利要求1所述的方法，其进一步包括：响应于确定指示所述单色图像数据与所述彩色图像数据之间的视差等级的视差值不大于视差阈值，将所述增强的图像数据的色度分量设定为等于所述彩色图像数据的色度分量。11.一种经配置以捕获彩色图像数据的装置，所述装置包括：单色相机，其经配置以捕获场景的单色图像数据；彩色相机，其经配置以捕获所述场景的彩色图像数据；以及处理器，其经配置以：使所述彩色图像数据的特征与所述单色图像数据的特征匹配，基于所述彩色图像数据和所述单色图像数据的所...

【专利技术属性】
技术研发人员：威廉·曼策尔，拉明·礼萨伊法尔，宋奇迟，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国,US