图像处理器、图像处理方法、拍摄装置和电子设备制造方法及图纸

本申请公开了一种图像处理器、图像处理方法、拍摄装置和电子设备。图像处理器包括硬件抽象模块、应用程序模块和通过应用程序模块与硬件抽象模块连接的算法后处理模块。硬件抽象模块用于传输图像数据和元数据。算法后处理模块用于接收图像数据和元数据、判断图像数据和元数据是否匹配、在匹配时根据元数据确定待执行的图像处理算法、并采用待执行的图像处理算法处理图像数据以实现拍照后处理。本申请实施方式的图像处理器、图像处理方法、拍摄装置和电子设备中，算法后处理模块根据图像数据和元数据是否匹配确定是否进行图像处理，从而能够避免相关联的多帧数据之间出现错乱的问题，进而能够使得图像数据的拍照后处理过程更加准确。

Image Processor, Image Processing Method, Photographing Device and Electronic Equipment

【技术实现步骤摘要】
图像处理器、图像处理方法、拍摄装置和电子设备
本申请涉及图像处理
，更具体而言，涉及一种图像处理器、图像处理方法、拍摄装置和电子设备。
技术介绍
在相关技术中，硬件抽象模块(HardwareAbstractLayer，HAL)可以对相关联的多帧数据进行处理，然而，多帧数据可能会出现错乱的问题，例如在预览时，由于数据量过大，容易导致多帧数据的接收时间不一致，从而导致数据的处理过程出现异常。
技术实现思路
本申请实施方式提供一种图像处理器、图像处理方法、拍摄装置和电子设备。本申请实施方式的图像处理器包括硬件抽象模块、应用程序模块和算法后处理模块。所述硬件抽象模块用于传输图像数据和与所述图像数据对应的元数据。所述应用程序模块用于与所述硬件抽象模块连接。所述算法后处理模块通过所述应用程序模块与所述硬件抽象模块连接，所述算法后处理模块内存储有至少一种图像处理算法，所述算法后处理模块用于接收所述图像数据和所述元数据、判断所述图像数据和所述元数据是否匹配、在所述图像数据和所述元数据匹配时根据所述元数据确定待执行的图像处理算法、并采用所述待执行的图像处理算法处理所述图像数据以实现拍照后处理。本申请实施方式的图像处理方法包括：硬件抽象模块将图像数据和与所述图像数据对应的元数据传输至应用程序模块；算法后处理模块接收来自所述应用程序模块的所述图像数据和所述元数据；所述算法后处理模块判断所述图像数据和所述元数据是否匹配；所述算法后处理模块在所述图像数据和所述元数据匹配时根据所述元数据确定待执行的图像处理算法并采用所述待执行的图像处理算法处理所述图像数据以实现拍照后处理，所述算法后处理模块内存储有至少一种图像处理算法。本申请实施方式的拍摄装置包括上述图像处理器及图像传感器，所述图像传感器与所述图像处理器连接。本申请实施方式的电子设备包括上述拍摄装置及壳体，所述拍摄装置与所述壳体结合。本申请实施方式的图像处理器、图像处理方法、拍摄装置和电子设备中，算法后处理模块根据图像数据和元数据是否匹配确定是否进行图像处理，从而能够避免相关联的多帧数据之间出现错乱的问题，进而能够使得图像数据的拍照后处理过程更加准确。另外，硬件抽象模块不对图像数据进行拍照后处理，对图像数据进行拍照后处理可由算法后处理模块实现，拍照后处理的图像处理算法无需在硬件抽象模块本身的算法架构上做流程截断，只需在外部做兼容，设计难度减小。本申请的实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实施方式的实践了解到。附图说明本申请的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：图1和图2是本申请某些实施方式的拍摄装置的示意图；图3是本申请某些实施方式的算法后处理模块的示意图；图4是本申请某些实施方式的拍摄装置的示意图；图5和图6是本申请某些实施方式的电子设备的结构示意图；图7至图13是本申请某些实施方式的图像处理方法的流程示意图。具体实施方式下面详细描述本申请的实施方式，实施方式的示例在附图中示出，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。下文的公开提供了许多不同的实施方式或例子用来实现本申请的实施方式的不同结构。为了简化本申请的实施方式的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本申请。请参阅图1，拍摄装置100包括图像处理器10和图像传感器20。图像处理器10和图像传感器20连接。图像传感器20包括图像采集单元(sensor)22和RAW图像数据单元(ImageFront-end，IFE)24，图像采集单元22用于接收光线以采集获得图像数据(RAW图像)，RAW图像数据单元24用于将图像采集单元22采集的图像数据传输至图像处理器10，其中，RAW图像数据单元24可以对图像采集单元22采集获得的RAW图像进行处理并输出处理后的RAW图像至图像处理器10。图像处理器10包括硬件抽象模块12、应用程序模块(APP)14和算法后处理模块(Algoprocessservice，APS)16。硬件抽象模块12用于传输图像数据和与图像数据对应的元数据(metadata)。应用程序模块14用于与硬件抽象模块12连接。算法后处理模块16通过应用程序模块14与硬件抽象模块12连接，算法后处理模块16内存储有至少一种图像处理算法(例如包括美颜处理算法、滤镜处理算法、旋转处理算法、水印处理算法、虚化处理算法、HDR处理算法、及多帧处理算法中的至少一种)，算法后处理模块16用于接收图像数据和元数据、判断图像数据和元数据是否匹配、在图像数据和元数据匹配时根据元数据确定待执行的图像处理算法、并采用待执行的图像处理算法处理图像数据以实现拍照后处理。算法后处理模块16根据图像数据和元数据是否匹配确定是否进行图像处理，从而能够避免相关联的多帧数据之间出现错乱的问题，进而能够使得图像数据的拍照后处理过程更加准确。其中，在图像数据和元数据不匹配时，若采用不匹配的元数据处理图像数据，容易导致对图像数据的处理不准确，因此，可以在图像数据和元数据不匹配时，重新返回至判断图像数据和元数据是否匹配的过程以等待直至图像数据和元数据匹配。在相关技术中，对图像进行拍照后处理都是在硬件抽象模块中实现，其中，硬件抽象模块通常是由一家厂商提供，进行拍照后处理的图像处理算法则由另一家厂商提供，二者在做兼容设计时，图像处理算法要在硬件抽象模块本身的算法架构上做流程截断，二者耦合导致设计难度大。本申请实施方式的图像处理器10中，硬件抽象模块12不对图像数据进行拍照后处理，对图像数据进行拍照后处理可由算法后处理模块16实现，从而无需在硬件抽象模块12本身的算法架构上做流程截断，只需在外部做兼容，设计难度减小。图像数据包括RAW图像和/或YUV图像。硬件抽象模块12可用于接收RAW图像、将RAW图像转换为YUV图像、及传输RAW图像和/或YUV图像。硬件抽象模块12可以与图像传感器20连接。具体地，硬件抽象模块12可以包括与图像传感器20连接的缓存单元(bufferqueue)122、RAW转RGB处理单元(BayerProcessSegment，BPS)124和与应用程序模块14连接的降噪及YUV后处理单元(ImageProcessEngine，IPE)126。缓存单元122用于缓存来自图像传感器20的RAW图像并通过应用程序模块14传输给算法后处理模块16。RAW转RGB处理单元124用于将来自缓存单元122的RAW图像转换为RGB图像。降噪及YUV后处理单元126用于处理RGB图像得到YUV图像并将YUV图像通过应用程序模块14传输给算法后处理模块16。硬件抽象模块12可通过应用程序模块14将元数据传输至算法后处理模块16，元数据包括3a(自动曝光控制AE、自动聚焦控制AF、自动白平衡控制AWB)信息、图片信息(例如图像宽度、高度)、曝光参数(光圈大小、快门速度和感光度光圈值)等，可以利用元数据辅助实现对RAW图像和/或YUV图像的拍照后处理(例如包括美颜处理、滤镜处理、旋转处本文档来自技高网...

【技术保护点】
1.一种图像处理器，其特征在于，所述图像处理器包括：硬件抽象模块，所述硬件抽象模块用于传输图像数据和与所述图像数据对应的元数据；应用程序模块，所述应用程序模块用于与所述硬件抽象模块连接；及算法后处理模块，所述算法后处理模块通过所述应用程序模块与所述硬件抽象模块连接，所述算法后处理模块内存储有至少一种图像处理算法，所述算法后处理模块用于接收所述图像数据和所述元数据、判断所述图像数据和所述元数据是否匹配、在所述图像数据和所述元数据匹配时根据所述元数据确定待执行的图像处理算法、并采用所述待执行的图像处理算法处理所述图像数据以实现拍照后处理。

【技术特征摘要】
1.一种图像处理器，其特征在于，所述图像处理器包括：硬件抽象模块，所述硬件抽象模块用于传输图像数据和与所述图像数据对应的元数据；应用程序模块，所述应用程序模块用于与所述硬件抽象模块连接；及算法后处理模块，所述算法后处理模块通过所述应用程序模块与所述硬件抽象模块连接，所述算法后处理模块内存储有至少一种图像处理算法，所述算法后处理模块用于接收所述图像数据和所述元数据、判断所述图像数据和所述元数据是否匹配、在所述图像数据和所述元数据匹配时根据所述元数据确定待执行的图像处理算法、并采用所述待执行的图像处理算法处理所述图像数据以实现拍照后处理。2.根据权利要求1所述的图像处理器，其特征在于，所述图像数据包括多帧，所述算法后处理模块用于判断多帧所述图像数据和所述元数据是否均匹配、在多帧所述图像数据和所述元数据均匹配时根据所述元数据确定所述待执行的图像处理算法。3.根据权利要求2所述的图像处理器，其特征在于，多帧所述图像数据包括第一场景图像数据和第二场景图像数据，所述算法后处理模块用于在所述第一场景图像数据、所述第二场景图像数据和所述元数据均匹配时根据所述第一场景图像数据和所述第二场景图像数据获得深度图像数据、采用所述待执行的图像处理算法并根据所述深度图像数据处理所述第一场景图像数据和/或所述第二场景图像数据以实现拍照后处理。4.根据权利要求2所述的图像处理器，其特征在于，多帧所述图像数据包括场景图像数据和深度图像数据，所述算法后处理模块用于在所述场景图像数据、所述深度图像数据和所述元数据均匹配时采用所述待执行的图像处理算法并根据所述深度图像数据处理所述场景图像数据以实现拍照后处理。5.根据权利要求1所述的图像处理器，其特征在于，所述图像数据包括图像数据帧标志，所述元数据包括元数据帧标志，所述算法后处理模块用于根据所述图像数据帧标志和所述元数据帧标志判断所述图像数据和所述元数据是否匹配、并在所述图像数据帧标志和所述元数据帧标志一致时确定所述图像数据和所述元数据匹配。6.根据权利要求5所述的图像处理器，其特征在于，所述算法后处理模块包括适配层，所述适配层用于创建队列，所述队列用于接收所述图像数据和所述元数据，所述适配层用于在所述图像数据帧标志和所述元数据帧标志一致的所述图像数据和所述元数据均进入所述队列时确定所述图像数据和所述元数据匹配。7.根据权利要求1所述的图像处理器，其特征在于，所述图像处理器还包括相机服务模块，所述硬件抽象模块通过所述相机服务模块与所述应用程序模块连接，所述相机服务模块对所述图像数据和所述元数据进行封装并将封装后的所述图像数据和所述元数据传输至所述应用程序模块。8.一种图像处理方法，其特征在于，所述图像处理方法包括：硬件抽象模块将图像数据和与所述图像数据对应的元数据传输至应用程序模块；算法后处理模块接收来自所述应用程序模块的所述图像数据和所述元数据；所述算法后处理模块判断所述图像数据和所述元数据是否匹配；所述算法后处理模块在所述图像数据和所述元数据匹配时根据所述元数据确定待执行的图像处理算法并采用所述待执行的图像处理算法处理所述图像数据以实现拍照后处理，所述算法后处理模块内存储有至少一种图像处理算法。9.根据权利要求8所述的图...

【专利技术属性】
技术研发人员：李小朋，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：广东,44