电子设备及图像处理方法技术

本申请公开了一种电子设备及图像处理方法，属于图像处理技术领域

【技术实现步骤摘要】
电子设备及图像处理方法


[0001]本申请属于图像处理
，具体涉及一种电子设备及图像处理方法
。

技术介绍

[0002]在相关技术中，通常采用红绿蓝三基色表示颜色值
。
目前大部分摄像头模组采用的都是单电荷耦合器件
(Charge Coupled Device
，
CCD)
或互补金属氧化物半导体
(Complementary Metal Oxied Semiconductor
，
CMOS)
传感器，在传感器前加一个颜色滤波阵列
(Color Filter Array
，
CFA)
，获得图像信息后，使用拜耳
(Bayer)
阵列表示彩色图像
。
[0003]每个像素点上只有一个颜色值，而另外的两种颜色需要根据邻域信息做插值，这一插值技术被称为“去马赛克”(Demosaicing)。BayerCFA
图像去马赛克实质上是由图像已知的一个通道的信息恢复出全部三基色的方法
。
[0004]目前的电子设备通过中央处理器
(Central Processing Unit
，
CPU)
来执行去马赛克处理的全部步骤，导致
CPU
负载大，导致拍摄功耗高，成像速度慢
。

技术实现思路

[0005]本申请实施例的目的是提供一种电子设备及图像处理方法，能够解决电子设备在拍摄过程中通过中央处理器执行去马赛克处理的全部步骤，导致拍摄功耗高，成像速度慢的问题
。
[0006]第一方面，本申请实施例提供了一种电子设备，包括：
[0007]数字信号处理器，用于对待处理图像进行第一预处理，得到第一预处理图像；
[0008]图形处理器，用于对第一预处理图像进行第二预处理，得到处理后的
N
个第一图像块，并将
N
个第一图像块进行第一变换，其中，
N
个第一图像块中的每一个第一图像块的图像内容均包括待处理图像的至少部分图像内容，且
N
个第一图像块的图像尺寸相同，
N
为正整数；神经网络处理器，用于将进行第一变换后的
N
个第一图像块输入至图像处理网络模型，得到图像处理网络模型输出的
N
个第二图像块，
N
个第二图像块与
N
个第一图像块一一对应；
[0009]图形处理器，还用于对
N
个第二图像块进行第二变换，并基于
N
个第一图像块在待处理图像中的排列方式，对进行第二变换后的
N
个第二图像块进行拼接处理，得到处理后的图像
。
[0010]第二方面，本申请实施例提供了一种图像处理方法，由第一方面的电子设备执行，方法包括：
[0011]通过数字信号处理器对待处理图像进行第一预处理，得到第一预处理图像；
[0012]通过图形处理器对第一预处理图像进行第二预处理，得到处理后的
N
个第一图像块，并将
N
个第一图像块进行第一变换，其中，
N
个第一图像块中的每一个第一图像块的图像内容均包括待处理图像的至少部分图像内容，且
N
个第一图像块的图像尺寸相同，
N
为正整数；通过神经网络处理器将进行第一变换后的
N
个所述第一图像块输入至图像处理网络模型，得到图像处理网络模型输出的
N
个第二图像块，
N
个第二图像块与
N
个第一图像块一一对
应；
[0013]通过图形处理器对
N
个第二图像块进行第二变换，并基于
N
个第一图像块在待处理图像中的排列方式，对进行第二变换后的
N
个第二图像块进行拼接处理，得到处理后的图像
。
[0014]第三方面，本申请实施例提供了一种电子设备，包括处理器和存储器，存储器存储可在处理器上运行的程序或指令，程序或指令被处理器执行时实现如第一方面的方法的步骤
。
[0015]第四方面，本申请实施例提供了一种可读存储介质，该可读存储介质上存储程序或指令，该程序或指令被处理器执行时实现如第一方面的方法的步骤
。
[0016]第五方面，本申请实施例提供了一种芯片，该芯片包括处理器和通信接口，该通信接口和该处理器耦合，该处理器用于运行程序或指令，实现如第一方面的方法的步骤
。
[0017]第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面的方法
。
[0018]在本申请实施例中，在电子设备拍摄得到待处理图像后，通过数字信号处理器
(Digital Signal Processing)
对拍摄得到的原始
(RAW)
图像进行第一预处理，通过图形处理器
(Graphics Processing Unit
，
GPU)
，并通过神经网络处理器
(Neural network Processing Unit
，
NPU)
对预处理后的图像进行去马赛克推理，使得去马赛克处理的运算过程分布在电子设备的多个处理器上，时限协同调用电子设备的多个处理平台的计算资源，能够有效降低电子设备在拍摄时
CPU
的运算负荷，降低电子设备拍摄时的功耗，提高拍摄成像速度
。
附图说明
[0019]图1示出了本申请的一些实施例的电子设备的结构框图；
[0020]图2示出了本申请的一些实施例的电子设备的平台流水架构示意图之一；
[0021]图3示出了本申请的一些实施例的图像块的示意图；
[0022]图4示出了本申请的一些实施例的电子设备的平台流水架构示意图之二；
[0023]图5示出了本申请的一些实施例的图像处理网络模型的结构示意图；
[0024]图6示出了本申请的一些实施例的图像处理方法的流程图；
[0025]图7示出了根据本申请实施例的电子设备的结构框图；
[0026]图8为实现本申请实施例的一种电子设备的硬件结构示意图
。
具体实施方式
[0027]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例
。
基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围
。
[0028]本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种电子设备，其特征在于，包括：数字信号处理器，用于对待处理图像进行第一预处理，得到第一预处理图像；图形处理器，用于对所述第一预处理图像进行第二预处理，得到处理后的
N
个第一图像块，并将
N
个所述第一图像块进行第一变换，其中，
N
个所述第一图像块中的每一个第一图像块的图像内容均包括所述待处理图像的至少部分图像内容，且
N
个所述第一图像块的图像尺寸相同，
N
为正整数；神经网络处理器，用于将进行第一变换后的
N
个所述第一图像块输入至图像处理网络模型，得到所述图像处理网络模型输出的
N
个第二图像块，
N
个所述第二图像块与
N
个所述第一图像块一一对应；所述图形处理器，还用于对
N
个所述第二图像块进行第二变换，并基于
N
个所述第一图像块在所述待处理图像中的排列方式，对进行第二变换后的
N
个第二图像块进行拼接处理，得到处理后的图像
。2.
根据权利要求1所述的电子设备，其特征在于，还包括：中央处理器，用于对所述图像处理网络模型进行初始化处理
。3.
根据权利要求1所述的电子设备，其特征在于，还包括：图像传感器，用于拍摄
M
个图像帧，所述待处理图像包括
M
个所述图像帧，
M
为大于2的正整数；所述数字信号处理器，还用于按照
M
个所述图像帧的拍摄顺序，对
M
个所述图像帧中的第
i
个图像帧进行坏点矫正处理，
i
为小于等于
M
的正整数；其中，所述数字信号处理器在对所述第
i
个图像帧进行坏点矫正处理完成之后，将坏点矫正处理后的第
i
个图像帧发送给所述图形处理器，并开始对第
i+1
个图像帧进行坏点矫正处理；所述第一预处理图像包括所述坏点矫正处理后的第
i
个图像帧和坏点矫正处理后的第
i+1
个图像帧
。4.
根据权利要求3所述的电子设备，其特征在于，所述图形处理器，还用于：对所述坏点矫正处理后的第
i
个图像帧进行特征点检测；在
i
大于1的情况下，确定所述坏点矫正处理后的第
i
个图像帧的单应性变换矩阵，并根据所述坏点矫正处理后的第
i
个图像帧的单应性变换矩阵确定所述坏点矫正处理后的第
i
个图像帧经过仿射变换后的坐标；通过所述仿射变换后的坐标对所述坏点矫正处理后的第
i
个图像帧的像素进行扭转变换处理，得到扭转变换后的第
i
个图像帧；根据所述图像处理网络模型的输入通道尺寸，对所述扭转变换后的第
i
个图像帧和
M
个所述图像帧中的第1个图像帧进行分割处理，得到
M
个所述图像帧中的每个图像帧对应的
N
个第三图像块；按照
M
个所述图像帧的拍摄顺序，对
M
个所述图像帧分别对应的
N
个所述第三图像块进行排列，得到
N
个所述第一图像块，其中，
N
个所述第一图像块中的每一个第一图像块均包括排列后的
M
个第三图像块，且
N
个所述第一图像块中的每一个第一图像块的图像尺寸均与所述图像处理网络模型的输入通道尺寸相同
。5.
根据权利要求1所述的电子设备，其特征在于，所述处理后的图像为
RGB
域图像；所述图形处理器，还用于对所述处理后的图像进行色调映射处理，得到目标图像
。
6.
一种图像处理方法，其特征在于，由权利要求1至5中任一项所述的电子设备执行，所述方法包括：通过所述数字信号处理器对待处理图像进行第一预处理，得到第一预处理图像；通过所述图形处理器对所述第一预处理图像进行第二预处理，得到处理后的
N
个第一图像块，并将
N
个所述第一图像块进行第一变换，其中，
N
个所述第一图像块中的每一个第一图像块的图像内容均包括所述待处理图像的至少部分图像内容，...

【专利技术属性】
技术研发人员：司鹏辉，
申请(专利权)人：维沃移动通信有限公司，
类型：发明
国别省市：