一种图像处理装置、方法、芯片、电子设备及存储介质制造方法及图纸

本申请提出了一种图像处理装置、方法、芯片、电子设备及存储介质，该图像处理装置包括：前处理单元，用于对原始图像数据进行图像预处理，以将原始图像数据转换为预设格式的图像数据后发送至存内计算模块；存内计算模块，包括至少一个存内计算单元，存内计算单元包括神经网络，存内计算单元用于接收前处理单元发送的预设格式的图像数据，并对分配至神经网络中的预设格式的图像数据进行加速计算，将加速计算后的图像数据发送至后处理单元；后处理单元，用于对接收的加速计算后的图像数据进行图像数据处理，得到目标图像数据。本申请能够解决现有技术在利用神经网络方式进行图像还原时存在的功耗较高且图像还原效率较低的问题。存在的功耗较高且图像还原效率较低的问题。存在的功耗较高且图像还原效率较低的问题。

【技术实现步骤摘要】
一种图像处理装置、方法、芯片、电子设备及存储介质


[0001]本申请涉及计算机和图像处理
，具体涉及一种图像处理装置、方法、芯片、电子设备及存储介质。

技术介绍

[0002]目前现有的图像信号处理器(Image Signal Processor，ISP)能够提供一系列的图像处理算法对图像传感器(Image Sensor)输出的原始图像数据进行处理，包括黑电平补偿、镜头阴影校正、去马赛克处理和降噪等算法，从而将图像传感器的输出图像从RAW域转换至RGB域或者YUV域的图像数据，处理后的图像数据提供给后端继续处理。
[0003]但是，在对现有技术的研究与实践的过程中，本申请的专利技术人发现，现有基于传统算法的图像信号处理器在一般成像条件下可以较完整地还原图像，但是在特定成像场景中，例如无光、暗光或高曝光的场景，基于传统算法还原的图像噪点较多，且图像还原质量较差，无法满足高画质应用的需求。而且，现有技术图像处理存在着功耗较高且图像还原效率较低的问题。
[0004]前面的叙述在于提供一般的背景信息，并不一定构成现有技术。

技术实现思路

[0005]针对上述技术问题，本申请提供一种图像处理装置、方法、芯片、电子设备及存储介质，能够有效解决上述技术问题。
[0006]为解决上述技术问题，本申请提供一种图像处理装置，包括前处理单元、存内计算模块和后处理单元，所述存内计算模块分别与所述前处理单元和后处理单元连接；所述前处理单元，用于对获取的原始图像数据进行图像预处理，以将所述原始图像数据转换为预设格式的图像数据，及用于将所述预设格式的图像数据发送至所述存内计算模块；所述存内计算模块，包括至少一个存内计算单元，所述存内计算单元包括神经网络，所述存内计算单元用于接收所述前处理单元发送的所述预设格式的图像数据，并对分配至神经网络中的所述预设格式的图像数据进行加速计算，将加速计算后的图像数据发送至所述后处理单元；所述后处理单元，用于接收所述存内计算模块发送的加速计算后的图像数据，对所述加速计算后的图像数据进行图像数据处理，得到目标图像数据。
[0007]可选地，所述存内计算模块，还用于对接收的所述预设格式的图像数据进行分配，将所述预设格式的图像数据分配至多个所述存内计算单元内进行加速计算。
[0008]可选地，所述对接收的所述预设格式的图像数据进行分配，将所述预设格式的图像数据分配至多个所述存内计算单元内进行加速计算，包括：按照预设执行顺序将所述预设格式的图像数据分配至对应的存内计算单元；对分配至神经网络中的所述预设格式的图像数据进行卷积、池化、激活和/或缩
放，以得到加速计算后的图像数据。
[0009]可选地，所述按照预设执行顺序将所述预设格式的图像数据分配至对应的存内计算单元，包括：获取各个所述存内计算单元对应的神经网络的预设执行顺序，所述预设执行顺序包括所述神经网络的每一层算子对应的执行指令、每一层算子对应的权重在内存中的排列、以及图像处理装置中的数据通路配置；基于所述预设执行顺序，将所述预设格式的图像数据分配至各个所述存内计算单元对应的神经网络。
[0010]可选地，所述对分配至神经网络中的所述预设格式的图像数据进行卷积、池化、激活和/或缩放，还包括：将卷积后得到的图像数据、池化后的图像数据、激活后的图像数据和缩放后的图像数据分别发送至后处理单元和/或存储器。
[0011]可选地，所述图像处理装置还包括控制器和存储器，所述控制器分别与所述前处理单元、存内计算模块、后处理单元和存储器连接，所述存储器分别与所述前处理单元、存内计算模块、后处理单元和控制器连接；所述控制器，用于通过控制总线控制所述图像处理装置的数据流向，以及对所述前处理单元、存内计算模块、后处理单元和存储器进行参数配置；所述存储器，用于存储获取的原始图像数据以及所述图像处理装置的配置数据，所述配置数据包括所述控制器的配置参数、所述存内计算模块的配置参数、所述存内计算模块的第一中间数据和所述后处理单元的第二中间数据。
[0012]可选地，所述前处理单元，还用于获取所述原始图像数据对应的原始统计数据；所述控制器，还用于根据获取的所述原始统计数据动态调整所述存内计算模块的配置参数。
[0013]可选地，所述根据获取的所述原始统计数据动态调整所述存内计算模块的配置参数，包括：基于上一帧原始图像数据的原始统计数据确定存内计算模块中神经网络的上一帧时的配置参数，所述配置参数包括权重值、偏置值、量化值和增益值；将所述上一帧时的配置参数作为所述神经网络当前帧时的初始配置参数；将所述上一帧原始图像数据的原始统计数据与当前帧原始图像数据的原始统计数据进行比对，得到比对结果；基于所述比对结果，对所述神经网络当前帧时的初始配置参数进行调整。
[0014]可选地，所述对获取的原始图像数据进行图像预处理，以将所述原始图像数据转换为预设格式的图像数据，包括：对所述原始图像数据的全局或局部感兴趣区域进行亮度统计和色度统计，得到对应的原始统计数据；和/或对所述原始图像数据进行黑电平补偿、非线性化变换和归一化处理，得到预设格式的图像数据。
[0015]可选地，所述对所述加速计算后的图像数据进行图像数据处理，得到目标图像数据，包括：通过所述后处理单元对所述加速计算后的图像数据进行逆归一化、定点化和数据
截断处理，得到目标图像数据。
[0016]相应地，本申请还提供了一种图像处理方法，包括如下步骤：对获取的原始图像数据进行图像预处理，以将所述原始图像数据转换为预设格式的图像数据，及用于将所述预设格式的图像数据发送至所述存内计算模块；接收所述预设格式的图像数据，并对分配至神经网络中的所述预设格式的图像数据进行加速计算，将加速计算后的图像数据发送至所述后处理单元；接收所述加速计算后的图像数据，对所述加速计算后的图像数据进行图像数据处理，得到目标图像数据。
[0017]可选地，所述图像处理方法还包括：对接收的所述预设格式的图像数据进行分配，将所述预设格式的图像数据分配至多个所述存内计算单元内进行加速计算。
[0018]可选地，所述对接收的所述预设格式的图像数据进行分配，将所述预设格式的图像数据分配至多个所述存内计算单元内进行加速计算，包括：按照预设执行顺序将所述预设格式的图像数据分配至对应的存内计算单元；对分配至神经网络中的所述预设格式的图像数据进行卷积、池化、激活和/或缩放，以得到加速计算后的图像数据。
[0019]可选地，所述按照预设执行顺序将所述预设格式的图像数据分配至对应的存内计算单元，包括：获取各个所述存内计算单元对应的神经网络的预设执行顺序，所述预设执行顺序包括所述神经网络的每一层算子对应的执行指令、每一层算子对应的权重在内存中的排列、以及图像处理装置中的数据通路配置；基于所述预设执行顺序，将所述预设格式的图像数据分配至各个所述存内计算单元对应的神经网络。
[0020]可选地，所述对分配至神经网络中的所述预设格式的图像数据进行卷积、池化、激活和/或缩放，以得到加速计算后本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理装置，其特征在于，包括前处理单元、存内计算模块和后处理单元，所述存内计算模块分别与所述前处理单元和后处理单元连接；所述前处理单元，用于对获取的原始图像数据进行图像预处理，以将所述原始图像数据转换为预设格式的图像数据，及用于将所述预设格式的图像数据发送至所述存内计算模块；所述存内计算模块，包括至少一个存内计算单元，所述存内计算单元包括神经网络，所述存内计算单元用于接收所述前处理单元发送的所述预设格式的图像数据，并对分配至神经网络中的所述预设格式的图像数据进行加速计算，将加速计算后的图像数据发送至所述后处理单元；所述后处理单元，用于接收所述存内计算模块发送的加速计算后的图像数据，对所述加速计算后的图像数据进行图像数据处理，得到目标图像数据。2.根据权利要求1所述的图像处理装置，其特征在于，所述存内计算模块，还用于对接收的所述预设格式的图像数据进行分配，将所述预设格式的图像数据分配至多个所述存内计算单元内进行加速计算。3.根据权利要求2所述的图像处理装置，其特征在于，所述对接收的所述预设格式的图像数据进行分配，将所述预设格式的图像数据分配至多个所述存内计算单元内进行加速计算，包括：按照预设执行顺序将所述预设格式的图像数据分配至对应的存内计算单元；对分配至神经网络中的所述预设格式的图像数据进行卷积、池化、激活和/或缩放，以得到加速计算后的图像数据。4.根据权利要求3所述的图像处理装置，其特征在于，所述按照预设执行顺序将所述预设格式的图像数据分配至对应的存内计算单元，包括：获取各个所述存内计算单元对应的神经网络的预设执行顺序，所述预设执行顺序包括所述神经网络的每一层算子对应的执行指令、每一层算子对应的权重在内存中的排列、以及图像处理装置中的数据通路配置；基于所述预设执行顺序，将所述预设格式的图像数据分配至各个所述存内计算单元对应的神经网络。5.根据权利要求3所述的图像处理装置，其特征在于，所述对分配至神经网络中的所述预设格式的图像数据进行卷积、池化、激活和/或缩放，还包括：将卷积后得到的图像数据、池化后的图像数据、激活后的图像数据和缩放后的图像数据分别发送至后处理单元和/或存储器。6.根据权利要求1所述的图像处理装置，其特征在于，还包括控制器和存储器，所述控制器分别与所述前处理单元、存内计算模块、后处理单元和存储器连接，所述存储器分别与所述前处理单元、存内计算模块、后处理单元和控制器连接；所述控制器，用于通过控制总线控制所述图像处理装置的数据流向，以及对所述前处理单元、存内计算模块、后处理单元和存储器进行参数配置；所述存储器，用于存储获取的原始图像数据以及所述图像处理装置的配置数据，所述配置数据包括所述控制器的配置参数、所述存内计算模块的配置参数、所述存内计算模块的第一中间数据和所述后处理单元的第二中间数据。
7.根据权利要求6所述的图像处理装置，其特征在于，所述前处理单元，还用于获取所述原始图像数据对应的原始统计数据；所述控制器，还用于根据获取的所述原始统计数据动态调整所述存内计算模块的配置参数。8.根据权利要求7所述的图像处理装置，其特征在于，所述根据获取的所述原始统计数据动态调整所述存内计算模块的配置参数，包括：基于上一帧原始图像数据的原始统计数据确定存内计算模块中神经网络的上一帧时的配置参数，所述配置参数包括权重值、偏置值、量化值和增益值；将所述上一帧时的配置参数作为所述神经网络当前帧时的初始配置参数；将所述上一帧原始图像数据的原始统计数据与当前帧原始图像数据的原始统计数据进行比对，得到比对结果；基于所述比对结果，对所述神经网络当前帧时的初始配置参数进行调整。9.根据权利要求1所述的图像处理装置，其特征在于，所述对获取的原始图像数据进行图像预处理，以将所述原始图像数据转换为预设格式的图像数据，包括：对所述原始图像数据的全局或局部感兴趣区域进行亮度统计和色度统计，得到对应的原始统计数据；和/或对所述原始图像数据进行黑电平补偿、非线性化变换和归一化处理，得到预设格式的图像数据。10.根据权利要求1所述的图像处理装置，其特征在于，所述对所述加速计算后的图像数据进行图像数据处理，得到目标图像数据，包括：通过所述后处理单元对所述加速计算后的图像数据进行逆归一化、定点化和数据截断处理，得到目标图像...

【专利技术属性】
技术研发人员：姜宇奇，
申请(专利权)人：深圳市九天睿芯科技有限公司，
类型：发明
国别省市：