一种图像处理方法及芯片技术

本申请实施例提供一图像处理方法。该方法包括：芯片中的图像信号处理器处理从摄像头接收的数据，生成目标图像；所述图像信号处理器将所述目标图像中的第一分片写入所述芯片中的系统缓存中；所述芯片的神经网络处理器从所述系统缓存读取所述第一分片；所述神经网络处理器基于神经网络模型对所述第一分片进行处理，以获取第一输出分片；所述神经网络处理器将所述第一输出分片写入所述系统缓存中；所述处理包括颜色插补或高动态范围HDR处理中至少一项。本申请提供的技术方案节省了图像处理的耗时，节省了系统功耗。节省了系统功耗。节省了系统功耗。

【技术实现步骤摘要】
一种图像处理方法及芯片
[0001]本申请是分案申请，原申请的申请号是202080102287.2，原申请日是2020年12月01日，原申请的全部内容通过引用结合在本申请中。


[0002]本申请涉及图像处理
，具体涉及一种图像处理方法及芯片。

技术介绍

[0003]目前，在例如移动终端、平板电脑等具有拍照和视频录制功能的终端中，由终端中的图像信号处理器(Image signal processor，ISP)和神经网络处理器(Neural network Processing Unit，NPU)对拍摄的照片进行像素级图像处理，显著提升了图像的质量。然而，由于目前的照片分辨率越来越高，所述像素级图像处理的处理数据量较大，并且NPU从内存中读取图像进行处理，从而使得NPU处理耗时较大。例如，在移动终端中通过NPU处理拍摄的照片需要耗时2s
‑
3s，如果通过NPU对视频中的每帧图像进行同样的处理，将可能导致丢帧或者花图，即，所述像素级图像处理功能在视频场景中效果差。

技术实现思路

[0004]本申请实施例提供一种图像处理方法和设备，使得可以使用系统缓存存储图像处理过程中的数据，节省了图像处理的耗时和系统功耗。
[0005]本申请第一方面提供一种图像处理方法，包括：图像处理设备中的第一处理器将目标图像中的第一分片写入系统缓存中；所述图像处理设备的神经网络处理器从系统缓存读取目标图像中的第一分片；所述神经网络处理器对所述第一分片进行处理，以获取第一输出分片；所述神经网络处理器将所述第一输出分片写入所述系统缓存中。
[0006]在该图像处理方法中，通过将较大的目标图像切分为较小的分片分别进行处理，使得可以使用系统缓存存储图像处理过程中的数据，从而节省了图像处理的耗时和系统功耗，提高了图像处理的效率。
[0007]在本申请第一方面的一种实施方式中，所述方法还包括，在图像处理设备的神经网络处理器从系统缓存读取目标图像中的第一分片之前，所述第一处理器生成所述目标图像。
[0008]在本申请第一方面的一种实施方式中，所述方法还包括，在所述神经网络处理器将所述第一输出分片写入所述系统缓存中之后，所述第一处理器从所述系统缓存读取所述第一输出分片并基于所述第一输出分片获得输出图像。
[0009]在本申请第一方面的一种实施方式中，所述第一处理器包括图像信号处理器。本申请通过使得图像信号处理器和神经网络处理器执行所述图像处理方法，使得提高了图像处理的效率，改善了图像或视频的质量。可选地，所述图像处理设备是芯片或芯片组。可选地，所述图像处理设备包括所述系统缓存。
[0010]在本申请第一方面的一种实施方式中，所述系统缓存包括输入区和输出区，其中，
所述第一处理器将目标图像中的第一分片写入系统缓存中包括，所述第一处理器将目标图像中的第一分片写入所述输入区中；所述神经网络处理器将所述第一输出分片写入所述系统缓存中包括，所述神经网络处理器将所述第一输出分片写入所述输出区中。本申请通过在系统缓存中设置输入区和输出区，使得可以同时进行对输入分片和输出分片的处理，进一步提高了图像处理的效率。
[0011]在本申请第一方面的一种实施方式中，所述输入区中包括第一缓存区和第二缓存区，所述第一处理器将目标图像中的第一分片写入系统缓存中的输入区中包括，所述第一处理器将所述第一分片写入所述第一缓存区中，所述方法还包括，在所述神经网络处理器从所述输入区读取所述第一分片的同时，所述第一处理器将第二分片写入所述第二缓存区中，其中，所述第二分片不同于所述第一分片。本申请通过在输入区中设置第一缓存区和第二缓存区，使得可以同时进行第一处理器对一个分片的写入和神经网络处理器对另一个分片的读取，进一步提高了图像处理的效率。
[0012]在本申请第一方面的一种实施方式中，所述输出区中包括第三缓存区和第四缓存区，所述神经网络处理器将所述第一输出分片写入系统缓存的输出区中包括，所述神经网络处理器将所述第一输出分片写入所述第三缓存区中，所述方法还包括，在所述神经网络处理器将所述第一输出分片写入所述第三缓存区中的同时，所述第一处理器从所述第四缓存区中读取与第三分片对应的第三输出分片，其中，所述第三分片不同于所述第一分片。所述第三分片例如为目标图像中的与所述第一分片相邻并在所述第一分片之前处理的分片。本申请通过在输出区中设置第三缓存区和第四缓存区，使得可以同时进行神经网络处理器对输出分片的写入和第一处理器对输出分片的读取，进一步提高了图像处理的效率。
[0013]在本申请第一方面的一种实施方式中，神经网络处理器对所述第一分片进行处理包括，神经网络处理器对所述第一分片进行预处理以获取第一中间图像数据，所述神经网络处理器读取预存的第二中间图像数据，所述第二中间图像数据通过对所述目标图像中的第三分片的部分进行所述预处理而获取，所述神经网络处理器对所述第二中间图像数据与所述第一中间图像数据的拼接数据进行卷积计算。本申请在分片处理过程中通过使得神经网络处理器预存上一个分片的部分的中间处理数据，节省了计算消耗，进一步提高了图像处理效率。
[0014]在本申请第一方面的一种实施方式中，所述方法还包括，所述神经网络处理器从所述第二缓存区读取所述目标图像中的第三分片的部分，所述神经网络处理器对所述第一分片进行处理包括，所述神经网络处理器对所述第三分片的部分与所述第一分片的拼接数据进行包括卷积计算的处理以获取中间图像数据，所述神经网络处理器对所述中间图像数据进行裁剪。本申请在分片处理过程中通过有损重叠行计算，节省了计算消耗，在保证图像质量的同时进一步提高了图像处理效率。
[0015]在本申请第一方面的一种实施方式中，所述方法还包括，在所述第一处理器将目标图像中的第一分片写入系统缓存中之后，所述第一处理器通知所述神经网络处理器从系统缓存读取分片；在所述神经网络处理器将所述第一输出分片写入所述系统缓存中之后，所述神经网络处理器通知所述第一处理器从所述系统缓存读取输出分片。本申请通过使得第一处理器与神经网络处理器协同执行图像处理方法，进一步提高了图像处理效率。
[0016]本申请第二方面提供一种图像处理设备，包括第一处理器和神经网络处理器，所
述第一处理器用于将目标图像中的第一分片写入系统缓存中；所述神经网络处理器用于从所述系统缓存读取目标图像中的第一分片，对所述第一分片进行处理，以获取第一输出分片，及将所述第一输出分片写入所述系统缓存中。
[0017]在本申请第二方面的一种实施方式中，所述第一处理器还用于在将目标图像中的第一分片写入系统缓存中之前生成所述目标图像。
[0018]在本申请第二方面的一种实施方式中，所述第一处理器还用于从所述系统缓存读取所述第一输出分片，并基于所述第一输出分片获得输出图像。
[0019]在本申请第二方面的一种实施方式中，所述第一处理器包括图像信号处理器。
[0020]在本申请第二方面的一种实施方式中，所述图像处理设备还包括系统缓存。
...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：芯片中的图像信号处理器处理从摄像头接收的数据，生成目标图像；所述图像信号处理器将所述目标图像中的第一分片写入所述芯片中的系统缓存中；所述芯片的神经网络处理器从所述系统缓存读取所述第一分片；所述神经网络处理器基于神经网络模型对所述第一分片进行处理，以获取第一输出分片，所述处理包括颜色插补或高动态范围HDR处理中至少一项；所述神经网络处理器将所述第一输出分片写入所述系统缓存中。2.根据权利要求1所述的方法，其特征在于，所述神经网络模型包括多个卷积层，所述系统缓存进一步用于存储所述多个卷积层中第一卷积层输出的中间图像数据。3.根据权利要求1所述的方法，其特征在于，还包括：在所述神经网络处理器将所述第一输出分片写入所述系统缓存中之后，所述图像信号处理器从所述系统缓存读取所述第一输出分片，并基于所述第一输出分片获得输出图像。4.根据权利要求1所述的方法，其特征在于，所述系统缓存包括输入区和输出区；其中，所述图像信号处理器将所述目标图像中的第一分片写入系统缓存中包括：所述图像信号处理器将所述第一分片写入所述输入区中；所述神经网络处理器将所述第一输出分片写入所述系统缓存中包括：所述神经网络处理器将所述第一输出分片写入所述输出区中。5.根据权利要求4所述的方法，其特征在于，所述输入区中包括第一缓存区和第二缓存区；所述图像信号处理器将所述第一分片写入所述输入区中包括：所述图像信号处理器将所述第一分片写入所述第一缓存区中；所述方法还包括：在所述神经网络处理器从所述输入区读取所述第一分片的同时，所述图像信号处理器将所述目标图像中的第二分片写入所述第二缓存区中，其中，所述第二分片不同于所述第一分片。6.根据权利要求1
‑
5任一项所述的方法，其特征在于，所述神经网络处理器基于神经网络模型对所述第一分片进行处理包括：所述神经网络处理器对所述第一分片进行预处理以获取第一中间图像数据，所述神经网络处理器读取预存的第二中间图像数据，所述第二中间图像数据通过对所述目标图像中的第三分片的一部分进行所述预处理而获取，所述神经网络处理器对所述第二中间图像数据与所述第一中间图像数据的拼接数据进行卷积计算。7.根据权利要求1
‑
5任一项所述的方法，其特征在于，所述神经网络处理器基于神经网络模型对所述第一分片进行处理包括：所述神经网络处理器对所述目标图像中的第三分片的一部分与所述第一分片的拼接数据进行包括卷积计算的处理以获取中间图像数据...

【专利技术属性】
技术研发人员：储洁宇，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：