图像处理装置、图像处理方法及相关产品制造方法及图纸

本申请实施例公开了一种图像处理装置和相关产品，该图像处理装置包括：处理器、N个计算单元、存储器，所述处理器分别与所述N个计算单元耦接，所述N个计算单元分别与所述存储器耦接，所述N为大于1的整数；所述处理器，用于将处理原始图像得到目标图像的图像处理任务切分为至少两个子图像处理任务，并向所述N个计算单元中的至少两个目标计算单元分配所述至少两个子图像处理任务；所述N个计算单元中的至少两个目标计算单元，用于并行地执行所述至少两个子图像处理任务，并将所述至少两个子图像处理任务的处理结果写入所述存储器；能够减少处理时延。少处理时延。少处理时延。

【技术实现步骤摘要】
图像处理装置、图像处理方法及相关产品


[0001]本申请涉及图像处理
，尤其涉及一种图像处理装置、图像处理方法及相关产品。

技术介绍

[0002]图像处理(image processing)是通过计算机技术将图像信号转换成数字信号并对其进行处理的过程。目前，在计算机视觉以及智能视频监控领域中通常采用神经网络来处理图像处理任务。例如通过深度神经网络实现人脸识别、物体检测、图像超分辨率处理等。当前采用的图像处理方案通常有较大的处理延时，因此需要研究处理时延较低的图像处理方案。

技术实现思路

[0003]本申请实施例公开了一种图像处理装置、图像处理方法及相关产品。
[0004]第一方面，本申请实施例提供的一种图像处理装置，包括：处理器、N个计算单元、存储器，所述处理器分别与所述N个计算单元耦接，所述N个计算单元分别与所述存储器耦接，所述N为大于1的整数；所述处理器，用于将处理原始图像得到目标图像的图像处理任务切分为至少两个子图像处理任务，并向所述N个计算单元中的至少两个目标计算单元分配所述至少两个子图像处理任务；所述N个计算单元中的至少两个目标计算单元，用于并行地执行所述至少两个子图像处理任务，并将所述至少两个子图像处理任务的处理结果写入所述存储器。
[0005]所述图像处理装置可以是服务器、手机、游戏机、平板电脑、台式电脑、增强现实(augmented reality，AR)、虚拟现实(virtual reality，VR)等可执行图像处理操作的设备。可选的，所述N个计算单元的功能相同，并且并行工作。神经网络通常对输入图像的维度(即尺寸或大小)有固定的要求，图像处理装置在利用神经网络对输入图像进行处理之前，必须对待处理的输入图像进行预处理，以使得预处理后的输入图像适配神经网络的输入，即符合神经网络对输入图像的维度的要求。当前采用的图像处理方案中，图像处理装置在将输入图像输入至神经网络进行图像处理(例如图像识别、图像复原等)之前，逐行对整个输入图像做预处理，带来了较大的处理延时。所述一个图像处理任务可以是一个对原始图像做预处理得到目标图像的图像处理任务，即对原始图像进行缩放、投影变换、仿射变换等处理的任务。
[0006]本申请实施例中，处理器将一个图像处理任务切分为两个或两个以上子图像处理任务，多个计算单元并行执行这些子图像处理任务，可以降低处理延时。
[0007]在一个可选的实现方式中，所述处理器，还用于基于所述至少两个子图像处理任务生成至少两个处理指令，以及向所述至少两个目标计算单元中的每个目标计算单元发送对应的处理指令。示例性的，每个处理指令用于指示对应的目标计算单元执行一个子图像处理任务。
[0008]在该实现方式中，通过向每个目标计算单元发送对应的处理指令，以便于每个目标计算单元并行地基于接收到的处理指令执行子图像处理任务。
[0009]在一个可选的实现方式中，所述处理指令携带以下信息中的至少一种：子图像处理任务待处理的子图像的存储地址信息、所述子图像在所述原始图像中的位置信息、所述子图像的变换参数；所述目标计算单元，用于基于所述存储地址信息，从所述存储器中读取所述子图像，并基于所述变换参数对所述子图像进行处理。
[0010]在该实现方式中，目标计算单元基于处理指令可准确地读取其待处理的子图像，并利用处理指令携带的变换参数对子图像进行处理；处理指令包含目标计算单元执行子图像处理任务所必要的信息。
[0011]在一个可选的实现方式中，所述处理指令携带有子图像处理任务所需的变换参数；所述目标计算单元，用于基于接收到的处理指令中的变换参数，确定目标子图像中的多个像素点在所述原始图像中的位置，其中，所述目标子图像为所述子图像处理任务的处理结果；基于目标子图像中的多个像素点在所述原始图像中的位置，确定所述目标子图像中的多个像素点的像素值。
[0012]在该实现方式中，目标计算单元可基于接收到的处理指令，直接处理得到目标子图像，处理效率高。
[0013]在一个可选的实现方式中，所述目标计算单元，用于基于接收到的处理指令中的变换参数，确定目标子图像中的第一像素点在所述原始图像中的位置；在所述位置的至少一个坐标不为整数的情况下，确定所述原始图像中与所述位置邻近的四个参考像素点；对所述四个参考像素点的像素值进行双线性插值，得到所述第一像素点的像素值。
[0014]在一个可选的实现方式中，所述处理器用于将所述目标图像划分为多个目标子图像，其中，每个子图像处理任务用于得到一个目标子图像。
[0015]在一个可选的实现方式中，所述处理器，还用于基于所述N个计算单元的当前状态信息，从所述N个计算单元中确定所述至少两个目标计算单元；其中，所述处理器将所述图像处理任务切分得到的所述至少两个子图像处理任务的数量是基于所述至少两个目标计算单元的数量确定的。
[0016]在该实现方式中，可以快速将子图像处理任务分配给当前可用的计算单元。
[0017]在一个可选的实现方式中，所述处理器，还用于基于所述目标图像和所述至少两个目标计算单元的数量，确定每个子图像处理任务待输出的目标子图像在所述目标图像中的位置信息，其中，所述处理指令还包括所述目标子图像的位置信息。
[0018]在一个可选的实现方式中，所述图像处理任务包括下列处理中的至少一项：缩放变换、仿射变换、投影变换。
[0019]在一个可选的实现方式中，所述处理器，用于按照第一尺寸切分所述目标图像，得到所述至少两个子图像处理任务，所述第一尺寸不大于所述N个计算单元中任一个计算单元可处理图像的最大尺寸。
[0020]第二方面，本申请实施例提供了一种图像加速器，包括：第一计算单元和第二计算单元，所述第一计算单元和所述第二计算单元均分别与处理器和存储器耦接；所述第一计算单元和所述第二子计算单元，用于并行地执行所述处理器分配的第一子图像处理任务和第二子图像处理任务，并将执行所述第一子图像处理任务和所述第二子图像处理任务的处
理结果写入至所述存储器，其中，所述第一子图像处理任务和所述第二子图像处理任务是通过切分由原始图像得到目标图像的图像处理任务得到的。
[0021]可选的，所述第一处理指令为指示所述第一计算单元执行由图像处理任务切分得到的第一子图像处理任务，所述第二处理指令为指示所述第二计算单元执行由所述图像处理任务切分得到的第二子图像处理任务。所述第一计算单元，用于基于来自所述处理器的第一处理指令和所述存储器中存储的所述原始图像进行缩放、仿射变换、投影变化等预处理中的一种得到第一目标子图像。可以理解，所述第一处理指令可以指示对所述原始图像进行缩放、仿射变换、投影变化等预处理中的任一种。在实际应用中，图像加速器可根据图像处理任务相应的选择一种恰当的预处理方式。所述第二计算单元，用于基于来自所述处理器的第二处理指令和所述存储器中存储的所述原始图像进行缩放、仿射变换、投影变化等预处理中的一种或多种得到第二目标子图像。
[0022]本申请实施例中，第一计算单元和第二计本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理装置，其特征在于，包括：处理器、N个计算单元、存储器，所述处理器分别与所述N个计算单元耦接，所述N个计算单元分别与所述存储器耦接，所述N为大于1的整数；所述处理器，用于将处理原始图像得到目标图像的图像处理任务切分为至少两个子图像处理任务，并向所述N个计算单元中的至少两个目标计算单元分配所述至少两个子图像处理任务；所述N个计算单元中的至少两个目标计算单元，用于并行地执行所述至少两个子图像处理任务，并将所述至少两个子图像处理任务的处理结果写入所述存储器。2.根据权利要求1所述的图像处理装置，其特征在于，所述处理器，还用于基于所述至少两个子图像处理任务生成至少两个处理指令，以及向所述至少两个目标计算单元中的每个目标计算单元发送对应的处理指令。3.根据权利要求2所述的图像处理装置，其特征在于，所述处理指令携带以下信息中的至少一种：子图像处理任务待处理的子图像的存储地址信息、所述子图像在所述原始图像中的位置信息、所述子图像的变换参数；所述目标计算单元，用于基于所述存储地址信息，从所述存储器中读取所述子图像，并基于所述变换参数对所述子图像进行处理。4.根据权利要求2所述的图像处理装置，其特征在于，所述处理指令携带有子图像处理任务所需的变换参数；所述目标计算单元，用于基于接收到的处理指令中的变换参数，确定目标子图像中的多个像素点在所述原始图像中的位置，其中，所述目标子图像为所述子图像处理任务的处理结果；基于目标子图像中的多个像素点在所述原始图像中的位置，确定所述目标子图像中的多个像素点的像素值。5.根据权利要求4所述的图像处理装置，其特征在于，所述目标计算单元，用于基于接收到的处理指令中的变换参数，确定目标子图像中的第一像素点在所述原始图像中的位置；在所述位置的至少一个坐标不为整数的情况下，确定所述原始图像中与所述位置邻近的四个参考像素点；对所述四个参考像素点的像素值进行双线性插值，得到所述第一像素点的像素值。6.根据权利要求1所述的图像处理装置，其特征在于，所述处理器用于将所述目标图像划分为多个目标子图像，其中，每个子图像处理任务用于得到一个目标子图像。7.根据权利要求1至6任一项所述的图像处理装置，其特征在于，所述处理器，还用于基于所述N个计算单元的当前状态信息，从所述N个计算单元中确定所述至少两个目标计算单元；其中，所述处理器将所述图像处理任务切分得到的所述至少两个子图像处理任务的数量是基于所述至少两个目标计算单元的数量确定的。8.根据权利要求4或5所述的图像处理装置，其特征在于，所述处理器，还用于基于所述目标图像和所述至少两个目标计算单元的数量，确定每个子图像处理任务待输出的目标子图像在所述目标图像中的位置信息，其中，所述处理指令还包括所述目标子图像的位置信息。
9.根据权利要求7或8所述的图像处理装置，其特征在于，所述图像处理任务包括下列处理中的至少一项：缩放变换、仿射变换、投影变换。10.根据权利要求1至9任一项所述的图像处理装置，其特征在于，所述处理器，用于按照第一尺寸切分所述目标图像，得到所述至少两个子图像处理任务，所述第一尺寸不大于所述N个计算单元中任一个计算单元可处理图像的最大尺寸。11.一种图像加速器，其特征在于，包括：第一计算单元和第二计算单元，所述第一计算单元和所述第二计算单元均分别与处理器和存储器耦接；所述第一计算单元和所述第二子计算单元，用于并行地执行所述处理器分配的第一子图像处理任务和第二子图像处理任务，并将执行所述第一子图像处理任务和所述第二子图像处理任务的处理结果写入至所述存储器，其中，所述第一子图像处理任务和所述第二子图像处理任务是通过切分由原始图像得到目标图像的图像处理任务得到的。12.根据权利要求11所述的图像加速器，其特征在于，所述第一计算单元，还用于接收来自所述处理器的处理指令，所述处理指令携带有所述第一计算单元待处理的第一子图像在所述存储器中的存储地址信息以及对所述第一...

【专利技术属性】
技术研发人员：ꢀ七四专利代理机构，
申请(专利权)人：上海商汤智能科技有限公司，
类型：发明
国别省市：