图像处理方法、装置、介质以及电子设备制造方法及图纸

公开了一种图像处理方法、装置、介质以及电子设备，其中的图像处理方法包括：对图像传感器输出的传感信号进行图像信号处理，以生成当前帧图像中的像素值；监测当前生成像素值的像素数量；在监测到当前生成像素值的像素数量达到预定数量时，对所述当前生成的像素值形成的图像块，执行基于神经网络的运算处理；根据所述当前帧图像中的所有图像块的运算处理结果，获得所述当前帧图像的处理结果。本公开提供的技术方案有利于降低对当前帧图像进行处理的时延，从而有利于提高图像处理的实时性。对于智能驾驶应用而言，则有利于提高智能驾驶的安全性。

【技术实现步骤摘要】
图像处理方法、装置、介质以及电子设备
本公开涉及计算机视觉技术，尤其是涉及一种图像处理方法、图像处理装置、存储介质以及电子设备。
技术介绍
在智能驾驶等应用中，往往需要对摄像装置拍摄的图像进行目标识别以及目标跟踪等处理。智能驾驶等应用对摄像装置拍摄的图像的处理速度的实时性往往要求较高，图像处理的时延会对智能驾驶的安全性产生影响。如何降低对摄像装置拍摄的图像进行处理的时延，是一个值得关注的技术问题。
技术实现思路
为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种图像处理方法、装置、存储介质以及电子设备。根据本公开实施例的一方面，提供一种图像处理方法，包括：对图像传感器输出的传感信号进行图像信号处理，以生成当前帧图像中的像素值；监测当前生成像素值的像素数量；在监测到当前生成像素值的像素数量达到预定数量时，对所述当前生成的像素值形成的图像块，执行基于神经网络的运算处理；根据所述当前帧图像中的所有图像块的运算处理结果，获得所述当前帧图像的处理结果。根据本公开实施例的另一个方面，提供了一种图像处理装置，包括：信号处理模块，用于对图像传感器输出的传感信号进行图像信号处理，以生成当前帧图像中的像素值；监测模块，用于监测所述信号处理模块当前生成像素值的像素数量；运算处理模块，用于在所述监测模块监测到当前生成像素值的像素数量达到预定数量时，对所述当前生成的像素值形成的图像块，执行基于神经网络的运算处理；获取处理结果模块，用于根据所述运算处理模块对当前帧图像中的所有图像块的运算处理结果，获得所述当前帧图像的处理结果。根据本公开实施例的再一方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于实现上述方法。根据本公开实施例的又一方面，提供了一种电子设备，该电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述方法。基于本公开上述实施例提供的一种图像处理方法和装置，通过在图像信号处理过程中，在监测到生成预定数量的像素值时，针对当前生成的像素值形成的图像块执行基于神经网络的运算处理，不仅可以充分利用针对神经网络布设的计算资源，而且有利于缩短等待执行基于神经网络的运算处理的时长。由此可知，本公开提供的技术方案有利于降低对当前帧图像进行处理的时延，从而有利于提高图像处理的实时性。对于智能驾驶应用而言，由于可以及时的获得每一当前帧图像的图像处理结果，因此，有利于避免产生并下发控制指令滞后的现象，从而有利于提高智能驾驶的安全性。下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。附图说明通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征以及优势将变得更加明显。附图用来提供对本公开实施例的进一步的理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。图1是本公开所适用的场景示意图；图2为本公开的图像处理方法一个实施例的流程图；图3为本公开的对图像块执行运算处理的一个实施例的示意图；图4为本公开的图像处理方法另一个实施例的流程图；图5为本公开的图像处理装置一个实施例的结构示意图；图6是本申请一示例性实施例提供的电子设备的结构图。具体实施方式下面将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。另外，本公开中术语“和/或”，仅是一种描述关联对象的关联关系，表示可以存在三种关系，如A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。本公开的实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或者专用计算系统环境或配置一起操作。适于与终端设备、计算机系统或者服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境等等。终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施。在分布式云计算环境中，任务可以是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。本公开概述在实现本公开的过程中，专利技术人发现，目前的图像处理过程通常是在摄像装置摄制并生成一完整的视频帧图像或者照片图像之后，才开始对视频帧图像或者照片图像进行处理。也就是说，在生成视频帧图像或者照片图像的过程，图像处理操作处于等待状态，从而使图像处理的延迟较大。视频帧图像或者照片图像的分辨率越高，图像处理操作等待的时间会越长，图像处理的延迟就会越大。这不利用提高图像处理的实时性。对于智能驾驶而言，图像处理的延迟会影响车辆控制的实时性，不利于车辆的安全行驶。示例性概述图1中的车辆100可以实现智能驾驶。例如，车辆100中的ADAS(Advan本文档来自技高网...

【技术保护点】
1.一种图像处理方法，包括：/n对图像传感器输出的传感信号进行图像信号处理，以生成当前帧图像中的像素值；/n监测当前生成像素值的像素数量；/n在监测到当前生成像素值的像素数量达到预定数量时，对所述当前生成的像素值形成的图像块，执行基于神经网络的运算处理；/n根据所述当前帧图像中的所有图像块的运算处理结果，获得所述当前帧图像的处理结果。/n

【技术特征摘要】
1.一种图像处理方法，包括：
对图像传感器输出的传感信号进行图像信号处理，以生成当前帧图像中的像素值；
监测当前生成像素值的像素数量；
在监测到当前生成像素值的像素数量达到预定数量时，对所述当前生成的像素值形成的图像块，执行基于神经网络的运算处理；
根据所述当前帧图像中的所有图像块的运算处理结果，获得所述当前帧图像的处理结果。


2.根据权利要求1所述的方法，其中，所述方法还包括：
根据当前帧图像的空间分辨率、所述神经网络的计算阵列、所述神经网络的输入和输出空间分辨率、执行所述运算处理的数据处理器的计算资源以及所述数据处理器中的第一缓冲区的缓存空间中的至少一个，确定各图像块所包含的像素数量；
其中，所述数据处理器中的第一缓冲区包括：用于存储神经网络中的隐含层输出信息的缓冲区。


3.根据权利要求1或2所述的方法，其中，所述在监测到当前生成像素值的像素数量达到预定数量时，对所述当前生成的像素值形成的图像块，执行基于神经网络的运算处理，包括：
根据预先设定的图像块包含的像素行数N，在每次监测到生成并在第二缓冲区中缓存的像素值的像素数量达到所述像素行数N时，生成通知信号；
基于所述通知信号，从所述第二缓冲区中读取所述像素值，并对所述读取的所述像素值执行神经网络的运算处理；
其中，N为大于零且小于或者等于所述当前帧图像所包含的像素总行数的二分之一的整数。


4.根据权利要求1至3中任一项所述的方法，其中，所述对所述当前生成的像素值形成的图像块，执行基于神经网络的运算处理，包括：
确定所述当前生成的像素值形成的图像块对应的指令序列，并根据所述图像块对应的指令序列对所述图像块执行基于神经网络的运算处理。


5.根据权利要求4所述的方法，其中，所述图像块对应的指令序列包括：预处理指令以及基于卷积神经网络的至少一运算指令；
所述根据所述图像块对应的指令序列对所述图像块执行基于神经网络的运算处理，包括：
根据所述预处理指令对所述图像块执行预处理操作，并在第三缓冲区中缓存预处理操作后的图像块；
根据基于卷积神经网络的运算指令对所述第三缓冲区中缓存的图像块执行基于卷积神经网络的运算处理。


6.根据权利要求5所述的方法，其中，所述根据所述预处理指令对所述图像块执行预处理操作，包括：
...

【专利技术属性】
技术研发人员：张祎男，王振江，凌坤，
申请(专利权)人：北京地平线机器人技术研发有限公司，
类型：发明
国别省市：北京;11