本发明专利技术的信息处理装置是一种执行由多个层构成的神经网络下的DNN运算的信息处理装置，其针对输入至所述神经网络的特征图中的第1区域和不同于所述第1区域的第2区域的各自，执行与所述神经网络的规定层相对应的运算处理，并将针对所述第1区域的所述运算处理的结果与针对所述第2区域的所述运算处理的结果进行统合而作为针对所述特征图的所述运算处理的结果输出。的结果输出。的结果输出。
【技术实现步骤摘要】
【国外来华专利技术】信息处理装置、车载控制装置
[0001]本专利技术涉及一种信息处理装置和使用它的车载控制装置。
技术介绍
[0002]以往，利用摄像机的摄影图像和各种传感器的信息来识别车辆的周围状况而根据该识别结果来进行各种驾驶辅助的技术得到了广泛利用。在这样的车辆的驾驶辅助技术中，近年来为了针对复杂的周围状况而获得高精度的识别结果，提出了进行利用神经网络的运算这一做法，所述神经网络是将人的大脑中的神经细胞的功能模型化而成。
[0003]通常而言，要在车辆中搭载的信息处理装置(ECU：Electronic Control Unit,电子控制单元)中进行利用神经网络的运算，由于ECU使用来自车载电池的供给电力进行驱动这一制约条件，从而需要低耗电。因此大多使用例如像小规模FPGA(Field Programmable Gate Array,现场可编程门阵列)那样内部存储器容量相对较小的运算电路。
[0004]在内部存储器容量小的运算电路中，存在内部存储器中存放不下运算中途产生的中间数据这一情况。在这样的情况下，须至少将中间数据的一部分存放在设置于运算电路之外的外部存储装置中，接着在运算电路需要时从外部存储装置中读出。然而，运算电路与外部存储装置之间的数据传输速度通常比内部存储器的数据传输速度慢。因此产生处理速度降低这一问题。
[0005]作为解决上述问题的技术，已知有专利文献1。专利文献1中揭示了一种神经网络中的卷积计算方法，包含以下步骤：根据从DRAM读出的输入特征图、depthwise卷积核、pointwise卷积核来执行depthwise卷积计算及pointwise卷积计算，在所有pointwise卷积输出通道上获取第1规定数p个点的输出特征值；以及，重复上述运算而在所有pointwise卷积输出通道上获取所有点的输出特征值。并且有如下记载：由此能减少用于存储中间结果的存储区域。现有技术文献专利文献
[0006]专利文献1：日本专利特开2019
‑
109895号公报
技术实现思路
专利技术要解决的问题
[0007]在专利文献1的技术中，将神经网络中的卷积计算分为depthwise卷积计算及pointwise卷积计算这2个卷积计算来执行。因此存在以下问题，即，在这些卷积计算之间交接中间结果时，信息的一部分丢失，从而引发识别精度的劣化。解决问题的技术手段
[0008]本专利技术的一形态的信息处理装置是一种执行由多个层构成的神经网络下的DNN运算的信息处理装置，其针对输入至所述神经网络的特征图中的第1区域和不同于所述第1区域的第2区域的各自，执行与所述神经网络的规定层相对应的运算处理，并将针对所述第1
区域的所述运算处理的结果与针对所述第2区域的所述运算处理的结果进行统合而作为针对所述特征图的所述运算处理的结果输出。本专利技术的另一形态的信息处理装置是一种执行由多个层构成的神经网络下的DNN运算的信息处理装置，其具备：特征图分割部，其以分割后的各区域各自包含相互重复的冗余部的方式将输入至所述神经网络的特征图分割为多个区域；NN运算部，其对应于所述神经网络的各层而设置，针对所述多个区域的各自，执行规定的运算处理；内部存储部，其存放所述NN运算部所执行的所述运算处理的结果；以及特征图统合部，其将与所述神经网络的规定层相对应的所述NN运算部针对所述多个区域而分别执行的所述运算处理的结果进行统合并存放至设置于所述信息处理装置外部的外部存储装置,所述冗余部的大小是根据所述运算处理中使用的滤波器的大小及步幅来决定，所述特征图分割部对所述特征图的分割数和所述特征图统合部对所述运算处理的结果进行统合之前所述NN运算部执行所述运算处理的所述神经网络的层数是根据所述内部存储部的存储容量、所述NN运算部进行的所述运算处理的合计运算量、所述信息处理装置与所述外部存储装置之间的数据传输频带、以及所述NN运算部进行的所述运算处理前后的数据大小的变化量中的至少某一个来决定。本专利技术的车载控制装置具备上述信息处理装置和制定车辆的行动计划的行动计划制定部，所述信息处理装置根据与所述车辆的周围状况相关的传感器信息来执行所述运算处理，所述行动计划制定部根据从所述信息处理装置输出的所述运算处理的结果来制定所述车辆的行动计划。专利技术的效果
[0009]根据本专利技术，在进行利用神经网络的运算的信息处理装置中能够谋求处理速度的高速化而不会发生识别精度的劣化。
附图说明
[0010]图1为表示本专利技术的一实施方式的车载控制装置的构成的图。图2为表示本专利技术的一实施方式的DNN运算装置的构成的图。图3为本专利技术的一实施方式的运算处理部的各NN运算部的功能框图。图4为表示本专利技术的一实施方式的DNN运算装置所进行的运算处理的概要的图。图5为说明特征图分割部中的冗余部的设定方法的图。图6为表示决定特征图的分割数以及中间数据的存放地的处理的一例的流程图。
具体实施方式
[0011]图1为表示本专利技术的一实施方式的车载控制装置的构成的图。图1所示的车载控制装置1是搭载于车辆中使用，与作为用于检测车辆周围状况的传感器而分别发挥功能的摄像机2、LiDAR(Light Detection and Ranging,激光雷达)3以及雷达4连接在一起。摄像机2所获取到的车辆周围的摄影图像和LiDAR 3及雷达4分别获取到的车辆到周围物体的距离信息输入至车载控制装置1。再者，摄像机2、LiDAR 3以及雷达4也可在车辆中各搭载有多个，这多个传感器分别获取到的摄影图像和距离信息输入至车载控制装置1。
[0012]车载控制装置1具有DNN运算装置10、传感器融合部11、特征图存放部12、外部存储装置13以及行动计划制定部15这各个功能块。DNN运算装置10、传感器融合部11以及行动计
划制定部15例如是使用CPU(Central Processing Unit,中央处理单元)、GPU(Graphics Processing Unit,图形处理单元)、FPGA(Field Programmable Gate Array,现场可编程逻辑门阵列)、ASIC(Application Specific Integrated Circuit,专用集成电路)等运算处理电路和与它们组合利用的各种程序来分别构成。此外，特征图存放部12及外部存储装置13是使用RAM(Random Access Memory,随机存取存储器)、HDD(Hard Disk Drive,硬盘驱动器)、闪存等存储装置来分别构成。再者，DNN运算装置10进行用于通过执行由多个层构成的神经网络下的DNN运算来识别车辆的周围状况的信息处理，相当于本专利技术的一实施方式的信息处理装置。
[0013]从摄像机2、LiDAR 3以及雷达4分别输入的摄影图像和距离信息以利用二维平面上的各像素值来表现车辆的周围状况相关的特征的特征图的形式存放至特征图存放部12。再者，从LiDAR 3及雷达4分别输入的距离信息是通过借助传感器融合部11的传感器融合处理进行统合而转换为特征图来存放至特征图本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种信息处理装置，其执行由多个层构成的神经网络下的DNN运算，其特征在于，针对输入至所述神经网络的特征图中的第1区域和不同于所述第1区域的第2区域的各自，执行与所述神经网络的规定层相对应的运算处理，将针对所述第1区域的所述运算处理的结果与针对所述第2区域的所述运算处理的结果进行统合，作为针对所述特征图的所述运算处理的结果输出。2.根据权利要求1所述的信息处理装置，其特征在于，具备将所述特征图分割为所述第1区域和所述第2区域的特征图分割部。3.根据权利要求2所述的信息处理装置，其特征在于，所述特征图分割部以所述第1区域与所述第2区域各自包含相互重复的冗余部的方式将所述特征图分割为所述第1区域和所述第2区域。4.根据权利要求3所述的信息处理装置，其特征在于，所述冗余部的大小是根据所述运算处理中使用的滤波器的大小及步幅而决定。5.根据权利要求1所述的信息处理装置，其特征在于，具备：NN运算部，其对应于所述神经网络的各层而设置，针对所述第1区域及所述第2区域的各自，执行所述运算处理；内部存储部，其在不同时刻分别存放与所述神经网络的第k层相对应的所述NN运算部针对所述第1区域而执行的所述运算处理的结果和与所述第k层相对应的所述NN运算部针对所述第2区域而执行的所述运算处理的结果；以及特征图统合部，其将与所述神经网络的第k+α层相对应的所述NN运算部针对所述第1区域而执行的所述运算处理的结果以及与所述第k+α层相对应的所述NN运算部针对所述第2区域而执行的所述运算处理的结果进行统合。6.根据权利要求5所述的信息处理装置，其特征在于，由所述特征图统合部统合后的所述运算处理的结果存放至设置于所述信息处理装置外部的外部存储装置，对与所述神经网络的第k+α+1层相对应的所述NN运算部输入所述外部存储装置中存放的所述运算处理的结果。7.根据权利要求5所述的信息处理装置，其特征在于，与所述第k+α+1层相对应的所述NN运算部执行步幅为2以上的卷积处理或池化处理。8.根据权利要求1所述的信息处理装置，其特征在于，具备：特征图分割部，其将所述特征图分割为至少包含所述第1区域及所述第2区域的多个区域；NN运算部，其对应于所述神经网络的各层而设置，针对所述多...
【专利技术属性】
技术研发人员：平井理宇，伊藤浩朗，内田洋生，小野豪一，岸本真，
申请(专利权)人：日立安斯泰莫株式会社，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。