目标检测方法、系统及存内计算芯片技术方案

本发明专利技术涉及一种目标检测方法、系统及存内计算芯片，方法应用于存内计算芯片，目标检测网络、消息通信神经网络、特征后处理神经网络均部署于存内计算芯片中，所述方法包括：获取待检测图像；将待检测图像输入至目标检测网络，得到目标检测网络输出的待检测图像中的第一锚点特征信息；将第一锚点特征信息输入至消息通信神经网络，以由消息通信神经网络对第一锚点特征信息进行卷积操作处理，得到第二锚点特征信息；将第二锚点特征信息输入至特征后处理神经网络，得到多个锚点各自的目标置信度；根据目标置信度，从多个候选预测框中确定目标框，并将目标框的信息发送至显示装置，以由显示装置对目标框进行显示。如此，降低目标检测系统的复杂度。系统的复杂度。系统的复杂度。

【技术实现步骤摘要】
目标检测方法、系统及存内计算芯片


[0001]本专利技术涉及计算机
，具体地，涉及一种目标检测方法、系统及存内计算芯片。

技术介绍

[0002]现代计算机系统结构普遍采用冯
·
诺伊曼架构。在这种架构下，承担计算任务的处理器和负责数据存储的存储器通常是彼此分离的。因此，处理器每次执行运算时都需要将数据从存储器读入到处理器中，等待数据处理完毕再写回到存储器中。以大数据为主的AI计算之下，冯
·
诺伊曼架构的“存储墙”和“功耗墙”挑战凸显。所谓的“存储墙”问题是指存储器性能与运算器性能日益扩大的差距；而“功耗墙”问题则是指将数据在存储器和运算器之间来回搬运的高昂能量代价。
[0003]目标检测是机器视觉领域的基础任务之一，它的核心工作是在图像信息中检测和识别出目标物体，因此也被使用于各种应用场景中，比如视频监控中的目标检测，其效果将会直接影响到后续的跟踪、动作识别和行为描述等效果。相关技术中，目标检测通常需要采用非极大值抑制算法(Non
‑
Maximum Suppression，或NMS)，而从NMS的算法流程可以看出该算法存在大量的循环和排序等操作，需要基于传统冯
·
诺伊曼架构的CPU去完成。在这种情况下，还需要在基于传统冯
·
诺伊曼架构的CPU和作为加速器的存内计算芯片之间设计额外的数据总线、驱动程序等，导致系统变得更加复杂。

技术实现思路

[0004]本专利技术的目的是提供一种目标检测方法、系统及存内计算芯片，以降低目标检测方法的部署复杂度，无需使用CPU，仅在存内计算芯片上即可实现端到端的目标检测，且降低系统功耗。
[0005]为了实现上述目的，第一方面，本专利技术提供一种目标检测方法，所述方法应用于存内计算芯片，目标检测网络、消息通信神经网络、特征后处理神经网络均部署于所述存内计算芯片中，所述方法包括：
[0006]获取待检测图像；
[0007]将所述待检测图像输入至所述目标检测网络，得到所述目标检测网络输出的所述待检测图像中的第一锚点特征信息，其中，每一锚点对应一候选预测框；
[0008]将所述第一锚点特征信息输入至所述消息通信神经网络，以由所述消息通信神经网络对所述第一锚点特征信息进行卷积操作处理，得到第二锚点特征信息；
[0009]将所述第二锚点特征信息输入至所述特征后处理神经网络，得到多个锚点各自的目标置信度；
[0010]根据所述目标置信度，从多个候选预测框中确定目标框，并将所述目标框的信息发送至显示装置，以由所述显示装置对所述目标框进行显示。
[0011]可选地，所述消息通信神经网络是通过如下方式训练得到的：
[0012]从训练数据集中获取训练图像；
[0013]将所述训练图像输入至所述目标检测网络，得到多个锚点各自的锚点特征信息，其中，多个锚点与多个预测框一一对应，锚点的锚点特征信息包括该锚点对应的预测框中包含训练目标的第一置信度、该锚点对应的预测框的中心点坐标、该锚点对应的预测框的宽度和高度；
[0014]将多个锚点各自的锚点特征信息输入至神经网络的卷积核中，以由所述卷积核提取每一锚点的局部特征关系，并计算锚点对应的预测框中包含训练目标的第二置信度；
[0015]根据所述第二置信度去除所述多个预测框中的冗余预测框并过滤掉无效预测框，得到训练预测框；
[0016]根据所述训练预测框中包含训练目标的第二置信度、所述训练预测框的中心点坐标、宽度和高度，以及所述训练图像的真实目标框中包含训练目标的真实置信度、所述真实目标框的中心点坐标、宽度和高度，计算损失值；
[0017]根据所述损失值对所述神经网络的卷积核进行迭代训练，在训练完成的情况下，得到所述特征提取神经网络。
[0018]可选地，所述消息通信神经网络中包括Concatenate网络，所述消息通信神经网络用于通过如下方式得到第二锚点特征信息：
[0019]所述Concatenate网络将经过卷积处理的第一锚点特征信息与如下信息之一进行拼接：零矩阵、消息通信神经网络上一次输出的锚点特征信息，以扩大锚点特征的感受野；
[0020]将所述Concatenate网络输出的锚点特征信息进行卷积压缩，以得到所述第二锚点特征信息。
[0021]可选地，所述消息通信神经网络为可学习NMS网络。
[0022]第二方面，本专利技术提供一种目标检测系统，所述系统部署于存内计算芯片，所述系统包括的目标检测网络、消息通信神经网络、特征后处理神经网络均部署于所述存内计算芯片中；
[0023]所述目标检测网络，用于对待检测图像进行处理，得到所述待检测图像中的第一锚点特征信息，其中，每一锚点对应一候选预测框；
[0024]所述消息通信神经网络，用于对所述第一锚点特征信息进行卷积操作处理，得到第二锚点特征信息；
[0025]所述特征后处理神经网络，用于根据所述第二锚点特征信息，得到多个锚点各自的目标置信度；
[0026]结果输出模块，用于根据所述目标置信度，从多个候选预测框中确定目标框，并将所述目标框的信息发送至显示装置，以由所述显示装置对所述目标框进行显示。
[0027]可选地，所述消息通信神经网络是通过如下方式训练得到的：
[0028]从训练数据集中获取训练图像；
[0029]将所述训练图像输入至所述目标检测网络，得到多个锚点各自的锚点特征信息，其中，多个锚点与多个预测框一一对应，锚点的锚点特征信息包括该锚点对应的预测框中包含训练目标的第一置信度、该锚点对应的预测框的中心点坐标、该锚点对应的预测框的宽度和高度；
[0030]将多个锚点各自的锚点特征信息输入至神经网络的卷积核中，以由所述卷积核提
取每一锚点的局部特征关系，并计算锚点对应的预测框中包含训练目标的第二置信度；
[0031]根据所述第二置信度去除所述多个预测框中的冗余预测框并过滤掉无效预测框，得到训练预测框；
[0032]根据所述训练预测框中包含训练目标的第二置信度、所述训练预测框的中心点坐标、宽度和高度，以及所述训练图像的真实目标框中包含训练目标的真实置信度、所述真实目标框的中心点坐标、宽度和高度，计算损失值；
[0033]根据所述损失值对所述神经网络的卷积核进行迭代训练，在训练完成的情况下，得到所述特征提取神经网络。
[0034]可选地，所述消息通信神经网络中包括Concatenate网络：
[0035]所述Concatenate网络用于将经过卷积处理的第一锚点特征信息与如下信息之一进行拼接：零矩阵、消息通信神经网络上一次输出的锚点特征信息，以扩大锚点特征的感受野；
[0036]所述消息通信神经网络用于将所述Concatenate网络输出的锚点特征信息进行卷积压缩，以得到所述第二锚点特征信息。
[0037]可选地，所述消息通信神经网络为可学习NMS网络。
[0038]第三本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标检测方法，其特征在于，所述方法应用于存内计算芯片，目标检测网络、消息通信神经网络、特征后处理神经网络均部署于所述存内计算芯片中，所述方法包括：获取待检测图像；将所述待检测图像输入至所述目标检测网络，得到所述目标检测网络输出的所述待检测图像中的第一锚点特征信息，其中，每一锚点对应一候选预测框；将所述第一锚点特征信息输入至所述消息通信神经网络，以由所述消息通信神经网络对所述第一锚点特征信息进行卷积操作处理，得到第二锚点特征信息；将所述第二锚点特征信息输入至所述特征后处理神经网络，得到多个锚点各自的目标置信度；根据所述目标置信度，从多个候选预测框中确定目标框，并将所述目标框的信息发送至显示装置，以由所述显示装置对所述目标框进行显示。2.根据权利要求1所述的方法，其特征在于，所述消息通信神经网络是通过如下方式训练得到的：从训练数据集中获取训练图像；将所述训练图像输入至所述目标检测网络，得到多个锚点各自的锚点特征信息，其中，多个锚点与多个预测框一一对应，锚点的锚点特征信息包括该锚点对应的预测框中包含训练目标的第一置信度、该锚点对应的预测框的中心点坐标、该锚点对应的预测框的宽度和高度；将多个锚点各自的锚点特征信息输入至神经网络的卷积核中，以由所述卷积核提取每一锚点的局部特征关系，并计算锚点对应的预测框中包含训练目标的第二置信度；根据所述第二置信度去除所述多个预测框中的冗余预测框并过滤掉无效预测框，得到训练预测框；根据所述训练预测框中包含训练目标的第二置信度、所述训练预测框的中心点坐标、宽度和高度，以及所述训练图像的真实目标框中包含训练目标的真实置信度、所述真实目标框的中心点坐标、宽度和高度，计算损失值；根据所述损失值对所述神经网络的卷积核进行迭代训练，在训练完成的情况下，得到所述特征提取神经网络。3.根据权利要求1所述的方法，其特征在于，所述消息通信神经网络中包括Concatenate网络，所述消息通信神经网络用于通过如下方式得到第二锚点特征信息：所述Concatenate网络将经过卷积处理的第一锚点特征信息与如下信息之一进行拼接：零矩阵、消息通信神经网络上一次输出的锚点特征信息，以扩大锚点特征的感受野；将所述Concatenate网络输出的锚点特征信息进行卷积压缩，以得到所述第二锚点特征信息。4.根据权利要求1
‑
3中任一项所述的方法，其特征在于，所述消息通信神经网络为可学习NMS网络。5.一种...

【专利技术属性】
技术研发人员：黄斌，蔡国榕，吴仕龙，刘晋明，
申请(专利权)人：集美大学，
类型：发明
国别省市：