一种面向点云的高效二值化神经网络量化方法及装置制造方法及图纸

本发明专利技术公开了一种面向点云的高效二值化神经网络量化方法及装置。该方法使用熵最大化的聚合函数和逐层尺度恢复步骤，使点云神经网络可以通过训练过程中最小化损失函数，达到信息熵最大化和网络权重、激活量化损失最小化，从而减少量化损失，提高二值化点云神经网络的性能。本发明专利技术与按位运算完全兼容，具有快速推断量化神经网络的优点。事实表明，本发明专利技术在各种网络架构中的表现非常出色，在内存消耗，推理速度和准确性方面优于现有技术，尤其适合在自动驾驶场景中实现目标检测，以满足自动驾驶车辆的实时性检测定位要求。车辆的实时性检测定位要求。车辆的实时性检测定位要求。

【技术实现步骤摘要】
一种面向点云的高效二值化神经网络量化方法及装置
[0001]本专利技术申请是2021年10月15日提交的名称为“一种面向点云的高效二值化神经网络量化方法及装置”、申请号为202111205851.6的专利技术申请的分案申请。


[0002]本专利技术涉及一种面向点云的高效二值化神经网络量化方法，同时也涉及一种面向自动驾驶场景的需要，采用该神经网络量化方法的目标检测装置，属于深度学习


技术介绍

[0003]点云(Point Cloud)，尤其是点云神经网络，已在各种计算机视觉应用，如自动驾驶、增强现实等中得到越来越多的关注。传统的点云通常具有海量参数和高计算完备性，针对单一任务的训练和推断过程需要耗费大量的时间。造成这一问题的主要原因是：目前在各个任务上取得最好成绩的模型普遍采用具有全精度的神经网络，使得这些模型需要使用大量的存储资源。同时许多应用程序需要实时交互和快速响应，但是点云的训练和推断过程中需要产生数量巨大的浮点数运算操作，例如，斯坦福大学的Charles R.Qi等人提出的PointNet具有大约3.5E6个参数，并且需要4.4E8个FLOP来处理单个样本。这在很大程度上限制了点云在便携式设备上的应用。尤其在自动驾驶场景中，车载计算设备的运算能力和存储能力往往是有限的，严重制约了点云神经网络在该场景下的应用前景。
[0004]近年来，研究者们已经提出了许多方法，使得深度神经网络能够在计算和存储资源有限的便携式设备上应用，包括网络权重量化、权值修剪、低秩分解、哈希映射，以及轻量级架构设计。其中，基于量化的方法以较低的比特数表示网络中的参数，但仍然能够得到较高的网络准确率和高度紧凑的神经网络模型。例如，神经网络模型的全二值化方法，将网络中原本32位的浮点数参数量化至1位表示，节省了参数的存储空间，能够最大程度地降低神经网络模型的存储占用消耗；同时将原本参数的计算由浮点数运算转化为位运算，减小了神经网络的计算量，极大地加速了网络推断过程。
[0005]在专利号为ZL 201910222741.7的中国专利技术专利中，公开了一种基于轻量化卷积神经网络的目标检测与定位方法，包括如下步骤：实时采集车辆前方的图像数据和点云数据；将图像数据传输到目标检测模型，进行目标识别，获取目标信息；目标检测模型采用轻量化卷积神经网络；将获取的目标信息及点云数据输入到训练好的目标定位模型，进行目标定位，得到目标相对于车辆的位置信息。该方法实现了对静态、动态目标的实时检测和定位，使得车辆能够实时感知目标信息，及时地对目标进行避障处理，检测和识别结果具有较高的准确度，能够用于存在多个静态、动态目标的复杂场景，并且满足自动驾驶车辆的实时性检测定位要求。

技术实现思路

[0006]针对现有技术的不足，本专利技术所要解决的首要技术问题在于提供一种面向点云的高效二值化神经网络量化方法。
[0007]本专利技术所要解决的另一技术问题在于提供一种面向自动驾驶场景的需要，采用上述神经网络量化方法的目标检测装置。
[0008]为实现上述专利技术目的，本专利技术采用下述的技术方案：
[0009]根据本专利技术实施例的第一方面，提供一种面向点云的高效二值化神经网络量化方法，包括如下步骤：
[0010]在点云神经网络的训练过程中：在网络前馈传播过程，将特征聚合层的输入进行变换后，通过熵最大化的聚合函数聚合全局特征；在网络前馈传播过程，逐层恢复二值线性单元的输出尺度；在网络反向传播过程，使用梯度更新可学习的尺度恢复因子；
[0011]在点云神经网络的推断过程中：使用二值化的网络权重和网络激活值，并且仅使用训练好的尺度恢复因子进行输出尺度恢复。
[0012]其中较优地，在点云神经网络的训练过程中，对网络中的卷积层执行特征聚合步骤：在特征聚合层利用熵最大化的聚合函数进行特征聚合，获得保留最大信息熵的二值化特征输出，并进行神经网络推断，在反向传播时对网络权重和激活进行更新，从而生成二值化的点云神经网络。
[0013]其中较优地，所述特征聚合步骤包括如下子步骤：对于熵最大化的聚合函数，应用多层感知机对输入的每个点进行独立建模，然后以一个恒定的偏移量对输入进行移位操作，通过聚合函数将每个点的建模特征聚合为全局特征，最后获得的输出满足关于零对称的分布要求，并且使熵最大化，尽可能在量化后保留更多的信息。
[0014]其中较优地，对于点云神经网络中的原始输入Y'，对Y'中的每一个值进行移位操作，偏移函数的计算公式定义为：τ(Y
′
)＝Y
′‑
δ
*
，其中δ
*
是原始输入分布的偏移量；其中，所述原始输入Y'来自于激光雷达实时扫描周边环境所获得的数据。
[0015]其中较优地，经过聚合函数φ聚合后的全局特征Y满足∑
y＜0
f
Y
(y)＝0.5的分布。
[0016]其中较优地，在点云神经网络的训练过程中，对网络中的卷积层执行逐层尺度恢复步骤：对网络中的二值化线性层使用可学习的尺度恢复因子，恢复输出到合理的尺度，在反向传播时对尺度恢复因子进行更新。
[0017]其中较优地，所述逐层尺度恢复步骤包括如下子步骤：对于逐层尺度恢复的二值化线性层，添加一个可学习的尺度恢复因子，将二值化后的输入与网络权重进行二值卷积，获得的输出与尺度恢复因子相乘，以恢复输出尺度。
[0018]其中较优地，所述尺度恢复因子α的初始化为二值化线性层的输出Ba和Bw全精度对应输出A和W之间的标准偏差之比，即
[0019][0020]其中，σ表示标准偏差，和
⊙
均表示向量内积，
⊙
在计算过程中利用了逐位运算XNOR和Bitcount。
[0021]其中较优地，通过将尺度恢复因子α与二值化线性层的输出Ba和Bw相乘，使得神经元输出z恢复到合理的比例。
[0022]根据本专利技术实施例的第二方面，提供一种目标检测装置，包括通过内部总线连接的采集单元、处理单元及存储单元：其中，
[0023]采集单元，用于实时采集车辆前方的图像数据和点云数据；
[0024]处理单元，用于将图像数据实时传输到点云神经网络中进行目标识别，获取待检测的目标信息；其中，所述点云神经网络采用上述方法进行量化，以适应车载计算设备的要求；
[0025]存储单元，用于存储所述采集单元采集的图像数据、点云数据及所述点云神经网络的数据。
[0026]本专利技术提供的面向点云的高效二值化神经网络量化方法，使用熵最大化的聚合函数和逐层尺度恢复步骤，使点云神经网络可以通过训练过程中最小化损失函数，达到信息熵最大化和网络权重、激活量化损失最小化，从而减少量化损失，提高二值化点云神经网络的性能。本专利技术与按位运算完全兼容，具有快速推断量化神经网络的优点。事实表明，本专利技术在各种网络架构中的表现非常出色，在内存消耗，推理速度和准确性方面优于现有技术，尤其适合在自动驾驶场景中实现目标检测，以满足自动驾驶车辆的实时性检测本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向点云的高效二值化神经网络量化方法，其特征在于包括如下步骤：在点云神经网络的训练过程中：在网络前馈传播过程，将特征聚合层的输入进行变换后，通过熵最大化的聚合函数聚合全局特征；在网络前馈传播过程，逐层恢复二值线性单元的输出尺度；在网络反向传播过程，使用梯度更新可学习的尺度恢复因子；在点云神经网络的推断过程中：使用二值化的网络权重和网络激活值，并且仅使用训练好的尺度恢复因子进行输出尺度恢复。2.如权利要求1所述的高效二值化神经网络量化方法，其特征在于：在点云神经网络的训练过程中，对网络中的卷积层执行特征聚合步骤：在特征聚合层利用熵最大化的聚合函数进行特征聚合，获得保留最大信息熵的二值化特征输出，并进行神经网络推断，在反向传播时对网络权重和激活进行更新，从而生成二值化的点云神经网络。3.如权利要求2所述的高效二值化神经网络量化方法，其特征在于：所述特征聚合步骤包括如下子步骤：对于熵最大化的聚合函数，应用多层感知机对输入的每个点进行独立建模，然后以一个恒定的偏移量对输入进行移位操作，通过聚合函数将每个点的建模特征聚合为全局特征，最后获得的输出满足关于零对称的分布要求，并且使熵最大化。4.如权利要求3所述的高效二值化神经网络量化方法，其特征在于：对于点云神经网络中的原始输入Y'，对Y'中的每一个值进行移位操作，偏移函数的计算公式为：τ(Y
′
)＝Y
′‑
δ
*
，其中δ
*
是原始输入分布的偏移量；其中，所述原始输入Y'来自于激光雷达实时扫描周边环境所获得的数据。5.如权利要求4所述的高效二值化神经网络量化方法，其特征在于：经过聚合函数φ聚合后的全局特...

【专利技术属性】
技术研发人员：刘祥龙，秦浩桐，丁一芙，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：