面向3D目标检测算法的高效神经网络架构搜索方法及装置制造方法及图纸

本申请涉及一种面向3D目标检测算法的高效神经网络架构搜索方法及装置，方法包括：基于预先训练的超网模型，采样得到至少一个神经网络子架构，生成其单次和零次评估策略，并分别评估每个神经网络子架构的性能，得到最优神经网络子架构，同时采用独立评估策略对最优神经网络子架构进行独立训练，得到至少一个神经网络子架构的性能预测器；获取至少一个神经网络子架构的延迟数据训练延迟预测器，基于性能预测器和延迟预测器，结合帕累托进化算法搜索得到最优神经网络架构。由此，解决了在搜索过程需要耗费大量计算资源，且网络架构搜索精度低、高延迟的问题，通过采用多种评估策略训练对应的性能预测器，提高了网络架构的搜索效率及精度。及精度。及精度。

【技术实现步骤摘要】
面向3D目标检测算法的高效神经网络架构搜索方法及装置


[0001]本专利技术涉及3D目标检测
，特别涉及一种面向3D目标检测算法的高效神经网络架构搜索方法及装置。

技术介绍

[0002]深度学习是机器学习领域中最具影响力的方法之一，随着机器算力的不断提升，深度神经网络已经在各个领域被广泛应用。其中，卷积神经网络是受生物学中感受野机制的启发而提出的一种具有局部连接、权重共享、汇聚等特点的前馈神经网络，一般由卷积层、池化层、全连接层和Softmax等部分组成。卷积神经网络的架构设计对整个模型的表达能力有很大的影响，随着任务难度的提升，模型的规模正在不断变大，设计模型结构所需要的专家工作量也在变得越来越大，因此，使得人工设计神经网络变得愈发的困难，需要采取由计算机自动搜索合适的神经网络方案设计神经网络。
[0003]相关技术中，3D感知算法应用趋势越来越普及，无人驾驶车辆需要获取道路环境中车辆、行人等危险目标障碍物的准确3D信息，以保证行车安全。
[0004]然而，3D感知算法应用在实际部署时会产生不可忽略的延迟，在计算资源受限的车端计算平台上尤为明显，因此对自动驾驶的实时性数据处理不够友好。具体来说，在分类、目标检测等2D视觉任务中，骨干网络作为提取特征的部分占据着最多推理时间，同时，在2D视觉任务中常用量化、剪枝、神经网络架构搜索等手段来压缩骨干网络以减少延迟，使其在压缩后仍然保持较高的精度，但在3D视觉中，目前还没有可直接应用于3D点云感知算法的神经网络搜索方案，亟需解决。

技术实现思路

[0005]本申请提供一种面向3D目标检测算法的高效神经网络架构搜索方法及装置，以解决在搜索过程需要耗费大量计算资源，且网络架构搜索精度低、高延迟的等问题。
[0006]本申请第一方面实施例提供一种面向3D目标检测算法的高效神经网络架构搜索方法，包括以下步骤：
[0007]基于预先训练的超网模型，采样得到至少一个神经网络子架构，生成所述至少一个神经网络子架构的单次评估策略和零次评估策略；
[0008]基于所述单次评估策略和所述零次评估策略，分别评估每个神经网络子架构的性能，并根据评估结果得到最优神经网络子架构，并采用独立评估策略对所述最优神经网络子架构进行独立训练，得到所述至少一个神经网络子架构的性能预测器；以及
[0009]获取所述至少一个神经网络子架构的延迟数据，根据所述延迟数据训练延迟预测器，并基于所述性能预测器和所述延迟预测器，结合预设的帕累托进化算法搜索所述至少一个神经网络子架构，得到最优神经网络架构。
[0010]根据本申请的一个实施例，所述基于预先训练的超网模型，采样得到至少一个神经网络子架构，生成所述至少一个神经网络子架构的单次评估策略和零次评估策略，包括：
[0011]基于所述预先训练的超网模型，在所述超网模型中采样所述至少一个神经网络子架构，并通过所述超网模型权重参数共享得到所述至少一个神经网络子架构的权重参数；
[0012]根据所述至少一个神经网络子架构的权重参数生成所述至少一个神经网络子架构的单次评估策略和零次评估策略。
[0013]根据本申请的一个实施例，根据所述评估结果得到所述最优神经网络子架构之前，还包括：
[0014]基于所述至少一个神经网络子架构的所述单次评估策略和所述零次评估策略，分别训练单次评估预测器和零次评估预测器，得到所述单次评估预测器的训练结果和所述零次评估预测器的训练结果。
[0015]根据本申请的一个实施例，所述分别训练所述单次评估预测器和所述零次评估预测器，得到所述单次评估预测器的训练结果和所述零次评估预测器的训练结果，包括：
[0016]将所述至少一个神经网络子架构序列化为一个架构选项序列，并通过预设的编码器将所述架构选项序列转换为稠密向量；
[0017]根据所述稠密向量，分别通过所述单次评估策略和所述零次评估策略评估所述至少一个神经网络子架构，得到基于所述单次评估策略对应的至少一个神经网络子架构的性能对以及基于所述零次评估策略对应的至少一个神经网络子架构的性能对；
[0018]通过所述单次评估策略和所述零次评估策略训练所述单次评估预测器和所述零次评估预测器，分别得到所述单次评估预测器的训练结果和所述零次评估预测器的训练结果。
[0019]根据本申请的一个实施例，所述采用所述独立评估策略对所述最优神经网络子架构进行独立训练，得到所述至少一个神经网络子架构的性能预测器，包括：
[0020]根据稠密向量，采用所述独立评估策略评估所述最优神经网络子架构，得到基于独立评估策略对应的最优神经网络子架构的性能对；
[0021]通过所述独立评估策略训练所述最优神经网络子架构，得到所述独立评估策略训练结果，基于所述独立评估策略训练结果将所述单次评估预测器的训练结果和所述零次评估预测器的训练结果加权融合，得到所述至少一个神经网络子架构的性能预测器。
[0022]根据本申请的一个实施例，所述基于所述性能预测器和所述延迟预测器，结合所述预设的帕累托进化算法搜索所述至少一个神经网络子架构，得到所述最优神经网络架构，包括：
[0023]基于所述帕累托进化算法采样所述至少一个神经网络子架构形成种群，并对所述种群进行迭代；
[0024]选择所述种群中符合预设条件的所述至少一个神经网络子架构作为父本，并对所述父本进行突变得到突变后的所述至少一个神经网络子架构，并对所述突变后的所述至少一个神经网络子架构进行评估训练，将所述评估训练结果加入至所述种群，并记录所述训练结果；
[0025]基于所述记录的训练结果，选择所述训练结果中评分最高的所述神经网络子架构作为所述最优神经网络架构。
[0026]根据本申请实施例的面向3D目标检测算法的高效神经网络架构搜索方法，基于预先训练的超网模型，采样得到至少一个神经网络子架构，生成其单次评估策略和零次评估
策略，并分别评估每个神经网络子架构的性能，从而得到最优神经网络子架构，同时采用独立评估策略对最优神经网络子架构进行独立训练，得到至少一个神经网络子架构的性能预测器；获取至少一个神经网络子架构的延迟数据训练延迟预测器，并基于性能预测器和延迟预测器，结合预设的帕累托进化算法搜索至少一个神经网络子架构，从而得到最优神经网络架构。由此，解决了在搜索过程需要耗费大量计算资源，且网络架构搜索架构精度低、高延迟的问题，通过采用多种评估策略训练对应的性能预测器，提高了网络架构的搜索效率及精度。
[0027]本申请第二方面实施例提供一种面向3D目标检测算法的高效神经网络架构搜索装置，包括：
[0028]生成模块，用于基于预先训练的超网模型，采样得到至少一个神经网络子架构，生成所述至少一个神经网络子架构的单次评估策略和零次评估策略；
[0029]训练模块，用于基于所述单次评估策略和所述零次评估策略，分别评估每个神经网络子架构的性能，并根据评估结果得到最优神经网络子架构，并采用独立评估策略对所述最优神经本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向3D目标检测算法的高效神经网络架构搜索方法，其特征在于，包括以下步骤：基于预先训练的超网模型，采样得到至少一个神经网络子架构，生成所述至少一个神经网络子架构的单次评估策略和零次评估策略；基于所述单次评估策略和所述零次评估策略，分别评估每个神经网络子架构的性能，并根据评估结果得到最优神经网络子架构，并采用独立评估策略对所述最优神经网络子架构进行独立训练，得到所述至少一个神经网络子架构的性能预测器；以及获取所述至少一个神经网络子架构的延迟数据，根据所述延迟数据训练延迟预测器，并基于所述性能预测器和所述延迟预测器，结合预设的帕累托进化算法搜索所述至少一个神经网络子架构，得到最优神经网络架构。2.根据权利要求1所述的方法，其特征在于，所述基于预先训练的超网模型，采样得到至少一个神经网络子架构，生成所述至少一个神经网络子架构的单次评估策略和零次评估策略，包括：基于所述预先训练的超网模型，在所述超网模型中采样所述至少一个神经网络子架构，并通过所述超网模型权重参数共享得到所述至少一个神经网络子架构的权重参数；根据所述至少一个神经网络子架构的权重参数生成所述至少一个神经网络子架构的单次评估策略和零次评估策略。3.根据权利要求1所述的方法，其特征在于，根据所述评估结果得到所述最优神经网络子架构之前，还包括：基于所述至少一个神经网络子架构的所述单次评估策略和所述零次评估策略，分别训练单次评估预测器和零次评估预测器，得到所述单次评估预测器的训练结果和所述零次评估预测器的训练结果。4.根据权利要求3所述的方法，其特征在于，所述分别训练所述单次评估预测器和所述零次评估预测器，得到所述单次评估预测器的训练结果和所述零次评估预测器的训练结果，包括：将所述至少一个神经网络子架构序列化为一个架构选项序列，并通过预设的编码器将所述架构选项序列转换为稠密向量；根据所述稠密向量，分别通过所述单次评估策略和所述零次评估策略评估所述至少一个神经网络子架构，得到基于所述单次评估策略对应的至少一个神经网络子架构的性能对以及基于所述零次评估策略对应的至少一个神经网络子架构的性能对；通过所述单次评估策略和所述零次评估策略训练所述单次评估预测器和所述零次评估预测器，分别得到所述单次评估预测器的训练结果和所述零次评估预测器的训练结果。5.根据权利要求1所述的方法，其特征在于，所述采用所述独立评估策略对所述最优神经网络子架构进行独立训练，得到所述至少一个神经网络子架构的性能预测器，包括：根据稠密向量，采用所述独立评估策略评估所述最优神经网络子架构，得到基于独立评估策略对应的最优神经网络子架构的性能对；通过所述独立评估策略训练所述最优神经网络子架构，得到所述独立评估策略训练结果，基于所述独立评估策略训练结果将所述单次评估预测器的训练结果和所述零次评估预测器的训练结果加权融合，得到所述至少一个神经网络子架构的性能预测器。
6.根据权利要求1所述的方法，其特征在于，所述基于所述性能预测器和所述延迟预测器，结合所述预设的帕累托进化算法搜索所述至少一个神经网络子架构，得到所述最优神经网络架构，包括：基于所述帕累托进化算法采样所述至少一个神经网络子架构形成种群，并对所述种群进行迭代；选择所述种群中符合预设条件的所述至少一个神经网络子架构作为父本，并对所述父本进行突变得到突变后的所述至少一个神经网络子架构，并对所述突变后的所述至少一个神经网络子架构进行评估训练，将所述评估训练结果加入至所述种群，并记录所述训练结果；基于所述记录的训练结果，选择所述训练结果中评分最高的所述神经网络子架构作为所述最优神经网络架构。7.一种面向3D目标检测算法的高效神经网络架构搜索装置，...

【专利技术属性】
技术研发人员：杜璇，宁雪妃，赵亚丽，汪玉，廖庆敏，
申请(专利权)人：清华大学，
类型：发明
国别省市：