用于神经网络稀疏信道生成和推断的方法技术

公开了用于加速利用稀疏信道的神经网络(NN)模型的推断操作的方法。离线方法通过将与稀疏信道相关联的信道核合并为一个信道核，将一层的稀疏信道合并为一个合并后的稀疏信道。该方法重新训练合并后的稀疏信道的信道核，同时保持用于密集信道的信道核固定，以修改信道模型。可以确定合并后的稀疏信道的重新训练的信道核的稀疏度并将其存储在元数据中。当修改后的信道模型在线时，该方法可以将合并后的稀疏信道的重新训练的信道核的稀疏度与稀疏推断阈值进行比较，以确定是否对合并后的稀疏信道进行推断。可以动态地调整稀疏推断阈值，以在NN模型的速度和准确性之间达到平衡。

【技术实现步骤摘要】
用于神经网络稀疏信道生成和推断的方法
本公开的实施方式总体上涉及机器学习。更具体地，本公开的实施方式涉及用于通过人工智能应用中的机器学习引擎或神经网络进行推断的软件模型的生成和使用。
技术介绍
神经网络用于诸如计算机视觉、自然语言处理、机器人技术和自动驾驶车辆(ADV)等应用中。例如，神经网络可以以自动驾驶模式运行(例如，无人驾驶)车辆，可将乘员、尤其是驾驶员从一些驾驶相关的职责中解放出来。当以自动驾驶模式运行时，车辆可使用车载传感器导航到各个位置，从而允许车辆在最少人机交互的情况下或在没有任何乘客的一些情况下行驶。神经网络可以通过处理由车载传感器捕获的车辆周围环境的视频和电磁图像来生成命令，以规划和控制车辆的运动。例如，神经网络可以生成或训练用于在自主模式下的感知、预测、决策、规划和/或控制过程的一组规则、算法和/或预测模型。运动规划和控制操作的准确性和效率在很大程度上取决于神经网络使用的模型。神经网络中的模型可以使用矩阵或更一般地使用多维张量来处理输入信道数据(诸如通过一个或多个层的传感器捕获的视频和电磁图像)，以得出特征图输出。神本文档来自技高网...

【技术保护点】
1.用于操作神经网络模型的推断层的计算机实施的方法，所述方法包括：/n读取所述神经网络模型的推断层的元数据，所述推断层包括多个信道，并且所述元数据包括与所述多个信道相对应的多个信道核的信道稀疏度度量；/n将与所述多个信道中的一个信道相对应的所述信道核的所述信道稀疏度度量与稀疏推断阈值进行比较；以及/n响应于确定对应所述一个信道的所述信道核的所述信道稀疏度度量大于所述稀疏推断阈值，控制所述一个信道的推断操作。/n

【技术特征摘要】
20200103 US 16/734,2681.用于操作神经网络模型的推断层的计算机实施的方法，所述方法包括：
读取所述神经网络模型的推断层的元数据，所述推断层包括多个信道，并且所述元数据包括与所述多个信道相对应的多个信道核的信道稀疏度度量；
将与所述多个信道中的一个信道相对应的所述信道核的所述信道稀疏度度量与稀疏推断阈值进行比较；以及
响应于确定对应所述一个信道的所述信道核的所述信道稀疏度度量大于所述稀疏推断阈值，控制所述一个信道的推断操作。


2.根据权利要求1所述的方法，其中，控制所述一个信道的推断操作包括：
响应于确定对应于所述一个信道的所述信道核的所述信道稀疏度度量大于所述稀疏推断阈值，启用所述推断操作；或者
响应于确定对应于所述一个信道的所述信道核的所述信道稀疏度度量小于或等于所述稀疏推断阈值，禁用所述推断操作。


3.根据权利要求1所述的方法，其中，所述稀疏推断阈值根据所述推断操作的所需速度或准确性进行动态地调整。


4.根据权利要求1所述的方法，还包括：
读取所述神经网络模型的附加推断层的元数据；以及
将与所述附加推断层的一个信道相对应的信道核的信道稀疏度度量与第二稀疏推断阈值进行比较；以及
响应于确定与所述附加推断层的所述一个信道相对应的所述信道核的所述信道稀疏度度量大于所述第二稀疏推断阈值，控制所述附加推断层的所述一个信道的推断操作。


5.根据权利要求1所述的方法，还包括：
训练所述神经网络模型，以生成与所述推断层的多个原始信道相对应的多个原始信道核；
根据所述多个原始信道核的信道稀疏度度量对所述推断层的所述多个原始信道核进行排序，以确定所述推断层的对应的所述原始信道是密集信道还是稀疏信道；
将所述推断层的所有稀疏信道合并为合并后的稀疏信道，以生成合并后的信道核；以及
重新训练所述合并后的信道核，以生成对应于所述合并后的稀疏信道的重新训练的合并后的信道核，同时保持与所述推断层的所有密集信道对应的所述原始信道核固定。


6.根据权利要求5所述的方法，还包括：
将所述推断层的所述多个信道生成为包括所述推断层的所有密集信道和所述合并后的稀疏信道；
确定所述重新训练的合并后的信道核的信道稀疏度度量；以及
将与所述合并后的稀疏信道相对应的所述重新训练的合并后的信道核的所述信道稀疏度度量以及与所述推断层的所有密集信道相对应的所述原始信道核的所述信道稀疏度度量存储到所述元数据中。


7.根据权利要求6所述的方法，其中，将与所述多个信道中的所述一个信道相对应的所述信道核的所述信道稀疏度度量与稀疏推断阈值进行比较包括：
将对应于所述合并后的稀疏信道的所述重新训练的合并后的信道核的所述信道稀疏度度量与所述稀疏推断阈值进行比较。


8.根据权利要求6所述的方法，还包括：
将与所述推断层的所述密集信道中的一个信道相对应的所述原始信道核的所述信道稀疏度度量与所述稀疏推断阈值进行比较；以及
响应于确定与所述密集信道的所述一个信道相对应的所述原始信道核的所述信道稀疏度度量大于所述稀疏推断阈值，控制所述推断层的所述密集信道的所述一个信道的推断操作。


9.根据权利要求6所述的方法，其中，根据所述多个原始信道核的信道稀疏度度量对所述推断层的所述多个原始信道核进行排序，以确定所述推断层的对应的所述原始信道是密集信道还是稀疏信道包括：
重新排列所述推断层的所述多个原始信道，以将所有密集信道和所有稀疏信道分别进行分组。


10.根据权利要求6所述的方法，其中，将所述推断层的所有稀疏信道合并为合并后的稀疏信道，以生成合并后的信道核包括：
将与所述推断层的所有稀疏信道相对应的所述多个原始信道核进行合并，以生成所述合并后的信道核。


11.数据处理系统，包括：
处理器；
存储器，所述存储器联接至所述处理器，以存储指令，所述指令在由所述处理器执行时致使所述处理器执行操作，所述操作包括：
读取神经网络模型的推断层的元数据，所述推断层包括多个信道，并且所述元数据包括与所述多个信道相对应的多个信道核的信道稀疏度度量；
将与所述多个信道中的一个信道相对应的所述信道核的所述信道稀疏度度量与稀疏推断阈值进行比较；以及
响应于确定对应所述一个信道的所述信道核的所述信道稀疏度度量大于所述稀疏推断阈值，控制所述一个信道的推断操作。


12.根据权利要求11所述的数据处理系统，其中，控制所述一个信道的推断操作包括：
响应于确定对应于所述一个信道的所述信道核的所述信道稀疏度度量大于所述稀疏推断阈值，启用所述推断操作；或者
响应于确定对应于所述一个信道的所述...

【专利技术属性】
技术研发人员：郭敏，
申请(专利权)人：百度美国有限责任公司，
类型：发明
国别省市：美国;US