基于嵌套位表示的神经网络处理方法和设备技术

公开基于嵌套位表示的神经网络处理方法和设备。所述方法包括：确定神经网络的第一层的位宽；通过从与神经网络的第一层对应的源模型的第一层的第一权重中的每个提取与确定的位宽对应的至少一个位，获得神经网络的第一层的第二权重；以及通过基于获得的第二权重执行神经网络的第一层来处理神经网络的第一层的输入数据。

Neural network processing method and equipment based on nested bit representation

【技术实现步骤摘要】
基于嵌套位表示的神经网络处理方法和设备本申请要求于2018年12月19日提交到韩国知识产权局的第10-2018-0165585号韩国专利申请的权益，所述韩国专利申请的全部公开出于所有目的通过引用包含于此。
以下描述涉及一种基于嵌套位表示的神经网络处理方法和设备。
技术介绍
例如，识别的技术自动化已经通过处理器实现的神经网络模型来实现，其中，处理器实现的神经网络模型作为专用计算架构在大量训练之后可提供输入模式与输出模式之间的计算上直观的映射。产生这样的映射的训练能力可称为神经网络的学习能力。此外，由于专门的训练，这样的经过专门训练的神经网络因此可具有关于例如神经网络可能尚未被训练的输入模式生成相对准确的输出的泛化能力。在神经网络用于对象识别(诸如，图像识别或语音识别)的情况下，神经网络中的权重会占用较大的存储器空间，这使得存储器效率被降低。
技术实现思路
提供本
技术实现思路
，以按照简化的形式介绍下面在具体实施方式中进一步描述的构思的选择。本
技术实现思路
不意图确定要求权利的主题的关键特征或必要特征，也不意图作为帮助确定要求权利的主题的范围而被使用。在一个总体方面，一种神经网络处理方法包括：确定神经网络的第一层的位宽；通过从与神经网络的第一层对应的源模型的第一层的第一权重中的每个提取与确定的位宽对应的至少一个位，获得神经网络的第一层的第二权重；以及通过基于获得的第二权重执行神经网络的第一层来处理神经网络的第一层的输入数据。第一权重可具有高于第二权重的位精度。第二权重可嵌套在第一权重中。可基于与神经网络的第一层对应的处理特性来确定神经网络的第一层的位宽。处理特性可包括需要的处理速度、需要的处理准确度、处理难度或终端性能中的至少一个。所述处理方法还可包括：确定神经网络的第二层的位宽；通过从与神经网络的第二层对应的源模型的第二层的第三权重中的每个提取与确定的神经网络的第二层的位宽对应的至少一个位，获得神经网络的第二层的第四权重；以及通过基于获得的第四权重执行神经网络的第二层来处理神经网络的第二层的输入数据。第三权重可具有高于第四权重的位精度。第四权重可嵌套在第三权重中。基于第二权重执行的神经网络的第一层可被配置为：基于第一层的输入数据处理第一任务，以及基于第四权重执行的神经网络的第二层可被配置为：基于第二层的输入数据处理与第一任务不同的第二任务。在另一总体方面，一种神经网络处理方法包括：确定第一神经网络的位宽；通过从源模型的第一权重中的每个提取与确定的位宽对应的至少一个位，获得第一神经网络的第二权重；以及通过基于获得的第二权重执行第一神经网络来处理第一神经网络的输入数据。所述处理方法还可包括：基于由第一神经网络处理输入数据的结果确定第二神经网络的位宽；通过从第一权重中的每个提取与确定的第二神经网络的位宽对应的至少一个位，获得第二神经网络的第三权重；以及通过基于获得的第三权重执行第二神经网络来处理第二神经网络的输入数据。基于第二权重执行的第一神经网络可被配置为：基于第一神经网络的输入数据来处理第一任务，以及基于第三权重执行的第二神经网络可被配置为：基于第二神经网络的输入数据处理与第一任务不同的第二任务。在另一总体方面，一种神经网络训练方法包括：通过量化与神经网络的第一层对应的高位宽的权重，确定与神经网络的第一层对应的低位宽的权重；通过将输入数据应用于第一层来确定与确定的低位宽的权重对应的损失值；以及基于确定的损失值更新高位宽的权重。所述训练方法还可包括：在与高位宽的权重相关联的训练完成之后，通过量化高位宽的权重来确定与第一层对应的低位宽的权重集。低位宽的权重集可包括第一位宽的权重集和第二位宽的权重集，第二位宽的权重集具有低于第一位宽的权重集的位精度。第二位宽的权重集可嵌套在第一位宽的权重集中。低位宽的权重可包括第一位宽的第一权重和第二位宽的第二权重，其中，第一位宽的第一权重具有低于高位宽的权重的位精度，第二位宽的第二权重具有低于第一位宽的第一权重的位精度。确定低位宽的权重的步骤可包括：通过量化高位宽的权重来确定第一位宽的第一权重；以及通过从确定的第一位宽的第一权重中的每个提取至少一个位，确定第二位宽的第二权重。确定低位宽的权重的步骤可包括：通过量化高位宽的权重来确定第二位宽的第二权重；将确定的第二位宽的第二权重确定为第一位宽的第一权重的高位组；以及通过量化高位宽的权重来确定第一位宽的第一权重的低位组。更新高位宽的权重的步骤可包括：基于与确定的损失值对应的损失梯度的统计信息来更新高位宽的权重。更新高位宽的权重的步骤还可包括：通过将高加权值分配给与低位宽的权重之中设置了高优先级的权重对应的损失梯度来计算统计信息。在另一总体方面，一种神经网络处理设备包括：处理器；以及存储器，被配置为存储能够由处理器读取的指令。当所述指令被处理器执行时，处理器可被配置为：确定神经网络的第一层的位宽；通过从与神经网络的第一层对应的源模型的第一层的第一权重中的每个提取与确定的位宽对应的至少一个位，获得神经网络的第一层的第二权重；以及通过基于获得的第二权重执行神经网络的第一层来处理神经网络的第一层的输入数据。在一个进一步的总体方面，一种神经网络处理设备包括：处理器；以及存储器，被配置为存储能够由处理器读取的指令。当所述指令由处理器执行时，处理器可被配置为：确定第一神经网络的位宽；通过从源模型的第一权重中的每个提取与确定的位宽对应的至少一个位，获得第一神经网络的第二权重；以及通过基于获得的第二权重执行第一神经网络来处理第一神经网络的输入数据。在另一总体方面，一种神经网络训练设备包括：处理器；以及存储器，被配置为存储能够由处理器读取的指令。当所述指令被处理器执行时，处理器可被配置为：通过量化与神经网络的第一层对应的高位宽的权重，确定与神经网络的第一层对应的低位宽的权重；通过将输入数据应用于第一层，确定与确定的低位宽的权重对应的损失值；以及基于确定的损失值更新高位宽的权重。在另一总体方面，一种识别对象的方法，包括：接收多媒体数据作为神经网络的第一层的输入数据；基于第一任务资源需求确定神经网络的第一层的位宽，其中，第一层包括至少一个层；通过从与神经网络的第一层对应的源模型的第一层的第一权重中的每个提取与确定的位宽对应的至少一个位，获得神经网络的第一层的第二权重；以及通过基于获得的第二权重执行神经网络的第一层来对神经网络的第一层的输入数据执行对象识别。第一权重可具有高于第二权重的位精度的位精度。第二权重可嵌套在第一权重中。第一任务资源需求越高，将神经网络的第一层的位宽确定得越高。第一任务资源需求包括需要的第一处理速度、需要的第一处理准确度、第一处理难度、输入数据的第一质量和第一终端性能中的至少一个。确定神经网络的第一层的位宽的步骤可包括：输入数据的第一质量越高，将神经网络的第一层的位宽确定得越高。输入数据可以是包括第一级输入数据和第二级输入数据的多级多媒体数据，第一级输本文档来自技高网...

【技术保护点】
1.一种神经网络处理方法，包括：/n获得与神经网络的第一层对应的源模型的第一层的第一权重；/n确定神经网络的第一层的位宽；/n通过从与神经网络的第一层对应的源模型的第一层的第一权重中的每个提取与确定的位宽对应的至少一个位，获得神经网络的第一层的第二权重；以及/n通过基于获得的第二权重执行神经网络的第一层来处理神经网络的第一层的输入数据。/n

【技术特征摘要】
20181219 KR 10-2018-01655851.一种神经网络处理方法，包括：
获得与神经网络的第一层对应的源模型的第一层的第一权重；
确定神经网络的第一层的位宽；
通过从与神经网络的第一层对应的源模型的第一层的第一权重中的每个提取与确定的位宽对应的至少一个位，获得神经网络的第一层的第二权重；以及
通过基于获得的第二权重执行神经网络的第一层来处理神经网络的第一层的输入数据。


2.根据权利要求1所述的神经网络处理方法，其中，第一权重具有高于第二权重的位精度的位精度。


3.根据权利要求1所述的神经网络处理方法，其中，第二权重嵌套在第一权重中。


4.根据权利要求1所述的神经网络处理方法，其中，基于与神经网络的第一层对应的处理特性来确定神经网络的第一层的位宽，
其中，处理特性包括需要的处理速度、需要的处理准确度、处理难度和终端性能中的至少一个。


5.根据权利要求1所述的神经网络处理方法，还包括：
确定神经网络的第二层的位宽；
获得与神经网络的第二层对应的源模型的第二层的第三权重；
通过从与神经网络的第二层对应的源模型的第二层的第三权重中的每个提取与确定的神经网络的第二层的位宽对应的至少一个位，获得神经网络的第二层的第四权重；以及
通过基于获得的第四权重执行神经网络的第二层来处理神经网络的第二层的输入数据，其中，第二层的输入数据对应于第一层的输出数据。


6.根据权利要求5所述的神经网络处理方法，其中，第三权重具有高于第四权重的位精度的位精度。


7.根据权利要求5所述的神经网络处理方法，其中，第四权重嵌套在第三权重中。


8.根据权利要求5所述的神经网络处理方法，其中，基于第二权重执行的神经网络的第一层被配置为：基于第一层的输入数据处理与第一处理特性对应的第一任务，并且
基于第四权重执行的神经网络的第二层被配置为：基于第二层的输入数据处理与第一任务不同的与第二处理特性对应的第二任务。


9.一种神经网络处理方法，包括：
获得第一神经网络的源模型的第一权重；
确定第一神经网络的位宽；
通过从源模型的第一权重中的每个提取与确定的位宽对应的至少一个位，获得第一神经网络的第二权重；以及
通过基于获得的第二权重执行第一神经网络来处理第一神经网络的输入数据。


10.根据权利要求9所述的神经网络处理方法，其中，第一权重具有高于第二权重的位精度的位精度。


11.根据权利要求9所述的神经网络处理方法，其中，第二权重嵌套在第一权重中。


12.根据权利要求9所述的神经网络处理方法，还包括：
基于由第一神经网络执行的处理输入数据的结果确定第二神经网络的位宽；
通过从第一权重中的每个提取与确定的第二神经网络的位宽对应的至少一个位，获得第二神经网络的第三权重；以及
通过基于获得的第三权重执行第二神经网络来处理第二神经网络的输入数据。


13.根据权利要求12所述的神经网络处理方法，其中，第一权重具有高于第三权重的位精度的位精度。


14.根据权利要求12所述的神经网络处理方法，其中，第二权重和第三权重嵌套在第一权重中。


15.根据权利要求12所述的神经网络处理方法，其中，
基于第二权重执行的第一神经网络被配置为：基于第一神经网络的输入数据来处理与第一处理特性对应的第一任务，并且
基于第三权重执行的第二神经网络被配置为：基于第二神经网络的输入数据处理与第一任务不同的与第二处理特性对应的第二任务。


16.根据权利要求9所述的神经网络处理方法，其中，基于与第一神经网络对应的处理特性来确定第一神经网络的位宽，
其中，处理特性包括需要的处理速度、需要的处理准确度、处理难度和终端性能中的至少一个。


17.一种神经网络训练方法，包括：
通过量化与神经网络的第一层对应的高位宽的权重，确定与神经网络的第一层对应的低位宽的权重；
通过将输入数据应用于第一层来确定与确定的低位宽的权重对应的损失值；以及
基于确定的损失值更新高位宽的权重。


18.根据权利要求17所述的神经网络训练方法，还包括：
在与高位宽的权重相关联的训练完成之后，通过量化高位宽的权重来确定与第一层对应的低位宽的权重集。


19.根据权利要求18所述的神经网络训练方法，其中，低位宽的权重集包括第一位宽的权重集和第二位宽的权重集，第二位宽的权重集具有低于第一位宽的权重集的位精度的位精度，<...

【专利技术属性】
技术研发人员：李曙炯，郭荣竣，孙辰雨，孙昌用，郑相一，崔昌圭，韩在濬，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国;KR