确定布局顺序及数据处理的方法、装置、设备及存储介质制造方法及图纸

本申请实施例涉及一种确定布局顺序及数据处理的方法、装置、设备及存储介质，旨在解决网络模型在电子设备上运行期间，网络模型受限于电子设备硬件条件的问题。所述确定布局顺序的方法包括：针对目标网络模型中的目标网络层，获得该目标网络层的对应输入数据的数据参数，以及获得该目标网络层的网络层参数；根据所述数据参数和所述网络层参数，确定利用该目标网络层进行数据处理时所需的各个数值的布局顺序。

Determine the layout sequence and data processing method, device, equipment and storage medium

【技术实现步骤摘要】
确定布局顺序及数据处理的方法、装置、设备及存储介质
本申请实施例涉及数据处理
，具体而言，涉及一种确定布局顺序及数据处理的方法、装置、设备及存储介质。
技术介绍
随着数据处理技术的发展，电子设备上负载的数据处理任务越来越丰富，从而使电子设备能代替人自动执行多种任务。其中，人工智能技术作为一种流行的数据处理方式，越来越多地应用至服务器和终端设备，旨在实现天网监控、语音交互、文字识别、身份验证、自动驾驶、智能推荐等诸多任务。人工智能技术的实施过程通常包括网络模型训练和网络模型应用等两大阶段。为了使电子设备能自动执行较复杂的任务，通常需要搭建或选择一种结构较复杂的网络模型，例如深度学习网络，然后对该网络模型进行训练，并将训练完毕的网络模型载入服务器和/或终端设备，使服务器和/或终端设备可以利用该网络模型执行较复杂的任务。但是由于某些电子设备的处理能力和内存空间等硬件条件有限，特别是终端设备和物联网系统中的监控节点设备，在这些电子设备上部署网络模型后，其硬件条件不利于网络模型的应用，从而影响用户期望任务的执行。为此，相关技术通过分析电子设备的硬件特点，确定出一种数据布局顺序。电子设备上部署的网络模型在处理数据之前，通过按照确定出的布局顺序，对待处理数据和网络模型权重进行重新排布，从而可以在处理数据期间，帮助电子设备提升网络模型处理能力。但是实际情况是，电子设备的网络模型处理能力的提升并不显著，因此网络模型的应用范围仍然受限。
技术实现思路
本申请实施例提供一种确定布局顺序及数据处理的方法、装置、设备及存储介质，旨在解决网络模型在电子设备上运行期间，网络模型受限于电子设备硬件条件的问题。本申请实施例第一方面提供一种确定布局顺序的方法，所述方法包括：针对目标网络模型中的目标网络层，获得该目标网络层的对应输入数据的数据参数，以及获得该目标网络层的网络层参数；根据所述数据参数和所述网络层参数，确定利用该目标网络层进行数据处理时所需的各个数值的布局顺序。本申请实施例第二方面提供一种数据处理方法，所述方法包括：针对目标网络模型中的每个网络层，获得该网络层的上一网络层所处理得到的待处理数据的中间结果；按照利用该网络层进行数据处理时所需的各个数值的布局顺序，对所述中间结果中的各个数值进行重新排布，其中，多个网络层各自对应的布局顺序不全部相同；通过该网络层，对重新排布后的所述中间结果进行处理，以获得该网络层所处理得到的所述待处理数据的另一中间结果。本申请实施例第三方面提供一种确定布局顺序的装置，所述装置包括：参数获得模块，用于针对目标网络模型中的目标网络层，获得该目标网络层的对应输入数据的数据参数，以及获得该目标网络层的网络层参数；布局顺序确定模块，用于根据所述数据参数和所述网络层参数，确定利用该目标网络层进行数据处理时所需的各个数值的布局顺序。本申请实施例第四方面提供一种数据处理装置，所述装置包括：中间结果获得模块，用于针对目标网络模型中的每个网络层，获得该网络层的上一网络层所处理得到的待处理数据的中间结果；中间结果排布模块，用于按照利用该网络层进行数据处理时所需的各个数值的布局顺序，对所述中间结果中的各个数值进行重新排布，其中，多个网络层各自对应的布局顺序不全部相同；处理模块，用于通过该网络层，对重新排布后的所述中间结果进行处理，以获得该网络层所处理得到的所述待处理数据的另一中间结果。本申请实施例第五方面提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行时实现本申请实施例第一方面所述的方法的步骤。本申请实施例第六方面提供一种终端设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行时实现本申请实施例第二方面所述的方法的步骤。本申请实施例第七方面提供一种可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现如本申请实施例第一方面或第二方面所述的方法中的步骤。采用本申请提供的确定布局顺序的方法，针对目标网络模型中的目标网络层，获得该目标网络层的对应输入数据的数据参数，以及获得该目标网络层的网络层参数；然后根据所获得的数据参数和网络层参数，确定利用该目标网络层进行数据处理时所需的各个数值的布局顺序。相比于相关技术中通过分析电子设备的硬件特点以确定布局顺序，整个网络的各个网络层对应同一个布局顺序。本申请以数据参数和网络层参数等细粒度参数为依据，为目标网络层确定对应的布局顺序。由于每个目标网络层各自的数据参数和网络层参数通常互不相同，或者不全部相同，因此本申请可以为每个目标网络层分别确定出相对个性化的布局顺序。在网络应用期间，各个目标网络层的所需数据可以按照各自对应的布局顺序进行重新排布，每个网络层的处理性能均被显著提高或最大化地提高，从而帮助电子设备显著提升网络模型处理能力，进而有利于扩大网络模型的应用范围。附图说明为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本申请一实施例提出的确定布局顺序的方法的流程图；图2是本申请一实施例提出的待处理数据的布局顺序；图3是本申请一实施例提出的目标网络层内的权重数据的布局顺序；图4是本申请一实施例提出的模型训练流程图；图5是本申请一实施例提出的数据处理方法的流程图；图6是本申请一实施例提出的确定布局顺序的装置的示意图；图7是本申请一实施例提出的数据处理装置的示意图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。人工智能技术作为一种流行的数据处理方式，越来越多地应用至服务器和终端设备。人工智能技术的实施过程通常包括网络模型训练和网络模型应用等两大阶段。为了使电子设备能自动执行较复杂的任务，通常需要搭建或选择一种结构较复杂的网络模型，例如深度学习网络，然后对该网络模型进行训练，并将训练完毕的网络模型载入服务器和/或终端设备，使服务器和/或终端设备可以利用该网络模型执行较复杂的任务。但是由于某些电子设备的处理能力和内存空间等硬件条件有限，特别是终端设备和物联网系统中的监控节点设备，在这些电子设备上部署网络模型后，其硬件条件不利于网络模型的应用，从而影响用户期望任务的执行。为此，相关技术一方面提出了轻量级网络和网络模型量化等技术，以提高电子设备的网络模型处理能力，但是这些技术主要着力于模型设计方面，对网络模型的精度要求很高，需要长本文档来自技高网...

【技术保护点】
1.一种确定布局顺序的方法，其特征在于，所述方法包括：/n针对目标网络模型中的目标网络层，获得该目标网络层的对应输入数据的数据参数，以及获得该目标网络层的网络层参数；/n根据所述数据参数和所述网络层参数，确定利用该目标网络层进行数据处理时所需的各个数值的布局顺序。/n

【技术特征摘要】
1.一种确定布局顺序的方法，其特征在于，所述方法包括：
针对目标网络模型中的目标网络层，获得该目标网络层的对应输入数据的数据参数，以及获得该目标网络层的网络层参数；
根据所述数据参数和所述网络层参数，确定利用该目标网络层进行数据处理时所需的各个数值的布局顺序。


2.根据权利要求1所述的方法，其特征在于，所述目标网络层为卷积层，所述目标网络层的对应输入数据为图像数据；
所述目标网络层的对应输入数据的数据参数包括：图像高度、图像宽度以及图像通道数量；
所述目标网络层的网络层参数包括：卷积核数量、卷积核长度、卷积核宽度以及卷积步幅。


3.根据权利要求1或2所述的方法，其特征在于，在确定利用该目标网络层进行数据处理时所需的各个数值的布局顺序之后，所述方法还包括：
将所述目标网络模型和所述目标网络模型中每个目标网络层各自对应的布局顺序存入终端设备的存储器。


4.根据权利要求1或2所述的方法，其特征在于，所述根据所述数据参数和所述网络层参数，确定利用该目标网络层进行数据处理时所需的各个数值的布局顺序，包括：
将所述数据参数和所述网络层参数输入预先训练的布局顺序预测模型，获得该布局顺序预测模型输出的布局顺序；
将所述布局顺序预测模型所输出的布局顺序确定为：利用所述目标网络层进行数据处理时所需的各个数值的布局顺序。


5.根据权利要求4所述的方法，其特征在于，在将所述数据参数和所述网络层参数输入预先训练的布局顺序预测模型之前，所述方法还包括：
获得样本数据组，所述样本数据组中包括样本数据参数、样本网络层参数以及标签，该标签用于表征：该样本数据参数和该样本网络层参数对应的最优布局顺序；
基于所述样本数据组对预设模型进行训练，并确定该预设模型的精度；
在所述精度达到精度阈值的情况下，将所述预设模型确定为所述布局顺序预测模型。


6.根据权利要求5所述的方法，其特征在于，所述获得样本数据组，包括：
针对一组样本数据参数和样本网络层参数，为其生成多种布局顺序；
针对所述多种布局顺序中的每种布局顺序，按照该布局顺序对一个测试数据中的各个数值进行重新排布，并通过一个测试网络层，对重新排布后的所述测试数据进行处理，以获得用于表征处理性能的性能参数值，其中，所述测试网络层是该组样本数据参数和样本网络层参数所对应的网络层；
根据多种布局顺序各自对应的性能参数值，将最优性能参数值所对应的布局顺序确定为：该组样本数据参数和样本网络层参数所对应的最优布局顺序。


7.一种数据处理方法，其特征在于，所述方法包括：
针对目标网络模型中的每个网络层，获得该网络层的上一网络层所处理得到的待处理数据的中间结果；
按照利用该网络层进行数据处理时所需的各个数值的布局顺序，对所述中间结果中的各个数值进行重新排布，其中，多个网络层各自对应的布局顺序不全部相同；
通过该网络层...

【专利技术属性】
技术研发人员：张晓扬，张孝斌，田忠博，户忠哲，朱泓睿，肖俊敏，
申请(专利权)人：北京迈格威科技有限公司，
类型：发明
国别省市：北京;11