深度学习推理的计算图表示和存储方法及其相关组件技术

本申请公开了一种深度学习推理的计算图表示和存储方法及其相关组件，应用于嵌入式设备，涉及深度学习、嵌入式设备技术领域，包括：在深度学习推理框架中，按照预设规则分别构建计算图的图表示、节点表示和算子表示；将所述图表示、所述节点表示和所述算子表示的计算图数据按照数据类型存储至相应的数据类型数组中；将所述图表示、所述节点表示和所述算子表示中数据项的起始位置和偏移量分别存储至对应的位置数组中。上述方案适用于资源较为有限的嵌入式设备深度学习推理场景，能够更加高效的表示和存储计算图，实现对计算图的序列化。实现对计算图的序列化。实现对计算图的序列化。

【技术实现步骤摘要】
深度学习推理的计算图表示和存储方法及其相关组件


[0001]本专利技术涉及深度学习、嵌入式设备
，特别涉及一种深度学习推理的计算图表示和存储方法、装置、设备及介质。

技术介绍

[0002]近年来，深度学习神经网络模型被广泛应用在许多领域，并取得了非常好的效果。模型推理作为模型使用的阶段，与运行模型的硬件、环境等关系密切，出现了适配不同硬件的模型推理框架，推理框架通过将深度学习模型表示成一种数据结构组织计算流。深度学习模型的中间层表示是采用一种称为计算图的有向无环图的数据表示方法，针对不同的场景和软硬件情况，计算图的表示方法不同。用于训练的深度学习推理框架会强调导数以及反向传播相关的数据表示，而用于推理的深度学习框架强调推理效率的优化。另外，不同的软硬件情况也会影响计算图的表示方法，用于嵌入式设备的计算图表示强调有限资源的利用最大化。目前，主流的深度学习推理框架主要针对云端或服务器的深度学习模型的部署和推理。有些推理框架的计算图表示面向边缘端设备，但主要设计对象是硬件资源较为丰富的手机等设备，而对于资源更为有限的嵌入式设备，资源利用效率不高，导致内存溢出或计算延迟的问题。另外，许多嵌入式设备没有操作系统以及相应的文件系统，无法存放和读取模型文件。
[0003]综上，如何针对嵌入式设备提供一种更高效的计算图表示和存储方案是目前有待解决的问题。

技术实现思路

[0004]有鉴于此，本专利技术的目的在于提供一种深度学习推理的计算图表示和存储方法、装置、设备及介质，能够针对嵌入式设备提供一种更高效的计算图表示和存储方案。其具体方案如下：第一方面，本申请公开了一种深度学习推理的计算图表示和存储方法，应用于嵌入式设备，包括：在深度学习推理框架中，按照预设规则分别构建计算图的图表示、节点表示和算子表示；将所述图表示、所述节点表示和所述算子表示的计算图数据按照数据类型存储至相应的数据类型数组中；将所述图表示、所述节点表示和所述算子表示中数据项的起始位置和偏移量分别存储至对应的位置数组中。
[0005]可选的，所述按照预设规则分别构建计算图的图表示、节点表示和算子表示，包括：确定预设的图表示数据项、节点表示数据项和算子表示数据项；按照所述图表示数据项构建计算图的图表示；
按照所述节点表示数据项构建计算图的节点表示；按照所述算子表示数据项构建计算图的算子表示。
[0006]可选的，所述图表示数据项为包括节点数量、节点ID列表、激活值数量、激活值ID列表、计算图输入、计算图输出、计算图节点和激活值映射数据中的任意一种或几种数据项；所述节点表示数据项为包括节点ID、节点类型、激活函数类型、量化配置信息、节点权重信息、节点配置信息中的任意一种或几种数据项；所述算子表示数据项为包括节点权重信息和节点配置信息中的任意一种或两种数据项。
[0007]可选的，所述将所述图表示、所述节点表示和所述算子表示中数据项的起始位置和偏移量分别存储至对应的位置数组中，包括：将所述图表示中所有图表示数据项的起始位置和偏移量存储至预设的图表示位置数组中；将所述节点表示中所有节点表示数据项的起始位置和偏移量存储至预设的节点表示位置数组中；将所述算子表示中所有算子表示数据项的起始位置和偏移量存储至与算子类型对应的节点表示位置数组中。
[0008]可选的，所述深度学习推理的计算图表示和存储方法，还包括：获取所述图表示中的计算图节点和激活值映射数据，并根据映射关系将所述计算图节点和所述激活值映射数据存储至预先建立的目标数组中。
[0009]可选的，所述将所述图表示、所述节点表示和所述算子表示的计算图数据按照数据类型存储至相应的数据类型数组中，包括：确定预先设置的若干个数据类型数组，并确定所述图表示、所述节点表示和所述算子表示中计算图数据的数据类型；其中，所述数据类型数组的数据类型为包括INT8类型、INT32类型和FLOAT32类型中的任意一种或几种类型；将所述图表示、所述节点表示和所述算子表示中的计算图数据按照所述数据类型存储至相应的数据类型数组中，并记录数据项的起始位置和偏移量。
[0010]可选的，所述深度学习推理的计算图表示和存储方法，还包括：当需要获取计算图数据时，则根据所述位置数组中存储的所述起始位置和所述偏移量从所述数据类型数组中分别获取所述图表示、所述节点表示和所述算子表示的计算图数据。
[0011]第二方面，本申请公开了一种深度学习推理的计算图表示和存储装置，包括：计算图表示构建模块，用于在深度学习推理框架中，按照预设规则分别构建计算图的图表示、节点表示和算子表示；数据存储模块，用于将所述图表示、所述节点表示和所述算子表示的计算图数据按照数据类型存储至相应的数据类型数组中；位置信息存储模块，用于将所述图表示、所述节点表示和所述算子表示中数据项的起始位置和偏移量分别存储至对应的位置数组中。
[0012]第三方面，本申请公开了一种电子设备，包括：存储器，用于保存计算机程序；处理器，用于执行所述计算机程序，以实现前述公开的深度学习推理的计算图表
示和存储方法的步骤。
[0013]第四方面，本申请公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的深度学习推理的计算图表示和存储方法的步骤。
[0014]可见，本申请的深度学习推理的计算图表示和存储方法适用于嵌入式设备，通过在深度学习推理框架中，按照预设规则分别构建计算图的图表示、节点表示和算子表示；将所述图表示、所述节点表示和所述算子表示的计算图数据按照数据类型存储至相应的数据类型数组中；将所述图表示、所述节点表示和所述算子表示中数据项的起始位置和偏移量分别存储至对应的位置数组中。由此可见，本申请公开了一种用于嵌入式设备深度学习推理的计算图表示和存储方法，在深度学习推理框架中构建了计算图的图表示、节点表示和算子表示方式；并将图表示、节点表示和算子表示的计算图数据按照数据类型存储至相应的数据类型数组中，即构建了计算图数据存储方式；以及将图表示、节点表示和算子表示中数据项的起始位置和偏移量分别存储至对应的位置数组中，即构建了图表示、节点表示和算子表示的起始位置和偏移量存储方式。上述方案适用于资源较为有限的嵌入式设备深度学习推理场景，也即对于没有操作系统以及相应文件系统的嵌入式设备，也可以将深度学习模型中计算图的相关数据进行存储，能够更加高效的表示和存储计算图，实现计算图的序列化。
附图说明
[0015]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0016]图1为本申请公开的一种深度学习推理的计算图表示和存储方法流程图；图2为本申请公开的一种具体的深度学习推理的计算图表示和存储方法流程图；图3为本申请公开的一种具体的深度学习推理的计算图表示和存储流程示意图；图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度学习推理的计算图表示和存储方法，其特征在于，应用于嵌入式设备，包括：在深度学习推理框架中，按照预设规则分别构建计算图的图表示、节点表示和算子表示；将所述图表示、所述节点表示和所述算子表示的计算图数据按照数据类型存储至相应的数据类型数组中；将所述图表示、所述节点表示和所述算子表示中数据项的起始位置和偏移量分别存储至对应的位置数组中。2.根据权利要求1所述的深度学习推理的计算图表示和存储方法，其特征在于，所述按照预设规则分别构建计算图的图表示、节点表示和算子表示，包括：确定预设的图表示数据项、节点表示数据项和算子表示数据项；按照所述图表示数据项构建计算图的图表示；按照所述节点表示数据项构建计算图的节点表示；按照所述算子表示数据项构建计算图的算子表示。3.根据权利要求2所述的深度学习推理的计算图表示和存储方法，其特征在于，所述图表示数据项为包括节点数量、节点ID列表、激活值数量、激活值ID列表、计算图输入、计算图输出、计算图节点和激活值映射数据中的任意一种或几种数据项；所述节点表示数据项为包括节点ID、节点类型、激活函数类型、量化配置信息、节点权重信息、节点配置信息中的任意一种或几种数据项；所述算子表示数据项为包括节点权重信息和节点配置信息中的任意一种或两种数据项。4.根据权利要求2所述的深度学习推理的计算图表示和存储方法，其特征在于，所述将所述图表示、所述节点表示和所述算子表示中数据项的起始位置和偏移量分别存储至对应的位置数组中，包括：将所述图表示中所有图表示数据项的起始位置和偏移量存储至预设的图表示位置数组中；将所述节点表示中所有节点表示数据项的起始位置和偏移量存储至预设的节点表示位置数组中；将所述算子表示中所有算子表示数据项的起始位置和偏移量存储至与算子类型对应的节点表示位置数组中。5.根据权利要求3所述的深度学习推理的计算图表示和存储方法，其特征在于，还包括：获取所述图表示中的计算图节点和...

【专利技术属性】
技术研发人员：陈其宾，刘玉国，段强，姜凯，李锐，
申请(专利权)人：山东浪潮科学研究院有限公司，
类型：发明
国别省市：