数据生成方法、装置、设备、介质及程序产品制造方法及图纸

技术编号:36871275 阅读:19 留言:0更新日期:2023-03-15 19:56
本申请提供一种数据生成方法、装置、设备、介质及程序产品,该方法包括:响应于获取到的为当前算子配置的测例数据初始生成模式为生成测例数据,获取执行当前算子对应的当前线程标识;所述当前算子位于目标网络模型中;根据所述当前线程标识判断当前线程是否具有对应的测例生成模式栈;若确定具有对应的测例生成模式栈,则将当前算子生成测例数据的开关数据写入到对应的测例生成模式栈;根据所述开关数据的取值确定是否生成当前算子的测例数据。能够有效避免冗余测例数据的生成,进而有效减少额外的存储空间,避免计算资源的浪费,有效提高所需要的测例数据的生成效率。高所需要的测例数据的生成效率。高所需要的测例数据的生成效率。

【技术实现步骤摘要】
数据生成方法、装置、设备、介质及程序产品


[0001]本申请涉及人工智能
,尤其涉及一种数据生成方法、装置、设备、介质及程序产品。

技术介绍

[0002]随着人工智能技术的发展,各种深度学习模型、机器学习模型等网络模型被广泛应用。具体可应用在分类场景,识别场景,预测场景中。为了使网络模型在应用中具有更高的准确率,需要对网络模型进行分析。
[0003]其中网络模型是由多个计算单元组合组成的,每个计算单元称为算子(英文为:Operator,简称Op)。在对网络模型进行分析时,需要运行网络模型,并根据运行网络模型中算子的测例数据来确定网络模型是否存在问题。所以在对网络模型进行分析时需要生成算子的测例数据,并导出到文件中。
[0004]但由于在网络模型中,同一个算子可能会在不同的网络模型分支中使用,目前对生成测例数据的算子进行配置时,会造成上述情况中生成不需要的冗余测例数据,对于冗余测例数据的存储会增加额外的存储空间,并且会浪费计算资源,降低测例数据的生成效率。

技术实现思路

[0005]本申请实施例提供一种数据生成方法、装置、设备、介质及程序产品,用以解决现有技术中冗余测例数据的存储会增加额外的存储空间,并且会浪费计算资源,降低测例数据的生成效率技术问题。
[0006]第一方面,本申请提供一种数据生成方法,包括:
[0007]响应于获取到的为当前算子配置的测例数据初始生成模式为生成测例数据,获取执行当前算子对应的当前线程标识;所述当前算子位于目标网络模型中;
[0008]根据所述当前线程标识判断当前线程是否具有对应的测例生成模式栈;
[0009]若确定具有对应的测例生成模式栈,则将当前算子生成测例数据的开关数据写入到对应的测例生成模式栈;
[0010]根据所述开关数据的取值确定是否生成当前算子的测例数据。
[0011]第二方面,本申请提供一种数据生成装置,包括:
[0012]获取模块,用于响应于获取到的为当前算子配置的测例数据初始生成模式为生成测例数据,获取执行当前算子对应的当前线程标识;所述当前算子位于目标网络模型中;
[0013]判断模块,用于根据所述当前线程标识判断当前线程是否具有对应的测例生成模式栈;
[0014]写入模块,若确定具有对应的测例生成模式栈,则将当前算子生成测例数据的开关数据写入到对应的测例生成模式栈;
[0015]判断模块,还用于根据所述开关数据的取值确定是否生成当前算子的测例数据。
[0016]第三方面,本申请实施例提供一种数据生成设备,包括:处理器,以及与所述处理器通信连接的存储器;
[0017]所述存储器存储计算机执行指令;
[0018]所述处理器执行所述存储器存储的计算机执行指令,以实现如第一方面所述的方法。
[0019]第四方面,本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,所述计算机程序被至少一个处理器执行时,实现如第一方面所述的方法。
[0020]第五方面,本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如第一方面所述的方法。
[0021]本申请实施例提供的数据生成方法、装置、及相关产品,通过响应于获取到的为当前算子配置的测例数据初始生成模式为生成测例数据,获取执行当前算子对应的当前线程标识;所述当前算子位于目标网络模型中;根据所述当前线程标识判断当前线程是否具有对应的测例生成模式栈;若确定具有对应的测例生成模式栈,则将当前算子生成测例数据的开关数据写入到对应的测例生成模式栈;根据所述开关数据的取值确定是否生成当前算子的测例数据。由于对于在目标网络模型中的每个算子,在通过初始生成模式确定要生成测例数据后,通过维护执行该算子的线程与对应的测例生成模式栈,以及测例生成模式栈中的开关数据,能够为每个算子在执行时确定是否生成对应的测例数据。即使相同算子在不同的网络模型分支中,在初始生成模式为均生成测例数据,也能够通过执行相同算子分别的线程对应的测例生成模式栈中的开关数据取值来分别控制是否生成测例数据,能够有效避免冗余测例数据的生成,进而有效减少额外的存储空间,避免计算资源的浪费,有效提高所需要的测例数据的生成效率。
附图说明
[0022]此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
[0023]图1为本申请一个实施例提供的数据生成方法的应用场景图;
[0024]图2为本申请一实施例提供的数据生成方法的流程图;
[0025]图3为本申请再一实施例提供的数据生成方法的流程图;
[0026]图4为本申请还一实施例提供的数据生成方法的流程图;
[0027]图5为本申请实施例提供的数据生成方法中嵌入算子的数据生成原理图;
[0028]图6为本申请一个实施例提供的数据生成装置的结构示意图;
[0029]图7为本申请一个实施例提供的数据生成设备的结构示意图;
[0030]图8是示出根据本申请实施例的板卡的结构图;
[0031]图9是示出根据本申请实施例的组合处理装置的结构图;
[0032]图10是示出根据本申请实施例的单核计算装置的内部结构示意图;
[0033]图11是示出根据本申请实施例的多核计算装置的内部结构示意图;
[0034]图12是示出根据本申请实施例的处理器核的内部结构示意图。
[0035]通过上述附图,已示出本公开明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围,而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
[0036]这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
[0037]为了清楚理解本申请的技术方案,首先对现有技术的方案进行详细介绍。
[0038]目前对网络模型进行分析时,需要运行网络模型,并根据运行网络模型中算子的测例数据来确定网络模型是否存在问题。所以在对网络模型进行分析时需要生成影响网络模型运行时的关键算子的测例数据,并导出到文件中。
[0039]但由于在网络模型中,同一个算子可能会在不同的网络模型分支中使用。如基于卷积神经网络模型中,卷积算子会被频繁使用。所以会出现在不同的网络模型分支中使用的情况。同一个算子在不同的网络模型分支中使用时,会出现对应的测例数据不同的情况。但是对网络模型进行分析时,会有只对一个网络模型分支中该算子生成测例数据的需求,但目前对生成测例数据的算子进行配置时,只会对算子进行本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种数据生成方法,其特征在于,包括:响应于获取到的为当前算子配置的测例数据初始生成模式为生成测例数据,获取执行当前算子对应的当前线程标识;所述当前算子位于目标网络模型中;根据所述当前线程标识判断当前线程是否具有对应的测例生成模式栈;若确定具有对应的测例生成模式栈,则将当前算子生成测例数据的开关数据写入到对应的测例生成模式栈;根据所述开关数据的取值确定是否生成当前算子的测例数据。2.根据权利要求1所述的方法,其特征在于,所述根据所述当前线程标识判断当前线程是否具有对应的测例生成模式栈,包括:获取预设的关联容器中存储的已执行算子对应的线程标识及具有映射关系的测例生成模式栈;判断当前线程标识是否与任意一个已执行算子对应的线程标识相匹配;若确定当前线程标识与任意一个已执行算子对应的线程标识相匹配,则确定当前线程具有对应的测例生成模式栈;若确定当前线程标识不与任意一个已执行算子对应的线程标识相匹配,则确定当前线程不具有对应的测例生成模式栈。3.根据权利要求2所述的方法,其特征在于,若确定当前线程标识与任意一个已执行算子对应的线程标识相匹配,则还包括:将相匹配的已执行算子对应的线程标识具有映射关系的测例生成模式栈确定为当前线程标识对应的测例生成模式栈。4.根据权利要求2所述的方法,其特征在于,若确定不具有对应的测例生成模式栈,则还包括:在预设的关联容器中创建当前线程具有映射关系的测例生成模式栈;将当前线程标识与具有映射关系的测例生成模式栈进行关联存储。5.根据权利要求4所述的方法,其特征在于,所述将当前线程标识与具有映射关系的测例生成模式栈进行关联存储,包括:采用键值对的形式将当前线程标识与具有映射关系的测例生成模式栈进行关联存储。6.根据权利要求1所述的方法,其特征在于,所述若确定具有对应的测例生成模式栈,则将当前算子生成测例数据的开关数据写入到对应的测例生成模式栈,包括:若确定具有对应的测例生成模式栈,则判断所述测例生成模式栈是否为空;若确定所述测例生成模式栈为空,则将当前算子生成测例数据的开关数据写入到对应...

【专利技术属性】
技术研发人员:请求不公布姓名
申请(专利权)人:寒武纪行歌南京科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1