一种模型的处理方法技术

本发明专利技术公开了一种模型的处理方法

【技术实现步骤摘要】
一种模型的处理方法、数据处理方法、装置、介质及设备


[0001]本专利技术涉及深度学习
，尤其涉及一种模型的处理方法
、
数据处理方法
、
装置
、
介质及设备
。

技术介绍

[0002]随着深度学习技术的不断发展，深度学习模型在不同的领域广泛应用
。
类型繁多的深度模型网络结构，以及众多的模型需要进行线上实时推理，各个业务场景对模型推理的性能要求也越来越高，需要在满足并发的前提条件下，延迟要求很高，需要深度模型实时计算的计算性能越来越高
。
[0003]在实现本专利技术的过程中，发现现有技术中至少存在以下技术问题：降低深度学习模型的计算延迟是深度学习模型应用的重要问题
。

技术实现思路

[0004]本专利技术提供了一种模型的处理方法
、
数据处理方法
、
装置
、
介质及设备，以自动识别深度学习模型中处理节点并进行处理节点融合，实现对深度学习模型的压缩，且无需人工参与
。
[0005]根据本专利技术的一方面，提供了一种模型的处理方法，包括：
[0006]获取处理模型，遍历所述处理模型中的处理节点，确定各所述处理节点的输入指向数据和输出指向数据；
[0007]基于所述处理节点的输入指向数据和输出指向数据确定所述处理模型的至少一个处理节点组合；
[0008]对于每一所述处理节点组合，基于运行时长维度确定所述处理节点组合中多个处理节点的融合策略，基于所述融合策略对所述处理节点组合进行处理节点融合，得到目标处理模型
。
[0009]可选的，所述遍历所述处理模型中的处理节点，包括：
[0010]创建队列，以所述处理模型的输入处理节点为根节点，所述处理模型的处理节点作为处理节点依次进行遍历：
[0011]在遍历的过程中，将任一处理节点和所述处理节点的子节点放入所述队列中；在所述处理节点的所有子节点均遍历的情况下，将所述处理节点从所述队列中释放；在所述处理节点的部分子节点未被遍历的情况下，将所述处理节点在所述队列中缓存，直到所有子节点完成遍历
。
[0012]可选的，所述基于所述处理节点的输入指向数据和输出指向数据确定所述处理模型的至少一个处理节点组合，包括：确定输入指向数据和
/
或输出指向数据大于1的处理节点，基于所述处理节点作为划分节点对所述处理模型进行划分，得到至少一个处理节点组合
。
[0013]可选的，所述基于所述处理节点作为划分节点对所述处理模型进行划分，得到至
少一个处理节点组合，包括：对于输入指向数据大于1的第一处理节点，确定所述第一处理节点的至少两个父节点为并行处理节点；对于每一所述并行处理节点，回溯所述并行处理节点的至少一级父节点，直到父节点的输出指向数据大于1，将输出指向数据大于1的第二处理节点的子节点至所述并行处理节点之间的处理节点确定为并行处理节点组合
。
[0014]可选的，所述处理节点组合中包括至少一个处理节点；
[0015]所述基于运行时长维度确定所述处理节点组合中多个处理节点的融合策略，包括：
[0016]确定所述处理节点组合的多个融合策略，其中，所述融合策略中包括所述处理节点组合进行融合的处理节点模式，其中，处理节点模式中包括至少两个相邻处理节点；
[0017]基于多个融合策略确定所述处理节点组合的预估运行时长，基于所述预估运行时长确定所述处理节点组合的融合策略
。
[0018]可选的，所述基于多个融合策略确定所述处理节点组合的预估运行时长，包括：对于任一所述融合策略，将所述融合策略中的处理节点模式在预设处理节点库中进行匹配，在匹配成功的情况下，确定所述处理节点模式对应的融合处理节点，以及所述融合处理节点的预估运行时长；基于所述处理节点组合中融合处理节点的预估运行时长和非融合处理节点的预估运行时长确定所述处理节点组合的预估运行时长
。
[0019]可选的，所述方法还包括：若所述预设处理节点库中不存在所述处理节点组合任一处理节点模式对应的融合处理节点，则展示所述处理节点组合，以及处理节点组合的预估运行时长
、
所述处理节点组合在所述处理模型中的第一出现频次
、
在历史处理模型中的第二出现频次中的一项或多项
。
[0020]可选的，所述处理模型为预先训练好的处理模型；
[0021]在基于所述融合策略对所述处理节点组合进行处理节点融合之后，还包括：基于进行融合的至少两个处理节点的模型参数进行参数融合，得到融合处理节点的模型参数
。
[0022]根据本专利技术的另一方面，提供了一种数据处理方法，包括：
[0023]获取待处理数据；
[0024]将所述待处理数据输入至预先训练的目标处理模型中，得到所述待处理数据的分类结果，其中，所述处理模型基于本专利技术任意实施例提供的模型的处理方法得到
。
[0025]可选的，所述待处理数据为图像数据，所述处理模型为图像处理模型；或者，所述待处理数据为文本信息，所述处理模型为文本处理模型
。
[0026]根据本专利技术的另一方面，提供了一种模型的处理装置，包括：
[0027]处理节点遍历模块，用于获取处理模型，遍历所述处理模型中的处理节点，确定各所述处理节点的输入指向数据和输出指向数据；
[0028]处理节点组合确定模块，用于基于所述处理节点的输入指向数据和输出指向数据确定所述处理模型的至少一个处理节点组合；
[0029]处理节点融合模块，用于对于每一所述处理节点组合，基于运行时长维度确定所述处理节点组合中多个处理节点的融合策略，基于所述融合策略对所述处理节点组合进行处理节点融合，得到目标处理模型
。
[0030]根据本专利技术的另一方面，提供了种数据处理装置，包括：
[0031]数据获取模块，用于获取待处理数据；
[0032]数据处理模块，用于将所述待处理数据输入至预先训练的目标处理模型中，得到所述待处理数据的分类结果，其中，所述目标处理模型基于本专利技术任意实施例提供的模型的处理方法得到
。
[0033]根据本专利技术的另一方面，提供了一种电子设备，所述电子设备包括：
[0034]至少一个处理器；以及
[0035]与所述至少一个处理器通信连接的存储器；其中，
[0036]所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本专利技术任一实施例所述的模型的处理方法或数据处理方法
。
[0037]根据本专利技术的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本专利技术任一实施例所述的模型的处理方法或数据处理方法
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种模型的处理方法，其特征在于，包括：获取处理模型，遍历所述处理模型中的处理节点，确定各所述处理节点的输入指向数据和输出指向数据；基于所述处理节点的输入指向数据和输出指向数据确定所述处理模型的至少一个处理节点组合；对于每一所述处理节点组合，基于运行时长维度确定所述处理节点组合中多个处理节点的融合策略，基于所述融合策略对所述处理节点组合进行处理节点融合，得到目标处理模型
。2.
根据权利要求1所述的方法，其特征在于，所述遍历所述处理模型中的处理节点，包括：创建队列，以所述处理模型的输入处理节点为根节点，对所述处理模型中的处理节点依次进行遍历：在遍历的过程中，将任一处理节点和所述处理节点的子节点放入所述队列中；在所述处理节点的所有子节点均遍历的情况下，将所述处理节点从所述队列中释放；在所述处理节点的部分子节点未被遍历的情况下，将所述处理节点在所述队列中缓存，直到所有子节点完成遍历
。3.
根据权利要求1所述的方法，其特征在于，所述基于所述处理节点的输入指向数据和输出指向数据确定所述处理模型的至少一个处理节点组合，包括：确定所述输入指向数据和
/
或所述输出指向数据大于1的处理节点，基于所述处理节点作为划分节点对所述处理模型进行划分，得到至少一个处理节点组合
。4.
根据权利要求3所述的方法，其特征在于，所述基于所述处理节点作为划分节点对所述处理模型进行划分，得到至少一个处理节点组合，包括：对于输入指向数据大于1的第一处理节点，确定所述第一处理节点的至少两个父节点为并行处理节点；对于每一所述并行处理节点，回溯所述并行处理节点的至少一级父节点，直到父节点的输出指向数据大于1，将输出指向数据大于1的第二处理节点的子节点至所述并行处理节点之间的处理节点确定为并行处理节点组合
。5.
根据权利要求1所述的方法，其特征在于，所述处理节点组合中包括至少一个处理节点；所述基于运行时长维度确定所述处理节点组合中多个处理节点的融合策略，包括：确定所述处理节点组合的多个融合策略，其中，所述融合策略中包括所述处理节点组合进行融合的处理节点模式，其中，处理节点模式中包括至少两个相邻处理节点；基于多个融合策略确定所述处理节点组合的预估运行时长，基于所述预估运行时长确定所述处理节点组合的融合策略
。6.
根据权利要求5所述的方法，其特征在于，所述基于多个融合策略确定所述处理节点组合的预估运行时长，包括：对于任一所述融合策略，将所述融合策略中的处理节点模式在预设处理节点库中进行匹配，在匹配成功的情况下，确定所述处理节点模式对应的融合处理节点，以及所述融合处理节点的预估运行时长；
基于所述处理节点组合中融合处理节点的预估运行时长和非融合处理节点的预估运行时长确定所述处理节点组合的预估运行时长<...

【专利技术属性】
技术研发人员：刘帅朝，黄志翔，郝应涛，
申请(专利权)人：京东科技控股股份有限公司，
类型：发明
国别省市：