深度学习模型非侵入可逆化转换方法、装置、设备及介质制造方法及图纸

本发明专利技术公开了一种深度学习模型非侵入可逆化转换方法、装置、设备及介质。该方法包括：获取目标深度学习模型的抽象语法树以及设定的可逆转换形式；根据所述可逆转换形式，分别生成用于将每个转换可逆结构转换为匹配的转换可逆转换模式的目标注入代码；生成与每个目标注入代码分别对应的转换子树，并根据各转换子树对目标深度学习模型的抽象语法树进行更新，得到与可逆转换形式对应的更新抽象语法树。本发明专利技术实施例的技术方案提供了一种以非侵入的方式自动化实现可逆化转换的新技术，无需人工参与，彻底避免了由人工操作所引起的各类错误，实现方式简单、灵活，进而可以有效泛化、扩展到更多的机器学习模型或者应用场景中。

【技术实现步骤摘要】

本专利技术涉及人工智能，尤其涉及一种深度学习模型非侵入可逆化转换方法、装置、设备及介质。

技术介绍

1、深度学习模型的可逆化技术是一种能在模型训练过程中对计算、带宽和存储资源利用效率进行有效优化的技术方案。具体的实现方式是将深度学习模型中的某些局部结构(也可以称为可逆结构)等价转换成特定的可逆模式。

2、现有技术中，主要通过具有丰富知识储备和经验的开发人员手动进行模型结构分析的方式来人工识别可以进行可逆化转换的可逆结构以及相适配的可逆模式。之后，手动通过侵入式的方式，进行深度学习模型源码的修改，以实现上述可逆化转换过程。例如revnet，reformer这两项学术领域的前沿研究，都是通过直接修改pytorch模型源码来实现的可逆化转换。

3、显然，这样的实现方式严重依赖开发人员实际经验，人力成本高、繁琐且易出错，同时，这种依赖经验的手动实现方式很难泛化、扩展到更多的模型和应用场景中。

技术实现思路

1、本专利技术提供了一种深度学习模型非侵入可逆化转换方法、装置、设备及介质，以达到非侵入本文档来自技高网...

【技术保护点】

1.一种深度学习模型非侵入可逆化转换方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，根据所述可逆转换形式，分别生成用于将每个转换可逆结构转换为匹配的转换可逆转换模式的目标注入代码，包括：

3.根据权利要求2所述的方法，其特征在于，在预设的可逆转换代码模板库中，检测是否存在用于将当前转换可逆结构转换为当前转换可逆转换模式的目标可逆转换代码模板之后，还包括：

4.根据权利要求1-3任一项所述的方法，其特征在于，生成与每个目标注入代码分别对应的转换子树，包括：

5.根据权利要求1-3任一项所述的方法，其特征在于，根据各转换子树...

【技术特征摘要】

1.一种深度学习模型非侵入可逆化转换方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，根据所述可逆转换形式，分别生成用于将每个转换可逆结构转换为匹配的转换可逆转换模式的目标注入代码，包括：

3.根据权利要求2所述的方法，其特征在于，在预设的可逆转换代码模板库中，检测是否存在用于将当前转换可逆结构转换为当前转换可逆转换模式的目标可逆转换代码模板之后，还包括：

4.根据权利要求1-3任一项所述的方法，其特征在于，生成与每个目标注入代码分别对应的转换子树，包括：

5.根据权利要求1-3任一项所述的方法，其特征在于，根据各转换子树对目标深度学习模型的抽...

【专利技术属性】
技术研发人员：石恒，胡维，鲍国庆，张亚林，姚建国，
申请(专利权)人：上海燧原科技股份有限公司，
类型：发明
国别省市：