【技术实现步骤摘要】
本公开涉及人工智能，尤其涉及深度学习、云服务，具体涉及一种模型的加速方法、装置、设备及介质。
技术介绍
1、近年来，深度学习在计算机视觉、自然语言处理、搜索推荐广告等领域得到了广泛应用。为了满足大规模深度学习模型在移动端的部署需求，推理加速芯片衍生出了多种类型，从而实现了人工智能在移动设备上的实际应用。然而，随着模型规模的增长，深度学习在移动端的部署面临着巨大挑战。尤其是在大模型时代的背景下，存储空间的需求增加、计算资源消耗加大以及推理时延无法满足理想要求等问题成为亟待解决的难题。因此，模型压缩与加速技术的发展成为学术界和工业界都关注的重要研究领域之一。
技术实现思路
1、本公开提供了一种模型的加速方法、装置、设备及介质。
2、根据本公开的一方面，提供了一种模型的加速方法，包括：获取待加速模型以及待加速模型对应的加速相关参数；根据加速相关参数确定待加速模型对应的目标加速策略；判断待加速模型与用户数据集是否存在依赖关系；若待加速模型与用户数据集存在依赖关系，则获取用户发送的目标用户数据集，并基于目标用户数据集和目标加速策略对待加速模型进行处理，获取生成的目标模型。
3、根据本公开的另一方面，提供了一种模型的加速装置，包括：获取模块，用于获取待加速模型以及待加速模型对应的加速相关参数；确定模块，用于根据加速相关参数确定待加速模型对应的目标加速策略；判断模块，用于判断待加速模型与用户数据集是否存在依赖关系；处理模块，用于若待加速模型与用户数据集存在依赖关系，则获取
4、根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述模型的加速方法。
5、根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述模型的加速方法。
6、根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述模型的加速方法。
7、应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
8、本申请至少实现以下有益效果：本申请根据加速相关参数确定待加速模型对应的目标加速策略，结合用户发送的目标用户数据集对待加速模型进行处理，适配多框架、多异构硬件，可以使模型更好地适应用户特定的数据分布和特征，从而提高模型的泛化能力和准确性，可以使得最终部署的模型更加轻量化、高效，适应于各种硬件和应用场景，从而降低模型部署的成本和复杂性。
本文档来自技高网...【技术保护点】
1.一种模型的加速方法，包括：
2.根据权利要求1所述的方法，其中，所述方法还包括：
3.根据权利要求1或2所述的方法，其中，所述获取生成的目标模型之后，还包括：
4.根据权利要求1所述的方法，其中，所述基于所述目标用户数据集和所述目标加速策略对所述待加速模型进行处理，获取生成的目标模型，包括：
5.根据权利要求1所述的方法，其中，所述根据所述加速相关参数确定所述待加速模型对应的目标加速策略，包括：
6.根据权利要求5所述的方法，其中，所述方法，还包括：
7.根据权利要求6所述的方法，其中，所述从所述多个候选加速策略中确定所述目标加速策略，包括：
8.根据权利要求5-7中任一项所述的方法，其中，所述目标加速策略包括但不限于量化、剪枝、稀疏化和蒸馏中的一种或多种。
9.根据权利要求2或4所述的方法，其中，所述基于所述目标加速策略对所述待加速模型进行处理，包括：
10.根据权利要求3所述的方法，其中，所述获取优化后生成的目标优化模型之后，还包括：
11.根据权利要求
12.根据权利要求1或2所述的方法，其中，所述获取生成的目标模型之后，还包括：
13.根据权利要求3所述的方法，其中，所述获取优化后生成的目标优化模型之后，还包括：
14.一种模型的加速装置，包括：
15.根据权利要求14所述的装置，其中，所述处理模块，还用于：
16.根据权利要求14或15所述的装置，其中，所述处理模块，还用于：
17.根据权利要求14所述的装置，其中，所述处理模块，还用于：
18.根据权利要求14所述的装置，其中，所述确定模块，还用于：
19.根据权利要求18所述的装置，其中，所述确定模块，还用于：
20.根据权利要求19所述的装置，其中，所述确定模块，还用于：
21.根据权利要求18-20中任一项所述的装置，其中，所述目标加速策略包括但不限于量化、剪枝、稀疏化和蒸馏中的一种或多种。
22.根据权利要求15或17所述的装置，其中，所述处理模块，还用于：
23.根据权利要求16所述的装置，其中，所述处理模块，还用于：
24.根据权利要求23所述的装置，其中，所述装置，还包括：
25.根据权利要求14或15所述的装置，其中，所述处理模块，还用于：
26.根据权利要求25所述的装置，其中，所述处理模块，还用于：
27.一种电子设备，包括：
28.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-13中任一项所述的方法。
29.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-13中任一项所述方法的步骤。
...【技术特征摘要】
1.一种模型的加速方法，包括：
2.根据权利要求1所述的方法，其中，所述方法还包括：
3.根据权利要求1或2所述的方法，其中，所述获取生成的目标模型之后，还包括：
4.根据权利要求1所述的方法，其中，所述基于所述目标用户数据集和所述目标加速策略对所述待加速模型进行处理，获取生成的目标模型，包括：
5.根据权利要求1所述的方法，其中，所述根据所述加速相关参数确定所述待加速模型对应的目标加速策略，包括：
6.根据权利要求5所述的方法，其中，所述方法，还包括：
7.根据权利要求6所述的方法，其中，所述从所述多个候选加速策略中确定所述目标加速策略，包括：
8.根据权利要求5-7中任一项所述的方法，其中，所述目标加速策略包括但不限于量化、剪枝、稀疏化和蒸馏中的一种或多种。
9.根据权利要求2或4所述的方法，其中，所述基于所述目标加速策略对所述待加速模型进行处理，包括：
10.根据权利要求3所述的方法，其中，所述获取优化后生成的目标优化模型之后，还包括：
11.根据权利要求10所述的方法，其中，所述将所述目标优化模型部署在所述部署平台上之后，还包括：
12.根据权利要求1或2所述的方法，其中，所述获取生成的目标模型之后，还包括：
13.根据权利要求3所述的方法，其中，所述获取优化后生成的目标优化模型之后，还包括：
14.一种模型的加速装置，包括：...
【专利技术属性】
技术研发人员：刁仁琰，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。