【技术实现步骤摘要】
一种数据处理方法、装置、设备及计算机存储介质
[0001]本专利技术涉及计算机软件
，尤其涉及一种数据处理方法、装置、设备及计算机存储介质。
技术介绍
[0002]以机器学习、深度学习为代表的新一波人工智能热潮已经持续升温数年，深度学习是近年来人工智能领域的研究热点，在诸多领域获得了突破性的进展，现今有很多种深度学习框架以及支持多种深度学习框架的多种硬件平台。深度学习框架和硬件多样性给用户带来很大的好处，对于维持人工智能生态系统的健康发展至关重要，但支持多个框架和硬件需要巨大的工作量，这也给人工智能开发者带来了不小的挑战。
[0003]随着深度学习的应用越来越广，大家越来越关心深度学习算法在不同硬件架构上训练和推理的实现效率，由于深度学习有众多不同的前端和后端，因此需要一个桥梁来有效实现它们之间的优化和映射。IR(Intermediate Representation，中间表示)是程序编译过程中，源代码与目标代码之间翻译的中介，IR的设计对编译器来说非常关键，IR要考虑从源代码到目标代码编译的完备性、编译优化的...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取深度学习模型的第一中间表示；其中，所述深度学习模型为基于前端模型框架构建的模型，所述第一中间表示包括至少一个计算子图，每个计算子图包括至少一组算子和与所述至少一组算子有关的有向边，所述有向边上承载有张量数据；每个计算子图对应有功能属性；每个算子包括至少一个功能函数；在所述至少一个计算子图中，根据每个计算子图对应的功能属性对至少一个目标算子中所包含的功能函数的数据结构和变量进行转换；其中，转换后的数据结构和变量能被所述功能函数执行；基于所述转换后的数据结构和变量，对所述至少一个目标算子的执行顺序和所述至少一个目标算子中所包含的标量操作进行优化，得到第二中间表示；对所述第二中间表示进行编译，得到后端硬件设备可执行的目标代码，以使所述后端硬件设备执行所述目标代码，实现所述目标代码的功能。2.如权利要求1所述的数据处理方法，其特征在于，所述基于所述转换后的数据结构和变量，对所述至少一个目标算子的执行顺序和所述至少一个目标算子中所包含的标量操作进行优化，得到第二中间表示，包括：基于所述转换后的数据结构和变量，对所述至少一个目标算子的执行顺序进行优化，并将经过执行顺序优化后的至少一个目标算子中所包含的标量操作转换为向量操作，以得到所述第二中间表示；其中，所述标量操作用于表征对所述目标算子中的标量数据进行处理；所述向量操作用于表征对所述目标算子中的向量数据进行处理；或者，基于所述转换后的数据结构和变量，将所述至少一个目标算子中所包含的标量操作转换为向量操作，并对经过转换操作后的至少一个目标算子的执行顺序进行优化，以得到所述第二中间表示。3.如权利要求2所述的数据处理方法，其特征在于，所述目标算子的数量大于等于2，则对目标算子的执行顺序进行优化，包括：获取不相关算子；其中，所述不相关算子用于指示在所述目标算子中，一个算子与另一个算子之间不具有有向边；将所述不相关算子的执行顺序转换为并行的执行顺序。4.如权利要求2所述的数据处理方法，其特征在于，所述将所述至少一个目标算子中所包含的标量操作转换为向量操作，包括：针对每个所述目标算子，获取所述目标算子中的功能相同且不相关的标量操作；将所述功能相同且不相关的标量操作转换为向量操作。5.如权利要求4所述的数据处理方法，其特征在于，所述将所述至少一个目标算子中所包含的标量操作转换为向量操作，包括：针对每个所述目标算子，当所述目标算子中所包含的标量操作为跨距访存时，将所述跨距访存对应的每一条标量操作均转换为多条向量操作。6.一种数据处理方法，其特征在于，包括：获取目标代码和待处理图像；根据所述目标代码对所述待处理图像进行处理，得到图像处理结果；其中，所述目标代
码为通过如权利要求1
‑
5中任一项所述的数据处理方法得到的。7.一种数据处理装置，其特征在于，包括接收单元和处理单元：所述接收单元，用于获取深度学习模型的第一中间表示；其中，所述深度学习模型为基于前端模型框架构建的模型，所述第一中间表示包括至少一个计算子图，每个计算子图包括至少一组算子和与所述至少一组算子有关的有向边，所述有向边上承载有张量数据；每个计算子图对应有功能属性；每个算子包括至少一个功能函数...
【专利技术属性】
技术研发人员：阳柳，邬轩，杨强，李文成，刘勇鹏，顾剑，
申请(专利权)人：飞腾信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。