一种数据处理方法、装置以及存储介质制造方法及图纸

本发明专利技术公开了一种数据处理方法、装置以及存储介质，该数据处理方法包括：获取待处理数据；将该待处理数据输入终端内嵌的深度学习模型中进行处理，该深度学习模型包括多层计算架构；在处理过程中，检测当前层计算架构是否运行完毕；若检测出当前层计算架构运行完毕，则获取当前层计算架构对应的存储区域，并对该存储区域进行清理，该存储区域用于存储当前层计算架构在运行时产生的运行数据；当清理完成时，将该下一层计算架构作为当前层计算架构，并返回执行检测当前层计算架构是否已运行完毕的步骤，直至输出处理结果。上述数据处理方法有利于深度学习模型在终端中的离线实现，灵活性高，计算效率高。

【技术实现步骤摘要】
一种数据处理方法、装置以及存储介质
本专利技术涉及计算机
，尤其涉及一种数据处理方法、装置以及存储介质。
技术介绍
深度学习的概念源于人工神经网络的研究，含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示，其提出使得人工神经网络重新成为机器学习最重要的算法之一，在传统的人工神经网络训练中增加了一个预训练阶段，即用无监督学习对每一层网络进行一次专门的训练，然后采用有监督学习对整个网络进行总体训练，也就是说计算机通过深度神经网络，模拟人脑的机制来学习、判断、决策。基于深度学习方法实现的智能应用因其准确率高，效果优秀，成为人工智能领域的首选。但是，现有部署深度学习的应用需要依靠大量的CPU及GPU堆积成的大型运算工作站来实现，通常，因其计算内存消耗过大而无法直接在用户的手机应用中离线实现。
技术实现思路
本专利技术的目的在于提供一种数据处理方法、装置以及存储介质，以解决现有深度学习模型因其计算内存消耗过大而无法直接在终端中离线实现的技术问题。为解决上述技术问题，本专利技术实施例提供以下技术方案：一种数据处理方本文档来自技高网...

【技术保护点】
一种数据处理方法，其特征在于，包括：获取待处理数据；将所述待处理数据输入已嵌入的深度学习模型中进行处理，所述深度学习模型包括多层计算架构；在处理过程中，检测当前层计算架构是否运行完毕；若检测出当前层计算架构运行完毕，则获取当前层计算架构对应的存储区域，并对所述存储区域进行清理，所述存储区域用于存储当前层计算架构在运行时产生的运行数据；当清理完成时，将所述下一层计算架构作为当前层计算架构，并返回执行检测当前层计算架构是否已运行完毕的步骤，直至输出处理结果。

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取待处理数据；将所述待处理数据输入已嵌入的深度学习模型中进行处理，所述深度学习模型包括多层计算架构；在处理过程中，检测当前层计算架构是否运行完毕；若检测出当前层计算架构运行完毕，则获取当前层计算架构对应的存储区域，并对所述存储区域进行清理，所述存储区域用于存储当前层计算架构在运行时产生的运行数据；当清理完成时，将所述下一层计算架构作为当前层计算架构，并返回执行检测当前层计算架构是否已运行完毕的步骤，直至输出处理结果。2.根据权利要求1所述的数据处理方法，其特征在于，所述运行数据包括运行结果，对所述存储区域进行清理，包括：对除所述运行结果之外的运行数据进行清理；获取所述运行结果当前的待引用次数；当所述待引用次数等于预设阈值时，对所述运行结果进行清理；当所述待引用次数大于预设阈值时，返回执行获取当前层计算架构对应的存储区域的操作。3.根据权利要求2所述的数据处理方法，其特征在于，在检测出当前层计算架构运行完毕时，还包括：根据所述下一层计算架构设置所述运行结果的待引用次数；当所述待引用次数设置成功后，获取所述下一层计算架构在运行时对所述运行结果的引用信息；根据所述引用信息更新所述待引用次数。4.根据权利要求1-3中任意一项所述的数据处理方法，其特征在于，在将所述待处理数据输入已嵌入的深度学习模型中进行处理之前，还包括：从已训练的深度学习模型中获取各层计算架构的参数信息；根据各层计算架构的参数信息生成计算路径，所述计算路径包括参与运行的计算架构的计算函数、以及各计算架构之间的运行顺序；将所述计算路径存储在电子设备中，以在所述电子设备中嵌入所述深度学习模型；所述将所述待处理数据输入已嵌入的深度学习模型中进行处理，包括：按照所述计算路径对所述待处理数据进行处理。5.根据权利要求4所述的数据处理方法，其特征在于，所述根据各层计算架构的参数信息生成计算路径，包括：利用预设筛选参数从各层计算架构中筛选出参与运行的计算架构；根据筛选出的计算架构的参数信息生成计算路径。6.根据权利要求4所述的数据处理方法，其特征在于，所述从已训练的深度学习模型中获取各层计算架构的参数信息，包括：利用预设转换策略对已训练的深度学习模型进行转换，得到转换后文件；调用预设加载接口在所述电子设备中加载所述转换后文件；从加载的内容中获取各层计算架构的参数信息。7.根据权利要求4所述的数据处理方法，其特征在于，所述在所述电子设备中嵌入所述深度学习模型，还包括：检测所述电子设备的处理器数量；根据所述处理器数量确定对应的线程数量，并将所述线程数量存储在所述电子设备中；所述按照所述计算路径对所述待处理数据进行处理，包括：调用与所述线程数量相等的空闲线程；利用调用的空闲线程，按照所述计算路径对所述待处理数据进行处理。8.一种数据处理装置，其特征在于，包括：获取模块，用于获取待处理数据；处理模块，用于将所述待处理数据输入已嵌入的深度学习模型中进行处理，...

【专利技术属性】
技术研发人员：倪辉，
申请(专利权)人：腾讯科技上海有限公司，腾讯云计算北京有限责任公司，
类型：发明
国别省市：上海,31