一种自动化深度学习方法、装置及存储介质制造方法及图纸

本发明专利技术公开了一种自动化深度学习方法，获取数据并对数据类型分析并处理，包括：对所述数据进行出分时间压缩处理，得到压缩后的数据；对所述压缩后的数据进行如下步骤的集成学习；所述的集成学习包括自适应步骤，基于数据类型对数据的处理进行自动模型选择或自适应参数设置；其中，确定数据是语音和文本数据，则选择自动模型；确定数据是图像、视频和/或表格数据，则使用自适应参数设置。本发明专利技术采用自适应策略，选择最优模型或参数，从而提高结果。

【技术实现步骤摘要】
一种自动化深度学习方法、装置及存储介质
本申请涉及深度学习和机器学习领域，具体而言，涉及一种自动化深度学习方法。
技术介绍
NeurIPS，全称神经信息处理系统大会(ConferenceandWorkshoponNeuralInformationProcessingSystems)，是全球最受瞩目的AI、机器学习顶级学术会议之一。历来，NeurIPS竞赛单元都被誉为AI界的华山论剑，汇聚了全球AI顶尖力量决战技术之巅。深度学习DeepLearning近年来飞速发展，在多个领域中获得了显著效果提升，但是深度学习技术实现仍然需要大量的专家经验和人工成本，因此自动深度学习系统AutoDL受到了学术及工业界的广泛关注，AutoDL对快速推动落地应用和理论发展都具有重大意义。此次AutoDLChallenge竞赛堪称史上最难，旨在让参赛选手设计开发出能解决包括图像、视频、语音、文本和结构化表格数据等多模态、多领域的全自动多标签分类系统。挑战赛分为两个阶段，包括Feedback反馈阶段、Final最终阶段。在反馈阶段，参赛选手基于24个训练数据集，本文档来自技高网...

【技术保护点】
1.一种自动化深度学习方法，其特征在于，获取数据并对数据类型分析并处理，包括：/n对所述数据进行出分时间压缩处理，得到压缩后的数据；/n对所述压缩后的数据进行如下步骤的集成学习；/n所述的集成学习包括自适应步骤，基于数据类型对数据的处理进行自动模型选择或自适应参数设置；其中，确定数据是语音和文本数据，则选择自动模型；确定数据是图像、视频和/或表格数据，则使用自适应参数设置。/n

【技术特征摘要】
1.一种自动化深度学习方法，其特征在于，获取数据并对数据类型分析并处理，包括：
对所述数据进行出分时间压缩处理，得到压缩后的数据；
对所述压缩后的数据进行如下步骤的集成学习；
所述的集成学习包括自适应步骤，基于数据类型对数据的处理进行自动模型选择或自适应参数设置；其中，确定数据是语音和文本数据，则选择自动模型；确定数据是图像、视频和/或表格数据，则使用自适应参数设置。


2.根据权利要求1所述的自动化深度学习方法，其特征在于，所述的图像和视频数据采用深度学习方法依次进行数据处理、深度学习模型训练与测试、结果融合得到处理后的图像和视频数据，其中，在所述模型训练与测试部分根据所述的模型训练后的验证集上结果进行早停然后测试。


3.根据权利要求1所述的自动化深度学习方法，其特征在于，所述的语音和文本数据则采用机器学习和深度学习结合的方法，所述的语音数据处理，包括数据处理步骤和模型处理步骤；文本数据处理采用AutoNLP框架得到处理后的文本数据，包括数据预处理、训练和验证数据生成；表格数据处理采用机器学习方法；模型处理包括模型选择、模型训练，模型预测和结果融合，得到处理后的表格数据。


4.根据权利要求3所述的自动化深度学习方法，其特征在于，所述的文本数据，采用AutoNLP框架，对所述文本数据处理包括自动清洗与序列化、自动特征工程、自动超参调优、自动模型融合以及自动模型选择。


5.根据权利要求2所述的自动化深度学习方法，其特征在于：所述的图像和视频数据根据需求采取对应的深度学习算法采用自适应参数训练得到深度学习模型，深度学习模型包括目标检测深度学习模型、实例分割深度学习模型；所述自适应参数包括输入图像大小、每个epoch的步长，以及开始验证和融合结果的epoch数。


6.根据权利要求1所述的自动化深度学习方法，其特征在于：所述的集成学习即对结果进行融合，融合方法包括对多个预测结果进行平均。


7.根据权利要求6所述的自动化深度学习方法，其特征在于：所述的融合方法，设定最新融合的结果个数，对其进行融合。


8.根据权利要求1所述的自动化深度学习方法，其特征在于：所述的图像和视频数据，采用小规模FastAutoAugment对当前图像数据集搜索最合适的数据增强；用O表示操作，x表示输入的图像数据，有：



其中p为概率，λ是增幅。


9.根据权利要...

【专利技术属性】
技术研发人员：陈海波，罗志鹏，牛康宁，李阁，张治广，王锦，潘春光，
申请(专利权)人：深延科技北京有限公司，
类型：发明
国别省市：北京;11