【技术实现步骤摘要】
本申请实施例涉及信息处理技术,涉及但不限于一种检测方法及装置、设备、存储介质。
技术介绍
1、深度学习模型因其足够多的参数量,拟合学习能力很强,因此获得各个领域的青睐。无论分类检测、还是nlp、ocr领域以及推荐系统等方面都在探索希望推进深度学习在对应领域落地并实现很好地效果。但是,深度模型在落地方面确实存在很大的弊端,其参数量巨大,运算需要耗费成本很高,所以对硬件性能要求很高。
2、降低模型参数量即模型轻量化的方法包括剪枝蒸馏。其中剪枝蒸馏是将训练好的复杂模型作为教师模型,将教师模型学习出来的知识作为先验知识,让简单网络作为学生模型去模仿教师模型提取出的知识,而不是直接去学习真实标签,因为教师模型提取出的知识包括预测结果中数据结构间的相似性以及更精确的特征,可以让学生模型更好的学习真实标签所不具有的信息。
3、相关技术中在进行剪枝蒸馏时,学生模型无法学习到教师模型的有价值的信息,从而导致训练速度非常慢,且结果很难达到教师模型的表现。因此,寻求一种训练速度更快,精度更高,以使得训练后的模型能够提高运算精度的学生模
...【技术保护点】
1.一种检测方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,在所述将所述待检测图像输入至检测模型之前,所述方法还包括:
3.根据权利要求2所述的方法,其特征在于,所述基于所述已训练的教师模型,构建所述学生模型,包括:
4.根据权利要求2所述的方法,其特征在于,所述基于所述已训练的教师模型,构建所述学生模型,包括:
5.根据权利要求3或4所述的方法,其特征在于,所述通过所述教师模型,对所述学生模型进行蒸馏学习,得到所述检测模型,包括:
6.根据权利要求5所述的方法,其特征在于,所述根
...【技术特征摘要】
1.一种检测方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,在所述将所述待检测图像输入至检测模型之前,所述方法还包括:
3.根据权利要求2所述的方法,其特征在于,所述基于所述已训练的教师模型,构建所述学生模型,包括:
4.根据权利要求2所述的方法,其特征在于,所述基于所述已训练的教师模型,构建所述学生模型,包括:
5.根据权利要求3或4所述的方法,其特征在于,所述通过所述教师模型,对所述学生模型进行蒸馏学习,得到所述检测模型,包括:
6.根据权利要求5所述的方法,其特征在于,所述根据所述排序后的通道分数和所述学生模型中的目标卷积层中的通道数量,对齐所述教师模型和所述学生模型的通道维度,得到所述学生模型对应的散度损失函数,包括:
7.根...
【专利技术属性】
技术研发人员:请求不公布姓名,
申请(专利权)人:上海先导慧能技术有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。