基于移动端的场景文字检测模型轻量化方法、电子设备及存储介质技术

本发明专利技术公开了基于移动端的场景文字检测模型轻量化方法、电子设备及存储介质，方法包括以下步骤：采用场景文字检测模型DB作为基准模型；对DB模型的主干网络、特征融合模块以及预测模块进行轻量化；倒残差模块通道剪枝，通过通道剪枝减小DB模型的计算量以及参数量，利用剪枝通道掩码层取交集方法使倒残差模块短连接两端通道数相匹配，提高通道剪枝的加速压缩比例；量化层回退，通过8比特定点量化减小剪枝后模型的计算量以及参数量，采用基于贪心策略的回退方法提升模型精度。本发明专利技术通过对文字检测模型的主干网络、特征融合模块和预测模块进行轻量化设计，解决现有方法计算量与存储量过大问题，使得场景文字模型能够部署到移动端设备上。

【技术实现步骤摘要】
基于移动端的场景文字检测模型轻量化方法、电子设备及存储介质
本专利技术属于模式识别与人工智能
，具体涉及基于移动端的场景文字检测模型轻量化方法、电子设备及存储介质。
技术介绍
自然场景中的文字为人类理解外部世界提供了重要的信息资源，近年来人工智能技术不断发展，如何使机器学会阅读文字以及理解文字成为了学术界和工业界关心的热点课题。自然场景文字的数字化流程，通常包含了文本检测与识别两个步骤，其中文本检测作为场景文字数字化系统的第一步，对整个系统的性能具有重要的影响。当下，随着大数据的发展以及GPU等硬件技术的提升，基于深度学习的场景文字检测算法层出不穷，相比于传统的图像处理方法在性能上有一定程度的提升。但是，基于深度学习的方法通常需要占用大量的计算资源和存储空间，这一定程度上限制了基于深度学习的场景文字检测方法在各种移动端以及边缘设备上的应用。虽然一些场景文字检测方法如EAST、PAN、DB等针对上述问题提出了速度与精度相妥协的解决方法，但是这些方法都是针对GPU服务器端的改进，所提出的方法并不能直接应用于移动端。而移动端设备本文档来自技高网...

【技术保护点】
1.基于移动端的场景文字检测模型轻量化方法，其特征在于，包括以下步骤：/n选取基准模型，采用场景文字检测模型DB作为基准模型，所述DB检测模型包括主干网络、特征融合模块、预测模块以及差分模块；所述主干网络用于对输入图像进行特征提取处理；所述特征融合模块用于将主干网络不同层次的特征进行融合处理；所述预测模块用于将特征融合模块的输出特征图进行逐像素点的概率化预测，判断像素点是否属于文字区域；/n模型轻量化，分别对DB模型的主干网络、特征融合模块以及预测模块进行轻量化，分别得到轻量化主干网络、轻量化特征融合模块以及轻量化预测模块；/n倒残差模块通道剪枝，通过通道剪枝减小DB模型的计算量以及参数量，利...

【技术特征摘要】
1.基于移动端的场景文字检测模型轻量化方法，其特征在于，包括以下步骤：
选取基准模型，采用场景文字检测模型DB作为基准模型，所述DB检测模型包括主干网络、特征融合模块、预测模块以及差分模块；所述主干网络用于对输入图像进行特征提取处理；所述特征融合模块用于将主干网络不同层次的特征进行融合处理；所述预测模块用于将特征融合模块的输出特征图进行逐像素点的概率化预测，判断像素点是否属于文字区域；
模型轻量化，分别对DB模型的主干网络、特征融合模块以及预测模块进行轻量化，分别得到轻量化主干网络、轻量化特征融合模块以及轻量化预测模块；
倒残差模块通道剪枝，通过通道剪枝减小DB模型的计算量以及参数量，利用剪枝通道掩码层取交集方法使倒残差模块短连接两端通道数相匹配，提高通道剪枝的加速压缩比例；
量化层回退，通过8比特定点量化减小剪枝后模型的计算量以及参数量，采用基于贪心策略的回退方法提升模型精度；经过量化层回退后得到最终的轻量化模型。


2.根据权利要求1所述的基于移动端的场景文字检测模型轻量化方法，其特征在于，所述DB模型的主干网络轻量化具体为：
采用MobileNetV2模型作为主干网络，将MobileNetV2模型中所有3×3的Depth-wise卷积层替换为5×5的Depth-wise卷积层以增大感受野；
通过填充0的方法将3×3的Depth-wise卷积层权重扩充为5×5的Depth-wise卷积层权重。


3.根据权利要求1所述的基于移动端的场景文字检测模型轻量化方法，其特征在于，所述DB模型的特征融合模块轻量化具体为：
采用轻量化主干网络输入图像尺寸1/4、1/8、1/16以及1/32的特征图作为轻量化特征融合模块的输入，所有特征图分别通过1x1的卷积层将特征图通道降维至同样的维度；
将所述尺寸为输入图像1/8、1/16以及1/32的特征图分别经过一个卷积层以及上采样层，并输出4个尺寸为...

【专利技术属性】
技术研发人员：谢灿宇，金连文，梁凯焕，林上港，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44