图像处理方法、图像处理装置以及非瞬时性存储介质制造方法及图纸

一种图像处理方法、图像处理装置以及非瞬时性存储介质。该图像处理方法包括：获取输入图像，其中，输入图像包括印刷体文本和手写体文本；基于输入图像，得到分辨率从高到低排列的N组初始特征图像，其中，N为整数且N≥2；基于N组初始特征图像，得到输出特征图像；基于输出特征图像，进行双类别文本检测处理，以得到印刷体文本检测掩码图像和手写体文本检测掩码图像；以及基于印刷体文本检测掩码图像和手写体文本检测掩码图像，得到第一输出图像，其中，与输入图像相比，第一输出图像为擦除了至少部分手写体文本的图像。基于N组初始特征图像的特征金字塔，结合卷积、上采样、通道自注意力机制的卷积和加权通道融合等操作，得到输出特征图像。图像。图像。

【技术实现步骤摘要】
图像处理方法、图像处理装置以及非瞬时性存储介质


[0001]本公开的实施例涉及一种图像处理方法、图像处理装置以及非瞬时性存储介质。

技术介绍

[0002]在教育场景中，书籍、试卷和练习册等常见的教学素材往往需要被重复多次使用。在书籍转录、试卷转录、易错题收集等常见的教学任务中都需要对手写笔迹进行擦除，并对其进行图像还原，以便数据归档与多次练习。

技术实现思路

[0003]本公开至少一些实施例提供一种图像处理方法，包括：获取输入图像，其中，所述输入图像包括印刷体文本和手写体文本；基于输入图像，得到分辨率从高到低排列的N组初始特征图像，其中，N为正整数且N≥2；基于所述N组初始特征图像，得到输出特征图像；基于所述输出特征图像，进行双类别文本检测处理，以得到印刷体文本检测掩码图像和手写体文本检测掩码图像；以及，基于所述印刷体文本检测掩码图像和所述手写体文本检测掩码图像，得到第一输出图像，其中，与所述输入图像相比，所述第一输出图像为擦除了至少部分所述手写体文本的图像；其中，基于所述N组初始特征图像，得到所述输出特征图像，包括：对第i+1组初始特征图像进行上采样处理，以得到与第i组初始特征图像具有相同分辨率的第i组上采样特征图像，并将所述第i组初始特征图像与所述第i组上采样特征图像进行通道拼接处理与卷积处理，以得到第i组中间特征图像，其中，i＝1,2,
…
,N
‑
1；对第N组初始特征图像进行卷积处理，以得到第N组中间特征图像；对所述第N组初始特征图像进行通道自注意力机制的卷积处理，以得到第N+1组中间特征图像；对第1组中间特征图像进行卷积处理，以得到第1组过渡特征图像，对第j组中间特征图像进行卷积处理和上采样处理，以得到第j组过渡特征图像，其中，j＝2,3,
…
,N+1，N+1组过渡特征图像的分辨率和通道数量均相同；以及，对所述N+1组过渡特征图像进行加权通道融合处理，以得到所述输出特征图像。
[0004]例如，在本公开的一些实施例提供的图像处理方法中，对所述N+1组过渡特征图像进行所述加权通道融合处理，以得到所述输出特征图像，包括：基于注意力层对所述N+1组过渡特征图像进行逐像素逐通道的加权求和操作，以得到所述输出特征图像，其中，所述注意力层包括N+1个节点，所述N+1个节点分别用于指示所述N+1组过渡特征图像进行所述加权求和操作时的权重。
[0005]例如，在本公开的一些实施例提供的图像处理方法中，N≤4。
[0006]例如，在本公开的一些实施例提供的图像处理方法中，N＝3。
[0007]例如，在本公开的一些实施例提供的图像处理方法中，所述第i组初始特征图像的分辨率为第i+1组初始特征图像的分辨率的2倍，其中，i＝1,2,
…
,N
‑
1。
[0008]例如，在本公开的一些实施例提供的图像处理方法中，基于所述输入图像，得到分辨率从高到低排列的所述N组初始特征图像，包括：对所述输入图像连续进行M次分析处理，
以得到分辨率从高到低排列的M组初始特征图像，其中，M为正整数且M≥N；以及，从所述M组初始特征图像中选取所述N组初始特征图像。
[0009]例如，在本公开的一些实施例提供的图像处理方法中，所述印刷体文本检测掩码图像、所述手写体文本检测掩码图像、所述第一输出图像和所述输入图像具有相同分辨率。
[0010]例如，在本公开的一些实施例提供的图像处理方法中，基于所述印刷体文本检测掩码图像和所述手写体文本检测掩码图像，得到所述第一输出图像，包括：对所述印刷体文本检测掩码图像和所述手写体文本检测掩码图像分别进行第一二值化处理，以对应得到印刷体文本二值化图像和手写体文本二值化图像；计算所述印刷体文本二值化图像和所述手写体文本二值化图像的差集，以得到第一掩码图像；对所述第一掩码图像进行第二二值化处理，以得到待擦除区域掩码图像；以及，对所述输入图像与所述待擦除区域掩码图像进行逐像素的相乘操作，以得到所述第一输出图像。
[0011]例如，在本公开的一些实施例提供的图像处理方法中，所述第一二值化处理包括：分析所述第一二值化处理的输入的像素值分布，以确定第一阈值；以及，根据所述第一二值化处理的输入的各个像素值与所述第一阈值的大小关系，对应确定所述第一二值化处理的输出的各个像素值；其中，在所述第一二值化处理的输入为所述印刷体文本检测掩码图像的情况下，所述第一二值化处理的输出为所述印刷体文本二值化图像；在所述第一二值化处理的输入为所述手写体文本检测掩码图像的情况下，所述第一二值化处理的输出为所述手写体文本二值化图像。
[0012]例如，在本公开的一些实施例提供的图像处理方法中，所述第二二值化处理包括：响应于所述第一掩码图像的任一像素值不小于0，将所述待擦除区域掩码图像的对应像素值设置为1；以及，响应于所述第一掩码图像的任一像素值小于0，将所述待擦除区域掩码图像的对应像素值设置为0。
[0013]例如，本公开的一些实施例提供的图像处理方法，还包括：对所述第一输出图像进行仿真背景替换处理，以得到第二输出图像。
[0014]例如，在本公开的一些实施例提供的图像处理方法中，对所述第一输出图像进行所述仿真背景替换处理，以得到所述第二输出图像，包括：对所述输入图像进行模糊处理，以得到仿真背景图像；对所述待擦除区域掩码图像进行反向二值化处理，以得到第二掩码图像；对所述仿真背景图像与所述第二掩码图像进行逐像素的相乘操作，以得到背景模板图像；以及，对所述第一输出图像与所述背景模板图像进行逐像素的相加操作，以得到所述第二输出图像。
[0015]例如，在本公开的一些实施例提供的图像处理方法中，对所述输入图像进行所述模糊处理，以得到所述仿真背景图像，包括：采用高斯模糊算法对所述输入图像进行所述模糊处理，以得到所述仿真背景图像，所述高斯模糊算法的模糊半径设置为min(w,h,R)，其中，w和h分别表示所述输入图像的宽度和高度，R为预设值，w、h、R均为正整数，且R≥100。
[0016]例如，本公开的一些实施例提供的图像处理方法，还包括：对所述第二输出图像进行自适应光影消除处理，以得到第三输出图像。
[0017]例如，在本公开的一些实施例提供的图像处理方法中，对所述第二输出图像进行所述自适应光影消除处理，以得到所述第三输出图像，包括：对所述第二输出图像进行自适应阈值二值化处理，以得到第三掩码图像；对所述第三掩码图像进行平滑处理，以得到中间
输出图像；以及，对所述中间输出图像进行图像膨胀处理，以得到所述第三输出图像。
[0018]例如，在本公开的一些实施例提供的图像处理方法中，对所述第二输出图像进行所述自适应阈值二值化处理，以得到所述第三掩码图像，包括：响应于所述第二输出图像中的任一像素值不小于其邻域块的像素值的加权和，将所述第三掩码图像的对应像素值设置为1；以及，响应于所述第二输出图像中的任一像素值小于其邻域块的像素值的加权和，将所述第三掩码图像的对应像素值设置为0。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，包括：获取输入图像，其中，所述输入图像包括印刷体文本和手写体文本；基于输入图像，得到分辨率从高到低排列的N组初始特征图像，其中，N为正整数且N≥2；基于所述N组初始特征图像，得到输出特征图像；基于所述输出特征图像，进行双类别文本检测处理，以得到印刷体文本检测掩码图像和手写体文本检测掩码图像；以及基于所述印刷体文本检测掩码图像和所述手写体文本检测掩码图像，得到第一输出图像，其中，与所述输入图像相比，所述第一输出图像为擦除了至少部分所述手写体文本的图像；其中，基于所述N组初始特征图像，得到所述输出特征图像，包括：对第i+1组初始特征图像进行上采样处理，以得到与第i组初始特征图像具有相同分辨率的第i组上采样特征图像，并将所述第i组初始特征图像与所述第i组上采样特征图像进行通道拼接处理与卷积处理，以得到第i组中间特征图像，其中，i＝1,2,
…
,N
‑
1；对第N组初始特征图像进行卷积处理，以得到第N组中间特征图像；对所述第N组初始特征图像进行通道自注意力机制的卷积处理，以得到第N+1组中间特征图像；对第1组中间特征图像进行卷积处理，以得到第1组过渡特征图像，对第j组中间特征图像进行卷积处理和上采样处理，以得到第j组过渡特征图像，其中，j＝2,3,
…
,N+1，N+1组过渡特征图像的分辨率和通道数量均相同；以及对所述N+1组过渡特征图像进行加权通道融合处理，以得到所述输出特征图像。2.根据权利要求1所述的图像处理方法，其中，对所述N+1组过渡特征图像进行所述加权通道融合处理，以得到所述输出特征图像，包括：基于注意力层对所述N+1组过渡特征图像进行逐像素逐通道的加权求和操作，以得到所述输出特征图像，其中，所述注意力层包括N+1个节点，所述N+1个节点分别用于指示所述N+1组过渡特征图像进行所述加权求和操作时的权重。3.根据权利要求1或2所述的图像处理方法，其中，N≤4。4.根据权利要求3所述的图像处理方法，其中，N＝3。5.根据权利要求1或2所述的图像处理方法，其中，所述第i组初始特征图像的分辨率为第i+1组初始特征图像的分辨率的2倍，其中，i＝1,2,
…
,N
‑
1。6.根据权利要求1或2所述的图像处理方法，其中，基于所述输入图像，得到分辨率从高到低排列的所述N组初始特征图像，包括：对所述输入图像连续进行M次分析处理，以得到分辨率从高到低排列的M组初始特征图像，其中，M为正整数且M≥N；以及从所述M组初始特征图像中选取所述N组初始特征图像。7.根据权利要求1或2所述的图像处理方法，其中，所述印刷体文本检测掩码图像、所述手写体文本检测掩码图像、所述第一输出图像和所述输入图像具有相同分辨率。8.根据权利要求1或2所述的图像处理方法，其中，基于所述印刷体文本检测掩码图像
和所述手写体文本检测掩码图像，得到所述第一输出图像，包括：对所述印刷体文本检测掩码图像和所述手写体文本检测掩码图像分别进行第一二值化处理，以对应得到印刷体文本二值化图像和手写体文本二值化图像；计算所述印刷体文本二值化图像和所述手写体文本二值化图像的差集，以得到第一掩码图像；对所述第一掩码图像进行第二二值化处理，以得到待擦除区域掩码图像；以及对所述输入图像与所述待擦除区域掩码图像进行逐像素的相乘操作，以得到所述第一输出图像。9.根据权利...

【专利技术属性】
技术研发人员：王彦君，
申请(专利权)人：新东方教育科技集团有限公司，
类型：发明
国别省市：