本发明专利技术公开了一种文档图像中手写内容的编辑方法，包括如下步骤。步骤S1a：采用一种用于图像分割的第一神经网络检测待处理图像，从中提取出待擦除的手写内容；所述第一神经网络用来将待处理图像中的所有像素分为三类：背景像素、印刷像素、手写像素；既被印刷内容所覆盖、也被手写内容所覆盖的像素作为印刷像素；待处理图像中的所有手写像素的集合就是待擦除的手写内容。步骤S2：采用一种用于图像修复的第三神经网络将待处理图像中的待擦除的手写内容运用背景色填充，填充后的待处理图像恢复到未书写的状态。本发明专利技术处理速度快、效率高；擦除效果更自然；在擦除手写内容时能够保留印刷内容完整，在移动手写内容时又能确保所移动的手写内容完整。的手写内容完整。的手写内容完整。
【技术实现步骤摘要】
一种文档图像中手写内容的编辑方法及装置
[0001]本专利技术涉及一种文档图像中的手写内容的擦除、移动方法。
技术介绍
[0002]在办公和教育场景中，存在将文档图像或其中指定区域的手写内容进行擦除、移动的需求。例如将学生填写好的作业的文档图像中的手写内容擦除后，可供其他学生使用。
[0003]申请公布号为CN114332150A、申请公布日为2022年4月12日的中国专利技术专利《手写笔迹擦除方法、装置、设备及可读存储介质》公开了一种文档图像中的手写笔迹擦除方法。该方法对图片先检测再分割，主要缺点是速度慢，并且擦除准确性受检测精度和分割精度双重影响。该方法没有指明手写体、印刷体重叠区域如何如理，如果判断为手写，擦除后印刷体的字迹就会断笔。
[0004]申请公布号为CN114708601A、申请公布日为2022年7月5日的中国专利技术专利《一种基于深度学习的手写字擦除方法》公开了一种文档图像中的手写字擦除方法。该方法没有指明手写字、印刷内容重叠区域如何如理，如果判断为手写，擦除后印刷内容的字迹就会断笔。该方法在制作训练样本时包括填补手写字区域像素，使其与背景融合，这会造成擦除手写字后被擦除字迹的边缘存在不自然的残留痕迹。
技术实现思路
[0005]本专利技术所要解决的技术问题是提出一种对文档图像中的手写内容的编辑方法，包括擦除手写内容、移动手写内容。
[0006]为解决上述技术问题，本专利技术公开了一种文档图像中手写内容的编辑方法，包括如下步骤。步骤S1a：采用一种用于图像分割的第一神经网络检测待处理图像，从中提取出待擦除的手写内容；所述第一神经网络用来将待处理图像中的所有像素分为三类：背景像素、印刷像素、手写像素；既被印刷内容所覆盖、也被手写内容所覆盖的像素作为印刷像素；待处理图像中的所有手写像素的集合就是待擦除的手写内容。步骤S2：采用一种用于图像修复的第三神经网络将待处理图像中的待擦除的手写内容运用背景色填充，填充后的待处理图像恢复到未书写的状态。这是本专利技术的实施例一。
[0007]可选地，将所述步骤S1a替换为步骤S1b。步骤S1b：采用一种用于图像分割的第二神经网络检测待处理图像，从中提取出待擦除的手写内容；所述第二神经网络用来将待处理图像中的所有像素分为四类：背景像素、印刷像素、手写像素、印刷手写重叠像素；待处理图像中的所有手写像素的集合就是待擦除的手写内容。这是本专利技术的实施例二。
[0008]进一步地，在实施例一的步骤S2之后增加了步骤S3a和步骤S4。步骤S3a：采用一种用于图像分割的第四神经网络检测待处理图像，从中提取出待移动的手写内容；所述第四神经网络用来将待处理图像中的所有像素分为三类：背景像素、印刷像素、手写像素；既被印刷内容所覆盖、也被手写内容所覆盖的像素作为手写像素；待处理图像中的所有手写像素的集合就是待移动的手写内容。步骤S4：将待处理图像中的待移动的手写内容作为图片
移动到指定位置，然后采用颜色迁移技术修改移动后的手写内容的像素颜色，使移动后的手写内容的像素颜色与移动目的地区域的像素颜色一致。或者，所述步骤S3a在步骤S4之前的任意时刻进行。这是本专利技术的实施例三。
[0009]进一步地，在实施例二的步骤S2之后增加了步骤S3b和步骤S4。步骤S3b：采用所述第二神经网络检测待处理图像，从中提取出待移动的手写内容；待处理图像中的所有手写像素和所有印刷手写重叠像素的集合就是待移动的手写内容。步骤S4：将待处理图像中的待移动的手写内容作为图片移动到指定位置，然后采用颜色迁移技术修改移动后的手写内容的像素颜色，使移动后的手写内容的像素颜色与移动目的地区域的像素颜色一致。或者，所述步骤S3b在步骤S4之前的任意时刻进行。这是本专利技术的实施例四。
[0010]优选地，所述第一神经网络、第二神经网络、第四神经网络为U2‑
Net、MPRNet、pix2pix的任意一种，所述第三神经网络为LaMa、DeepFillv2、HiFill的任意一种。
[0011]优选地，所述第一神经网络、第二神经网络、第四神经网络在训练时结合边界检测约束手段，即将神经网络的预测结果和标注送入sobel滤波器，使神经网络的预测结果得到的手写内容的纹理边缘与标注的手写内容的纹理边缘趋于一致。
[0012]可选地，所述步骤S2替换为：采用一种图像修复技术对待处理图像中的待擦除的手写内容运用背景色填充，填充后的待处理图像恢复到未书写的状态。
[0013]可选地，所述待处理图像是输入图像、或者是输入图像中的由用户指定的待处理区域、或者是输入图像中的文档区域称为文档图像、或者是文档图像中的由用户指定的待处理区域。
[0014]本专利技术还公开了一种文档图像中手写内容的编辑装置，包括擦除内容提取单元一和擦除单元。所述擦除内容提取单元一用于采用一种用于图像分割的第一神经网络检测待处理图像，从中提取出待擦除的手写内容；所述第一神经网络用来将待处理图像中的所有像素分为三类：背景像素、印刷像素、手写像素；既被印刷内容所覆盖、也被手写内容所覆盖的像素作为印刷像素；待处理图像中的所有手写像素的集合就是待擦除的手写内容。所述擦除单元用于采用一种用于图像修复的第三神经网络将待处理图像中的待擦除的手写内容运用背景色填充，填充后的待处理图像恢复到未书写的状态。这是本专利技术的实施例一。
[0015]可选地，将所述擦除内容提取单元一替换为擦除内容提取单元二。所述擦除内容提取单元二用于采用一种用于图像分割的第二神经网络检测待处理图像，从中提取出待擦除的手写内容；所述第二神经网络用来将待处理图像中的所有像素分为四类：背景像素、印刷像素、手写像素、印刷手写重叠像素；待处理图像中的所有手写像素的集合就是待擦除的手写内容。这是本专利技术的实施例二。
[0016]进一步地，在实施例一的基础上还包括移动内容提取单元一和移动单元。所述移动内容提取单元一用于采用一种用于图像分割的第四神经网络检测待处理图像，从中提取出待移动的手写内容；所述第四神经网络用来将待处理图像中的所有像素分为三类：背景像素、印刷像素、手写像素；既被印刷内容所覆盖、也被手写内容所覆盖的像素作为手写像素；待处理图像中的所有手写像素的集合就是待移动的手写内容。所述移动单元用于将待处理图像中的待移动的手写内容作为图片移动到指定位置，然后采用颜色迁移技术修改移动后的手写内容的像素颜色，使移动后的手写内容的像素颜色与移动目的地区域的像素颜色一致。或者，所述移动内容提取单元一在移动单元之前的任意位置。这是本专利技术的实施例
三。
[0017]进一步地，在实施例二的基础上还包括移动内容提取单元二和移动单元。所述移动内容提取单元二用于采用所述第二神经网络检测待处理图像，从中提取出待移动的手写内容；待处理图像中的所有手写像素和所有印刷手写重叠像素的集合就是待移动的手写内容。所述移动单元用于将待处理图像中的待移动的手写内容作为图片移动到指定位置，然后采用颜色迁移技术修改移动后的手写内容的像素颜色，使移动后的手写内容的像素颜色与移动目的地区域的像本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种文档图像中手写内容的编辑方法，其特征是，包括如下步骤；步骤S1a：采用一种用于图像分割的第一神经网络检测待处理图像，从中提取出待擦除的手写内容；所述第一神经网络用来将待处理图像中的所有像素分为三类：背景像素、印刷像素、手写像素；既被印刷内容所覆盖、也被手写内容所覆盖的像素作为印刷像素；待处理图像中的所有手写像素的集合就是待擦除的手写内容；步骤S2：采用一种用于图像修复的第三神经网络将待处理图像中的待擦除的手写内容运用背景色填充，填充后的待处理图像恢复到未书写的状态。2.根据权利要求1所述的文档图像中手写内容的编辑方法，其特征是，将所述步骤S1a替换为步骤S1b；步骤S1b：采用一种用于图像分割的第二神经网络检测待处理图像，从中提取出待擦除的手写内容；所述第二神经网络用来将待处理图像中的所有像素分为四类：背景像素、印刷像素、手写像素、印刷手写重叠像素；待处理图像中的所有手写像素的集合就是待擦除的手写内容。3.根据权利要求1所述的文档图像中手写内容的编辑方法，其特征是，在步骤S2之后增加了步骤S3a和步骤S4；步骤S3a：采用一种用于图像分割的第四神经网络检测待处理图像，从中提取出待移动的手写内容；所述第四神经网络用来将待处理图像中的所有像素分为三类：背景像素、印刷像素、手写像素；既被印刷内容所覆盖、也被手写内容所覆盖的像素作为手写像素；待处理图像中的所有手写像素的集合就是待移动的手写内容；步骤S4：将待处理图像中的待移动的手写内容作为图片移动到指定位置，然后采用颜色迁移技术修改移动后的手写内容的像素颜色，使移动后的手写内容的像素颜色与移动目的地区域的像素颜色一致；或者，所述步骤S3a在步骤S4之前的任意时刻进行。4.根据权利要求2所述的文档图像中手写内容的编辑方法，其特征是，在步骤S2之后增加了步骤S3b和步骤S4；步骤S3b：采用所述第二神经网络检测待处理图像，从中提取出待移动的手写内容；待处理图像中的所有手写像素和所有印刷手写重叠像素的集合就是待移动的手写内容；步骤S4：将待处理图像中的待移动的手写内容作为图片移动到指定位置，然后采用颜色迁移技术修改移动后的手写内容的像素颜色，使移动后的手写内容的像素颜色与移动目的地区域的像素颜色一致；或者，所述步骤S3b在步骤S4之前的任意时刻进行。5.根据权利要求1至4中任一项所述的文档图像中手写内容的编辑方法，其特征是，所述第一神经网络、第二神经网络、第四神经网络为U2‑
Net、MPRNet、pix2pix的任意一种，所述第三神经网络为LaMa、DeepFillv2、HiFill的任意一种。6.根据权利要求1至4中任一项所述的文档图像中手写内容的编辑方法，其特征是，所述第一神经网络、第二神经网络、第四神经网络在训练时结合边界检测约束手段，即将神经网络的预测结果和标注送入sobel滤波器，使神经网络的预测结果得到的手写内容的纹理边缘与标注的手写内容的纹理边缘趋于一致。7.根据权利...
【专利技术属性】
技术研发人员：陆大公，郭丰俊，龙伟，龙腾，丁凯，曹超阳，郭辉辉，
申请(专利权)人：上海临冠数据科技有限公司上海生腾数据科技有限公司上海盈五蓄数据科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。