一种去除图像中的手指的方法及装置制造方法及图纸

本发明专利技术公开了一种去除图像中的手指的方法。步骤S1：采用一种用于图像分割的第一神经网络从输入图像中获取手指区域；如果第一神经网络从输入图片中获取到手指区域，继续步骤S2；否则退出整个方法。步骤S2：采用一种用于图像和谐化的第二神经网络去除图像中的手指周围阴影。步骤S3：采用一种用于图像修复的第三神经网络将去除手指周围阴影后的图片中的手指区域用去除文字后的背景填充，即去除图片中的手指区域。本发明专利技术能够较好地去除图像中的手指及其周围阴影，从而获得可读性更高更整洁的图像。图像。图像。

【技术实现步骤摘要】
一种去除图像中的手指的方法及装置


[0001]本专利技术涉及一种去除图像中的手指的方法。

技术介绍

[0002]人们在拍摄文档或书籍时，习惯用手去按压或者直接手持拍摄，往往会造成拍摄的图像中存在手指，从而影响人们的阅读，降低文档图像的美观度。对文档图像进行OCR(光学字符识别)处理、格式转换(例如转换为文本)时，图像中的手指还会影响处理效果。因此需要有一种能在图像中去除手指的方法，从而提升文档图像的可读性和美观度。

技术实现思路

[0003]本专利技术所要解决的技术问题是提出一种去除图像(尤其是拍摄文档或书籍的图像)中的手指的方法。用户输入一张带手指的文档或者书籍图片，系统会自动将图片中手指去除，从而获得整洁漂亮的文档或者书籍图片。
[0004]为解决上述技术问题，本专利技术公开了一种去除图像中的手指的方法，包括如下步骤。步骤S1：采用一种用于图像分割的第一神经网络从输入图像中获取手指区域；如果第一神经网络从输入图片中获取到手指区域，继续步骤S2；否则退出整个方法。步骤S2：采用一种用于图像和谐化的第二神经网络去除图像中的手指周围阴影。步骤S3：采用一种用于图像修复的第三神经网络将去除手指周围阴影后的图片中的手指区域用去除文字后的背景填充，即去除图片中的手指区域。
[0005]优选地，所述第一神经网络是DeepLabV3、U
‑
Net、U2‑
Net、PSPNet、SegNet的任意一种。
[0006]进一步地，所述第一神经网络的训练方法如下；(1)制作训练数据；采集或生成多张带有手指的图片，在每张图片中由人工标注出手指区域；(2)训练第一神经网络；将每张带有手指的图片送入第一神经网络，第一神经网络输出该图片中的手指区域，使第一神经网络的输出尽可能与每张图片中已标注的手指区域保持一致。
[0007]优选地，所述步骤S1中，第一神经网络从输入图像中获取手指区域的掩膜；掩膜的大小与第一神经网络的输入图像的大小相同；掩膜中像素值为0表示不是手指区域、像素值不为0表示是手指区域；统计掩膜中像素值不为0的像素的数量N；如果N＞T，则判定为输入图片中存在手指；否则判定为输入图片中不存在手指；T是判断阈值。
[0008]优选地，所述第二神经网络是iDIH
‑
HRNet。
[0009]进一步地，所述第二神经网络的训练方法如下；(1)制作训练数据；采集或生成多组图片；每组图片中的第一张是带有手指的图片，并且手指周围存在阴影区域；每组图片中的第二张是不带手指周围阴影的图片；(2)训练第二神经网络；将每组图片中的第一张送入第二神经网络，第二神经网络输出去除手指周围的阴影区域的图片，使第二神经网络的输出尽可能与每组图片中的第二张保持一致。
[0010]可选地，所述第二神经网络的训练数据中，每组图片中还有第三张，第三张是第一
张图片中的手指周围阴影区域的掩膜；在训练第二神经网络时，还将每组图片中的第三张送入第二神经网络。
[0011]优选地，所述第三神经网络是PEN
‑
Net、DeepFillV2、Shift
‑
Net、EdgeConnect的任意一种。
[0012]进一步地，所述第三神经网络的训练方法如下；(1)制作训练数据；采集或生成多组图片；每组图片中的第一张是带有手指的图片；每组图片中的第二张是不带手指的图片，第一张图片中的手指区域在第二张图片中被去除文字后的背景填充；(2)训练第三神经网络；将每组图片中的第一张送入第三神经网络，第三神经网络输出去除手指区域的图片，使第三神经网络的输出尽可能与每组图片中的第二张保持一致。
[0013]可选地，所述第三神经网络的训练数据中，每组图片中还有第三张，第三张是第一张图片中的手指区域的掩膜；在训练第三神经网络时，还将每组图片中的第三张送入第三神经网络。
[0014]优选地，所述步骤S1和/或步骤S3中，先将输入图像缩小尺寸，再送入第一神经网络或第三神经网络。
[0015]优选地，当所述第三神经网络处理的图片是缩小后的图片时，在步骤S3之后增加步骤S4。步骤S4：将所述第三神经网络输出的去除手指后的图片放大为步骤S1的原始图像大小，然后将原始图片去除手指区域后、与所述第三神经网络输出的去除手指且放大后的图片中的用去除文字后的背景填充的手指区域进行合成，得到原始图像大小的去除手指后的图片。
[0016]优选地，所述步骤S1中，输入图像缩小后，一路经过第一神经网络、第二神经网络、第三神经网络时不再缩放尺寸；所述步骤S3中，从第三神经网络输出后再放大回原始图像大小。
[0017]本专利技术还公开了一种去除图像中的手指的装置，包括手指区域判断获取单元、手指周围阴影去除单元、手指去除单元。所述手指区域判断获取单元用于采用一种用于图像分割的第一神经网络从输入图像中获取手指区域；如果第一神经网络从输入图片中获取到手指区域，则将图片及其手指区域传递给其他单元；否则退出整个流程。所述手指周围阴影去除单元用于采用一种用于图像和谐化的第二神经网络去除图像中的手指周围阴影。所述手指去除单元用于采用一种用于图像修复的第三神经网络将去除手指周围阴影后的图片中的手指区域用去除文字后的背景填充，即去除图片中的手指区域。
[0018]本专利技术取得的技术效果是：能够较好地去除图像中的手指及其周围阴影，从而获得可读性更高更整洁的图像。
附图说明
[0019]图1是本专利技术提出的去除图像中的手指的方法的流程示意图。
[0020]图2是本专利技术提出的去除图像中的手指的装置的结构示意图。
[0021]图中附图标记说明：1为手指区域判断获取单元、2为手指周围阴影去除单元、3为手指去除单元。
具体实施方式
[0022]请参阅图1，本专利技术提出的去除图像中的手指的方法包括如下步骤。
[0023]步骤S1：采用一种用于图像分割(segmentation)的第一神经网络从输入图像中获取手指区域。神经网络(Neural Network，NN)是人工神经网络(Artificial Neural Network，ANN)的简称。所述第一神经网络例如是DeepLabV3、U
‑
Net、U2‑
Net、PSPNet、SegNet等卷积神经网络(convolutional neural network，CNN)的任意一种，优选采用用于图像的语义分割(semantic segmentation)的DeepLabV3。如果第一神经网络从输入图片中获取到手指区域，继续步骤S2。如果第一神经网络从输入图片中未获取到手指区域，退出整个方法。
[0024]所述第一神经网络的训练方法如下。(1)制作训练数据。采集或生成多张带有手指的图片，优选为文档图片、书籍图片等。在每张图片中由人工标注出手指区域。(2)训练第一神经网络。将每张带有手指的图片送入第一神经网络，第一神经网络输出该图片中的手指区域，使第一神经网络的输出尽可能与本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种去除图像中的手指的方法，其特征是，包括如下步骤；步骤S1：采用一种用于图像分割的第一神经网络从输入图像中获取手指区域；如果第一神经网络从输入图片中获取到手指区域，继续步骤S2；否则退出整个方法；步骤S2：采用一种用于图像和谐化的第二神经网络去除图像中的手指周围阴影；步骤S3：采用一种用于图像修复的第三神经网络将去除手指周围阴影后的图片中的手指区域用去除文字后的背景填充，即去除图片中的手指区域。2.根据权利要求1所述的去除图像中的手指的方法，其特征是，所述第一神经网络是DeepLabV3、U
‑
Net、U2‑
Net、PSPNet、SegNet的任意一种。3.根据权利要求1所述的去除图像中的手指的方法，其特征是，所述第一神经网络的训练方法如下；(1)制作训练数据；采集或生成多张带有手指的图片，在每张图片中由人工标注出手指区域；(2)训练第一神经网络；将每张带有手指的图片送入第一神经网络，第一神经网络输出该图片中的手指区域，使第一神经网络的输出尽可能与每张图片中已标注的手指区域保持一致。4.根据权利要求1所述的去除图像中的手指的方法，其特征是，所述步骤S1中，第一神经网络从输入图像中获取手指区域的掩膜；掩膜的大小与第一神经网络的输入图像的大小相同；掩膜中像素值为0表示不是手指区域、像素值不为0表示是手指区域；统计掩膜中像素值不为0的像素的数量N；如果N＞T，则判定为输入图片中存在手指；否则判定为输入图片中不存在手指；T是判断阈值。5.根据权利要求1所述的去除图像中的手指的方法，其特征是，所述第二神经网络是iDIH
‑
HRNet。6.根据权利要求1所述的去除图像中的手指的方法，其特征是，所述第二神经网络的训练方法如下；(1)制作训练数据；采集或生成多组图片；每组图片中的第一张是带有手指的图片，并且手指周围存在阴影区域；每组图片中的第二张是不带手指周围阴影的图片；(2)训练第二神经网络；将每组图片中的第一张送入第二神经网络，第二神经网络输出去除手指周围的阴影区域的图片，使第二神经网络的输出尽可能与每组图片中的第二张保持一致。7.根据权利要求6所述的去除图像中的手指的方法，其特征是，所述第二神经网络的训练数据中，每组图片中还有第三张，第三张是第一张图片中的手指周围阴影区域的掩膜；在训练第二神经网络时，还将每组图片中的第三张送入第二神经网络。8.根据权利要求1所述的去除图像中的手指的方法，其...

【专利技术属性】
技术研发人员：刘鹏伟，郭丰俊，龙腾，牛力，丁凯，张彬，
申请(专利权)人：上海临冠数据科技有限公司上海生腾数据科技有限公司上海盈五蓄数据科技有限公司，
类型：发明
国别省市：