一种基于对抗学习的模型训练、图片输出方法及装置制造方法及图纸

公开了一种基于对抗学习的模型训练、图片输出方法及装置。基于对抗学习的思想，训练图片修改模型，使得经过图片修改模型修改后的图片既和原图片足够相似（如此，修改后的图片尽可能少的修饰原图片的信息，尤其是原图片包含的文字内容），又可以使得OCR模型无法从修改后的图片中提取出的文字内容与原始图片中的文字内容差别较大。如此，对于经过图片修改模型修改后的图片，一方面不会影响图片的正常使用，另一方面又对OCR模型文字识别的结果造成很大的干扰，保护图片中的文字内容隐私。

【技术实现步骤摘要】
一种基于对抗学习的模型训练、图片输出方法及装置
本说明书实施例涉及信息
，尤其涉及一种基于对抗学习的模型训练、图片输出方法及装置。
技术介绍
文字是信息的载体，而有些敏感的文字内容常常会出现在图片中。例如，用户的证件照片中包含有用户的隐私信息，用户在生活中拍摄的照片可能包含门牌号、车牌号等隐私信息，用户打开自己的网银账户界面进行截图时，截图中也会包含用户的账号、余额等隐私信息。现实中存在一些黑色产业，他们会批量盗取大量包含有文字内容的图片，再使用光学字符识别（OpticalCharacterRecognition，OCR）技术从这些盗取的图片中提取文字内容，将获得的敏感的文字内容投入到非法用途。基于此，如何防止利用OCR技术从包含文字内容的图片中提取文字内容，是丞待解决的技术问题。
技术实现思路
为了防止利用OCR技术从包含文字内容的图片中提取文字内容，本说明书实施例提供一种基于对抗学习的模型训练、图片输出方法及装置，技术方案如下：根据本说明书实施例的第1方面，提供一种基于对抗学习的模型训练方法本文档来自技高网...

【技术保护点】
1.一种基于对抗学习的模型训练方法，用于根据多个包含文字内容的图片样本训练图片修改模型，所述方法包括：/n迭代执行以下步骤，直至满足训练停止条件：/n选择一个图片样本，作为当前图片样本；/n确定所述当前目标图片样本的特征矩阵，作为第一特征矩阵，并将所述第一特征矩阵输入到所述图片修改模型，使得所述图片修改模型输出修改后的特征矩阵，作为第二特征矩阵；/n确定所述第二特征矩阵与所述第一特征矩阵的相似度；/n将所述第二特征矩阵分别输入到N个光学字符识别OCR模型，使得所述N个OCR模型分别输出N个文字识别结果，并确定每个文字识别结果与所述当前图片样本包含的文字内容的相似度；/n以减小所述图片修改模型的...

【技术特征摘要】
1.一种基于对抗学习的模型训练方法，用于根据多个包含文字内容的图片样本训练图片修改模型，所述方法包括：
迭代执行以下步骤，直至满足训练停止条件：
选择一个图片样本，作为当前图片样本；
确定所述当前目标图片样本的特征矩阵，作为第一特征矩阵，并将所述第一特征矩阵输入到所述图片修改模型，使得所述图片修改模型输出修改后的特征矩阵，作为第二特征矩阵；
确定所述第二特征矩阵与所述第一特征矩阵的相似度；
将所述第二特征矩阵分别输入到N个光学字符识别OCR模型，使得所述N个OCR模型分别输出N个文字识别结果，并确定每个文字识别结果与所述当前图片样本包含的文字内容的相似度；
以减小所述图片修改模型的损失为目标，调整所述图片修改模型；
其中，所述第二特征矩阵与所述第一特征矩阵越相似，所述图片修改模型的损失越小；任一文字识别结果与所述当前图片样本包含的文字内容越相似，所述图片修改模型的损失越大。


2.如权利要求1所述的方法，确定所述第二特征矩阵与所述第一特征矩阵的相似度，具体包括：
计算所述第二特征矩阵与所述第一特征矩阵中每个相同位置的元素值的差，并根据每个相同位置的元素值的差，确定所述第二特征矩阵与所述第一特征矩阵的相似度。


3.如权利要求1所述的方法，确定每个文字识别结果与所述当前图片样本包含的文字内容的相似度，具体包括：
针对每个文字识别结果，计算该文字识别结果与所述当前图片样本包含的文字内容的编辑距离，作为该文字识别结果与所述当前图片样本包含的文字内容的相似度。


4.如权利要求1所述的方法，所述方法还包括：
在一次迭代中，将所述第二特征矩阵输入到图片还原模型，使得所述图片还原模型输出还原后的特征矩阵，作为第三特征矩阵；
确定所述第三特征矩阵与所述第一特征矩阵的相似度；
其中，所述第三特征矩阵与所述第一特征矩阵越相似，所述图片修改模型的损失越大。


5.如权利要求4所述的方法，所述方法还包括：
在一次迭代中，以减小所述图片还原模型的损失为目标，调整所述图片还原模型；
其中，所述第三特征矩阵与所述第一特征矩阵越相似，所述图片还原模型的损失越小。


6.如权利要求1所述的方法，所述方法还包括：
在一次迭代中，针对每个OCR模型，以减小该OCR模型的损失为目标，调整该OCR模型；
其中，该OCR模型输出的文字识别结果与所述当前图片样本包含的文字内容越相似，所述OCR模型的损失越小。


7.一种基于权利要求1~6任一项的图片修改模型的图片输出方法，包括：
获取将待输出图片，并确定所述待输出图片的特征矩阵；
将所述待输出图片的特征矩阵输入到图片修改模型，得到修改后的特征矩阵；
输出修改后的特征矩阵对应的图片。


8.一种模型更新方法，用于更新权利要求1~6任一项的图片修改模型，所述方法包括：
获取包含文字内容的补充图片样本，并确定所述补充图片样本的特征矩阵；
将所述补充图片样本的特征矩阵分别输入到所述N个OCR模型，使得所述N个OCR模型分别输出N个文字识别结果，并确定每个文字识别结果与所述补充图片样本包含的文字内容的相似度；
若任一OCR模型输出的文字识别结果与所述补充图片样本包含的文字内容的相似度小于指定相似度，则使用所述补充图片样本更新所述图片修改模型。


9.一种基于对抗学习的模型训练装置...

【专利技术属性】
技术研发人员：刘杰，石磊磊，熊涛，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：浙江;33