【技术实现步骤摘要】
一种模型训练的方法、业务执行的方法及装置
[0001]本说明书涉及计算机
,尤其涉及一种模型训练的方法、业务执行的方法及装置。
技术介绍
[0002]随着科技的发展,由于图像中的文本通常包含着比较丰富的信息,在业务执行、隐私数据保护方面起到极大的作用。例如,在交易业务中,通常需要用户上传发票图像,从而基于业务发票信息对上传的发票图像中的文本进行核对。
[0003]目前,如何提高核对图像中的文本的效率,则是一个亟待解决的问题。
技术实现思路
[0004]本说明书提供一种模型训练的方法、装置、存储介质及电子设备,以提高核对图像中的文本的效率。
[0005]本说明书采用下述技术方案:
[0006]本说明书提供了一种模型训练的方法,包括:
[0007]获取样本图像以及第一样本文字信息,其中,所述样本图像中包含的文字信息与所述第一样本文字信息相匹配;
[0008]将所述样本图像和所述第一样本文字信息输入到待训练的匹配模型中,以通过所述匹配模型中的图像特征提取层,从所述样本图 ...
【技术保护点】
【技术特征摘要】
1.一种模型训练的方法,包括:获取样本图像以及第一样本文字信息,其中,所述样本图像中包含的文字信息与所述第一样本文字信息相匹配;将所述样本图像和所述第一样本文字信息输入到待训练的匹配模型中,以通过所述匹配模型中的图像特征提取层,从所述样本图像中提取图像特征,以及,通过所述匹配模型中的文字特征提取层,从所述第一样本文字信息中提取文字特征;将所述图像特征与所述文字特征输入到所述匹配模型中的匹配层中,以确定出所述图像特征与所述文字特征之间的匹配度;以最大化所述匹配度为优化目标,对所述匹配模型进行训练。2.如权利要求1所述的方法,在对所述匹配模型进行训练之前,所述方法还包括:从样本图像中确定文字区域,并对所述文字区域内的图像进行特征提取;对所述文字区域内的图像进行遮盖,得到遮盖后图像,其中,所述文字区域内包含的每个文字的文字图像不会被完全遮盖;根据从所述遮盖后图像中提取出的图像特征,对所述遮盖后图像进行还原,得到还原后图像,并对所述还原后图像进行特征提取;确定从所述文字区域内的图像中提取出的图像特征与从所述还原后图像中提取出的图像特征之间的偏差;对所述匹配模型进行训练,具体包括:以最大化所述匹配度为优化目标,以及最小化所述偏差为优化目标,对所述匹配模型进行训练。3.如权利要求2所述的方法,对所述文字区域内的图像进行遮盖,得到遮盖后图像,具体包括:确定预设尺寸的滑动窗口在所述文字区域内滑动时所覆盖的各子区域;从所述各子区域中确定出需要遮盖的子区域,作为目标子区域;将所述目标子区域进行遮盖,得到所述遮盖后图像。4.如权利要求2所述的方法,确定从所述文字区域内的图像中提取出的图像特征与从所述还原后图像中提取出的图像特征之间的偏差,具体包括:根据所述文字区域内包含的文字图像在各投影方向上的投影,确定从所述文字区域内的图像中提取出的图像特征在不同投影方向上的特征分量,以及,根据所述还原后图像中包含的文字图像在各投影方向上的投影,确定从所述还原后图像中提取出的图像特征在不同投影方向上的特征分量;针对每个投影方向,确定从所述文字区域内的图像中提取出的图像特征在该投影方向上的特征分量与从所述还原后图像中提取出的图像特征在该投影方向上的特征分量之间的偏差,作为该投影方向上的偏差;根据各投影方向上的偏差,确定从所述文字区域内的图像中提取出的图像特征与从所述还原后图像中提取出的图像特征之间的偏差。5.如权利要求1所述的方法,在对所述匹配模型进行训练之前,所述方法还包括:获取第二样本文字信息,所述第二样本文字信息与所述第一样本文字信息不同;将所述第二样本文字信息输入到所述匹配模型中,以通过所述匹配模型中的文字特征
提取层,从所述第二样本文字信息中提取文字特征;将所述图像特征、所述第一样本文字信息对应的文字特征以及所述第二样本文字信息对应的文字特征输入到所述匹配模型中的匹配层中,以确定出所述图像特征与所述第一样本文字信息对应的文字特征之间的匹配度,以及所述图...
【专利技术属性】
技术研发人员:唐溶,谭潇,
申请(专利权)人:支付宝杭州信息技术有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。