【技术实现步骤摘要】
本说明书涉及人工智能，尤其涉及一种文本标签生成方法、装置、计算机设备及存储介质。
技术介绍
1、在票据识别和对票据的处理任务中，均需要人工先对每个票据进行标注，以进行模型训练。进而，采用训练后的模型对票据进行识别和处理等。此外，由于票据上的很多文本均有倾斜程度不同和字体风格不同等情况，增加了人工标注的难度以及标注的失误率。
2、如何对票据进行自动标注，生成对应的标签是现有技术中亟需解决的问题。
技术实现思路
1、为解决现有技术中的问题，本说明书实施例提供了一种文本标签生成方法、装置、计算机设备及存储介质，实现了对票据进行自动标注，生成对应的标签，降低了标签的错误率和资源的浪费。
2、为了解决上述技术问题，本说明书的具体技术方案如下：
3、一方面，本说明书实施例提供了一种文本标签生成方法，包括，
4、利用特征提取模型针对待处理图像进行特征提取，得到多个文本特征向量；
5、利用与待生成标签对应的训练后的文字转化模型针对由所述待处理图像和所述多个文本特征向量得到的多模态图像进行处理，得到目标图像；以及
6、利用文本识别模型从所述目标图像中提取与所述待处理图像对应的文本标签。
7、进一步，该特征提取模型包括编码器，所述利用特征提取模型针对待处理图像进行体征提取，得到多个文本特征向量进一步包括：
8、利用编码器提取所述待处理图像的特征，得到多个预文本特征向量；以及
9、利用潜在编码对所
10、进一步，该利用与待生成标签对应的训练后的文字转化模型针对由所述待处理图像和所述多个文本特征向量得到的多模态图像进行处理，得到目标图像进一步包括，
11、基于所述多个文本特征向量进行图像重建，得到文本图像；
12、将所述待处理图像和所述文本图像进行通道融合，得到所述多模态图像；以及
13、利用所述训练后的文字转化模型针对所述多模态图像进行处理，得到所述目标图像。
14、进一步，该基于所述多个文本特征向量进行图像重建，得到文本图像进一步包括，
15、修正所述多个文本特征向量中的每个文本特征向量包括的像素值，得到多个标准文本特征向量；
16、针对所述多个标准文本特征向量进行加权求和处理，得到目标特征向量；以及
17、利用图像重建模型针对所述目标特征向量进行处理，得到所述文本图像。
18、进一步，该修正所述多个文本特征向量中的每个文本特征向量包括的像素值，得到多个标准文本特征向量进一步包括：
19、从所述每个文本特征向量中确定小于预设值的待处理特征值；以及
20、利用替换值将每个所述待处理特征值替换，得到所述多个标准文本特征向量。
21、进一步，该针对所述多个标准文本特征向量进行加权求和处理，得到目标特征向量进一步包括以下公式，
22、
23、其中，所述y’表征所述目标特征向量，所述表征卷积特征层在通道c中坐标位置为(i，j)处的标准文本特征值，所述标准文本特征向量包括多个所述标准文本特征值，所述w和所述h分别表征所述文本图像的宽和高，以及所述y表征所述标准文本特征向量。
24、进一步，该图像重建模型进一步包括，
25、
26、其中，所述featuremap表征所述文本图像，所述y’表征所述目标特征向量，所述act表征激活函数，所述convc表征卷积特征层在通道c中的目标特征向量。
27、进一步，该训练后的文字转化模型的训练过程进一步包括，
28、利用所述特征提取模型针对多个样本图像进行特征提取，得到多个样本特征向量；
29、基于与每个样本图像分别对应的所述多个样本特征向量进行图像重建，得到与每个样本图像分别对应的重建图像；
30、针对每个所述样本图像，将所述样本图像和对应的所述重建图像进行通道融合，得到样本融合图像；以及
31、针对每一个标签类型，分别利用所述样本融合图像训练对应的预设文字转化模型，得到所述训练后的文字转化模型。
32、进一步，该文本识别模型包括区域检测模型和文本提取模型，所述利用文本识别模型从所述目标图像中提取与所述待处理图像对应的文本标签进一步包括，
33、利用所述区域检测模型对所述目标图像进行处理，得到文本区域图像；以及
34、利用所述文本提取模型对所述文本区域图像进行处理的，得到所述文本标签。
35、进一步，在所述利用文本识别模型从所述目标图像中提取与所述待处理图像对应的文本标签之后还包括，
36、将所述文本标签作为所述待处理图像的标签，以构建已标注的样本集。
37、另一方面，本说明书实施例还提供了一种文本标签生成装置，包括，
38、特征提取单元，用于利用特征提取模型针对待处理图像进行特征提取，得到多个文本特征向量；
39、图像处理单元，用于利用与待生成标签对应的训练后的文字转化模型针对由所述待处理图像和所述多个文本特征向量得到的多模态图像进行处理，得到目标图像；以及
40、文本提取单元，用于利用文本识别模型从所述目标图像中提取与所述待处理图像对应的文本标签。
41、进一步，该装置还包括，
42、样本特征提取单元，用于利用所述特征提取模型针对多个样本图像进行特征提取，得到多个样本特征向量；
43、图像重建单元，用于基于与每个样本图像分别对应的所述多个样本特征向量进行图像重建，得到与每个样本图像分别对应的重建图像；
44、图像融合单元，用于针对每个所述样本图像，将所述样本图像和对应的所述重建图像进行通道融合，得到样本融合图像；以及
45、模型训练单元，用于针对每一个标签类型，分别利用所述样本融合图像训练对应的预设文字转化模型，得到所述训练后的文字转化模型。
46、进一步，该装置还包括，
47、样本集构成单元，用于将所述文本标签作为所述待处理图像的标签，以构建已标注的样本集。
48、另一方面，本说明书实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
49、另一方面，本说明书实施例还提供了一种计算机可读存储介质，其上存储有计算机指令，该计算机指令被处理器执行时实现上述的方法。
50、另一方面，本说明书实施例还提供了一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现的方法。
51、利用本说明书实施例，针对需要进行标注的待处理图像，利用特征提取模型提取特征，得到多个文本特征向量；利用与待生成标签对应的训练后的文字转化模型针对由待处理图像本文档来自技高网...
【技术保护点】
1.一种文本标签生成方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述特征提取模型包括编码器，所述利用特征提取模型针对待处理图像进行体征提取，得到多个文本特征向量包括：
3.根据权利要求1所述的方法，其特征在于，所述利用与待生成标签对应的训练后的文字转化模型针对由所述待处理图像和所述多个文本特征向量得到的多模态图像进行处理，得到目标图像包括：
4.根据权利要求3所述的方法，其特征在于，所述基于所述多个文本特征向量进行图像重建，得到文本图像包括：
5.根据权利要求4所述的方法，其特征在于，所述修正所述多个文本特征向量中的每个文本特征向量包括的像素值，得到多个标准文本特征向量包括：
6.根据权利要求4所述的方法，其特征在于，所述针对所述多个标准文本特征向量进行加权求和处理，得到目标特征向量包括以下公式：
7.根据权利要求4所述的方法，其特征在于，所述图像重建模型包括：
8.根据权利要求1所述的方法，其特征在于，所述训练后的文字转化模型的训练过程包括：
9.根据权利要求
10.根据权利要求1所述的方法，其特征在于，在所述利用文本识别模型从所述目标图像中提取与所述待处理图像对应的文本标签之后还包括：
11.一种文本标签生成装置，其特征在于，包括：
12.根据权利要求11所述的装置，其特征在于，还包括：
13.根据权利要求11所述的装置，其特征在于，还包括：
14.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1-10中任一项的方法。
15.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述权利要求1-10中任一项的方法。
16.一种计算机程序产品，包括计算机程序/指令，其特征在于，所述计算机程序/指令被处理器执行时实现根据权利要求1-10中任一项的方法。
...【技术特征摘要】
1.一种文本标签生成方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述特征提取模型包括编码器，所述利用特征提取模型针对待处理图像进行体征提取，得到多个文本特征向量包括：
3.根据权利要求1所述的方法，其特征在于，所述利用与待生成标签对应的训练后的文字转化模型针对由所述待处理图像和所述多个文本特征向量得到的多模态图像进行处理，得到目标图像包括：
4.根据权利要求3所述的方法，其特征在于，所述基于所述多个文本特征向量进行图像重建，得到文本图像包括：
5.根据权利要求4所述的方法，其特征在于，所述修正所述多个文本特征向量中的每个文本特征向量包括的像素值，得到多个标准文本特征向量包括：
6.根据权利要求4所述的方法，其特征在于，所述针对所述多个标准文本特征向量进行加权求和处理，得到目标特征向量包括以下公式：
7.根据权利要求4所述的方法，其特征在于，所述图像重建模型包括：
8.根据权利要求1所述的方法，其特征在于，所述训练后的文字转化模型的训练过程包括：
9.根据权...
【专利技术属性】
技术研发人员：刘钰昕，王芳，
申请(专利权)人：中信银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。