图像处理方法、装置、计算机、可读存储介质及程序产品制造方法及图纸

本申请实施例公开了一种图像处理方法、装置、计算机、可读存储介质及程序产品，适用于人工智能领域，该方法包括：获取待检测图像，采用第一注意力参数对待检测图像进行第一维度特征增强，得到待检测图像的第一增强特征；采用第二注意力参数对第一增强特征进行第二维度特征增强，得到第二增强特征；第一维度为通道，第二维度为空间，或者第一维度为空间，第二维度为通道；从待检测图像中检测文本数据及文本数据在待检测图像中的文本位置信息，对文本数据及文本位置信息进行特征提取，确定待检测图像的目标文本特征；第二增强特征与目标文本特征用于共同表征待检测图像。采用本申请，可以提高图像表征的准确性。提高图像表征的准确性。提高图像表征的准确性。

【技术实现步骤摘要】
图像处理方法、装置、计算机、可读存储介质及程序产品


[0001]本申请涉及计算机
，尤其涉及一种图像处理方法、装置、计算机、可读存储介质及程序产品。

技术介绍

[0002]图像相似度在实际业务中具有广泛应用，如图像检索或内容推荐等，现在的技术一般是通过用于对图像进行特征识别的模型，识别需要检测的图像对分别对应的特征，再基于识别出的特征之间的相似度，确定图像对的相似度。而这一方式，过于依赖该用于对图像进行特征识别的模型的训练准确性，容易造成结果的准确性较低。或者，是将需要检测的图像对输入一个用于进行图像相似度检测的模型进行预测，得到该图像对之间的相似度，然而在图像数量较多时，一个图像需要与多少个图像进行相似度检测，就需要在该用于进行图像相似度检测的模型中进行多少次特征提取转换，从而导致图像检测效率较低。

技术实现思路

[0003]本申请实施例提供了一种图像处理方法、装置、计算机、可读存储介质及程序产品，可以提高图像表征的准确性。
[0004]本申请实施例一方面提供了一种图像处理方法，该方法包括：
[0005]获取待检测图像，采用第一注意力参数对待检测图像进行第一维度特征增强，得到待检测图像的第一增强特征；
[0006]采用第二注意力参数对第一增强特征进行第二维度特征增强，得到第二增强特征；第一注意力参数是指针对第一维度的注意力参数，第二注意力参数是指针对第二维度的注意力参数；第一维度为通道，第二维度为空间，或者第一维度为空间，第二维度为通道；
[0007]从待检测图像中检测文本数据及文本数据在待检测图像中的文本位置信息，对文本数据及文本位置信息进行特征提取，确定待检测图像的目标文本特征；第二增强特征与目标文本特征用于共同表征待检测图像。
[0008]本申请实施例一方面提供了一种图像处理方法，该方法包括：
[0009]获取图像样本及图像样本所包括的样本文本；
[0010]基于图像样本对初始图像检测模型进行参数调整，直至初始图像检测模型参数收敛，得到初始图像检测模型对应的图像检测模型；图像检测模型包括第一注意力参数及第二注意力参数；第一注意力参数用于对待检测图像进行第一维度特征增强，得到待检测图像的第一增强特征；第二注意力参数用于对第一增强特征进行第二维度特征增强，得到第二增强特征；第一注意力参数是指针对第一维度的注意力参数，第二注意力参数是指针对第二维度的注意力参数；第一维度为通道，第二维度为空间，或者第一维度为空间，第二维度为通道；
[0011]基于样本文本对初始文本信息抽取模型进行参数调整，直至初始文本信息抽取模型参数收敛，得到初始文本信息抽取模型所对应的文本信息抽取模型；文本信息抽取模型
用于对待检测图像中的文本数据及文本数据的文本位置信息进行特征提取，得到待检测图像的目标文本特征。
[0012]本申请实施例一方面提供了一种图像处理装置，该装置包括：
[0013]图像获取模块，用于获取待检测图像；
[0014]第一增强模块，用于采用第一注意力参数对待检测图像进行第一维度特征增强，得到待检测图像的第一增强特征；
[0015]第二增强模块，用于采用第二注意力参数对第一增强特征进行第二维度特征增强，得到第二增强特征；第一注意力参数是指针对第一维度的注意力参数，第二注意力参数是指针对第二维度的注意力参数；第一维度为通道，第二维度为空间，或者第一维度为空间，第二维度为通道；
[0016]信息检测模块，用于从待检测图像中检测文本数据及文本数据在待检测图像中的文本位置信息；
[0017]特征识别模块，用于对文本数据及文本位置信息进行特征提取，确定待检测图像的目标文本特征；第二增强特征与目标文本特征用于共同表征待检测图像。
[0018]其中，该第一增强模块，包括：
[0019]特征提取单元，用于对待检测图像进行特征提取，得到待检测图像的初始图像特征；
[0020]图像采样单元，用于获取图像处理尺寸，基于图像处理尺寸对初始图像特征进行采样处理，得到待检测图像的图像采样特征；
[0021]特征增强单元，用于采用第一注意力参数对图像采样特征进行第一维度特征增强，得到待检测图像的第一增强特征。
[0022]其中，该信息检测模块，包括：
[0023]区域检测单元，用于对待检测图像进行文本识别，确定待检测图像中的文本预测区域及文本预测区域在待检测图像中的文本位置信息；
[0024]文本识别单元，用于对文本预测区域进行文本识别，得到文本预测区域中的文本数据。
[0025]其中，文本预测区域的数量为t个，t为正整数；该特征识别模块，包括：
[0026]第一检测单元，用于对t个文本预测区域分别对应的文本数据及文本位置信息进行特征提取，得到t个文本预测区域分别对应的初始文本特征，基于t个文本预测区域分别与待检测图像之间的关联度，确定t个文本预测区域分别对应的区域权重，基于t个文本预测区域分别对应的区域权重，对t个文本预测区域分别对应的初始文本特征进行加权求和，得到待检测图像的目标文本特征；或者，
[0027]第二检测单元，用于对t个文本预测区域分别对应的文本数据及文本位置信息进行特征拼接，得到待检测图像的文本输入特征，对文本输入特征进行特征提取，确定待检测图像的目标文本特征。
[0028]其中，该信息检测模块，包括：
[0029]该区域检测单元，还用于从待检测图像中检测文本预测区域及文本预测区域在待检测图像中的区域位置；
[0030]该文本识别单元，还用于识别文本预测区域中所包括的文本内容；
[0031]文本分词单元，用于对文本内容进行分词处理，得到组成文本内容的M个文本数据，基于M个文本数据分别在文本内容中的词组位置及区域位置，确定M个文本数据分别对应的文本位置信息。
[0032]其中，该特征识别模块，包括：
[0033]参数获取单元，用于获取文本处理参数；
[0034]文本调整单元，用于基于文本处理参数对M个文本数据进行调整，得到N个文本调整数据；
[0035]位置确定单元，用于基于M个文本数据分别对应的文本位置信息，确定N个文本调整数据分别对应的调整位置信息；N为文本处理参数；N为正整数；
[0036]特征检测单元，用于基于N个文本调整数据及N个文本调整数据分别对应的调整位置信息，确定N个待检测初始特征；
[0037]特征预测单元，用于将N个待检测初始特征输入文本信息抽取模型进行预测，得到待检测图像的目标文本特征。
[0038]其中，该文本调整单元，包括：
[0039]文本删减子单元，用于若M大于文本处理参数，则检测M个文本数据分别对应的词组词性及信息含量，基于M个文本数据分别对应的词组词性及信息含量，对M个文本数据中的无效数据进行删除，得到N个文本调整数据，或者，将M个文本数据中的前N个文本数据，确定为文本调整数据，或者，检测M个文本数据中连续的文本数据之间的数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：获取待检测图像，采用第一注意力参数对所述待检测图像进行第一维度特征增强，得到所述待检测图像的第一增强特征；采用第二注意力参数对所述第一增强特征进行第二维度特征增强，得到第二增强特征；所述第一注意力参数是指针对第一维度的注意力参数，所述第二注意力参数是指针对第二维度的注意力参数；所述第一维度为通道，所述第二维度为空间，或者所述第一维度为所述空间，所述第二维度为所述通道；从所述待检测图像中检测文本数据及所述文本数据在所述待检测图像中的文本位置信息，对所述文本数据及所述文本位置信息进行特征提取，确定所述待检测图像的目标文本特征；所述第二增强特征与所述目标文本特征用于共同表征所述待检测图像。2.如权利要求1所述的方法，其特征在于，所述采用第一注意力参数对所述待检测图像进行第一维度特征增强，得到所述待检测图像的第一增强特征，包括：对所述待检测图像进行特征提取，得到所述待检测图像的初始图像特征；获取图像处理尺寸，基于所述图像处理尺寸对所述初始图像特征进行采样处理，得到所述待检测图像的图像采样特征；采用第一注意力参数对所述图像采样特征进行第一维度特征增强，得到所述待检测图像的第一增强特征。3.如权利要求1所述的方法，其特征在于，所述从所述待检测图像中检测文本数据及所述文本数据在所述待检测图像中的文本位置信息，包括：对所述待检测图像进行文本识别，确定所述待检测图像中的文本预测区域及所述文本预测区域在所述待检测图像中的文本位置信息；对所述文本预测区域进行文本识别，得到所述文本预测区域中的文本数据。4.如权利要求3所述的方法，其特征在于，所述文本预测区域的数量为t个，t为正整数；所述对所述文本数据及所述文本位置信息进行特征提取，确定所述待检测图像的目标文本特征，包括：对t个文本预测区域分别对应的文本数据及文本位置信息进行特征提取，得到所述t个文本预测区域分别对应的初始文本特征，基于所述t个文本预测区域分别与所述待检测图像之间的关联度，确定所述t个文本预测区域分别对应的区域权重，基于所述t个文本预测区域分别对应的区域权重，对所述t个文本预测区域分别对应的初始文本特征进行加权求和，得到所述待检测图像的目标文本特征；或者，对所述t个文本预测区域分别对应的文本数据及文本位置信息进行特征拼接，得到所述待检测图像的文本输入特征，对所述文本输入特征进行特征提取，确定所述待检测图像的目标文本特征。5.如权利要求1所述的方法，其特征在于，所述从所述待检测图像中检测文本数据及所述文本数据在所述待检测图像中的文本位置信息，包括：从所述待检测图像中检测文本预测区域及所述文本预测区域在所述待检测图像中的区域位置，识别所述文本预测区域中所包括的文本内容；对所述文本内容进行分词处理，得到组成所述文本内容的M个文本数据，基于所述M个文本数据分别在所述文本内容中的词组位置及所述区域位置，确定所述M个文本数据分别
对应的文本位置信息。6.如权利要求5所述的方法，其特征在于，所述对所述文本数据及所述文本位置信息进行特征提取，确定所述待检测图像的目标文本特征，包括：获取文本处理参数，基于所述文本处理参数对所述M个文本数据进行调整，得到N个文本调整数据，基于所述M个文本数据分别对应的文本位置信息，确定所述N个文本调整数据分别对应的调整位置信息；N为所述文本处理参数；N为正整数；基于所述N个文本调整数据及所述N个文本调整数据分别对应的调整位置信息，确定N个待检测初始特征；将所述N个待检测初始特征输入文本信息抽取模型进行预测，得到所述待检测图像的目标文本特征。7.如权利要求6所述的方法，其特征在于，所述基于所述文本处理参数对所述M个文本数据进行调整，得到N个文本调整数据，包括：若M大于所述文本处理参数，则检测所述M个文本数据分别对应的词组词性及信息含量，基于所述M个文本数据分别对应的词组词性及信息含量，对所述M个文本数据中的无效数据进行删除，得到N个文本调整数据，或者，将所述M个文本数据中的前N个文本数据，确定为文本调整数据，或者，检测所述M个文本数据中连续的文本数据之间的数据关联性，将所述M个文本数据中存在数据关联性的连续的文本数据进行拼接，得到N个文本调整数据；若M小于所述文本处理参数，则在所述M个文本数据中添加默认填充参数，得到N个文本调整数据。8.如权利要求1所述的方法，其特征在于，所述对所述文本数据及所述文本位置信息进行特征提取，确定所述待检测图像的目标文本特征，包括：将所述文本数据与所述文本位置信息进行特征融合，得到待检测初始特征，对所述待检测初始特征进行标准化处理，得到第一标准特征；对所述第一标准特征进行s种线性变换，得到s个变换向量；s为正整数，所述s种线性变换用于将所述第一标准特征映射到s个特征空间中；对所述s个变换向量中除值向量之外的变换向量进行特征融合处理，得到注意权重，基于所述注意权重对所述值向量进行特征增强，得到文本增强特征；对所述文本增强特征进行标准化处理，得到第二标准特征，对所述第二标准特征进行全连接化处理，得到所述待检测图像的目标文本特征。9.如权利要求1所述的方法，其特征在于，所述待检测图像的数量为p，p为正整数；所述方法还包括：基于p个待检测图像分别对应的第二增强特征，确定所述p个待检测图像中任意两个待检测图像之间的图像距离；基于所述p个待检测图像分别对应的目标文本特征，确定所述p个待检测图像中任意两个待检测图像之间的文本距离；对所述任意两个待检测图像之间的图像距离，以及所述任意两个待检测图像之间的文本距离进行融合，得到所述任意两个待检测图像之间的目标距离；基于所述任意两个待检测图像之间的目标距离，对所述p个待检测图像进行聚类处理，得到图像集合。
10.如权利要求1所述的方法，其特征在于，所述待检测图像包括第一图像及第二图像；所述方法还包括：对所述第一图像的第二增强特征与所述第二图像的第二增强特征进行距离检测，得到所述第一图像与第二图像之间的第一距离；对所述第一图像的目标文本特征与所述第二目标文本特征进行距离检测，得到所述第一图像与所述第二图像之间的第二距离；对所述第一距离及所述第二距离进行融合，确定所述第一图像与所述第二图像之间的第三距离；若所述第三距离小于或等于图...

【专利技术属性】
技术研发人员：王丽娟，汪翔，黄珊，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：