基于图文匹配的拜访考核方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了基于图文匹配的拜访考核方法、装置、设备及存储介质，所述方法包括：在获取待检测文本以及待检测店头图像后，将所述待检测文本以及待检测店头图像输入至店头图文匹配模型中，然后通过图像特征编码器和文本特征编码器，获取图像特征和文本特征，通过特征融合器，将图像特征以及文本特征进行图文对齐融合，最后通过二分类器，判断店头图像特征与文本特征是否匹配，若匹配，则确定所述业务员已进行拜访，否则，确定所述业务员未进行拜访。通过实施本发明专利技术，能够根据店头图文匹配模型，确定上传的店头图像是否与预先存储的店名匹配，提高考核系统中图店头图像和点头名称文匹配的效率。配的效率。配的效率。

【技术实现步骤摘要】
基于图文匹配的拜访考核方法、装置、设备及存储介质


[0001]本专利技术涉及店头图文匹配领域，尤其涉及基于图文匹配的拜访考核方法、装置、设备及存储介质。

技术介绍

[0002]在快消零售领域，为了更好的制定市场投放策略，零售商需要雇佣一批业务员经常对线下渠道的门店进行陈列拜访核查，以掌握商品在各终端门店的铺设及销售情况。零售商通过移动设备的定位及拍照功能，制定了新的业务员拜访考核方法，业务员拜访时打开移动设备的定位功能，并对待拜访门店的店面进行拍照上传系统，系统通过对比当前拍摄定位及图像来确定业务员是否真实到店拜访，然而现有的系统难以确定上传的店头照中的店名是否与预先存储的店名匹配，很难判断上传的店头照是否真实，人工审核虽然准确，但需要耗费大量人力且效率低，因此，如何提高考核系统中图店头图像和点头名称文匹配的效率，是一个亟需解决的问题。

技术实现思路

[0003]本专利技术提供了一种基于图文匹配的拜访考核方法、装置、设备及存储介质，能够提高考核系统中图店头图像和点头名称文匹配的效率；本专利技术提供了一种基于图文匹配的拜访考核方法，包括：获取一业务员上传的待检测店头图像以及用于表征一门店名称的待检测文本；将所述待检测文本以及待检测店头图像输入至店头图文匹配模型中，以使所述店头图文匹配模型根据所述待检测店头图像以及所述待检测文本，确定店头图像特征以及文本特征，并将所述店头图像特征以及文本特征进行匹配，生成匹配结果；根据所述匹配结果，若店头图像特征与文本特征不匹配，则确定所述业务员未进行拜访；若店头图像特征与文本特征相匹配，则确定所述业务员已进行拜访；其中，所述店头图文匹配模型，包括：图像特征编码器、文本特征编码器、特征融合器以及二分类器；所述图像特征编码器，用于根据所述待检测店头图像，提取所述待检测店头图像的店头图像特征，并将所述店头图像特征传输至所述特征融合器；所述文本特征编码器，用于根据所述待检测文本，提取所述待检测文本的文本特征，并将所述文本特征传输至所述特征融合器；所述特征融合器，用于将所述店头图像特征以及文本特征进行图文对其融合，生成图文融合特征，并将所述图文融合特征传输至所述二分类器；所述二分类器，用于根据所述图文融合特征，判断所述店头图像特征与所述文本特征是否匹配，并生成匹配结果。
[0004]进一步的，以图像特征和文本特征组成的店头图像
‑
文本对特征为输入，以店头图像
‑
文本对特征进行对比学习后的对比损失为输出，构建用于图像
‑
文本对特征进行对比学
习的第一预训练任务，生成第一损失函数；以图像特征和文本特征组成的店头图像
‑
文本对特征为输入，以店头图像
‑
文本对特征的匹配度为输出，构建用于判断图文是否一致的第二预训练任务，生成第二损失函数；以图像特征为输入，以文本为输出，构建用于文本生成的第三预训练任务，生成第三损失函数；将所述第一损失函数、第二损失函数以及第三损失函数相加，生成总损失函数；根据所述总损失函数，对所述店头图文匹配模型进行训练。
[0005]进一步的，所述文本特征编码器的生成包括：获取若干店头图像；对于每一店头图像，将店头图像中所对应的店头名称作为该图的文本语义进行标注；基于标注后的若干店头图像，建立店头图像的文本语义库；以所述文本语义库中若干店头图像的标注内容为输入，以文本特征为输出，对预设的全连接网络进行训练，将训练完成后的全连接网络作为文本特征编码器。
[0006]进一步的，在将所述待检测文本以及待检测店头图像输入至店头图文匹配模型中之前，还包括：将所述待检测店头图像输入至预设的图像检索模型中，以使所述预设的图像检索模型根据所述待检测店头图像，确定所述待检测店头图像的店头图像特征，并将所述店头图像特征与预先存储的历史店头图像特征进行比对，生成特征相似度，并在所述特征相似度大于预设的第一阈值时，则保留所述待检测店头图像，在述特征相似度小于或等于预设的第一阈值时，将所述待检测店头图像剔除。
[0007]在上述方法项实施例的基础上，本专利技术对应提供了装置项实施例；本专利技术提供了一种基于图文匹配的拜访考核装置，包括：图像获取模块、图文匹配模块、拜访判定模块；所述图像获取模块，用于获取一业务员上传的待检测店头图像以及用于表征一门店名称的待检测文本；所述图文匹配模块，用于将所述待检测文本以及待检测店头图像输入至店头图文匹配模型中，以使所述店头图文匹配模型根据所述待检测店头图像以及所述待检测文本，确定店头图像特征以及文本特征，并将所述店头图像特征以及文本特征进行匹配，生成匹配结果；所述拜访判定模块，用于根据所述匹配结果，若店头图像特征与文本特征不匹配，则确定所述业务员未进行拜访；若店头图像特征与文本特征相匹配，则确定所述业务员已进行拜访；其中，所述店头图文匹配模型，包括：图像特征编码器、文本特征编码器、特征融合器以及二分类器；所述图像特征编码器，用于根据所述待检测店头图像，提取所述待检测店头图像的店头图像特征，并将所述店头图像特征传输至所述特征融合器；所述文本特征编码器，用于根据所述待检测文本，提取所述待检测文本的文本特征，并将所述文本特征传输至所述特征融合器；
所述特征融合器，用于将所述店头图像特征以及文本特征进行图文对其融合，生成图文融合特征，并将所述图文融合特征传输至所述二分类器；所述二分类器，用于根据所述图文融合特征，判断所述店头图像特征与所述文本特征是否匹配，并生成匹配结果。
[0008]进一步的，以图像特征和文本特征组成的店头图像
‑
文本对特征为输入，以店头图像
‑
文本对特征进行对比学习后的对比损失为输出，构建用于图像
‑
文本对特征进行对比学习的第一预训练任务，生成第一损失函数；以图像特征和文本特征组成的店头图像
‑
文本对特征为输入，以店头图像
‑
文本对特征的匹配度为输出，构建用于判断图文是否一致的第二预训练任务，生成第二损失函数；以图像特征为输入，以文本为输出，构建用于文本生成的第三预训练任务，生成第三损失函数；将所述第一损失函数、第二损失函数以及第三损失函数相加，生成总损失函数；根据所述总损失函数，对所述店头图文匹配模型进行训练。
[0009]进一步的，所述文本特征编码器的生成包括：获取若干店头图像；对于每一店头图像，将店头图像中所对应的店头名称作为该图的文本语义进行标注；基于标注后的若干店头图像，建立店头图像的文本语义库；以所述文本语义库中若干店头图像的标注内容为输入，以文本特征为输出，对预设的全连接网络进行训练，将训练完成后的全连接网络作为文本特征编码器。
[0010]进一步的，所述基于图文匹配的拜访考核装置，还包括：特征相似度模块；所述特征相似度模块，用于在将所述待检测文本以及待检测店头图像输入至店头图文匹配模型中之前，将所述待检测店头图像输入至预设的图像检索模型中，以使所述预设的图像检索模型根据所述待检测店头图像，确定所述待检测店头图像的店头图像特征，并将所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图文匹配的拜访考核方法，其特征在于，包括：获取一业务员上传的待检测店头图像以及用于表征一门店名称的待检测文本；将所述待检测文本以及待检测店头图像输入至店头图文匹配模型中，以使所述店头图文匹配模型根据所述待检测店头图像以及所述待检测文本，确定店头图像特征以及文本特征，并将所述店头图像特征以及文本特征进行匹配，生成匹配结果；根据所述匹配结果，若店头图像特征与文本特征不匹配，则确定所述业务员未进行拜访；若店头图像特征与文本特征相匹配，则确定所述业务员已进行拜访；其中，所述店头图文匹配模型，包括：图像特征编码器、文本特征编码器、特征融合器以及二分类器；所述图像特征编码器，用于根据所述待检测店头图像，提取所述待检测店头图像的店头图像特征，并将所述店头图像特征传输至所述特征融合器；所述文本特征编码器，用于根据所述待检测文本，提取所述待检测文本的文本特征，并将所述文本特征传输至所述特征融合器；所述特征融合器，用于将所述店头图像特征以及文本特征进行图文对其融合，生成图文融合特征，并将所述图文融合特征传输至所述二分类器；所述二分类器，用于根据所述图文融合特征，判断所述店头图像特征与所述文本特征是否匹配，并生成匹配结果。2.如权利要求1所述的基于图文匹配的拜访考核方法，其特征在于，以图像特征和文本特征组成的店头图像
‑
文本对特征为输入，以店头图像
‑
文本对特征进行对比学习后的对比损失为输出，构建用于图像
‑
文本对特征进行对比学习的第一预训练任务，生成第一损失函数；以图像特征和文本特征组成的店头图像
‑
文本对特征为输入，以店头图像
‑
文本对特征的匹配度为输出，构建用于判断图文是否一致的第二预训练任务，生成第二损失函数；以图像特征为输入，以文本为输出，构建用于文本生成的第三预训练任务，生成第三损失函数；将所述第一损失函数、第二损失函数以及第三损失函数相加，生成总损失函数；根据所述总损失函数，对所述店头图文匹配模型进行训练。3.如权利要求1所述的基于图文匹配的拜访考核方法，其特征在于，所述文本特征编码器的生成包括：获取若干店头图像；对于每一店头图像，将店头图像中所对应的店头名称作为该图的文本语义进行标注；基于标注后的若干店头图像，建立店头图像的文本语义库；以所述文本语义库中若干店头图像的标注内容为输入，以文本特征为输出，对预设的全连接网络进行训练，将训练完成后的全连接网络作为文本特征编码器。4.如权利要求1所述的基于图文匹配的拜访考核方法，其特征在于，在将所述待检测文本以及待检测店头图像输入至店头图文匹配模型中之前，还包括：将所述待检测店头图像输入至预设的图像检索模型中，以使所述预设的图像检索模型根据所述待检测店头图像，确定所述待检测店头图像的店头图像特征，并将所述店头图像特征与预先存储的历史店头图像特征进行比对，生成特征相似度，并在所述特征相似度大
于预设的第一阈值时，则保留所述待检测店头图像，在述特征相似度小于或等于预设的第一阈值时，将所述待检测店头图像剔除。5.一种基于图文匹配的拜访考核装置，其特征在于，包括：图像获取模块、图文匹配模块、拜访判定模块；所述图像获取模块，用于获取一业务员上传的待检测店头图像以及用于表征一门店名称的待检测文本；所述图文匹配模块，用于将所述待检测文本以及待检测店头图像输入至店头图文匹配模型中，以使所述店...

【专利技术属性】
技术研发人员：林木兴，丁明，陈应文，王杰，许洁斌，
申请(专利权)人：广州市玄武无线科技股份有限公司，
类型：发明
国别省市：