一种基于弱化模态差异的跨模态足迹图像检索系统技术方案

本发明专利技术公开了一种基于弱化模态差异的跨模态足迹图像检索系统，包括以下步骤：获取待查询的光学足迹图像；将采集到的图像送入CPU处理器进行对图像的处理；在该系统的目录下添加训练得到的最优模型和加载数据库中的压力足迹图像；利用系统计算待查询的足迹图像与数据库中足迹图像的相似性；利用系统中的跨模态检索功能得到数据库中与待查询光学足迹图像最相似的压力足迹图像；将最终的检索结果在显示窗口中打印出来。本发明专利技术涉及图像处理领域，该种基于弱化模态差异的跨模态足迹图像检索系统，解决了现有的足迹检索只针对同种模态的局限性，提高了对足迹图像的识别范围。提高了对足迹图像的识别范围。提高了对足迹图像的识别范围。

【技术实现步骤摘要】
一种基于弱化模态差异的跨模态足迹图像检索系统


[0001]本专利技术涉及图像处理领域，具体为一种基于弱化模态差异的跨模态足迹图像检索系统。

技术介绍

[0002]足迹作为一种犯罪现场遗留率较高的生物特征，具有稳定性和唯一性等特点，在案件的侦破过程中发挥着重要作用。将现场采集到的足迹图像与数据库中的足迹图像进行匹配，有助于案件侦破。
[0003]传统图像检索的深度学习方法能够通过卷积层提取具有辨别性的特征，但针对具有细粒度特性的足迹图像检索任务不具优势。此外，由于采集设备的不同，不同案发现场遗留的足迹图像差异较大，且不同模态足迹图像具有语义鸿沟，为足迹的分析比对带来挑战，因此，提取出同一对象的高区分性特征及不同模态足迹中的共同特征，对于足迹的分析有着至关重要的帮助。

技术实现思路

[0004]（一）解决的技术问题针对现有技术的不足，本专利技术提供了一种基于弱化模态差异的跨模态足迹图像检索系统，解决了现有的足迹检索只针对同种模态的局限性，提高了对足迹图像的识别范围。
[0005]（二）技术方案为实现以上目的，本专利技术通过以下技术方案予以实现：一种基于弱化模态差异的跨模态足迹图像检索系统，包括以下步骤：S1：获取待查询的光学足迹图像；S2：将采集到的图像送入CPU处理器进行对图像的处理；S3：在该系统的目录下添加训练得到的最优模型和加载数据库中的压力足迹图像；S4：利用系统计算待查询的足迹图像与数据库中足迹图像的相似性；S5：利用系统中的跨模态检索功能得到数据库中与待查询光学足迹图像最相似的压力足迹图像；S6：将最终的检索结果在显示窗口中打印出来；其中，步骤S3中所述的最优模型训练包括以下步骤：第一步，对训练图像进行收集和预处理：通过压力传感器及光学传感器采集包含至少200人的赤足光学足迹图像及赤足压力足迹图像，并基于YOLOv5对足迹图像剪裁，然后对光学足迹图像做二值化处理，并将所有图像统一大小为256
×
256，最后将图像随机裁剪大小为224
×
224，并对数据进行扩充；第二步，最优网络训练：构造并训练网络模型，将总数五分之四人的足迹图像作为训练样本输入网络模型，对网络结构模块进行训练，得到训练后的网络；将其余五分之一人
的足迹图像作为测试样本，将压力足迹图像输入训练好的网络，建立特征库。
[0006]作为优化，在对网络结构模块进行训练具体步骤如下：（1）、构造提取足迹特征的骨干网络：骨干网络采用在Mini
‑
Imagenet预训练的ResNet50，其分为5个阶段，其中阶段0的为对输入的预处理，在阶段0中，输入为，其先后经过卷积层、BN层、ReLU激活函数、最大值池化层得到了 ，后4个阶段均由Bottleneck组成，分别包含3、4、6、3个Bottleneck，最后一个阶段的输出特征，即为骨干网络的输出特征，其中B为每个批次样本个数，C为通道数，H和W分别代表特征的高和宽；（2）、构造细粒度特征提取模块：骨干网络的输出为，根据足迹图像的特性，可将其分为前脚掌、足弓区、后脚跟，因此将其特征也分为三块，对骨干网络的输出进行自适应池化操作，得到，将其维度转换，接着送入三个参数不共享的1
×
1卷积，并对特征至转置，得到，，，计算注意力系数，其中表示两个特征的相似度，为了提取高区分性的细粒度特征，加入指数函数放大关系，，其中和都表示具有不同权重的1
×
1卷积，得到注意力系数，根据如下公式得到具有细粒度注意力的特征；其中是注意力系数，是1
×
1卷积操作，最后对其下采样和展平得到最终特征；（3）、构造弱化模态差异模块：细粒度模块的输出特征根据模态标签划分为光学模态特征及压力模态特征，将两个模态特征分别输入到模态编码器中，两个模态的模态编码器参数不共享以对不同模态信息编码；其中模态编码器包含二维卷积层、全连接、ReLU激活层及批归一化层；模态解码器包含全连接层及ReLU激活层，模态解码器共享参数以将两模态的生成图像投影到统一的空间
中，从而缓解模态差异，更新后的光学特征为，压力特征为。
[0007]作为优化，在步骤S5中，跨模态检索功能是将待查询的足迹图像输入训练好的网络模型中，利用网络模型的度量函数计算该图像与数据库中图像的距离，通过距离来衡量待测图像和数据库图像的相似性。
[0008]作为优化，在第一步对训练图像进行收集时，每个对象包含赤足光学足迹图像及赤足压力足迹图像各20张。
[0009]作为优化，在第一步中数据进行扩充的方法包括旋转、对称。
[0010]（三）有益效果本专利技术提供了一种基于弱化模态差异的跨模态足迹图像检索系统，具备以下有益效果：本专利技术通过采集赤足光学足迹图像及赤足压力足迹图像，能够提取足迹图像的高区分特征，利用深度学习的方法将跨模态足迹检索工作智能化，通过低成本的特征提取及相似度计算就能得到较好的检索结果，解决了足迹图像具有细粒度差异及跨模态差异等问题；相比于人力检索不但方便快捷，而且不需要相关专业的先验知识；在大数据和人工智能的不断发展的推动下，该专利技术能缓解警方根据现场足迹破案的压力，为刑侦领域做出一定的贡献。
附图说明
[0011]图1为本专利技术检索系统的流程图；图2为本专利技术模型训练与检索的框架图；图3为本专利技术细粒度特征提取模块的框架图。
具体实施方式
[0012]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0013]请参阅图1
‑
3，本专利技术提供一种技术方案：如图2所示，模型训练与检索分为以下步骤完成：第一步，对训练图像进行收集和预处理：通过压力传感器及光学传感器采集包含至少200人的赤足光学足迹图像及赤足压力足迹图像，每个对象包含赤足光学足迹图像及赤足压力足迹图像各20张，并基于YOLOv5对足迹图像剪裁，然后对光学足迹图像做二值化处理，并将所有图像统一大小为256
×
256，最后将图像随机裁剪大小为224
×
224，并对数据进行扩充，数据进行扩充的方法包括旋转、对称；第二步，最优网络训练：构造并训练网络模型，将总数五分之四人的足迹图像作为
训练样本输入网络模型，对网络结构模块进行训练，得到训练后的网络；将其余五分之一人的足迹图像作为测试样本，将压力足迹图像输入训练好的网络，建立特征库，将待查询的光学足迹图像输入该网络，将网络提取的查询特征与特征库中的特征进行相似性比对，距离越小越相似，最终得到预测准确率。网络结构模块进行训练具体步骤如下：（1）、构造提取足迹特征的骨干网络：骨干网络采用在Mini
‑
Imagenet预训练的ResNet50，其分为5个阶段，其中阶段0的为对输入的预处理，在阶段0中，输入为，其先后经过卷本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于弱化模态差异的跨模态足迹图像检索系统，其特征在于：包括以下步骤：S1：获取待查询的光学足迹图像；S2：将采集到的图像送入CPU处理器进行对图像的处理；S3：在该系统的目录下添加训练得到的最优模型和加载数据库中的压力足迹图像；S4：利用系统计算待查询的足迹图像与数据库中足迹图像的相似性；S5：利用系统中的跨模态检索功能得到数据库中与待查询光学足迹图像最相似的压力足迹图像；S6：将最终的检索结果在显示窗口中打印出来；其中，步骤S3中所述的最优模型训练包括以下步骤：第一步，对训练图像进行收集和预处理：通过压力传感器及光学传感器采集包含至少200人的赤足光学足迹图像及赤足压力足迹图像，并基于YOLOv5对足迹图像剪裁，然后对光学足迹图像做二值化处理，并将所有图像统一大小为256
×
256，最后将图像随机裁剪大小为224
×
224，并对数据进行扩充；第二步，最优网络训练：构造并训练网络模型，将总数五分之四人的足迹图像作为训练样本输入网络模型，对网络结构模块进行训练，得到训练后的网络；将其余五分之一人的足迹图像作为测试样本，将压力足迹图像输入训练好的网络，建立特征库。2.根据权利要求1所述的一种基于弱化模态差异的跨模态足迹图像检索系统，其特征在于：在对网络结构模块进行训练具体步骤如下：（1）、构造提取足迹特征的骨干网络：骨干网络采用在Mini
‑
Imagenet预训练的ResNet50，其分为5个阶段，其中阶段0的为对输入的预处理，在阶段0中，输入为，其先后经过卷积层、BN层、ReLU激活函数、最大值池化层得到了 ，后4个阶段均由Bottleneck组成，分别包含3、4、6、3个Bottleneck，最后一个阶段的输出特征，即为骨干网络的输出特征，其中B为每个批次样本个数，C为通道数，H...

【专利技术属性】
技术研发人员：张艳，申多，粟娇娇，吴红英，王年，
申请(专利权)人：安徽大学，
类型：发明
国别省市：