一种基于域不变特征和时空特征的重识别方法技术

本发明专利技术提出一种基于域不变特征和时空特征的重识别方法，包括：获取输入图像中目标对象的特征；构建贝叶斯模型，预测目标对象在多个图像采集装置间迁移的时空概率，获取时空特征；根据所述目标对象的特征构建多个图像采集装置之间同一目标对象的统一特征表示；根据所述统一特征表示获取具有域不变性的域不变特征；根据所述时空特征和域不变特征构建时空注意力热度图，用于训练识别网络，基于所述识别网络输出目标对象识别结果；本发明专利技术可有效提高跨域识别的效率和精度。

【技术实现步骤摘要】
一种基于域不变特征和时空特征的重识别方法
本专利技术涉及人工智能领域，尤其涉及一种基于域不变特征和时空特征的重识别方法。
技术介绍
行人重识别旨在实现不重叠的不同摄像头下同一行人图像的匹配技术，在加强社会安全管理、预防犯罪行为发生以及实现事件重构等方面具有重要应用价值，由此智能视频监控系统得到了蓬勃发展。行人重识别是智能视频分析领域的研究热点,得到了社会的广泛重视。传统依靠生物信息的行人识别方法，如人脸识别和虹膜识别在大规模的城市监控中往往是不可行的，因为城市监控摄像头难以捕捉到高清的行人图像信息。相反，基于视觉特征的识别方法往往比基于生物信息的识别方法更加可靠，基于人的外观，比如一个人携带的物品或者行人的衣服，可以更可靠地被利用在行人重新识别。行人重识别目前使用较多的方法为基于表征学习的方法、基于度量学习的方法、基于局部特征的方法以及基于视频序列学习的方法。上述方法基本采用监督学习的方式，对数据集图成像特征的一致性要求较高，在实际运用时，会出现精度大幅度下降的情况，对于模型泛化是一大挑战。
技术实现思路
鉴于以上现有技术存在的问题，本专利技术提出一种基于域不变特征和时空特征的重识别方法，主要解决跨域识别精度受限的问题。为了实现上述目的及其他目的，本专利技术采用的技术方案如下。一种基于域不变特征和时空特征的重识别方法，包括：获取输入图像中目标对象的特征；构建贝叶斯模型，预测目标对象在多个图像采集装置间迁移的时空概率，获取时空特征；根据所述目标对象的特征构建多个图像采集装置之间同一目标对象的统一特征表示；根据所述统一特征表示获取具有域不变性的域不变特征；根据所述时空特征和域不变特征构建时空注意力热度图，用于训练识别网络，基于所述识别网络输出目标对象识别结果。可选地，构建贝叶斯模型，预测目标对象在多个图像采集装置间迁移的时空概率，获取时空特征，包括：以目标对象的特征为先验知识并利用余弦相似度构建分类器，根据所述目标对象的特征对应的时空信息，评估目标对象在下一时刻出现在某一图像采集装置的概率，作为所述时空概率；根据所述时空概率选出满足时空约束的多个图像采集装置的图像，获取时空特征。可选地，评估目标对象在下一时刻出现在某一图像采集装置的概率，包括：构造特征联合器，以相邻时刻两个图像采集装置的图像作为输入，输出两图像匹配的概率作为所述时空概率。可选地，所述特征联合器表示为：其中，M1表示分类器C基于视觉特征的判断，α，β为可配置参数，以获得更一般的F匹配函数。vi和vj分别表示输入的目标对象的特征，ci和cj分别表示预测的图像采集装置对应的特征。可选地，根据所述目标对象的特征构建多个图像采集装置之间同一目标对象的统一特征表示，包括：构建公共图像样式库；将不同时空域的目标对象特征嵌入所述公共图像样式库，得到同一目标对象的统一特征表示。可选地，特征嵌入方式表示为：其中，[.,.]表示通道连接，xrgb表示大小为(3,h,w)的RGB图像，表示大小为(M,h,w)的二进制张量，表示大小为(N,h,w)的二进制张量，表示大小为(3+M+N,h,w)的张量；的第i个通道为一个非零值，表示xrgb来自第i个时空域，其余的M-1个通道为“零”值。的第j个通道为一个非零值，表示xrgb将转换为第j个时空域，其余N-1个通道为“零”值。可选地，根据所述统一特征表示获取具有域不变性的域不变特征，包括：构造循环一致性神经网络，将所述统一特征表示输入经过预训练的所述循环一致性神经网络，获取域不变性特征。可选地，所述循环一致性神经网络的损失函数表示为：其中，为图像内容解码器，为图像内容鉴别器；Ec为内容编码器。可选地，根据所述时空特征和域不变特征构建时空注意力热度图，用于训练识别网络，基于所述识别网络输出目标对象识别结果，包括：构建卷积门控递归单元；将样本图像对应的域不变特征和时空特征输入所述卷积门控递归单元，并经过二维softmax层，得到与当前输入对应的时空注意力热度图；根据所述时空注意力热度图采用梯度下降，更新所述卷积门控递归单元参数，经过多次迭代，得到识别网络；将待查询目标对象图像输入所述识别网络，输出目标对象识别结果。可选地，所述卷积门控递归单元的计算方式表示为：St＝Us*tanh(Wxs*Xt+Whs*Ht-1+bs)+bus其中，Xt是第t帧图像的特征映射，Ht-1是上一时刻卷积门控递归单元的隐藏状态，Us、Wxs是卷积核。如上所述，本专利技术一种基于域不变特征和时空特征的重识别方法，具有以下有益效果。充分利用目标对象图像之家的时空关联性，减少不相关的图像；联合时空特征和域不变特征，进行模型训练，可有效提升模型的前一能力。附图说明图1为本专利技术一实施例中基于域不变特征和时空特征的重识别方法的流程图。具体实施方式以下通过特定的具体实例说明本专利技术的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本专利技术的其他优点与功效。本专利技术还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本专利技术的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本专利技术的基本构想，遂图式中仅显示与本专利技术中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。请参阅图1，本专利技术提供一种基于域不变特征和时空特征的重识别方法，包括步骤S01-S05。在步骤S01中，获取输入图像中目标对象的特征：在一实施例中，可采用残差卷积网络作为主干网络，对输入图像进行特征提取。残差卷积网络为成熟的现有技术，这里不早赘述。输入图像为某一图像采集装置获取的目标对象的图像，同时可获取该图像的拍摄时间、地理位置等时空信息。目标对象可以为行人、车辆等。在一实施例中，图像采集装置可包括设置于道路用于采集行人等目标对象的摄像头。在步骤S02中，构建贝叶斯模型，预测目标对象在多个图像采集装置间迁移的时空概率，获取时空特征：在一实施例中，以目标对象的特征为先验知识并利用余弦相似度构建分类器C，根据所述目标对象的特征对应的时空信息，评估目标对象在下一时刻出现在某一图像采集装置的概率，作为所述时空概率；根据所述时空概率选出满足时空约束的多个图像采集装置的图像，获取时空特征。具体地，基于前文获取的图像特征下一摄像头预测权重向量联合模型F基于条件概率定义为：根据贝叶斯规则，构造特征联合器F，它以两幅图像的视觉特征、时空、摄像头预测信息作为输入，并输出它们的匹配概率:<本文档来自技高网...

【技术保护点】
1.一种基于域不变特征和时空特征的重识别方法，其特征在于，包括：/n获取输入图像中目标对象的特征；/n构建贝叶斯模型，预测目标对象在多个图像采集装置间迁移的时空概率，获取时空特征；/n根据所述目标对象的特征构建多个图像采集装置之间同一目标对象的统一特征表示；/n根据所述统一特征表示获取具有域不变性的域不变特征；/n根据所述时空特征和域不变特征构建时空注意力热度图，用于训练识别网络，基于所述识别网络输出目标对象识别结果。/n

【技术特征摘要】
1.一种基于域不变特征和时空特征的重识别方法，其特征在于，包括：
获取输入图像中目标对象的特征；
构建贝叶斯模型，预测目标对象在多个图像采集装置间迁移的时空概率，获取时空特征；
根据所述目标对象的特征构建多个图像采集装置之间同一目标对象的统一特征表示；
根据所述统一特征表示获取具有域不变性的域不变特征；
根据所述时空特征和域不变特征构建时空注意力热度图，用于训练识别网络，基于所述识别网络输出目标对象识别结果。


2.根据权利要求1所述的基于域不变特征和时空特征的重识别方法，其特征在于，构建贝叶斯模型，预测目标对象在多个图像采集装置间迁移的时空概率，获取时空特征，包括：
以目标对象的特征为先验知识并利用余弦相似度构建分类器，根据所述目标对象的特征对应的时空信息，评估目标对象在下一时刻出现在某一图像采集装置的概率，作为所述时空概率；
根据所述时空概率选出满足时空约束的多个图像采集装置的图像，获取时空特征。


3.根据权利要求2所述的基于域不变特征和时空特征的重识别方法，其特征在于，评估目标对象在下一时刻出现在某一图像采集装置的概率，包括：
构造特征联合器，以相邻时刻两个图像采集装置的图像作为输入，输出两图像匹配的概率作为所述时空概率。


4.根据权利要求3所述的基于域不变特征和时空特征的重识别方法，其特征在于，所述特征联合器F表示为：



其中，M1表示分类器C基于视觉特征的判断，α，β为可配置参数。vi和vj分别表示输入的目标对象的特征，ci和cj分别表示预测的图像采集装置对应的特征。


5.根据权利要求1所述的基于域不变特征和时空特征的重识别方法，其特征在于，根据所述目标对象的特征构建多个图像采集装置之间同一目标对象的统一特征表示，包括：
构建公共图像样式库；
将不同时空域的目标对象特征嵌入所述公共图像样式库，得到同一目标对象的统一特征表示。


6.根据权利要求5所述的基于域不变特征和时空特征...

【专利技术属性】
技术研发人员：彭德光，孙健，唐贤伦，黄攀，易兴，
申请(专利权)人：重庆兆光科技股份有限公司，
类型：发明
国别省市：重庆;50