一种多视角跨数据域图像内容识别的分类方法及装置制造方法及图纸

本发明专利技术公开了一种多视角跨数据域图像内容识别的分类方法及装置，其特点在于利用图像多视角特征之间的语义内容预测的一致性，相互调节各视角回归预测模型，对回归系数上进行调节，使得回归系数能够同时稀疏选择不同数据域的图像数据特征，保证选择后的特征保持最本质的类属语义结构，同时尽可能地减少引起域间差异的噪声特征。为了保持各个数据域的数据原始流形结构，引入了基于原始数据谱图的图调节正则项；同时通过使辅助数据域的训练标签和目标数据域的预测标签之间共同保持跨数据域的类属全局结构，来进一步增强预测标签的准确性。相比于现有的迁移学习分类技术，本发明专利技术提出的分类方法在准确率和稳定性上都有了很大的提高。

【技术实现步骤摘要】
一种多视角跨数据域图像内容识别的分类方法及装置
本专利技术属于特征选择和分类
，特别涉及一种多视角跨数据域图像内容识别的分类方法及装置。
技术介绍
在以海量大数据为代表的信息时代，各种数据以几何级数爆发增长，数据潜在价值的挖掘已成为人们关注和研究的热点。不管是互联网，还是移动通信、金融领域，我们的日常生活都不断地产生大量的数据，其中分类技术是一种挖掘数据潜在有用知识的非常有效地方法。例如，互联网用户每天都需要收发大量的电子邮件，如何帮助用户分门别类地将邮件整理分类，自动地识别垃圾邮件就需要准确有效的分类技术来智能地帮助用户。又如，在网路路由器节点上，如何有效地对数据流进行分类检测，及时发现异常现象和木马病毒数据，对维护网络的安全和稳定性有着极大的作用。而在金融领域的对用户交易行为的监测和分类，有助于识别恶意的欺诈交易行为，从而能够避免其将带来的重大经济损失。另一方面，在实际的数据挖掘分类问题中，往往需要可靠的标签数据作为训练样本。而要得到这样的训练数据，需要大量的人力、物力和时间。这样经常导致我们研究的对象领域只有少量有限的被人工分类的标签数据可用以训练模型。但如果同时我们在相关的类似数据域中有一定量的已分类的可靠数据，通过有效地利用不同数据域的关系进行知识的迁移，就可以在训练数据匮乏的情况下，也能够对目标域的数据也进行建模和准确分类。不仅如此，以互联网为例，尽管在某一时刻，我们的研究数据中有充分的标签数据，但随着时间的发展，未来时刻的数据将发生演化，通过之前数据训练的已有模型未必能适应之后的未来数据对象，需要重新调整或者训练，这就又将带来繁重的人力和时间投入。如何借鉴和利用先前时刻训练数据中的信息和知识，降低重新训练所带来的投入要求，对于研究不同时间的数据域的分类问题有着至关重要的意义。现有的许多先进技术中最为代表性的迁移学习技术，就是致力于解决如何利用其他数据域的标签和有用信息，来辅助目标对象数据域的聚类、分类等知识挖掘问题。在现有的迁移学习的文献中，很多算法还是基于所研究的目标数据域有少量的标签信息的假设。这些方法对在辅助数据域训练完成的分类器进行一定的调节矫正，使其能适应目标数据域的分类问题。但是，对于现实中的很多情况，在目标数据域没有任何标签信息的时候，这些方法往往失去迁移学习的理想性能。而且现有的很多迁移学习算法，在跨数据域训练的时候，往往忽视了各个数据域原有的数据流形结构以及各个标签语义类的鉴别结构。有的基于支持向量机的迁移学习分类方法还存在只能解决简单的二分类问题的缺点。另外，在实际的应用中，数据对象往往可以由通过各种特征提取技术得到的特征进行表达，即拥有多种视角特征。例如一幅简单的图像，可以通过提取各种颜色、纹理、形状特征来用向量表示。但是现有的很多算法却忽视了利用这些丰富的多视角特征，没有达到提高现有的迁移学习性能的效果。
技术实现思路
鉴于现有的迁移学习算法中存在的缺点和不足，本专利技术提供了一种跨数据域迁移学习分类技术，此分类技术可应用于图像内容识别领域。在我们的目标数据域缺乏训练数据的情况下，我们利用相关的辅助数据域的训练数据进行学习，以得到所需的分类器，并且在分类性能达到满意的效果。为实现上述目的，本专利技术的技术方案为：一种多视角跨数据域图像内容识别的分类方法，包括如下步骤：S10：对待分类的各目标图像进行特征抽取，将图像数据转化成可用于分类的数值型数据；S20：输入各目标图像数据域和辅助数据域的各视角数据特征，以及对应辅助域数据的用于训练的类属标签数据，对数据建立用于几何调节的谱图邻接图；S30：对步骤S20中输入的图像数据、标签信息和建立的邻接图，建立数学模型；S40：根据S30中建立的数学模型，推导各个变量的更新公式，以交替迭代的方式更新图像视角特征的回归系数和在目标域图像数据上预测的拟分类标签；S50：利用S40中得到的拟类标签矩阵，预测目标域图像数据的分类标签，以此分类标签对目标图像数据进行分类。进一步的，步骤S20包括：S201：输入辅助数据域和目标数据域的Sift特征和Gabor特征两种图像视角特征的训练样本数据，包括：辅助数据域第一个视角Sift特征的数据，第二个视角Gabor特征的数据，对应的标签信息矩阵，拟类标签矩阵，以及目标域第一个视角Sift特征的数据，第二个视角Gabor特征的数据；S202：分别构建目标数据域的Sift特征维度上的邻接图一和Gabor特征维度上的邻接图二。进一步的，步骤S30包括：S301：建立基于稀疏特征选择的跨数据域的联合标签预测模型；S302：在每个视角回归系数上施加域间差异性最小化正则项约束，消除提取的图像特征在均值统计量上的差异性；S303：对目标域图像数据的预测标签进行局部流形结构化约束，在预测标签上添加正则项进行调节；S304：结合辅助域和目标域的图像数据，在目标域图像数据的预测标签上引入类属结构跨数据域的全局性正则项约束；S305：将步骤S301得到的预测模型和步骤S302，S303，S304中得到的各个正则项整合起来，得到统一的数学模型。进一步的，步骤S40包括：S401：更新Sift特征视角的回归系数和更新Gabor特征视角的回归系数；S402：更新目标域数据的拟分类标签矩阵。本专利技术的另一目的还在于提供一种多视角跨数据域图像内容识别的分类装置，包括：图像预处理模块：对待分类的各目标图像进行特征抽取，将图像数据转化成可用于分类的数值型数据；数据输入处理模块：从图像预处理模块中输入各目标图像数据域和辅助数据域的各视角数据特征，以及对应辅助域数据的用于训练的类属标签数据，对数据建立用于几何调节的谱图邻接图；建模模块：根据数据输入处理模块中输出的数据、标签信息和建立的邻接图，建立数学模型：结合跨数据域的多视角联合预测模型、跨数据域均值差异距离的正则项调节、目标域数据局部流形的几何结构调节、跨数据域类属全局结构的正则项调节，建立统一的数学模型并输出；参数迭代更新模块：根据建模模块输出的数学模型，推导各个变量的更新公式，以交替迭代的方式更新图像视角特征的回归系数和在目标域图像数据上预测的拟分类标签；图像数据分类模块：利用参数迭代更新模块中得到的拟类标签，预测目标域图像数据的分类标签，以此分类标签对目标图像数据进行分类。进一步的，所述数据输入处理模块用于包括：输入辅助数据域和目标数据域的Sift特征和Gabor特征两种图像视角特征的训练样本数据，包括：辅助数据域第一个视角Sift特征的数据，第二个视角Gabor特征的数据，对应的标签信息矩阵，拟类标签矩阵，以及目标域第一个视角Sift特征的数据，第二个视角Gabor特征的数据；分别构建目标数据域的Sift特征维度上的邻接图一和Gabor特征维度上的邻接图进一步的，所述建模模块用于包括：建立基于稀疏特征选择的跨数据域的联合标签预测模型；在每个视角回归系数上施加域间差异性最小化正则项约束，消除提取的图像特征在均值统计量上的差异性；对目标域图像数据的预测标签进行局部流形结构化约束，在预测标签上添加正则项进行调节；结合辅助域和目标域的图像数据，在目标域图像数据的预测标签上引入类属结构跨数据域的全局性正则项约束；将得到联合标签预测模型和得到的各个正则项整合起来，得到统一的数学模型本文档来自技高网...

【技术保护点】
一种多视角跨数据域图像内容识别的分类方法，其特性在于，包括如下步骤：?S10：对待分类的各目标图像进行特征抽取，将图像数据转化成可用于分类的数值型数据；?S20：输入各目标图像数据域和辅助数据域的各视角数据特征，以及对应辅助域数据的用于训练的类属标签数据，对数据建立用于几何调节的谱图邻接图；?S30：对步骤S20中输入的图像数据、标签信息和建立的邻接图，建立数学模型；?S40：根据步骤S30中建立的数学模型，推导各个变量的更新公式，以交替迭代的方式更新图像视角特征的回归系数和在目标域图像数据上预测的拟分类标签；?S50：利用步骤S40中得到的拟分类标签矩阵，预测目标域图像数据的分类标签，以此分类标签对目标图像数据进行分类。

【技术特征摘要】
1.一种多视角跨数据域图像内容识别的分类方法，其特性在于，包括如下步骤：S10：对待分类的各目标图像进行特征抽取，将图像数据转化成可用于分类的数值型数据；S20：输入各目标图像数据域和辅助数据域的各视角数据特征，以及对应辅助域数据的用于训练的类属标签数据，对数据建立用于几何调节的谱图邻接图，具体包括：S201：输入辅助数据域和目标数据域的Sift特征和Gabor特征两种图像视角特征的训练样本数据，包括：辅助数据域第一个视角Sift特征的数据和第二个视角Gabor特征的数据，对应的标签信息矩阵，拟分类标签矩阵，以及目标数据域第一个视角Sift特征的数据和第二个视角Gabor特征的数据；S202：分别构建目标数据域的Sift特征维度上的邻接图一和Gabor特征维度上的邻接图二；S30：对步骤S20中输入的图像数据、标签信息和建立的邻接图，建立数学模型；S40：根据步骤S30中建立的数学模型，推导各个变量的更新公式，以交替迭代的方式更新图像视角特征的回归系数和在目标域图像数据上预测的拟分类标签；S50：利用步骤S40中得到的拟分类标签矩阵，预测目标域图像数据的分类标签，以此分类标签对目标图像数据进行分类。2.根据权利要求1所述的分类方法，其特征在于，步骤S30包括：S301：建立基于稀疏特征选择的跨数据域的联合标签预测模型；S302：在每个视角回归系数上施加域间差异性最小化正则项约束，消除提取的图像特征在均值统计量上的差异性；S303：对目标域图像数据的预测标签进行局部流形结构化约束，在预测标签上添加正则项进行调节；S304：结合辅助域和目标域的图像数据，在目标域图像数据的预测标签上引入类属结构跨数据域的全局性正则项约束；S305：将步骤S301得到的联合标签预测模型和步骤S302,S303,S304中得到的各个正则项整合起来，得到统一的数学模型。3.根据权利要求1或2所述的分类方法，其特征在于，步骤S40包括：S401：更新Sift特征视角的回归系数和更新Gabor特征视角的回归系数...

【专利技术属性】
技术研发人员：方正，张仲非，
申请(专利权)人：浙江大学，
类型：发明
国别省市：