查询驱动的大规模人脸数据标注方法技术

本发明专利技术提供查询驱动的大规模人脸数据标注方法，包括：结合上下文的自动语义提取：旨在融合上下文信息和样本自身的特征信息来提取图片的语义内容，包括时间，地点、人物、事件等。本发明专利技术将重点关注人物信息的提取。针对概率数据库的查询表示及处理：根据得到的语义信息，可以构建语义概率数据库，用户可以对此数据库进行查询。该模块研究如何对用户的查询进行表示和处理，以得到初始的查询结果。基于主动学习的人脸标注：为了进一步提高查询结果的准确率，该模块提出一种查询驱动的样本选择策略，来选取未标注的人脸样本返回给用户进行标注。

Query driven large scale face data annotation method

The present invention provides large-scale data driven query face annotation method, including: automatic extraction of semantic context features: information fusion to context information and samples to extract the semantic content of images, including time, place, people, events etc.. The invention will focus on the extraction of character information. According to the semantic information, we can construct the semantic probabilistic database, which can be queried by users. This module studies how to represent and process the query to get the initial query result. The face of active learning based annotation: in order to further improve the accuracy of the query results, this module presents a query driven sample selection strategy to select the face samples untagging returned to the user mark.

【技术实现步骤摘要】

本专利技术属于一种针对大规模人脸数据标注的方法。
技术介绍
毫无疑问，大数据时代已然来临。据统计，图片、视频、音频等多媒体数据已成为大数据最主要的组成部分。其中大约45％的图片和视频涉及人脸，因此，如何有效利用大规模人脸数据成为一个至关重要的问题。人脸标注[1，2]旨在选取少量人脸样本进行标注，生成最有效的人脸训练集，构建人脸模型，从而快速完成对整个人脸数据集的准确标注。人脸标注是人脸识别、搜索/查询等其他相关应用的基础和前提。传统模式下，人脸标注通常以脱机(Offline)模式进行,即人脸标注与人脸查询/搜索等应用是相互分离的过程。它的目标在于通过选取最少量的样本进行标注，以尽快完成对整个人脸数据集的准确标注，从而支持广泛的实际应用。其中，人脸标注的关键问题在于如何选取待标注的人脸样本，从而尽可能的提高整个数据集的标注性能。为了解决这个问题，很多解决方案采取了基于主动学习的框架[3，4，5]。这些传统的方法会选取信息熵最大的样本进行标注，以便尽快完成对整个数据集的标注。参考文献：[1]丁宇新,张逸彬，燕泽权,戴蔚,高德坤,柴光忍。“一种人脸自动标注方法及系”专利号：CN 103218603，2013[2]曹志敏,印奇,姜宇宁。“一种人脸图像的身份标注方法及人脸身份识别方法”专利号：CN 103793697，2014[3]S.Huang,R.Jin,and Z.Zhou,“考虑信息量和代表性的主动学习样本选择策略,”模式分析与机器智能期刊,36卷.1936页–1949页,2014.[4]J.Tang,Z.-J.Zha,D.Tao,and T.-S.Chua,“面向语义鸿沟的图片标注主动学习算法,”图像处理期刊,21卷，2354页–2360页,2012.[5]B.Siddiquie and A.Gupta,“基于上下文的多类别主动学习算法”2010年计算机视觉与模式识别会议,美国旧金山,2010年6月。[6]P.Sen,A.Deshpande,and L.Getoor,“挖掘相关关系的概率数据库管理”大规模数据库管理期刊，18卷，1065页–1090页，2009[7]https://en.wikipedia.org/wiki/Belief_propagation[8]https://en.wikipedia.org/wiki/Gibbs_sampling[9]Carl Edward Rasmussen，“机器学习中的高斯过程分类器”MIT出版社，2006[10]A.Holub,P.Perona,and M.C.Burl,“基于信息熵的物体识别主动学习算法”2008年计算机视觉与模式识别会议。
技术实现思路
专利技术目的：在大数据时代下，这种传统的脱机处理模式已无法满足大规模人脸标注的要求。面对大规模多媒体数据，例如高速产生的海量监控视频数据流，我们无法支持对每帧视频中出现的每张人脸进行准确标注，同时也无法构建一个准确完善的数据仓库来支持用户的各种查询需求。然而，我们发现尽管大规模人脸数据“量大”，用户真正感兴趣的信息并不多。例如针对海量监控视频数据，回答用户的查询“昨天最后一个进入工作室的人是谁？”，通常只需要处理与查询中时间、地点、事件相关的视频数据，并不需要对整个人脸数据集进行标注。因此，本专利提出“查询驱动”的人脸标注模式，旨在对用户提出的某个或某些查询进行有针对性的人脸标注。与传统的脱机标注模式相比，该查询驱动的标注模式将人脸标注与查询/搜索应用这两个过程进行无缝连接，这将避免对整个人脸数据集进行盲目的标注处理，从而避免浪费人力/物力去处理没有意义的信息。本专利技术的技术方案：查询驱动的大规模人脸数据标注方法，具体步骤如下：步骤一、结合上下文的自动语义提取：旨在融合上下文信息和样本自身的特征信息来提取图片的语义信息；步骤二、针对概率数据库的查询表示及处理：根据步骤一得到的语义信息，构建语义概率数据库，用户能够对此数据库进行查询；步骤三、基于主动学习的人脸标注：基于问题-回答模式的用户界面，采用基于高斯过程分类器的主动学习的方法，并提出查询驱动的样本选择策略，来选取未标注的人脸样本返回给用户进行标注；即：选择对于回答查询最有影响力的样本进行标注，样本的影响力由查询驱动的信息熵来表示；具体如下：(1)假设给定用户查询q，通过高斯过程分类模型和查询处理过程，得到查询结果集用p(rj)表示结果节点rj为真的概率，H(rj)表示结果节点rj的信息熵；给定未标注样本fi，定义查询驱动的信息熵为： I q ( f i ) = Σ f i ⇒ r j H ( r j ) - E f i ( H ( r j | f i ) ) ]]>其中，表示样本fi对结果节点rj有影响，H(rj)表示结果节点rj当前的信息熵，Efi(H(rj|fi))表示当人脸样本fi被标注之后，结果节点rj信息熵的期望；查询驱动的信息熵表示待标注样本对给定查询的影响力的大小；(2)对人脸样本进行聚类，得到聚类结果，即人脸样本组其中每个样本组中的人脸都是关于同一个人的，所以以人脸组为单位进行标注；给定一个未标注的人脸组Ck，查询驱动的信息熵表示为； I q ( C k ) = Σ f i ∈ C k I q ( f i ) ]]>即Iq(Ck)表示人脸组Ck中所包括的所有人脸样本的查询驱动的信息熵的总和；(3)给定一个未标记的人脸组Ck，定义考虑约束条件的查询驱动的信息熵为： I q ~ ( C k ) 本文档来自技高网...

【技术保护点】
查询驱动的大规模人脸数据标注方法，其特征在于：具体步骤如下：步骤一、结合上下文的自动语义提取：旨在融合上下文信息和样本自身的特征信息来提取图片的语义信息；步骤二、针对概率数据库的查询表示及处理：根据步骤一得到的语义信息，构建语义概率数据库，用户能够对此数据库进行查询；步骤三、基于主动学习的人脸标注：基于问题‑回答模式的用户界面，采用基于高斯过程分类器的主动学习的方法，并提出查询驱动的样本选择策略，来选取未标注的人脸样本返回给用户进行标注；即：选择对于回答查询最有影响力的样本进行标注，样本的影响力由查询驱动的信息熵来表示；具体如下：(1)假设给定用户查询q，通过高斯过程分类模型和查询处理过程，得到查询结果集用p(rj)表示结果节点rj为真的概率，H(rj)表示结果节点rj的信息熵；给定未标注样本fi，定义查询驱动的信息熵为：Iq(fi)=Σfi⇒tjH(rj)-Efi(H(rj|fi))]]>其中，表示样本fi对结果节点rj有影响，H(rj)表示结果节点rj当前的信息熵，Efi(H(rj|fi))表示当人脸样本fi被标注之后，结果节点rj信息熵的期望；查询驱动的信息熵表示待标注样本对给定查询的影响力的大小；(2)对人脸样本进行聚类，得到聚类结果，即人脸样本组其中每个样本组中的人脸都是关于同一个人的，所以以人脸组为单位进行标注；给定一个未标注的人脸组Ck，查询驱动的信息熵表示为；Iq(Ck)=Σfi∈CkIq(fi)]]>即Iq(Ck)表示人脸组Ck中所包括的所有人脸样本的查询驱动的信息熵的总和；(3)给定一个未标记的人脸组Ck，定义考虑约束条件的查询驱动的信息熵为：Iq~(Ck)=Iq(Ck)+p(Ck)Σ(k,l)∈ϵ-Iq(Cl)]]>其中，p(Ck)表示人脸组Ck标记为正的概率，(k,l)∈ε‑表示人脸组Ck和Cl属于不同的人具有不同约束；通过该公式，能够对每一个未标记的人脸组，计算出考虑约束条件的查询驱动的信息熵，然后以此为依据来选择人脸组返回给用户，表示为：即选择值最大的未标记人脸组返回给用户。...

【技术特征摘要】
1.查询驱动的大规模人脸数据标注方法，其特征在于：具体步骤如下：步骤一、结合上下文的自动语义提取：旨在融合上下文信息和样本自身的特征信息来提取图片的语义信息；步骤二、针对概率数据库的查询表示及处理：根据步骤一得到的语义信息，构建语义概率数据库，用户能够对此数据库进行查询；步骤三、基于主动学习的人脸标注：基于问题-回答模式的用户界面，采用基于高斯过程分类器的主动学习的方法，并提出查询驱动的样本选择策略，来选取未标注的人脸样本返回给用户进行标注；即：选择对于回答查询最有影响力的样本进行标注，样本的影响力由查询驱动的信息熵来表示；具体如下：(1)假设给定用户查询q，通过高斯过程分类模型和查询处理过程，得到查询结果集用p(rj)表示结果节点rj为真的概率，H(rj)表示结果节点rj的信息熵；给定未标注样本fi，定义查询驱动的信息熵为： I q ( f i ) = Σ f i ⇒ t j H ( r j ) - E f i ( H ( r j | f i ) ) ]]>其中，表示样本fi对结果节点rj有影响，H(rj)表示结果节点rj当前的信息熵，Efi(H(rj|fi))表示当人脸样本fi被标注之后，结果节点rj信息熵的期望；查询驱动的信息熵表示待标注样本对给定查询的影响力的大小；(2)对人脸样本进行聚类，得到聚类结果，即人脸样本组其中每个样本组中的人脸都是关于同一个人的，所以以人脸组为单位进行标注；给定一个未标注的人脸组Ck，查询驱动的信息熵表示为； I q ( C k ) = ...

【专利技术属性】
技术研发人员：张立言，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：江苏;32