一种基于语境信息进行视点估计的方法技术

本发明专利技术中提出的一种基于语境信息进行视点估计的方法，其主要内容包括：对象检测、定义对象关系、基于语境的视点分类、谨慎推理、视点估计，其过程为，首先，给定一幅图像，运行视点感知对象检测器来收集一组具有类标签和预测的离散观点的对象假设，接着定义所有对象假设之间的成对关系，对于每个对象假设，使用其他对象假设的语境信息作为来源估计其语境响应，最后将由视点感知对象检测器提供的局部响应与语境响应相结合以获得最终视点估计。本发明专利技术突破了现有方法仅考虑局部信息的局限，基于语境信息减少视点估计误差，并且在包含大量对象实例的场景中依然表现出优异的性能，改善了对象视点估计，使得图像检测在不同场景下依然保持高准确度，同时大大提高信息检索效率。

A method of view estimation based on contextual information

The present invention in a method based on context information viewpoint estimation, the main contents include: object detection, object definition, classification, relationship based on the viewpoint of context reasoning, cautious viewpoint estimation, the process is, firstly, given an image, the operation view sensing object detector to collect a set of discrete points is label and forecast object hypothesis, and the definition of the relationship between all pairs of object hypotheses, for each object that use other objects as a source of contextual assumptions to estimate the context information response, partial response and context finally will be provided by the view object perception response of the detector combined to obtain a final view estimation. The invention breaks through the existing methods only consider local information limitations, reduce the estimation error based on context information viewpoint, and contains a large number of object instances in the scene still exhibits excellent performance, improved object viewpoint estimation, the image detection in different scenarios still maintain high accuracy, and greatly improve the efficiency of information retrieval.

【技术实现步骤摘要】
一种基于语境信息进行视点估计的方法
本专利技术涉及图像识别领域，尤其是涉及了一种基于语境信息进行视点估计的方法。
技术介绍
图像识别常用于海洋、智能仓储、智能交通监控以及娱乐等领域，捕捉目标信息，分析转化为可读结果。具体地，在海洋应用中，基于视觉的图像识别可以对浮游生物进行识别和现场监测，并且能够实现对赤潮的预测。智能仓储中，分拣机器人对不同货物进行识别，从而快速进行分类放入不同货仓。智能交通监控领域内，图像识别往往用于识别和检测路上车辆或行人，从而检索并跟踪目标车辆或人物。除此之外，图像识别已经用于满足人们娱乐需求，帮用户找到与其长相最匹配的明星等。虽然现有方法在观察对象特征和分析已满足一定的准确性，但是目前方法多数只考虑局部信息，而忽略空间一致性，从而导引起估计误差，导致对特定场景中的部分目标无法进行准确的识别和检测。本专利技术提出了一种基于语境信息进行视点估计的方法，利用场景中其他对象的信息进行视点估计。首先，给定一幅图像，运行视点感知对象检测器来收集一组具有类标签和预测的离散观点的对象假设，接着定义所有对象假设之间的成对关系，对于每个对象假设，使用其他对象假设的语境信息作为来源估计其语境响应，最后将由视点感知对象检测器提供的局部响应与语境响应相结合以获得最终视点估计。本专利技术突破了现有方法仅考虑局部信息的局限，基于语境信息减少视点估计误差，并且在包含大量对象实例的场景中依然表现出优异的性能，改善了对象视点估计，使得图像检测在不同场景下依然保持高准确度，同时大大提高信息检索效率。
技术实现思路
针对现有方法仅考虑局部信息的问题，本专利技术的目的在于提供一种基于语境信息进行视点估计的方法，基于语境信息减少视点估计误差，并且在包含大量对象实例的场景中依然表现出优异的性能，改善了对象视点估计，使得图像检测在不同场景下依然保持高准确度，同时大大提高信息检索效率。为解决上述问题，本专利技术提供一种基于语境信息进行视点估计的方法，其主要内容包括：(一)对象检测；(二)定义对象关系；(三)基于语境的视点分类；(四)谨慎推理；(五)视点估计。其中，所述的对象检测，使用三个不同的视点感知检测器，其中两个是可变形部件模型(DPM)检测器的变形，其中模型的特定部分被学习从而对每个离散的视点进行分类，是通过卷积神经网络(CNN)执行基于最先进的基于学习表示方法实现的，该检测由一个更快的RCNN检测器组成，用于局部对象实例，结合微调的CNNAlexnet架构对预测对象边界框的视点进行分类。其中，所述的定义对象关系，首先对象和关系的表示方式给出定义，给定图像，使用视点感知对象检测器来收集一组对象假设O＝(o1，o2，...，om)的感兴趣类别，每个对象假设oi被表示为元组oi＝(ci，li，fi，si)，其中ci表示对象的类别，li表示场景中对象边界框的中心位置，fi表示附加的对象相关特征(例如纵横比或尺寸)，以及si表示由检测器报告的局部检测得分，另外每个假设都具有预测的离散观点αi，使用ov表示预测的对象假设的状态，o+表示对象假设被正确定位，即它们的预测边界框覆盖有效的对象实例，用o-代表错误的对象假设，同样使用αω指示预测视点的状态，α+和α-来表示对象的视点α的预测是否正确，最后用将预测的视点类与其状态相结合，即进一步地，所述的成对关系，将对象之间的关系用作语境信息的来源，从覆盖对象的边界框导出得到相对属性来定义成对关系，对象是投影在图像空间中的二维实体，对于每个对象oi，测量其与每个其他对象oj的相对位置(rxij，ryij)，相对比例rsij和视点αj，生成一个关系描述符rij＝(rxij，ryij，rsij，αj)，将下面的成对关系的相对属性定义为：其中(xi，yi，wi，hi)定义了对象oi的边界框的中心、宽度和高度，产生由五个属性定义的成对关系，每个图像的成对关系的数量关于对象的数量具有二次生长，更确切地说，对于具有m个对象的图像，被提取出总共(m(m-1))个成对关系。其中，所述的基于语境的视点分类，估计对象oi的视点αi使对象oi在给定邻域的似然性最大化：对象的组拟合通过加权投票关系邻域(wvRN)分类器的输出来测量，该输出是针对特定任务定义的，如下所示：其中，wj是考虑到对象检测器中的噪声所添加的加权项，原v(oi，oj)被定义为表示类别ci的对象oi代表正确预测的视点的假设是真实的概率，给定其与对象oj的关系rij，使用贝叶斯规则，将作为后验：其中rij是训练过程中，在注释对象之间计算得出的成对关系。进一步地，所述的对象的组拟合，基于每个对象oi与语境中的所有其他对象oj的关系来估计该对象的响应，使用加权投票关系邻域分类器(wvRN)获得该语境响应，wvRN能够利用网络数据之间的底层结构，以节点为中心的方式运行，即基于语境中的对象oj一次处理一个对象oi，利用wvRN分类器计算语境分数：其中Z＝∑wj是归一化项，v(oi，oj)测量给定对象oi与oj的关系的似然性，加权因子wj用于调制邻居oj的作用，因此等式(1)被重新定义为：分类器对视点αi的预测感兴趣，所以在等式中明确添加视点αi。进一步地，所述的后验，在训练集上运行局部检测器扩展对象和关系的集合，为避免重复的对象实例，通过相应注释，用正确预测的视点替换真实假设同样地，用相应注释产生的这些正确假设来代替这些正确的假设所产生的关系，将假设整合到训练数据中的这一步骤，允许对由局部检测器引入的关系rij中的噪声建模，产生了一组对象oi，其对应的成对关系R＝(rij)，利用以上信息可以通过核密度估计(KDE)估计概率密度函数(pdf)，最后，在测试期间，通过在关系rij定义的测试点处评估pdf来计算和其中关系rij在对象假设之间计算可得。进一步地，所述的加权项，等式(2)的加权项wj考虑了由(预测邻近对象oj中的)对象检测器引入的噪声，使用概率局部分类器估计wj，该概率局部分类器考虑了由各自假设oj的对象检测器提供的分数sj，该分类器的输出将是对象oj的后验类别cj被正确定位具有正确预测的视点给定其分数sj，计算此后验：该方程的分量获得途径类似于等式(3)，每个点被分别分配了标签o+，o-，基于这些标记的假设，分别通过KDE计算条件概率以及最后，根据训练数据中的每个类别估计先验以及作为标记假设的相应比例，根据检测分数，表示假设正确的概率。其中，所述的谨慎推理，对于第一个原则，与最确定的对象相关，针对假设O＝(o1，...，on)，分别定义包含已知和未知对象的互不相交的集合Ok和Ou，其中O＝Ok∪Ou，在推推理中，初始化Ok＝{}和Ou＝O，并将其标记为已知对象，基于概率局部分类器(等式(6))得到具有最高分数的假设，该假设被移动到已知对象的集合Ok，接着重新估计每个未知对象oi∈Ou的wvRN得分，仅考虑其语境Ni中的已知对象oj∈Ok，按以下方式重新定义等式(4)：将具有最高wvRN响应的假设标记为已知，并将其移动到已知对象集Ok，重复此过程，一次提升一个假设oi∈Ou，直到一组未知对象Ou为空，最后，为了在新分数排名中保证相似性，使用等式(7)将第二个被提升的对象作为已知的语境对象，重新估计第一个对象的得分，使用KDE来估计每个语境对象oj的投票其中本文档来自技高网...

【技术保护点】
一种基于语境信息进行视点估计的方法，其特征在于，主要包括对象检测(一)；定义对象关系(二)；基于语境的视点分类(三)；谨慎推理(四)；视点估计(五)。

【技术特征摘要】
1.一种基于语境信息进行视点估计的方法，其特征在于，主要包括对象检测(一)；定义对象关系(二)；基于语境的视点分类(三)；谨慎推理(四)；视点估计(五)。2.基于权利要求书1所述的对象检测(一)，其特征在于，使用三个不同的视点感知检测器，其中两个是可变形部件模型(DPM)检测器的变形，其中模型的特定部分被学习从而对每个离散的视点进行分类，是通过卷积神经网络(CNN)执行基于最先进的基于学习表示方法实现的，该检测由一个更快的RCNN检测器组成，用于局部对象实例，结合微调的CNNAlexnet架构对预测对象边界框的视点进行分类。3.基于权利要求书1所述的定义对象关系(二)，其特征在于，首先对象和关系的表示方式给出定义，给定图像，使用视点感知对象检测器来收集一组对象假设O＝(o1，o2，...，om)的感兴趣类别，每个对象假设oi被表示为元组oi＝(ci，li，fi，si)，其中ci表示对象的类别，li表示场景中对象边界框的中心位置，fi表示附加的对象相关特征(例如纵横比或尺寸)，以及si表示由检测器报告的局部检测得分，另外每个假设都具有预测的离散观点αi，使用ov表示预测的对象假设的状态，o+表示对象假设被正确定位，即它们的预测边界框覆盖有效的对象实例，用o-代表错误的对象假设，同样使用αω指示预测视点的状态，α+和α-来表示对象的视点α的预测是否正确，最后用将预测的视点类与其状态相结合，即4.基于权利要求书3所述的成对关系，其特征在于，将对象之间的关系用作语境信息的来源，从覆盖对象的边界框导出得到相对属性来定义成对关系，对象是投影在图像空间中的二维实体，对于每个对象oi，测量其与每个其他对象oj的相对位置(rxij，ryij)，相对比例rsij和视点αj，生成一个关系描述符rij＝(rxij，ryij，rsij，αj)，将下面的成对关系的相对属性定义为：其中(xi，yi，wi，hi)定义了对象oi的边界框的中心、宽度和高度，产生由五个属性定义的成对关系，每个图像的成对关系的数量关于对象的数量具有二次生长，更确切地说，对于具有m个对象的图像，被提取出总共(m(m-1))个成对关系。5.基于权利要求书1所述的基于语境的视点分类(三)，其特征在于，估计对象oi的视点αi使对象oi在给定邻域的似然性最大化：对象的组拟合通过加权投票关系邻域(wvRN)分类器的输出来测量，该输出是针对特定任务定义的，如下所示：其中，wj是考虑到对象检测器中的噪声所添加的加权项，原v(oi，oj)被定义为表示类别ci的对象oi代表正确预测的视点的假设是真实的概率，给定其与对象oj的关系rij，使用贝叶斯规则，将作为后验：其中rij是训练过程中，在注释对象之间计算得出的成对关系。6.基于权利要求书5所述的对象的组拟合，其特征在于，基于每个对象oi与语境中的所有其他对象oj的关系来估计该对象的响应，使用加权投票关系邻域分类器(wvRN)获得该语境响应，wvRN能够利用网络数据...

【专利技术属性】
技术研发人员：夏春秋，
申请(专利权)人：深圳市唯特视科技有限公司，
类型：发明
国别省市：广东,44