本发明专利技术公开了基于上下文推理的天空检测方法，包括天空样本数据集的建立、场景分割算法、超像素特征提取、分类器训练以及上下文推理模型的建立，可基于此训练分类器用于初步检测天空区域；建立了CRF上下文推理模型，利用上下文约束进一步提高检测精度，取得了比现有同类算法更高的检测精度；在检测精度与检测速度两方面取得了很好的折中，可以满足实际需求。
【技术实现步骤摘要】
本专利技术属于场景理解
，设及。
技术介绍
随着计算机和机器人技术的发展，智能机器人已经不仅在制造方面，而且在军用、 民用、科学研究等许多方面得到了广泛的应用。本文针对地面机器人等视觉系统中的重要 的预处理步骤一天空检测一做出详细的讨论，并提出相应的算法。天空区域是室外图像的 重要组成部分，并且提供了有关周围环境的重要信息。在由斯坦福大学研制的地面自主机 器人中，运用简单的天空识别算法提高了道路检测效果。目前存在的天空检测算法主要有 基于颜色先验的方法、基于梯度先验的方法和基于模型融合的方法。基于颜色先验的天空 识别算法假设天空的主要颜色为蓝色，并基于该假设对识别天空。基于颜色先验的天空识 别算法速度较快，但是识别精度较低。运是因为天空在不同时间段、不同天气条件下，天空 的颜色会发生显著变化，因此基于颜色的天空识别算法无法适应天空颜色的变化。 基于梯度先验的天空识别算法假设天空区域的梯度变化较为平缓。该算法通过构 造一个能量函数优化求解得到图像中梯度较为平滑的连续区域，即为天空区域。但是当天 空中存在云彩时，天空中存在明显的梯度变化，该算法的假设不再成立。因此基于梯度的天 空识别算法不适用于天空中存在云、太阳等附着物的情况。基于多模型融合的天空检测算 法综合利用颜色、梯度等多种模型，提高了算法的适应性。但是在天空场景图像中天空区域 与非天空区域之间可能存在较大相似性，比如天空与白色地面建筑物。对于运种情况，上述 算法都无法较好的处理。上述算法尽管在特定领域能取得较好的效果，但是无法适应天空 复杂的变化W及天空与非天空区域间存在的相似性。究其原因，上述算法在检测天空时仅 仅利用了有限的先验知识，不能涵盖多样的天空变化。为了满足实际需求，有必要探索更更 有效的天空检测方法。不同于目前天空检测算法中所采用的思路，本文将天空检测看做场 景理解问题。 场景理解作为计算机视觉的基本问题，近年来得到了越来越多的理论研究和实际 应用。2000年W来，随着计算机视觉技术和认知学的快速发展，对场景图像中单一形式物体 的识别逐渐过渡到对类内多形式物体的识别，W及场景的全局理解和场景物体间上下文信 息的建模。在天空场景图像中，天空区域与非天空区域之间存在明显的上下文约束，比如， 位于天空区域中的对象W更大的概率属于天空区域。利用运种上下文约束关系，可W帮助 消除天空与非天空区域之间存在的歧意，从而减少识别错误。在场景理解理论中，马尔科夫 随机场(Markov random field,MRF),条件随机场（Conditional random field,CRF)等模 型常用于对上下文约束关系建模。此外，在场景理解中通常运用机器学习分类模型对局部 区域区域初步分类，相比于简单的由人工挖掘的先验知识，机器学习方法可W从数据中自 适应的学习到规则W适应复杂的数据分布。
技术实现思路
本专利技术的目的在于提供基于上下文推理模型的天空检测算法，解决了现有的算法 尽管在特定领域能取得较好的效果，但是无法适应天空复杂的变化W及天空与非天空区域 间存在的相似性的问题。 本专利技术所采用的技术方案是按照下面步骤进行： 步骤1:天空样本数据集建立;数据集包含采集的若干原始图像； 步骤2:场景分割;对数据集中的原始图像做超像素分割，分割出若干超像素； 步骤3:用合并超像素的方式产生图像的多尺度分割;合并相邻超像素得到图像的 多尺度分割； 步骤4:计算超像素属于天空区域的概率;图像的多尺度分割中一个超像素可能属 于多个不同的Region,将每一个超像素区域作为一个识别单元，累加多个Region属于天空 或非天空的概率并做归一化处理，该超像素区域中的像素要么被全部识别为天空，要么被 全部识别为非天空，运样将一幅图像分为天空区域和非天空区域； 步骤5:提取正负样本；由天空区域产生的超像素为正样本，由非天空区域产生的 超像素作负样本，对于一个超像素，N表示超像素中包含的像素总数，Nb表示超像素中天空 像素的数目，Nr表示超像素中非天空像素的数目； 超像素为正样本的条件：超像素为负样本的条件：'， 步骤6:超像素特征提取;从正负样本中选择能将天空与非天空区域分开且能够表 达场景语义信息的特征;特征包括颜色特征、纹理特征、位置特征、直线特征;将四种特征拼 成一个向量，作为超像素的最终特征； 步骤7:局部超像素分类；训练分类器来识别天空区域;对每个超像素区域，SVM得 到一个置信度值confidence,将每个置信度值利用Logistic函数压缩到区间，作为该 超像素属于天空区域的似然值： Ci ￡ {sky, non-sky} ci = sky, C2 = non-sky L(vi,ci) = g(conf idence) L(Vi,C2) = l-L(Vi,ci) sky表示天空，non-sky，L(Vi ,Cl)表示超像素属于天空区域的似然值，同样L(vi, C2)表示超像素属于非天空区域的似然值，初步检测天空区域，将SVM分类器输出为正1的超 像素标记为天空，输出为负1的标记为非天空； 步骤8:上下文推理;在超像素基础上构建了一个CRF条件随机场模型，定义图G = (V，E)，其中顶点veV，边e&必cFx^，V集合中元素为超像素，E集合中元素为相邻超像 素间的边，ei康示相邻超像素 Vi与Vj之间的边，1康示Vi被分配的类别，CRF能量函数通常包 含数据项Datal'erm和平滑项SmoothTerm, DataTerm迫使1接近预测值P ,SmoothTerm保持1的 局部一致性，通过最小化能量函数E(I)得到最后的检测结果，CRF模型如式：[002引其中数据项： 巫（Vi,li) = exp(-L(Vi,c))l(li^c) 1(.)表示示性函数，当输入为真时输出1，否则输出0; E(I)的定义中平滑项有S部分组成： c(v,'，巧）=e邓(HI W/ Il 純(/一 &') Ii V研k定义为Vi与V撕颜色特征的欧几里得距离； f知巧）=勘p(- Ii VT 11 //)1巧^的Il VTl #定义为V i与V j的纹理特征的欧几里得距 离； 〇{vi,vj) = exp：(- Il Vo Il v)l(// ^ Ij) Il VO||f/定义为Vi与V说中屯、点坐标的欧几里得距离。 进一步，所述步骤1中，天空样本数据集中原始图像分为13个类别，分别为:清晨、 中午、下午、傍晚、多云、雾靈、阴天、城市、乡村、草原、森林、沙漠、山区。 进一步，所述步骤4中Region属于天空或非天空的概率可由SVM分类器输出的置信 度值得到。 进一步，所述步骤6中，颜色特征提取方法:提取超像素区域的颜色直方图特征并 作归一化处理； 纹理特征提取方法:采用Leung和MaUk提出的LM filter bank提取超像素的纹理 特当前第1页1 2 3 4 本文档来自技高网...
【技术保护点】
基于上下文推理的天空检测算法，其特征在于按照以下步骤进行：步骤1：天空样本数据集建立；数据集包含采集的若干原始图像；步骤2：场景分割；对数据集中的原始图像做超像素分割，分割出若干超像素；步骤3：用合并超像素的方式产生图像的多尺度分割；合并相邻超像素得到图像的多尺度分割；步骤4：计算超像素属于天空区域的概率；图像的多尺度分割中一个超像素可能属于多个不同的Region，将每一个超像素区域作为一个识别单元，累加多个Region属于天空或非天空的概率并做归一化处理，该超像素区域中的像素要么被全部识别为天空，要么被全部识别为非天空，这样将一幅图像分为天空区域和非天空区域；步骤5：提取正负样本；由天空区域产生的超像素为正样本，由非天空区域产生的超像素作负样本，对于一个超像素，N表示超像素中包含的像素总数，NB表示超像素中天空像素的数目，NR表示超像素中非天空像素的数目；超像素为正样本的条件：NBN≥0.8]]>超像素为负样本的条件：NRN≥0.8;]]>步骤6：超像素特征提取；从正负样本中选择能将天空与非天空区域分开且能够表达场景语义信息的特征；特征包括颜色特征、纹理特征、位置特征、直线特征；将四种特征拼成一个向量，作为超像素的最终特征；步骤7：局部超像素分类；训练分类器来识别天空区域；对每个超像素区域，SVM得到一个置信度值confidence，将每个置信度值利用Logistic函数压缩到[0,1]区间，作为该超像素属于天空区域的似然值：ci∈{sky,non‑sky}c1＝sky,c2＝non‑skyL(vi,c1)＝g(confidence)g(confidence)=11+e-confidence]]>L(vi,c2)＝1‑L(vi,c1)sky表示天空，non‑sky，L(vi,c1)表示超像素属于天空区域的似然值，同样L(vi,c2)表示超像素属于非天空区域的似然值，初步检测天空区域，将SVM分类器输出为正1的超像素标记为天空，输出为负1的标记为非天空；步骤8：上下文推理；在超像素基础上构建了一个CRF条件随机场模型，定义图G＝(V,E),其中顶点v∈V,边V集合中元素为超像素，E集合中元素为相邻超像素间的边，eij表示相邻超像素vi与vj之间的边，li表示vi被分配的类别，CRF能量函数通常包含数据项DataTerm和平滑项SmoothTerm，DataTerm迫使l接近预测值p，SmoothTerm保持l的局部一致性，通过最小化能量函数E(l)得到最后的检测结果，CRF模型如式：E(l)=Σi∈VΦ(vi,li)+αΣeij∈Ec(vi,vj)+βΣeij∈Et(vi,vj)+θΣeij∈Eo(vi,vj)]]>其中数据项：Φ(vi,li)＝exp(‑L(vi,c))1(li≠c)1(.)表示示性函数，当输入为真时输出1，否则输出0；E(l)的定义中平滑项有三部分组成：c(vi,vj)=exp(-||▿H||ij)1(li≠lj)]]>定义为vi与vj的颜色特征的欧几里得距离；t(vi,vj)=exp(-||▿T||ij)1(li≠lj)]]>定义为vi与vj的纹理特征的欧几里得距离；o(vi,vj)=exp(-||▿o||ij)1(li≠lj)]]>定义为vi与vj的中心点坐标的欧几里得距离。...
【技术特征摘要】
【专利技术属性】
技术研发人员：尚媛园，周修庄，付小雁，丁辉，邵珠宏，李戈，栾中，
申请(专利权)人：首都师范大学，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。