一种考虑整体度量的实测光谱曲线中异常光谱的剔除方法技术

技术编号:10468314 阅读:297 留言:0更新日期:2014-09-24 19:40
本发明专利技术公开了一种考虑整体度量的实测光谱曲线中异常光谱的剔除方法,用局部度量欧氏距离ED、余弦角CA和整体度量光谱信息散度SID的值,进行归一化处理后计算表达式(ED×SID)/CA的值,人工确定阈值之后提出表达式(ED×SID)/CA位于阈值上方的光谱点,完成异常光谱的剔除。还可以在二维平面上以阈值为纵坐标,确定一个阈值线,在以光谱编号和表达式(ED×SID)/CA的值建立的二维平面散点图上剔除阈值线之上的光谱点,完成异常光谱的剔除。本发明专利技术加入光谱信息散度SID可定量表征光谱整体相似性。从光谱局部与整体性区分其与标准光谱集之间的差异,弥补了传统利用距离、角度度量不能区分光谱整体相似性的问题。

【技术实现步骤摘要】

本专利技术属于一种实测光谱曲线中异常光谱的剔除方法,具体涉及一种考虑整体度 量的实测光谱曲线中异常光谱剔除方法。
技术介绍
光谱分析技术在地质遥感、农林生态、土壤调查、污染监测、食品检测、计量化学等 领域应用广泛,在测量过程中,由于仪器噪声、外界环境干扰、操作不当及其他偶发因素的 影响,采集到的光谱数据中往往存在异常光谱,如果直接使用这些数据进行建模分析,势必 会影响模型的准确性和稳定性。因此,有必要识别出异常光谱并将其剔除。 以往运用距离、角度相似性的局部度量比较方法测量光谱与标准光谱集均值光谱 之间的差异,由于距离、角度度量分别是利用谱段间的距离、角度差异的加权值,谱段间差 异易相互抵消,难以区分整体波形结构差异,如果该测量光谱整体波形与标准光谱集均值 光谱之间实际差异很大,但计算出的距离、角度相似性度量结果由于谱段间差异相互抵消 造成相似性度量结果恰好很小,传统度量方法会认为该光谱是正常光谱且不能去除,势必 会对后续光谱分析产生影响。 因此需要一种考虑到光谱整体相似性的比较方法应用于异常光谱的剔除。
技术实现思路
: 本专利技术要解决的技术问题是提供一种考虑整体度量的实测光谱曲线中异常光谱 的剔除方法,从光谱局部与整体性区分其与标准光谱集之间的差异弥补了传统利用距离、 角度度量不能区分光谱整体相似性的问题。 为了解决上述技术问题本专利技术的技术方案为: -种考虑整体度量的实测光谱曲线中异常光谱的剔除方法,包括如下步骤:步骤 1),对实测光谱曲线进行预处理;步骤2),计算经预处理的实测光谱曲线与标准光谱集平 均光谱之间的局部度量和整体度量,并将计算结果归一化到0-1之间,局部度量包括欧氏 距离ED和余弦角CA,整体度量包括光谱信息散度SID ;步骤3),依据上述经归一化到0-1之 间的欧氏距离ED、余弦角CA和光谱信息散度SID的值,计算表达式(EDXSID)/CA的值;步 骤4),设定异常光谱阈值,表达式(EDXSID)/CA的值中位于异常光谱阈值之上的点即为异 常光谱。 较佳地,步骤1)对实测光谱曲线进行预处理,包括三个步骤11)去除水汽影响波 段,12)采用多项式平滑滤波,滤除原始光谱中高频噪声,13)包络线去除。 较佳地,步骤2)中局部度量和整体度量的计算方法为:经预处理的实测光谱曲 线包括光谱曲线X和光谱曲线Y,各个光谱曲线X和光谱曲线Y均包含η个波段,即X = (χ1; χ2, χ3, ··· χη), Υ = (υι, y2, y3. *·· yn)? 欧氏距离本文档来自技高网...

【技术保护点】
一种考虑整体度量的实测光谱曲线中异常光谱的剔除方法,其特征在于,包括如下步骤:步骤1),对实测光谱曲线进行预处理;步骤2),计算经预处理的实测光谱曲线与标准光谱集平均光谱之间的局部度量和整体度量,并将计算结果归一化到0‑1之间,所述局部度量包括欧氏距离ED和余弦角CA,所述整体度量包括光谱信息散度SID;步骤3),依据上述经归一化到0‑1之间的欧氏距离ED、余弦角CA和光谱信息散度SID的值,计算表达式(ED×SID)/CA的值;步骤4),设定异常光谱阈值,表达式(ED×SID)/CA的值中位于所述异常光谱阈值之上的点即为异常光谱。

【技术特征摘要】
1. 一种考虑整体度量的实测光谱曲线中异常光谱的剔除方法,其特征在于,包括如下 步骤: 步骤1),对实测光谱曲线进行预处理; 步骤2),计算经预处理的实测光谱曲线与标准光谱集平均光谱之间的局部度量和整体 度量,并将计算结果归一化到0-1之间,所述局部度量包括欧氏距离ED和余弦角CA,所述整 体度量包括光谱信息散度SID ; 步骤3),依据上述经归一化到0-1之间的欧氏距离ED、余弦角CA和光谱信息散度SID 的值,计算表达式(EDXSID)/CA的值; 步骤4),设定异常光谱阈值,表达式(ED X SID) /CA的值中位于所述异常光谱阈值之上 的点即为异常光谱。2. 根据权利要求1所述的一种考虑整体度量的实测光谱曲线中异常光谱的剔除方法, 其特征在于:所述步骤1)对实测光谱曲线进行预处理,包括三个步骤11)去除水气影响波 段,12)采用多项式平滑滤波,滤除原始光谱中高频噪声,13)包络线去除。3. 根据权利要求1所述的一种考虑整体度量的实测光谱曲线中异常光谱的剔除方法, 其特征在于:所述步骤2)中所述局部度量和所述整体度量的计算方法为:经预处理的所述 实测光谱曲线包括光谱曲线X和光谱曲线Y,各个所述光谱曲线X和所述光谱曲线Y均包含 η 个波段,即 X = (X x2, x3,…xn),Y = (y y2, y3,…yn), 所述欧氏距离所...

【专利技术属性】
技术研发人员:詹云军苏余斌黄解军余晨邓安鑫朱捷缘
申请(专利权)人:武汉理工大学
类型:发明
国别省市:湖北;42

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1