System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种集成特征与时间维度的时序模型可解释方法技术_技高网
当前位置: 首页 > 专利查询>河海大学专利>正文

一种集成特征与时间维度的时序模型可解释方法技术

技术编号:42101059 阅读:20 留言:0更新日期:2024-07-25 00:27
本发明专利技术公开了计算机信息处理领域的一种集成特征与时间维度的时序模型可解释方法,旨在解决现有技术中因忽略特征维度上各特征交互关系和时间维度上特征影响的延迟性而无法对时序数据的预测结果进行高质量的模型解释的技术问题。所述方法包括如下步骤:S1:基于Shapley值采样算法表征特征维度上不同特征间的交互信息,并计算重要性分数;S2:根据特征重要性值以及动态窗口划分算法划分出长度不同的时间窗口值并获取其最大与最小的时间窗口范围;S3:设置长度可变的滑动时间窗口,并在数据序列上采样同等长度的特征序列实现特征移除;S4:在每一时间窗口内使用特征时序依赖性公式计算在具有时序依赖性下每一特征的重要性分数值。

【技术实现步骤摘要】

本专利技术属于机器学习模型可解释性领域,涉及使用计算机信息技术特别是模型可解释性技术处理时序模型及数据信息的方法。


技术介绍

1、由于神经网络模型的快速发展,深度学习在各种领域取得了重大突破。各类神经网络的有效性的关键因素在于深层次的网络结构、复杂的模型和参数设置。这些因素也导致了神经网络的低透明性,使人们无法判断其决策是否可靠。深度神经网络的“黑盒”性质严重阻碍了该类模型大规模应用于有高安全性要求的领域。因此,可靠的模型解释方法尤为重要,这也促使许多基于特征重要性评估的模型可解释性方法的产生与发展。这一类方法可以理解为将模型的决策结果以可理解的方式向人类呈现。现有的专用于神经网络的解释方法多采用归因的方式获取重要的输入特征,然而,大多数模型解释方法最初是被设计用于图像数据等静态数据的,这些标准的静态解释方法应用于时间序列类型的数据集和模型时并不适用。这是因为,一方面,时序数据的动态性质使得特征重要性具有时间依赖性;另一方面,多用作时序模型的循环神经网络模型结构较为复杂。

2、现有的应用于时序神经网络模型解释的方法主要分为两类,除了上述静态的模型解释方法,另一类是基于ashish等人提出的注意力机制的解释方法。许多研究表明注意力分数可以被解释为随着时间推移而不断变化的重要性分数,但这一解释方法的可用性和准确性仍有待商榷。针对以上两类方法存在的不足,现有的用于时序神经网络以实现动态解释的方法,主要考虑以不同方式移除部分特征以衡量模型预测的变化并进行解释。例如,zeiler等人提出的fo(feature occlusion)算法通过每一时刻在特征向量中移除单独特征,并将特征改变前后模型预测值的变化用作解释。又如:tonekaboni等人提出的fit(feature in time)算法,使用一个生成器对特征向量中指定特征子集外的其余特征进行生成,并通过kl散度(kullback-leibler divergence)衡量在同一时刻有无该特征子集对于模型预测值的影响。crabbé等人提出的动态掩码(dynamic mask)模块被用于学习输入特征矩阵掩码以对特征值进行扰动,进而突出重要特征值。又如:leung等人提出winit算法,该算法基于fit并通过在时间维度设置固定长度的时间窗口,以计算每个时间窗口内特征在该序列上重要性分数实现对特征的时需依赖性进行解释的效果。

3、我们可以发现,无论是从特征向量中去除指定特征或是其补集,这些通过计算局部特征重要性进行解释的方法并未考虑这些特征与剩余特征间的相关性。另外,fit这一使用生成器生成数据的方法,对于数据特征分布要求较高,如果数据分布较为复杂,可能并不会取得很好的效果。此外,对时间序列模型进行解释时,不能忽略时序数据在时间维度上的重要性。现有方法如leung等人介绍的winit算法通过在时间轴上划分固定长度时间窗口的方式,将一段时间内的特征的时序依赖性进行分析,但通过定长移动窗口的方式无法准确定位对于结果影响最大的时间段特征集合。目前,针对时间维度上特征重要性分析的研究相对较少,迫切需要一种可行的解决方法,以解决时间维度上特征的时序依赖性,也即关键时序特征的影响滞后性问题。


技术实现思路

1、针对现有技术的不足,本专利技术的目的在于提供一种集成特征与时间维度的时序模型可解释方法,以解决现有技术中因忽略特征维度上特征间的交互性以及时间维度上时间段内特征预测的滞后性对于模型解释算法效果的影响。

2、为解决上述技术问题,本专利技术所采用的技术方案是:

3、一种集成特征与时间维度的时序模型可解释方法,包含如下步骤:

4、步骤s1:基于shapley值采样算法表征特征维度上不同特征间的交互信息,并计算重要性分数;

5、步骤s2:根据特征重要性值以及动态窗口划分算法划分出长度不同的时间窗口值并获取其最大与最小的时间窗口范围;

6、步骤s3:设置长度可变的滑动时间窗口,并在数据序列上采样同等长度的特征序列实现特征移除;

7、步骤s4:在每一时间窗口内使用特征时序依赖性公式计算在具有时序依赖性下每一特征的重要性分数值。

8、在该方法中,所述步骤s1进一步包括:

9、步骤s11:采用特征移除的模型解释思路,观察每一时间点上移除固定特征对模型预测值产生的影响从而分析特征的重要性;

10、步骤s12:对shapley值公式进行改进,引入采样特征的方法降低特征移除时产生的指数级特征值组合数量的计算复杂度;

11、步骤s13:考虑到时间序列数据的动态性质,在每一时刻计算重要性分数并进行汇总。

12、在该方法中,所述步骤s2进一步包括:

13、步骤s21:从输入数据矩阵中随机抽取实例z,对于关注的样本x的特征j进行采样分析;

14、生成特征的随机顺序o,其中包括:

15、随机顺序实例x:xo=(x(1),...,x(j),...,x(p)),

16、随机顺序实例z:zo=(z(1),...,z(j),...,z(p)),

17、构造两个新实例:

18、有特征j:x+j=(x(1),...,x(j-1),x(j),z(j+1),...,z(p)),

19、没有特征j:x-j=(x(1),...,x(j-1),z(j),z(j+1),...,z(p)),

20、计算边际贡献:

21、计算平均值作为shapley值:

22、步骤s22:所述动态时间窗口划分算法中,需要将整个序列划分为可变长度的时间窗口,为此定义以下两个最优拆分目标:

23、尽可能保持时间窗口的数量以避免增加算法的复杂性,

24、避免使用重要性分数较大的窗口来最小化信息丢失,

25、在满足以上两个目标的前提下,首先初始化存储序列分割点的集合s,

26、基于分割点构建时间窗口,构建窗口集合并计算所有时间窗口的shapley值,如果该值大于阈值,则在s中添加新的分割点,直到满足所有窗口的shapley值小于阈值或窗口数量达到上限即满足两个目标之一则停止算法。

27、在该方法中,所述步骤s3进一步包括:

28、步骤s31:使用groupshapley值公式做近似推导,证明先对时序特征进行分组再计算重要性分数值与先计算每个特征的shapley值再进行分组效果一致,

29、使用采样方法,即在同一特征维度上采样长度相同但时间段不同的特征序列分别替代该段特征,计算最终模型输出值的差异,

30、对多次采样之后的结果进行加权计算,作为一次时间窗口内采样的重要性分数值,

31、步骤s32:所述长度可变的滑动时间窗口的依据为动态窗口最优拆分目标下的阈值和时间窗口实际所计算得到的重要性分数值间的关系,包括:

32、若当前窗口对应的φ值大于最佳阈值,说明窗口长度过长,此时需要减小窗口本文档来自技高网...

【技术保护点】

1.一种集成特征与时间维度的时序模型可解释方法,其特征是,包含如下步骤:

2.根据权利要求1所述的集成特征与时间维度的时间序列模型可解释方法,其特征是,使用Shapley值采样算法进行采样操作,包括:

3.根据权利要求1所述的集成特征与时间维度的时间序列模型可解释方法,其特征是,所述采样特征的方法,包括:

4.根据权利要求1所述的集成特征与时间维度的时间序列模型可解释方法,其特征是,所述动态时间窗口划分算法,需要将整个序列划分为可变长度的时间窗口,为此定义以下两个最优拆分目标,包括:

5.根据权利要求1所述的集成特征与时间维度的时间序列模型可解释方法,其特征是,对所述长度不同且固定的时间窗口进行采样,包括:

6.根据权利要求1所述的集成特征与时间维度的时间序列模型可解释方法,其特征是,设置长度可变的滑动时间窗口,其中时间窗口长度的变化依据为动态窗口最优拆分目标下的阈值和时间窗口实际所计算得到的重要性分数值间的关系,包括:

7.根据权利要求1所述的集成特征与时间维度的时间序列模型可解释方法,其特征是,在同一特征维度采样长度相同但时间段不同的特征序列对指定时段特征序列进行移除,包括:

8.根据权利要求1所述的集成特征与时间维度的时间序列模型可解释方法,其特征是,包括:

...

【技术特征摘要】

1.一种集成特征与时间维度的时序模型可解释方法,其特征是,包含如下步骤:

2.根据权利要求1所述的集成特征与时间维度的时间序列模型可解释方法,其特征是,使用shapley值采样算法进行采样操作,包括:

3.根据权利要求1所述的集成特征与时间维度的时间序列模型可解释方法,其特征是,所述采样特征的方法,包括:

4.根据权利要求1所述的集成特征与时间维度的时间序列模型可解释方法,其特征是,所述动态时间窗口划分算法,需要将整个序列划分为可变长度的时间窗口,为此定义以下两个最优拆分目标,包括:

5.根据权利要求1所述的集成特征与时间维度的...

【专利技术属性】
技术研发人员:李晓东刘朝阳
申请(专利权)人:河海大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1