可解释性稀疏多专家系统技术方案

技术编号:44920682 阅读:23 留言:0更新日期:2025-04-08 19:01
本发明专利技术公开了可解释性稀疏多专家系统,涉及模式识别领域,该系统包括:多层线性专家模型、特征选择门控网络和输出节点;通过特征选择门控网络计算输入特征的归一化权重,并结合多层线性专家模型的输出结果生成最终预测值;系统采用特征选择误差函数优化,自动剔除无关特征,实现稀疏化,提高系统可解释性和预测准确性;本发明专利技术适用于自然语言处理、计算机视觉、多模态分析等领域,尤其在需要高解释性分析的场景中具有显著优势,简化了模型结构,提升了透明度与计算效率。

【技术实现步骤摘要】

本专利技术涉及模式识别的,具体而言,涉及可解释性稀疏多专家系统


技术介绍

1、多专家(moe,即mixture-of-experts)系统是一个由多个“专家”组成的智能系统,每个专家负责处理特定类型的数据或任务。当输入信息进入系统时,系统会根据这个信息的特点选择最合适的专家处理,从而提高准确性。

2、现有的moe系统在很多领域很有用,但有一个问题:

3、多专家技术的构建基于分合(divide-and-conquer)思想。整个问题样本空间在多专家模型中得到划分,其中每个专家负责样本局部空间,对moe训练完成以后,对于新样本,门控网络决定哪个专家用于解决此问题,最后通过加权平均的策略得到输出。

4、moe在自然语言处理、计算机视觉、多模态领域性能良好,而且促进了计算机视觉和多模态领域的发展,但是它们通常结构复杂、难以解释,普通用户很难理解系统的工作原理。


技术实现思路

1、本专利技术的目的在于:设计一种具备特征选择功能的新型多专家系统,使其能够有效选择关键特征并剔除无用特征本文档来自技高网...

【技术保护点】

1.可解释性稀疏多专家系统,其特征在于,所述多专家系统包括:多层线性专家模型、特征选择门控网络和输出节点;

2.如权利要求1所述的可解释性稀疏多专家系统,其特征在于,所述多专家系统的最终输出y(x)的计算公式为:

3.如权利要求2所述的可解释性稀疏多专家系统,其特征在于,所述多层线性专家模型中第i个单独专家系统对多层输入样本的输出结果yi(x)的表达式为:

4.如权利要求2所述的可解释性稀疏多专家系统,其特征在于,所述第i个单独专家系统的归一化权重的表达式为:

5.如权利要求4所述的可解释性稀疏多专家系统,其特征在于,所述误差函数E的表达式...

【技术特征摘要】

1.可解释性稀疏多专家系统,其特征在于,所述多专家系统包括:多层线性专家模型、特征选择门控网络和输出节点;

2.如权利要求1所述的可解释性稀疏多专家系统,其特征在于,所述多专家系统的最终输出y(x)的计算公式为:

3.如权利要求2所述的可解释性稀疏多专家系统,其特征在于,所述多层线性专家模型中第i个单独专家系统对多层输入样本的...

【专利技术属性】
技术研发人员:杨军高涛刘行健徐勇勇
申请(专利权)人:中国电子科技集团公司第十五研究所
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1