基于多模态数据的决策树分类方法与系统技术方案

本发明专利技术提出一种基于多模态数据的决策树分类方法与系统，通过神经网络提取多模态数据特征向量，利用线性网络计算各模态各类别预测概率，拼接一维特征向量生成伪视图并计算伪视图各类别预测概率，同时动态评估各模态及伪视图的数据质量进行融合，综合利用了多模态数据的互补能力，有效提高了分类预测的准确率；与此同时，将各类别融合预测概率输入决策树，在决策树中进行软推理，并使用决策树路由信息对预测结果进行解释，能够说明预测的依据，增强预测结果的可信度。预测结果的可信度。预测结果的可信度。

【技术实现步骤摘要】
基于多模态数据的决策树分类方法与系统


[0001]本专利技术涉及计算机数据处理
，特别涉及一种基于多模态数据的决策树分类方法与系统。

技术介绍

[0002]可解释性是指人能够理解模型在其决策过程中怎么决策、为什么决策，以及决策了什么。现如今，可解释性已被认为是人工智能能否被广泛应用的关键因素。随着人工智能在自动驾驶、医疗诊断、保险以及金融服务等诸多应用领域的广泛发展，当系统做出决策或提出建议时，出于实际因素和社会法律原因，系统向用户、开发人员以及监管机构提供解释是必不可少的。此外，设计人员和开发人员也需要可理解性以加强系统，使决策不存在偏见、不公平和歧视，并增加所有用户对决策原因和方式的信任。
[0003]目前，在机器学习领域，模型的可解释性与模型的准确度之间存在权衡。能够直观理解预测原理的模型往往有着较差的预测性能，复杂的黑盒模型具有良好的预测性能，却很难理解模型如何做出决策。当前可解释模型常见的方法包括三种：（a）全局解释，一次性在数据集上对整个模型的决策进行解释；（b）局部解释，对特定的实例进行解释；（c）自省解释，对输入输本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态数据的决策树分类方法，其特征在于，所述方法包括如下步骤：步骤一，根据多模态数据的各个模态类型，利用ResNet神经网络模型与CLIP神经网络模型提取所述多模态数据的一维特征向量；步骤二，将所述多模态数据的一维特征向量输入至对应模态的多层线性网络，以计算得到所述多模态数据的各类别预测概率；步骤三，拼接所述多模态数据的一维特征向量以生成伪视图一维特征向量，并输入至多层线性网络中以计算得到伪视图的各类别预测概率；步骤四，根据所述多模态数据的各类别预测概率与所述伪视图的各类别预测概率，对多模态数据与伪视图的数据质量进行动态评估，以生成融合权重并计算得到各类别融合预测概率；步骤五，将所述各类别融合预测概率输入至决策树，在决策树中进行软推理，选择概率最大的一项作为预测结果，并使用决策树路由信息对所述预测结果进行解释。2.根据权利要求1所述的基于多模态数据的决策树分类方法，其特征在于，在所述步骤二中，计算所述多模态数据的各类别预测概率的方法包括如下步骤：将所述多模态数据的一维特征向量输入至对应模态的多层线性网络，以计算得到所述多模态数据的各类别预测概率，对应的计算公式表示为：；其中，表示第个模态数据的各类别预测概率，表示第个模态数据的一维特征向量，，表示第个模态数据的一维特征向量的长度，表示实数集，表示分类类别的个数，表示第个模态数据相应的多层线性网络层数，表示第个模态数据的输入向量长度为且输出向量长度为的线性层网络。3.根据权利要求2所述的基于多模态数据的决策树分类方法，其特征在于，在所述步骤三中，计算得到伪视图的各类别预测概率的方法包括如下步骤：拼接所述多模态数据的一维特征向量以生成伪视图一维特征向量，对应的公式表示为：；其中，表示所述伪视图一维特征向量，表示拼接操作，表示第个模态数据的一维特征向量，表示多模态数据的模态个数；将所述伪视图一维特征向量输入至多层线性网络中，以计算得到伪视图的各类别预测概率，对应的公式表示为：；其中，表示所述伪视图一维特征向量的长度，表示所述伪视图的各类别预测概率，
表示伪视图的多层线性网络层数，表示第个伪视图中输入向量长度为的M分类类别的伪视图线性层网络，表示第个伪视图中输入向量长度为且输出向量长度为的伪视图线性层网络。4.根据权利要求3所述的基于多模态数据的决策树分类方法，其特征在于，在所述步骤四中，生成融合权重并计算得到各类别融合预测概率的方法包括如下步骤：根据所述多模态数据的各类别预测概率，对多模态数据进行动态评估，对应的公式表示为：；其中，表示第个模态数据的数据质量，表示第个模态数据的第个类别的预测概率，表示第个模态数据的第个类别的预测强度；根据所述伪视图...

【专利技术属性】
技术研发人员：王辉，黄宇廷，华姝雅，李欣怡，姜朱丰，范自柱，杨辉，
申请(专利权)人：华东交通大学，
类型：发明
国别省市：