一种基于注意力机制的关键属性挖掘方法技术

本发明专利技术公开了一种基于注意力机制的关键属性挖掘方法，属于数据挖掘技术领域。其中，一种基于注意力机制的关键属性挖掘方法，包括基于专家经验对数据进行初步属性聚类，针对预处理的数据，构建基于多层感知机的注意力机制，采用作战结果预测模型与注意力机制模型相结合，将基于注意力机制模型输出的权重分布与预测模型中各属性的特征向量进行乘积，获取更加准确的特征表示，用于最终的作战结果预测，并通过最终的作战结果优化注意力机制模型输出的权重分布。本发明专利技术利用注意力机制提取关键属性信息，降低冗余属性的干扰，从而实现准确率高的作战结果预测，更好的帮助指挥员从宏观上掌控战场态势变化。掌控战场态势变化。掌控战场态势变化。

【技术实现步骤摘要】
一种基于注意力机制的关键属性挖掘方法


[0001]本专利技术涉及一种基于注意力机制的关键属性挖掘方法，属于数据挖掘


技术介绍

[0002]在信息化时代,非接触作战和网络中心战成为未来战争的主要形式,作战过程表现为多机理支配下的多种作战力量作用于多个相关领域的综合、复杂的对抗过程,作战力量由“简单结构”向“复杂结构”发展,战争的复杂性、非对称性都对新型作战力量的发展提出了更高要求。而现代战争中指挥员在真实作战场景下面对这些复杂的战场态势需要一些作战仿真系统的实时辅助，因此为了解决这一问题，需要在冗余的属性信息中挖掘出在当前局势下关键的属性，从而帮助指战员迅速做出决策。
[0003]目前，关键属性挖掘的常用方法有分类和聚类。其中，分类算法有贝叶斯分类和支持向量机等算法，通过分类模型找出特征间的共同点，并将数据中不同维度数据映射到给定的类别；聚类则是将数据按照相似性和差异性划分类别，使得较为相似的数据在同一类别中。将对抗数据进行无监督聚类，考虑环境状态属性以及输出动作标签构建聚类指标，最终将新有的数据归类到某一个簇。专利CN110222744A基于朴素贝叶斯分类模型，通过属性加权的方法有效的改进模型性能，并通过斯皮尔曼系数剔除了冗余属性，提高朴素贝叶斯模型的准确率。专利CN108564101A可以在融合异源异构数据时，识别质量高的数据源、挖掘最实时准确的信息，提高发现真值的准确度，为用户的决策提供更好的辅助信息。
[0004]此外，也有基于关联规则进行关键属性挖掘的方法。专利CN103020256B提供一种大规模数据的关联规则挖掘方法，基于相似度的分类算法对数据进行预处理，得到具有较高相似度的分类结果，并计算分类的频繁项集，得到强关联规则，减少产生不必要的关联性小的候选项集，从而提高整体数据的关联规则挖掘效率，具有更好的扩展性。
[0005]基于上述研究现状，针对多维度数据的关键属性挖掘方法，主要存在以下问题：第一，基于分类或者聚类的属性抽取方法，对于军事指挥控制中复杂和动态的环境中的对于属性间深层次关系理解可能不到位，模型泛化能力不佳。第二，基于关联规则的方法，在规则较为复杂的作战场景中不容易抽取出有用的规则。
[0006]深度学习中的注意力机制在本质上是借鉴了人脑的注意力机制，被广泛的应用在自然语言处理、图像分类及语音识别，并取得了显著的成果。注意力机制让神经网络在执行预测任务时可以更多关注输入中的相关部分，更少关注不相关的部分。在机器翻译任务中，当解码器生成一个用于构成目标句子的词时，源句子中仅有少部分是相关的；因此，可以应用一个基于内容的注意力机制来根据源句子动态地生成一个(加权的)语境向量,然后网络会根据这个语境向量而不是某个固定长度的向量来预测词。通过注意力机制可以利用有限的注意力资源从大量信息中快速筛选出高价值的信息。

技术实现思路

[0007]专利技术目的：克服现有技术的不足，提供一种基于注意力机制的关键属性挖掘方法，
利用注意力机制提取关键属性信息，降低冗余属性的干扰，从而实现准确率高的作战结果预测，更好的帮助指挥员从宏观上掌控战场态势变化。
[0008]技术方案：一种基于注意力机制的关键属性挖掘方法，包含以下步骤：
[0009]步骤(1)：基于专家经验对数据进行初步关键属性筛选；
[0010]步骤(2)：数据归一化，消除指标之间的量纲影响；
[0011]步骤(3)：构建基于多层感知机的注意力模型；
[0012]步骤(4)：将步骤(2)归一化的属性作为步骤(3)构建模型的输入，进行模型训练；
[0013]步骤(5)：使用步骤(4)训练好的模型，对测试数据进行胜负预测；
[0014]步骤(6)：基于步骤(5)的模型预测，获取每个输入属性的权重信息；
[0015]步骤(7)：根据步骤(7)得到的属性权值信息对属性进行二次筛选；
[0016]步骤(8)：基于步骤(8)得到的二次筛选属性，重新训练模型，直至得到预测准确率较高的模型，从而实现关键属性挖掘。
[0017]在进一步的实施例中，所述步骤(1)中，基于专家经验对数据进行初步属性筛选，第一步是进行数据处理，采用墨子推演系统收集的数据将作战场景中每秒环境的所有信息以csv 表格文本的形式保持下来，需要对收集到的数据按照标准格式组织数据；第二步是人工将各种类似属性进行聚合，将这些属性进行重新编码从而作为后续关键属性挖掘的输入信息。
[0018]在进一步的实施例中，所述步骤(2)中数据归一化处理，可以消除指标之间的量纲影响，采用线性归一化的方式利用特征的最大值，最小值，将特征的值缩放到[0,1]区间，对于每一列的特征使用min-max函数进行缩放，数据归一化公式如下所示：
[0019][0020]在进一步的实施例中，所述步骤(3)中3.2将注意力机制Soft-Attention模型与结果预测模型进行结合，将注意力模型输出的权重分布与预测模型中各属性的特征向量进行乘积，获取更加准确的特征表示，用于最终的作战结果预测，并通过最终的作战结果优化注意力模型输出的权重分布。
[0021]在进一步的实施例中，针对预处理的数据，构建基于多层感知机的注意力机制，输出每一种属性的重要性权重；对权重的分布进行分析，即可得到对应的关键属性。
[0022]有益效果：本专利技术的显著优点是采用作战结果预测模型与注意力机制模型相结合的方法。其中，结果预测模型对最终的作战结果进行预测，同时通过预测的结果误差优化注意力机制分配的属性权重。与现有方法相比，作战胜负预测模型对最终的作战结果进行预测，同时通过预测的结果误差优化注意力机制分配的属性权重，最终可以获得每个属性的权重值，可以帮助指挥员更加直观方便的理解数据。
附图说明
[0023]图1是本专利技术的总体流程图。
[0024]图2是本专利技术的模型结构图。
[0025]图3胜负预测模型在测试数据集上的误差图。
[0026]图4胜负预测模型在测试数据集上的准确率图。
[0027]图5关键属性挖掘可视化效果图
具体实施方式
[0028]一种基于注意力机制的关键属性挖掘方法，包含以下步骤：
[0029]步骤(1)：基于专家经验对数据进行初步关键属性筛选；
[0030]步骤(2)：数据归一化，消除指标之间的量纲影响；
[0031]步骤(3)：构建基于多层感知机的注意力模型；
[0032]步骤(4)：将步骤(2)归一化的属性作为步骤(3)构建模型的输入，进行模型训练；
[0033]步骤(5)：使用步骤(4)训练好的模型，对测试数据进行胜负预测；
[0034]步骤(6)：基于步骤(5)的模型预测，获取每个输入属性的权重信息；
[0035]步骤(7)：根据步骤(7)得到的属性权值信息对属性进行二次筛选；
[0036]步骤(8)：基于步骤(8)得到的二次筛选属性，重新训练模型，直至得到预测准确率较高的模型，从本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力机制的关键属性挖掘方法，其特征在于，包含以下步骤：步骤(1)：基于专家经验对数据进行初步关键属性筛选；步骤(2)：数据归一化，消除指标之间的量纲影响；步骤(3)：构建基于多层感知机的注意力模型；步骤(4)：将步骤(2)归一化的属性作为步骤(3)构建模型的输入，进行模型训练；步骤(5)：使用步骤(4)训练好的模型，对测试数据进行胜负预测；步骤(6)：基于步骤(5)的模型预测，获取每个输入属性的权重信息；步骤(7)：根据步骤(7)得到的属性权值信息对属性进行二次筛选；步骤(8)：基于步骤(8)得到的二次筛选属性，重新训练模型，直至得到预测准确率较高的模型，从而实现关键属性挖掘。2.如权利要求1所述的一种基于注意力机制的关键属性挖掘方法，其特征在于，所述步骤(1)中，基于专家经验对数据进行初步属性筛选，第一步是进行数据处理，采用墨子推演系统收集的数据将作战场景中每秒环境的所有信息以csv表格文本的形式保持下来，需要对收集到的数据按照标准格式组织数据；第二...

【专利技术属性】
技术研发人员：程茹茹，高阳，
申请(专利权)人：南京大学，
类型：发明
国别省市：