一种基于自注意力机制的特征抽取与摘要生成方法及系统技术方案

技术编号:43394637 阅读:34 留言:0更新日期:2024-11-19 18:10
本发明专利技术公开了一种基于自注意力机制的特征抽取与摘要生成方法及系统,包括:收集并构建电网领域的文本数据集,并对文本数据集进行预处理;对文本数据集中的数据进行关联性分析,得到关联数据和独立数据;构建基于多层注意力机制和前馈神经网络堆叠的编码器结构,对关联数据和独立数据中的电网文本数据进行特征抽取;构建基于自注意力机制结合注意力机制的解码器,根据特征抽取所得到的特征向量生成文本摘要。本发明专利技术将相关的文本信息进行有效整合和摘要,从而减少信息溶于,提高后续分析的效率和准确信息;能够在不同层次上对文本进行抽象和表示,提高特征的表达能力,进一步提高特征的抽取效果和准确性。

【技术实现步骤摘要】

本专利技术涉及文本生成,具体为一种基于自注意力机制的特征抽取与摘要生成方法及系统


技术介绍

1、在电网领域,文本数据的来源和内容十分多样化,包括但不限于设备运行日志、故障报告、维护手册等。这些文本数据记录了电网设备的运行状态、故障信息、维护记录等关键信息,对于保障电网的正常运行和提高维护效率至关重要。

2、设备运行日志记录了每台设备的运行情况,包括开启/关闭时间、运行参数、电流电压等数据。故障报告则记录了设备发生的各类故障情况,包括故障类型、发生时间、影响范围等详细信息。而维护手册则是设备的使用说明书,包含了设备的安装调试、日常维护、故障排除等操作步骤和方法。

3、然而,由于文本数据的数量庞大、信息分散、内容复杂,人工处理和分析这些文本数据既耗时又费力,同时容易出现遗漏或误判的情况。


技术实现思路

1、鉴于上述存在的问题,提出了本专利技术。

2、因此,本专利技术解决的技术问题是:如何解决目前人工处理和分析电网文本数据既耗时又费力,同时容易出现遗漏或误判的情况。

...

【技术保护点】

1.一种基于自注意力机制的特征抽取与摘要生成方法,其特征在于,包括:

2.如权利要求1所述的基于自注意力机制的特征抽取与摘要生成方法,其特征在于:所述对文本数据集中的数据进行关联性分析包括,进行共现矩阵构建:遍历每个文本数据,对于每个词语对(wi,wj),其中wi和wj分别表示文本数据中的两个词语;

3.如权利要求2所述的基于自注意力机制的特征抽取与摘要生成方法,其特征在于:所述编码器结构包括,多个自注意力机制层和前馈神经网络层堆叠在一起,形成多层编码器结构;前一层编码器结构的输出是下一层编码器结构的输入,最后一层编码器结构输出抽取的特征;其中所述前馈神经网络层包...

【技术特征摘要】

1.一种基于自注意力机制的特征抽取与摘要生成方法,其特征在于,包括:

2.如权利要求1所述的基于自注意力机制的特征抽取与摘要生成方法,其特征在于:所述对文本数据集中的数据进行关联性分析包括,进行共现矩阵构建:遍历每个文本数据,对于每个词语对(wi,wj),其中wi和wj分别表示文本数据中的两个词语;

3.如权利要求2所述的基于自注意力机制的特征抽取与摘要生成方法,其特征在于:所述编码器结构包括,多个自注意力机制层和前馈神经网络层堆叠在一起,形成多层编码器结构;前一层编码器结构的输出是下一层编码器结构的输入,最后一层编码器结构输出抽取的特征;其中所述前馈神经网络层包括多个全连接层,每个全连接层后跟随一个relu激活函数。

4.如权利要求3所述的基于自注意力机制的特征抽取与摘要生成方法,其特征在于:所述对关联数据和独立数据中的电网文本数据进行特征抽取包括,每个注意力机制计算输入序列的注意力权重,并利用所计算的注意力权重中的每个元素进行加权重求和:

5.如权利要求4所述的基于自注意力机...

【专利技术属性】
技术研发人员:李文科张克贤董若烟朱昌会黄笠煌白雪孙骏缪新萍吴漾林昌志田钺孙收余
申请(专利权)人:贵州电网有限责任公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1