System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种数字化心连心亭信息处理方法及系统技术方案_技高网

一种数字化心连心亭信息处理方法及系统技术方案

技术编号:41205338 阅读:2 留言:0更新日期:2024-05-07 22:31
本发明专利技术公开了一种数字化心连心亭信息处理方法及系统,方法包括数据采集、CNN层设计、双向GRU设计、注意层设计、SCL方法设计和确定模型。本发明专利技术属于通信技术领域,具体是指一种数字化心连心亭信息处理方法及系统,本方案采用权重矩阵对局部区域加权求和、通过ReLU函数进行非线性变换和单侧抑制操作从而提高模型的表达能力和鲁棒性;采用正向和反向GRU的计算捕捉文本数据中正向和反向语境信息,基于激活函数和非线性因素捕捉句子结构和语义关系;采用注意机制对输入序列中的隐藏状态进行加权选择,进行特征提取,通过改进投影网络和并行化处理降低模型维度和计算量。

【技术实现步骤摘要】

本专利技术涉及通信,具体是指一种数字化心连心亭信息处理方法及系统


技术介绍

1、心连心亭是交流和信息共享平台,为了有效处理心连心亭中的信息,并提供准确、及时、高效的服务,需要使用处理文本信息的技术和方法。

2、但是常规文本处理方法存在无法捕捉局部特征信息,使得模型不具有局部相关性,进而影响模型表达能力的问题;一般文本处理方式存在无法涉及前后文语境,无法捕捉复杂句子结构和语义关系,从而无法全面的理解和编码文本数据的问题;传统处理模型存在无法捕捉全局语境信息、无法适应不同任务和数据的需求导致模型灵活性差,模型维度过大导致计算量过多从而降低模型性能的问题。


技术实现思路

1、针对上述情况,为克服现有技术的缺陷,本专利技术提供了一种数字化心连心亭信息处理方法及系统,针对常规文本处理方法存在无法捕捉局部特征信息,使得模型不具有局部相关性,进而影响模型表达能力的问题,本方案采用权重矩阵对局部区域加权求和、通过relu函数进行非线性变换和单侧抑制操作从而提高模型的表达能力和鲁棒性;针对一般文本处理方式存在无法涉及前后文语境,无法捕捉复杂句子结构和语义关系,从而无法全面的理解和编码文本数据的问题,本方案采用正向和反向gru的计算捕捉文本数据中正向和反向语境信息,基于激活函数和非线性因素捕捉句子结构和语义关系,且将输出加权融合,以此增强模型性能和泛化能力;针对传统处理模型存在无法捕捉全局语境信息、无法适应不同任务和数据的需求导致模型灵活性差,模型维度过大导致计算量过多从而降低模型性能的问题,本方案采用注意机制对输入序列中的隐藏状态进行加权选择,进行特征提取,学习可调的权重参数适应不同任务和数据从而提高模型灵活性和泛化能力,通过改进投影网络和并行化处理降低模型维度和计算量,进而提高模型性能。

2、本专利技术采取的技术方案如下:本专利技术提供的一种数字化心连心亭信息处理方法,该方法包括以下步骤:

3、步骤s1:数据采集,采集心连心亭历史数据及对应标签作为样本数据;

4、步骤s2:cnn层设计,对样本数据进行预处理,通过卷积核和relu函数对输入进行卷积操作和非线性变换,生成局部特征向量,并基于单侧抑制操作生成最终特征序列;

5、步骤s3:双向gru设计,使用bigru编码句子的正向和反向信息,正向gru从1到m计算每个时间步的隐藏状态,在反向gru中,从m到1进行反向计算,最后,将双向输出合并为bigru的结果;

6、步骤s4:注意层设计,基于注意机制,对输入序列中的隐藏状态进行加权选择,通过计算注意权重提取契合当前任务的特征信息;

7、步骤s5:scl方法设计,基于数据增强、编码器网络和投影网络,将注意层输出映射到特征向量并归一化处理,通过内积度量来衡量不同特征表示之间的相似性,通过计算对比损失从而得到损失函数方程;

8、步骤s6:确定模型,对于模型所需空间划分子空间,利用在不同阶段不同操作调整解的位置和梯度上升算法寻找各子空间局部最优参数,根据组合后的参数适应度值判断全局最优进而确定最终模型,并基于模型定期处理心连心亭信息。

9、进一步地,在步骤s1中,所述数据采集是采集心连心亭历史数据及对应标签作为样本数据,所述对应标签是数据对应类别。

10、进一步地,在步骤s2中,所述cnn层设计具体包括以下步骤:

11、步骤s21:对文本数据预处理,cnn的输入文本表示为t1{x1,x2,…,xn},文本长度为n,每个单词表示为向量xn,在嵌入层之后,单词表示为维数为d的向量,嵌入层为cnn的内置层;为确保输入文本矩阵的长度相同,截断长度大于n的部分,并填充长度小于n的部分;对于n-gram特征的选择,卷积核的高度设置为3、4和5,步长设置为1;

12、步骤s22:生成局部特征向量,通过卷积核和relu函数对输入进行卷积操作和非线性变换,生成局部特征向量,所用公式如下:

13、;

14、式中,fm是第m个局部特征,r()是relu函数,wi是嵌入层的权重矩阵,xt是矩阵t1中第t行,b是嵌入层的偏置向量;

15、步骤s23:生成最终特征序列,在单侧抑制操作中,使用relu函数将负值变为零,所有正值和零保持不变,采用池化层保留主要特征,同时减少参数和计算量,最后,导出特征序列为lf{f1,f2,…,fm},将三层cnn的输出连接为下游输入,所用公式如下:

16、;

17、式中,f是特征序列矩阵,f1、f2,…,fm是通过cnn网络在第三层输出的特征序列中提取的不同尺寸下的特征向量,lf(3)是在第三层cnn中生成的特征序列,由尺寸为3的卷积核得到的特征向量组成,lf(4)是在第四层cnn中生成的特征序列,由尺寸为4的卷积核得到的特征向量组成,lf(5)是在第五层cnn中生成的特征序列,由尺寸为5的卷积核得到的特征向量组成,f1(3)是在第三层cnn中计算得到的第1个特征向量,f1(4)是在第四层cnn中计算得到的第1个特征向量,f1(5)是在第五层cnn中计算得到的第1个特征向量,fm(3)是在第三层cnn中计算得到的第m个特征向量,fm(4)是在第四层cnn中计算得到的第m个特征向量,是在第五层cnn中计算得到的第m个特征向量,⊕是连接运算符。

18、进一步地,在步骤s3双向gru设计架构中,使用bigru编码句子的正向和反向信息,正向gru从1到m计算每个时间步的隐藏状态,在反向gru中,从m到1进行反向计算,最后,将双向输出合并为bigru的结果,整个计算过程用以下公式描述:

19、;

20、;

21、;

22、式中,ym和分别是正向gru输出和反向gru输出,bigru()是双向门控制循环单元的函数,是m-1时间步的反向gru输出,f()是激活函数,om是bigru在m时刻的输出结果,bigru网络的最终输出o=[o1,o2,…,om],ω是正向隐藏状态和反向隐藏状态对应的权值,ω1是正向gru中输入特征序列与当前隐藏状态的加权和的权重参数,ω2是正向gru中前一时刻隐藏状态与当前隐藏状态的加权和的权重参数,ω3是反向gru中输入特征序列与当前反向隐藏状态的加权和的权重参数;ω4是正向gru中前一时刻反向隐藏状态与当前隐藏状态的加权和的权重参数;ω5是正向gru中输入特征序列与当前隐藏状态的加权和的权重参数;ω6是反向gru中输入特征序列与当前反向隐藏状态的加权和的权重参数。

23、进一步地,在步骤s4注意层设计中,注意机制是一种特征选择方法,此时输入序列是bigru网络的输出o,利用注意机制对输入序列中的隐藏状态进行加权选择,得到一个基于注意权重的上下文表示,以提取出与当前任务相关的重要特征,注意机制简化如下:

24、;

25、;

26、;

27、式中,et是注意机制的权重值,a()是可学习函数,αt是注意权重值的归一化结果本文档来自技高网...

【技术保护点】

1.一种数字化心连心亭信息处理方法,其特征在于:该方法包括以下步骤:

2.根据权利要求1所述的一种数字化心连心亭信息处理方法,其特征在于:在步骤S2中,所述CNN层设计具体包括以下步骤:

3.根据权利要求1所述的一种数字化心连心亭信息处理方法,其特征在于:在步骤S3双向GRU设计架构中,使用BiGRU编码句子的正向和反向信息,正向GRU从1到m计算每个时间步的隐藏状态,在反向GRU中,从m到1进行反向计算,最后,将双向输出合并为BiGRU的结果,整个计算过程用以下公式描述:

4.根据权利要求1所述的一种数字化心连心亭信息处理方法,其特征在于:在步骤S6中,所述确定模型具体包括以下步骤:

5.根据权利要求1所述的一种数字化心连心亭信息处理方法,其特征在于:在步骤S4注意层设计中,注意机制是一种特征选择方法,此时输入序列是BiGRU网络的输出O,利用注意机制对输入序列中的隐藏状态进行加权选择,得到一个基于注意权重的上下文表示,以提取出与当前任务相关的重要特征,注意机制简化如下:

6.根据权利要求1所述的一种数字化心连心亭信息处理方法,其特征在于:在步骤S5中,所述SCL方法设计是对于每个样本数据,采用嵌入惩罚梯度的方法进行增强,生成数据增强后数据,将增强后的数据输入到编码器网络中,将注意层输出映射为特征向量,z=project(c)∈RDp,RDp是特征向量的维度,z被归一化以使得输出位于单位超球面上,使用内积测量投影空间中的输出,即将编码后的特征表示映射到低维度空间,并通过内积度量来衡量不同特征表示之间的相似性,通过计算对比损失从而得到损失函数方程,所用公式如下:

7.一种数字化心连心亭信息处理系统,用于实现如权利要求1-6中任一项所述的一种数字化心连心亭信息处理方法,其特征在于:包括数据采集模块、CNN层设计模块、双向GRU设计模块、注意层设计模块、SCL方法设计模块和确定模型模块;

...

【技术特征摘要】

1.一种数字化心连心亭信息处理方法,其特征在于:该方法包括以下步骤:

2.根据权利要求1所述的一种数字化心连心亭信息处理方法,其特征在于:在步骤s2中,所述cnn层设计具体包括以下步骤:

3.根据权利要求1所述的一种数字化心连心亭信息处理方法,其特征在于:在步骤s3双向gru设计架构中,使用bigru编码句子的正向和反向信息,正向gru从1到m计算每个时间步的隐藏状态,在反向gru中,从m到1进行反向计算,最后,将双向输出合并为bigru的结果,整个计算过程用以下公式描述:

4.根据权利要求1所述的一种数字化心连心亭信息处理方法,其特征在于:在步骤s6中,所述确定模型具体包括以下步骤:

5.根据权利要求1所述的一种数字化心连心亭信息处理方法,其特征在于:在步骤s4注意层设计中,注意机制是一种特征选择方法,此时输入序列是bigru网络的输出o,利用注意机制对输入序列中的隐藏状态进行加权...

【专利技术属性】
技术研发人员:梁文清杨阳王志杰石旭张博文袁磊庞华陈瑜康梦溪姚丹赵文君帖经伟郭宝昆
申请(专利权)人:河北金锁安防工程股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1