System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种自然语言理解建模方法技术_技高网

一种自然语言理解建模方法技术

技术编号:40456886 阅读:4 留言:0更新日期:2024-02-22 23:13
本发明专利技术公开了一种自然语言理解建模方法,涉及自然语言处理技术领域。包括一种区块链共享网络和一种区块链网络的建立方法。本发明专利技术通过区块链网络获取相关信息,并将相关信息用于对模型的训练中,区块链网络的建立,能够保证获取足够的信息,同时可获取持续的实时信息,该信息在后续的自然语言理解模型训练中,能够很好的帮助模型训练,避免了单点故障和数据伪造的风险,每位参与者均是得到认证,可以提供可信的数据源,确保信息的真实性和准确性,同时区块链的共识机制可以确保数据的一致性和准确性,保证数据的安全可靠,且区块链的使用能够保证收集足够数据用于建模,通过区块链技术从而对航运相关信息进行有效收集和利用。

【技术实现步骤摘要】

本专利技术涉及自然语言处理,具体为一种自然语言理解建模方法


技术介绍

1、自然语言理解模型是一种人工智能技术,用于帮助计算机理解和解释人类的自然语言文本,其主要目的是将自然语言转换为机器可以理解和处理的形式,以便进行语义分析、意图识别、情感分析等任务,为了准确理解人类的意图和信息,需要对自然语言进行建模来捕捉这种多义性和语义关联,自然语言理解中,建模的目的是帮助系统更好地理解、分析和处理自然语言输入,以便更准确地理解用户的需求,提高系统的智能化水平。

2、在自然语言理解的建模中需要大量数据用于训练,在航运中,如货物量、天气情况、海上交通情况、港口运营情况和船舶运输成本和费用等信息,如何对这些数据信息进行有效收集和利用,从而运用在自然语言理解模型建模中,同时该自然语言理解在建模中如何对上述信息进行有效地分析和使用,为此专利技术了一种自然语言理解建模方法。


技术实现思路

1、本专利技术的目的在于提供一种自然语言理解建模方法,以解决上述
技术介绍
中提出的问题。

2、为实现上述目的,本专利技术提供如下技术方案:一种自然语言理解建模方法,所述自然语言理解模型的建立方法如下:

3、步骤一,构建语料库,并通过互联网实时更新语料库内容;

4、步骤二,通过区块链共享网络获取信息,并对信息进行划分,将信息划分为自然语言部分和非自然语言部分;

5、步骤三,对自然语言部分和语料库进行预处理,将其转化为转换为算法可用的形式,结合使用卷积神经网络和bert对自然语言部分和语料库进行实体识别;

6、步骤四,建立数据分析模块,对非自然语言部分进行清洗和预处理,去除无效数据、填补缺失值以及转换数据类型,数据分析模块对数据进行映射,将数据中的实体联系起来,通过数据提取,将相关数据移至计算系统中,如果计算系统中出现相关数据但数值不同的情况,使用最小平方法和最小均值求得最佳数值;

7、步骤五,使用数据链连接技术,通过数据链连接技术实现自然语言中实体和非自然语言部分的集成;

8、步骤六:利用循环神经网络对自然语言部分和语料库进行特征提取,并构建知识图谱,将自然语言部分和语料库中各类实体、属性、关系和目的进行结构化表示;

9、步骤七,对模型进行优化训练,在训练中对模型进行调优和改进;

10、所述区块链共享网络包括从节点和一号节点,在同一个区块链网络上,从节点之间相互建立信息传输链路,该区块链网络上所有从节点分别和一号节点之间建立信息传输链路,该区块链网络通过一号节点和另一个区块链网络进行连接,一号节点之间建立信息传输链路,同一个区块链网络上的从节点通过和不同一号节点之间建立信息传输链路实现与不同区块链网络进行连接,单个从节点由于位置会参与多个不同的区块链网络中。

11、更进一步地,船只和港口为该区块链共享网络的参与方,所述一号节点设置在港口上,从节点设置在船只上,根据船只的位置,在一号节点通信出现问题时,两个区块链网络上的从节点之间可暂时建立信息传输链路。

12、更进一步地,所述区块链共享网络建立方法包括:

13、第一步,在区块链平台上构建联盟网络;

14、第二步,建立共识机制;

15、第三步,设置从节点和一号节点,节点之间通过网络传递信息,在节点上分别安装有缓存装置和信息储存装置;

16、第四步,建立区块链网络的动态分组机制,根据各个节点的位置的不同和属性的不同建立不同的区块链网络,同时随着节点的移动,该节点所连接的区块链网络也会随之改变;

17、第五步,运行并测试区块链网络。

18、更进一步地,所述网络包括p2p网络,将船只和港口上分别设置从节点和一号节点,在船只上安装数据收集装置,收集该船只附近的海况信息和船舶位置信息,并将信息储存在信息储存装置上,港口通过区块链网络获取船只上的货物信息,同时区块链网络也协助船舶与港口之间以及船舶与船舶之间的实时沟通,并将沟通内容作为信息保存在信息储存装置上;

19、根据船只位置的不同和航线的改变,使得船只所连接的区块链网络改变,通过船只位置的不同,根据相同航线、相近航线和周围船只划分不同的区块链网络,根据港口所在位置,对其周围海域的船只建立另一个区块链网络,区块链网络通过跨链技术与其他区块链网络进行跨链通信和交互,其他节点通过跨链技术可获取其他区块链网络上其他节点信息。

20、更进一步地,所述缓存装置能够储存该节点近期下载的其他节点的信息,在其他节点由于故障而导致无法进行信息交流中,另一个节点可通过该节点进行信息交流,通过该节点位置的缓存装置下载的其他节点的信息,任何节点对所属的信息储存装置的内部信息进行修改时会留下修改记录,修改记录不可修改,且修改记录会随着被修改后的信息同步传输,所述信息包括海况信息、船舶位置信息、货物信息和沟通信息。

21、更进一步地,所述最小平方和,其运算公式如下:对于给定的相关数据却不同数值x1、x2、...、xn;

22、第一步:定义要求的值为μ;

23、第二步:定义距离函数d(x,μ)=(x-μ)2;

24、第三步:定义目标函数f(μ)=σd(xi,μ),其中σ表示对所有数值的求和;

25、第四步:最小化目标函数f(μ),通过求解方程实现。

26、更进一步地,所述自然语言部分和语料库的预处理包括去除异常值和数据格式转换,所述语料库包括航运领域的文本数据,所述航运领域的文本数据包括航运规定,以航运规定为基础建立限制框架,所述非自然语言部分是指以结构化或半结构化形式存在的数据。

27、与现有技术相比,本专利技术的有益效果是:

28、该自然语言理解建模方法,通过区块链网络获取相关信息,并将相关信息用于对模型的训练中,区块链网络的建立,能够保证获取足够的信息,同时可获取持续的实时信息,该信息在后续的自然语言理解模型训练中,能够很好的帮助模型训练,避免了单点故障和数据伪造的风险,每位参与者均是得到认证,可以提供可信的数据源,确保信息的真实性和准确性,同时区块链的共识机制可以确保数据的一致性和准确性,保证数据的安全可靠,且区块链的使用能够保证收集足够数据用于建模,通过区块链技术从而对航运相关信息进行有效收集和利用。

29、同时,该自然语言理解建模方法是基于区块链网络的机制进行信息收集和模型训练的。在航运中,通过将航运信息划分为自然语言部分和非自然语言部分,对自然语言部分进行预处理,并处理非自然语言部分,以得到实体和数据相关信息。之后,将自然语言部分和非自然语言部分处理后的相关实体和数据进行集成,再对自然语言部分进行结构化表示,从而有效地对航运信息进行处理,便于后续自然语言理解模型的训练。

30、该自然语言理解建模方法应用于航运上,利用船只和港口搜集海况信息、航海日志、船只之间的沟通信息以及与港口之间的沟通信息,并将这些信息记录在信息储存装置上,通过该区块链收集本文档来自技高网...

【技术保护点】

1.一种自然语言理解建模方法,其特征在于:所述自然语言理解模型的建立方法如下:

2.根据权利要求1所述的一种自然语言理解建模方法,其特征在于:船只和港口为该区块链共享网络的参与方,所述一号节点设置在港口上,从节点设置在船只上,根据船只的位置,在一号节点通信出现问题时,两个区块链网络上的从节点之间可暂时建立信息传输链路。

3.根据权利要求1所述的一种自然语言理解建模方法,其特征在于:所述区块链共享网络建立方法包括:

4.根据权利要求3所述的一种自然语言理解建模方法,其特征在于:所述网络包括P2P网络,将船只和港口上分别设置从节点和一号节点,在船只上安装数据收集装置,收集该船只附近的海况信息和船舶位置信息,并将信息储存在信息储存装置上,港口通过区块链网络获取船只上的货物信息,同时区块链网络也协助船舶与港口之间以及船舶与船舶之间的实时沟通,并将沟通内容作为信息保存在信息储存装置上;

5.根据权利要求4所述的一种自然语言理解建模方法,其特征在于:所述缓存装置能够储存该节点近期下载的其他节点的信息,在其他节点由于故障而导致无法进行信息交流中,另一个节点可通过该节点进行信息交流,通过该节点位置的缓存装置下载的其他节点的信息,任何节点对所属的信息储存装置的内部信息进行修改时会留下修改记录,修改记录不可修改,且修改记录会随着被修改后的信息同步传输,所述信息包括海况信息、船舶位置信息、货物信息和沟通信息。

6.根据权利要求1所述的一种自然语言理解建模方法,其特征在于:所述最小平方和,其运算公式如下:对于给定的相关数据却不同数值x1、x2、...、xn;

7.根据权利要求1所述的一种自然语言理解建模方法,其特征在于:所述自然语言部分和语料库的预处理包括去除异常值和数据格式转换,所述语料库包括航运领域的文本数据,所述航运领域的文本数据包括航运规定,以航运规定为基础建立限制框架,所述非自然语言部分是指以结构化或半结构化形式存在的数据。

...

【技术特征摘要】

1.一种自然语言理解建模方法,其特征在于:所述自然语言理解模型的建立方法如下:

2.根据权利要求1所述的一种自然语言理解建模方法,其特征在于:船只和港口为该区块链共享网络的参与方,所述一号节点设置在港口上,从节点设置在船只上,根据船只的位置,在一号节点通信出现问题时,两个区块链网络上的从节点之间可暂时建立信息传输链路。

3.根据权利要求1所述的一种自然语言理解建模方法,其特征在于:所述区块链共享网络建立方法包括:

4.根据权利要求3所述的一种自然语言理解建模方法,其特征在于:所述网络包括p2p网络,将船只和港口上分别设置从节点和一号节点,在船只上安装数据收集装置,收集该船只附近的海况信息和船舶位置信息,并将信息储存在信息储存装置上,港口通过区块链网络获取船只上的货物信息,同时区块链网络也协助船舶与港口之间以及船舶与船舶之间的实时沟通,并将沟通内容作为信息保存在信息储存装置上;

5.根据权利要求4所...

【专利技术属性】
技术研发人员:郑幸曾炜庞顺顺郑晓海
申请(专利权)人:成都愿景仿视科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1