基于网络数据的农业资源数据库平台搭建方法技术

技术编号:39036266 阅读:19 留言:0更新日期:2023-10-10 11:49
本申请涉及农业资源数据库技术领域,其具体地公开了一种基于网络数据的农业资源数据库平台搭建方法,其首先获取待分析爬取的超文本信息,然后,对所述待分析爬取的超文本信息进行切分后通过包含嵌入层的语义编码器以得到多个数据子片段语义理解向量,接着,将所述多个数据子片段语义理解向量排列为一维特征向量后通过多尺度邻域特征提取模块再计算转移矩阵以得到多个分类特征矩阵,最后,将所述多个分类特征矩阵通过分类器以得到用于表示数据子片段是否属于农业政策相关数据多个分类结果,能够对于超文本信息中含有农业政策相关的数据进行准确地识别提取,以此来剔除不相关的网络连接和内容等信息,优化农业资源数据库平台的构建。库平台的构建。库平台的构建。

【技术实现步骤摘要】
基于网络数据的农业资源数据库平台搭建方法


[0001]本申请涉及农业资源数据库
,且更为具体地,涉及一种基于网络数据的农业资源数据库平台搭建方法。

技术介绍

[0002]改造传统农业,大力发展高产、优质、高效农业,实现农业现代化,是我国由农业大国向农业强国转变的重要条件,是实现21世纪我国经济腾飞的基础和保证。从当地实际出发,科学合理地制定农业现代化实施过程中的有关决策,是一个亟待解决的问题。
[0003]目前,对于网络数据中有关农业数据资源政策的统计方式较为落后,只能依靠人工来进行统计,不能实现将农业数据资源政策信息通过数据库平台的方式进行数据的交互和查询,智能化程度较低,从而给人们的使用带来极大的不便。因此,期望一种优化的基于网络数据的农业资源数据库平台搭建方法。

技术实现思路

[0004]本申请提供一种基于网络数据的农业资源数据库平台搭建方法,能够对于超文本信息中含有农业政策相关的数据进行准确地识别提取,以此来剔除不相关的网络连接和内容等信息,优化农业资源数据库平台的构建。
[0005]第一方面,提供本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于网络数据的农业资源数据库平台搭建方法,其特征在于,包括:获取待分析爬取的超文本信息;对所述待分析爬取的超文本信息进行切分以得到多个数据子片段;将所述多个数据子片段分别通过包含嵌入层的语义编码器以得到多个数据子片段语义理解向量;将所述多个数据子片段语义理解向量排列为一维特征向量后通过多尺度邻域特征提取模块以得到数据子片段语义关联特征向量;分别计算所述多个数据子片段语义理解向量中各个数据子片段语义理解向量相对于所述数据子片段语义关联特征向量的转移矩阵以得到多个分类特征矩阵;将所述多个分类特征矩阵通过分类器以得到多个分类结果,所述各个分类结果用于表示数据子片段是否属于农业政策相关数据。2.根据权利要求1所述的基于网络数据的农业资源数据库平台搭建方法,其特征在于,将所述多个数据子片段分别通过包含嵌入层的语义编码器以得到多个数据子片段语义理解向量,包括:对所述多个数据子片段中各个数据子片段进行分词处理以得到多组词序列;将所述多组词序列中各组词序列分别通过所述语义编码器的词嵌入层以得到多组词嵌入向量的序列;将所述词嵌入向量的序列通过所述第一编码器的基于转换器的Bert模型以得到多个词语义特征向量;将所述多组词嵌入向量的序列中各组词嵌入向量的序列中的各个词嵌入向量进行级联以得到多个段语义特征向量。3.根据权利要求2所述的基于网络数据的农业资源数据库平台搭建方法,其特征在于,将所述多个反应状态监测特征向量输入所述基于转化器的上下文编码器以得到多个上下文反应状态监测特征向量,包括:使用所述上下文编码器的基于转换器的Bert模型对所述多个反应状态监测特征向量中各个反应状态监测特征向量进行基于时序全局的上下文语义编码以得到以所述第二混合溶液的酯化状态特征的基于时序全局的所述多个反应状态监测特征向量。4.根据权利要求3所述的基于网络数据的农业资源数据库平台搭建方法,其特征在于,所述多尺度邻域特征提取模块,包括:第一卷积层、与所述第一卷积层并行的第二卷积层,以及,与所述第一卷积层和所述第二卷积层连接的级联层,其中,所述第一卷积层使用具有第一尺度的一维卷积核,所述第二卷积层使用具有第二尺度的一维卷积核。5.根据权利要求4所述的基于网络数据的农业资源数据库平台搭建方法,其特征在于,将所述多个数据子片段语义理解向量排列为一维特征向量后通过多尺度邻域特征提取模块以得到数据子片段语义关联特征向量,包括:使用所述多尺度邻域特征提取模块的第一卷积层以如下公式对所述一维特征向量分别进行一维卷积编码以得到所述第一尺度特征向量;其中,所述公式为: ,其中,为第一卷积核在方向上的宽度、为第一卷积核参数向量、为与卷积核函数运算的局部向量矩阵,为第一卷积核的尺寸,表示所述一维特征向量,表示对所述一维特征向量分别进行一维卷积编码;使用所述多尺度邻域特征提取模块的第二卷积层以如下公式对所述一维特征向量进行一维卷积编码以得到所述第二尺度特征向量;其中,所述公式为: ,其中,为第二卷...

【专利技术属性】
技术研发人员:鲍顺淑张秋玲宋吉祥张婷武耘富建鲁尹义蕾李文会
申请(专利权)人:农业农村部规划设计研究院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1