System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本申请涉及数据处理,特别涉及一种基于事件图谱分析的数据驱动模型及系统。
技术介绍
1、随着信息技术的飞速发展,目前整个社会已经迈入了大数据时代,大数据时代下每时每刻都在产生庞大的数据。在庞大数据的背后,蕴含着众多有价值的信息,但是由于数据种类繁多、数据量庞大,难以高效、准确地获取有用的信息。为了更加高效地获取数据,提高分析处理数据的效率,现有研究内容已经从知识图谱的实体识别、关系抽取技术扩展到了事件图谱的构建与推理技术。事件图谱是一种以事件为中心,用来描述事件信息以及事件之间各种关系的图谱。但在现有的技术中存在以下问题:
2、(1)针对不同通讯接口和数据格式开发相应的采集模块与数据处理模块,存在数据采集与逻辑处理之间耦合度高,调试和维护较困难;
3、(2)现有方案所搭建的数据模型仅能用于当前这一个数据驱动型应用,很难复用到其他应用,这造成现有方案对数据驱动型应用的开发效率低下,开发成本升高。
4、参考专利申请号cn201711423940.1公开了:数据驱动型应用的数据模型、数据建模系统和方法,具体内容为:数据导入模块,用于导入外部的数据源、数据集和数据字典;数据表示推理模块,用于采用语义网络技术,描述和定义数据源和数据集,表达业务逻辑知识和业务数据知识,从中抽象出跨领域通用的关系和知识,并进行关系推导和知识发现以挖掘隐含的关系和知识。上述系统应用于数据驱动型应用的开发过程中。
5、此现有技术增强了数据驱动型应用的可复用性,提高其稳定性。但针对其方案没有考虑到数据的动态性,对于复杂
技术实现思路
1、本申请的目的是提供一种基于事件图谱分析的数据驱动模型及系统,旨在解决复杂的数据缺乏其精确的分析与计算的问题。
2、为实现上述目的,本申请提供如下技术方案:
3、本申请提供一种基于事件图谱分析的数据驱动模型,包括:
4、s1:采集目标数据,所述采集目标数据是根据硬件的通信方式和协议的不同分类进行分布式的采集;
5、s2:对所述目标数据进行权重函数的定义,预设词语在目标数据中的频率,对于目标数据中的文本里预设词语,权重式子表示为:
6、
7、其中nij为预设词语在文本中出现的次数之和,权重式子的分母则为文本中所有词语的出现次数之和;
8、s3:将所述目标数据导入建立的事件图谱,通过识别目标数据触发检测事件,并判断事件类型,每一个事件类型对应事件表示框架,根据事件表示框架判断目标数据中的实体是否为事件元素,确定其元素;
9、s4:构建数据驱动模型,对事件图谱的建模数据uk=(k=1,...,k)进行模型预测,即一阶线性回归多项式的模型:其中β=[β0,β0......βr]t为模型参数,t为时间周期;
10、则模型预测输出值与模型实际输出值之间的残差为:其中y(t)为模型实际输出值,为模型预测输出值;
11、s5:对所述数据驱动模型进行实时监测,将数据驱动模型进行可视化的展示。
12、进一步的,所述s1中包括:将目标数据映射至数据矩阵x中,构造m*n阶模型的变量数据矩阵:
13、
14、数据矩阵x的每一行xi∈rn为模型中目标数据的综合变量的采样,每一列xi∈rm为模型中目标数据按时间顺序采集的m个独立采样时间序列矢量。
15、进一步的,所述事件图谱中的目标数据需进行相似性准则的判断,具体为:设up为事件图谱中已经存储的历史数据,uq为当前获取的数据,up,uq的距离、角度和选择准则的公式如下:
16、
17、其中e是常数,t为时间周期,α是加权因子,0≤α≤1,d(up,uq)为up,uq的相似程度;
18、若cos(up,uq)<0,则判定当前的历史数据的数据向量不符合导入事件图谱,若cos(up,uq)>0,则判定当前的历史数据的数据向量符合导入事件图谱。
19、进一步的,所述s3中,包括:识别目标数据触发检测事件,即识别出事件触发词;通过事件触发词进行分类,即判断事件触发词对应的事件类型,执行多分类过程。
20、进一步的,所述数据驱动模型进行数据的特征样本提取,设特征样本子集为s=(xs1,xs2,...,xsl),l为样本个数,向量xi的映射φi的值用s的线性组合表示:其中φs为特征样本子集的映射,vi为系数矩阵;
21、得到映射时系数矩阵vi,构造目标函数得到最小值,目标函数为:
22、
23、进一步的,所述构建数据驱动模型中,建立t-s模糊神经网络,定义一个输入输出系统p(u,y),u为系统输入,y为系统输出,针对该系统将其分解成q个miso系统,第i条规则可写为:
24、
25、
26、其中xi为第j(j=1,2,...,m)个输入变量,yi为第i条规则的输出,ri为第i条模糊规则,为一个结论参数,为一个模糊子集,其隶属度函数中的参数称为前提参数,为各条规则输出的加权平均,即:
27、
28、进一步的,所述加权平均中,还包括:gi为第i条规则的隶属度,由下式计算:
29、
30、其中π为模糊化算子,采用最小运算或乘积运算,对于每一个模糊子集采用高斯型隶属度函数。
31、还提供一种基于事件图谱分析的数据驱动系统,包括:
32、采集模块:采集目标数据,所述采集目标数据是根据硬件的通信方式和协议的不同分类进行分布式的采集;
33、数据处理模块:对所述目标数据进行权重函数的定义,预设词语在目标数据中的频率,对于目标数据中的文本里预设词语,权重式子表示为:
34、
35、其中nij为预设词语在文本中出现的次数之和,权重式子的分母则为文本中所有词语的出现次数之和;
36、建立模块:将所述目标数据导入建立的事件图谱,通过识别目标数据触发检测事件,并判断事件类型,每一个事件类型对应事件表示框架,根据事件表示框架判断目标数据中的实体是否为事件元素,确定其元素;
37、建模模块:构建数据驱动模型,对事件图谱的建模数据uk=(k=1,...,k)进行模型预测,即一阶线性回归多项式的模型:其中β=[β0,β0......βr]t为模型参数,t为时间周期;
38、则模型预测输出值与模型实际输出值之间的残差为:其中y(t)为模型实际输出值,为模型预测输出值;
39、监控模块:对所述数据驱动模型进行实时监测,将数据驱动模型进行可视化的展示。
40、本申请提供了一种基于事件图谱分析的数据驱动模型及系统,具有以下有益效果:
41、(1)本申请中数据驱动模型简化了模型训练流程,提高了模型训练的效率,降低了用于操作难度,避免多次编程,使得非专本文档来自技高网...
【技术保护点】
1.一种基于事件图谱分析的数据驱动模型,其特征在于,包括:
2.根据权利要求1所述的一种基于事件图谱分析的数据驱动模型及系统,其特征在于,所述S1中包括:将目标数据映射至数据矩阵X中,构造m*n阶模型的变量数据矩阵:
3.根据权利要求1所述的一种基于事件图谱分析的数据驱动模型,其特征在于,所述事件图谱中的目标数据需进行相似性准则的判断,具体为:设up为事件图谱中已经存储的历史数据,uq为当前获取的数据,up,uq的距离、角度和选择准则的公式如下:
4.根据权利要求1所述的一种基于事件图谱分析的数据驱动模型,其特征在于,所述S3中,包括:识别目标数据触发检测事件,即识别出事件触发词;通过事件触发词进行分类,即判断事件触发词对应的事件类型,执行多分类过程。
5.根据权利要求1所述的一种基于事件图谱分析的数据驱动模型,其特征在于,所述数据驱动模型进行数据的特征样本提取,设特征样本子集为s=(Xs1,Xs2,...,XsL),L为样本个数,向量Xi的映射φi的值用s的线性组合表示:其中φs为特征样本子集的映射,vi为系数矩阵;
7.根据权利要求6所述的一种基于事件图谱分析的数据驱动模型,其特征在于,所述加权平均中,还包括:Gi为第i条规则的隶属度,由下式计算:
8.一种基于事件图谱分析的数据驱动系统,其特征在于,包括:
...【技术特征摘要】
1.一种基于事件图谱分析的数据驱动模型,其特征在于,包括:
2.根据权利要求1所述的一种基于事件图谱分析的数据驱动模型及系统,其特征在于,所述s1中包括:将目标数据映射至数据矩阵x中,构造m*n阶模型的变量数据矩阵:
3.根据权利要求1所述的一种基于事件图谱分析的数据驱动模型,其特征在于,所述事件图谱中的目标数据需进行相似性准则的判断,具体为:设up为事件图谱中已经存储的历史数据,uq为当前获取的数据,up,uq的距离、角度和选择准则的公式如下:
4.根据权利要求1所述的一种基于事件图谱分析的数据驱动模型,其特征在于,所述s3中,包括:识别目标数据触发检测事件,即识别出事件触发词;通过事件触发词进行分类,即判断事件触发词对应的事件类型,执行多分类过程。
5.根据权利要求...
【专利技术属性】
技术研发人员:赵炜军,万焜,郑吴志,许汨,廖幸平,岑日恒,梁文朗,
申请(专利权)人:深圳市中京政通科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。