一种结构化数据的自适应关系建模方法技术

本发明专利技术涉及一种结构化数据的自适应关系建模方法，属于人工智能预测技术领域。使用K×o个指数神经元建模结构化数据属性间的特征交互关系，K为注意头的个数，o为每个注意头的指数神经元数目；每个注意头的所有指数神经元共享双线性注意函数权重矩阵W

【技术实现步骤摘要】
一种结构化数据的自适应关系建模方法
本专利技术涉及一种数据处理方法，特别涉及一种结构化数据的自适应关系建模方法，属于人工智能学习预测

技术介绍
迄今为止，大多数企业都依赖结构化数据进行数据存储和预测分析。关系数据库管理系统(RDBMS)已经成为业界采用的主流数据库系统，关系数据库已经成为实际上存储和查询结构化数据的标准，而结构化数据对大多数业务的操作都是至关重要的。结构化数据中往往包含着大量的信息，这些信息往往可以用于进行数据驱动的决策或是识别风险和机会。从数据中提取见解用于决策需要高级分析，尤其是深度学习，它比统计聚合要复杂得多。深度神经网络(DNNs)在图像、音频和文本数据方面都取得了突破，像CNNs[KaimingHe,XiangyuZhang,ShaoqingRen,andJianSun.2016.Deepresiduallearningforimagerecognition.InProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition.77本文档来自技高网...

【技术保护点】
1.一种结构化数据的自适应关系建模方法，其特征在于，包括以下内容：/n使用K×o个指数神经元建模所述结构化数据属性间的特征交互关系，其中，K表示注意头的个数，o表示每个注意头的所述指数神经元的数目，K和o都是自然数；每个注意头的所有所述指数神经元共享双线性注意函数φ

【技术特征摘要】
1.一种结构化数据的自适应关系建模方法，其特征在于，包括以下内容：
使用K×o个指数神经元建模所述结构化数据属性间的特征交互关系，其中，K表示注意头的个数，o表示每个注意头的所述指数神经元的数目，K和o都是自然数；每个注意头的所有所述指数神经元共享双线性注意函数φatt的权重矩阵Watt；
每个注意头的第i个所述指数神经元yi表示如下：






其中，i，⊙表示哈达玛积，exp(·)函数和相应的指数wij按元素应用，ej表示所述结构化数据第j个属性值对应的嵌入向量，i，j，m，ne均为自然数，1≤i≤o，1≤j≤m，m表示所述结构化数据属性的个数，ne表示嵌入大小，表示yi对ej求导数，表示yi对wij求导数，diag(·)是对角矩阵函数；表示所述yi的动态特征交互权重，通过下式获得：
wt＝zi⊙vi；
其中，表示可学习的注意权值向量，zi作为门，表示注意重校准权重，通过双线性注意对齐得分动态生成，表示如下：






其中，表示注意查询向量，T表示转置运算，表示双线性注意函数的权重矩阵，α-entmax(·)表示稀疏sof...

【专利技术属性】
技术研发人员：蔡少峰，郑凯平，陈刚，张美慧，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京;11