数据处理方法、装置、设备、程序以及存储介质制造方法及图纸

技术编号:39243741 阅读:6 留言:0更新日期:2023-10-30 11:56
本发明专利技术提供了一种数据处理方法、装置、电子设备,方法包括:当目标因变量未确定时,通过逻辑规则网络模型,对目标自变量进行逻辑判断处理,确定目标自变量的关联关系;当目标因变量确定,且目标因变量和目标自变量的关联关系未确定时,根据目标自变量建立搜索树结构;根据搜索树结构,得到所述目标自变量和目标自变量组合的收益值;根据所述目标自变量和目标自变量组合的收益值,确定目标自变量的逻辑规则;根据所述目标自变量的逻辑规则,确定所述目标自变量的关联关系,由此使得逻辑规则网络模型可以吸收已有经验,提升逻辑规则网络模型进行预测的准确性。本发明专利技术实施例还可应用于云技术、人工智能、智慧交通、辅助驾驶等各种场景。景。景。

【技术实现步骤摘要】
数据处理方法、装置、设备、程序以及存储介质


[0001]本专利技术涉及数据关联性研究技术,尤其涉及数据处理方法、装置、电子设备、计算机程序产品以及存储介质,使得本方案可应用的领域包括但不限于自动驾驶、车联网、智慧交通等领域。

技术介绍

[0002]人工智能(AI,Artificial Intelligence)是计算机科学的一个综合技术,通过研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科,涉及领域广泛,例如自然语言处理技术以及机器学习/深度学习等几大方向,相信随着技术的发展,人工智能技术将在更多的领域得到应用,并发挥越来越重要的价值。
[0003]相关技术中,逻辑规则网络模型使用在广告、推荐、搜索等大量业务场景中有着广泛的应用。相关技术所以提供的分类模型在对使用场景中的事件进行处理时,为了实现变量之间的关联关系挖掘,往往需要遍历完成所有变量,耗时长且准确性差。

技术实现思路

[0004]有鉴于此,本专利技术实施例提供一种数据处理方法、装置、电子设备、软件程序以及存储介质,能够通过机器学习技术准确高效地进行逻辑规则网络模型的训练,使得逻辑规则网络模型能够自动进行变量之间关联关系的挖掘,节省确定变量之间关联关系确定的耗时。
[0005]本专利技术实施例提供了一种数据处理方法,所述方法包括:
[0006]获取经过训练的逻辑规则网络模型;
[0007]当所述目标因变量未确定时,通过所述逻辑规则网络模型,对目标自变量进行逻辑判断处理,确定所述目标自变量的关联关系,其中,目标事件包括目标因变量和目标自变量,所述目标事件可以为医疗数据中的变量分析,或者广告投放中的收益与投放途径的变量分析;
[0008]当所述目标因变量确定,且所述目标因变量和目标自变量的关联关系未确定时,根据所述目标自变量建立搜索树结构;
[0009]根据所述搜索树结构,对所述目标自变量进行逻辑组合优化搜索,得到所述目标自变量和目标自变量组合的收益值;
[0010]根据所述目标自变量和目标自变量组合的收益值,确定所述目标自变量的逻辑规则;
[0011]根据所述目标自变量的逻辑规则,确定所述目标自变量的关联关系,其中,所述关联关系用于表征所述目标自变量的关联性强弱。
[0012]上述方案中,所述方法还包括:
[0013]当所述逻辑规则网络模型完成训练后,获取待预测数据;
[0014]通过所述逻辑规则网络模型的二值化层对所述待预测数据进行拼接,得到二值化分类特征向量;
[0015]通过所述逻辑规则网络模型的合取逻辑层对所述二值化分类特征向量进行连接处理,得到与连接分类特征向量;
[0016]通过所述逻辑规则网络模型的线性转换层对所述与连接分类特征向量进行转换,得到所述待预测数据的预测概率和所述待预测数据对应的逻辑规则。
[0017]本专利技术实施例还提供了一种数据处理装置,所述装置包括:
[0018]信息传输模块,用于获取经过训练的逻辑规则网络模型;
[0019]信息处理模块,用于当所述目标因变量未确定时,通过所述逻辑规则网络模型,对目标自变量进行逻辑判断处理,确定所述目标自变量的关联关系,其中,目标事件包括目标因变量和目标自变量,所述目标事件可以为医疗数据中的变量分析,或者广告投放中的收益与投放途径的变量分析;
[0020]所述信息处理模块,用于当所述目标因变量确定,且所述目标因变量和目标自变量的关联关系未确定时,根据所述目标自变量建立搜索树结构;
[0021]所述信息处理模块,用于根据所述搜索树结构,对所述目标自变量进行逻辑组合优化搜索,得到所述目标自变量和目标自变量组合的收益值;
[0022]所述信息处理模块,用于根据所述目标自变量和目标自变量组合的收益值,确定所述目标自变量的逻辑规则;
[0023]所述信息处理模块,用于根据所述目标自变量的逻辑规则,确定所述目标自变量的关联关系,其中,所述关联关系用于表征所述目标自变量的关联性强弱。
[0024]上述方案中,所述信息处理模块,用于根据所述目标自变量和目标自变量组合的收益值,筛选所述目标自变量的逻辑规则作为补充训练样本;
[0025]所述信息处理模块,用于将所述补充训练样本加入所述训练样本集合中,得到目标训练样本集合,其中,所述目标训练样本集合用于对所述逻辑规则网络模型进行训练。
[0026]上述方案中,所述信息处理模块,用于当所述目标因变量未确定时,根据原始数据构造训练样本集合,其中,所述原始数据为不同分类任务中的原始信息,所述不同分类任务包括:疾病预测、科室预测、情感分类;
[0027]所述信息处理模块,用于根据所述逻辑规则网络模型的预测概率,确定所述逻辑规则网络模型的分类损失函数;
[0028]所述信息处理模块,用于根据所述逻辑规则网络模型的合取逻辑层参数,确定所述逻辑规则网络模型的双变量合取正则化损失函数;
[0029]所述信息处理模块,用于根据所述分类损失函数和所述双变量合取正则化损失函数,确定所述逻辑规则网络模型的融合损失函数;
[0030]所述信息处理模块,用于根据所述训练样本和所述融合损失函数,对所述逻辑规则网络模型进行训练,确定所述逻辑规则网络模型的模型参数。
[0031]上述方案中,所述信息处理模块,用于对所述原始数据进行特征化处理,得到至少两个训练样本;
[0032]所述信息处理模块,用于在每一个训练样本中提取特征子集;
[0033]所述信息处理模块,用于对不同训练样本的特征子集进行互换,得到伪训练样本;
[0034]所述信息处理模块,用于将所述训练样本和所述伪训练样本进行组合,得到所述训练样本集合。
[0035]上述方案中,所述信息处理模块,用于对所述训练样本的特征向量进行切分,得到离散型训练特征向量和连续型训练特征向量;
[0036]所述信息处理模块,用于通过所述逻辑规则网络模型的二值化层对所述连续型训练特征向量进行二值化处理,并与所述离散型训练特征向量进行拼接,得到二值化训练特征向量,其中,所述逻辑规则网络模型包括:二值化层、合取逻辑层以及线性转换层;
[0037]所述信息处理模块,用于通过所述合取逻辑层,利用与连接符对所述二值化训练特征向量进行连接处理,得到与连接训练特征向量;
[0038]所述信息处理模块,用于通过所述线性转换层对所述与连接训练特征向量进行转换,得到分类向量;
[0039]所述信息处理模块,用于根据所述分类向量的权重和所述逻辑规则网络模型的预测概率计算所述逻辑规则网络模型的分类损失函数。
[0040]上述方案中,所述信息处理模块,用于根据所述逻辑规则网络模型的合取逻辑层参数,确定所述合取逻辑层的变量长度;
[0041]所述信息处理模块,用于根据所述逻辑规则网络模型的变量关联关系的相关性,确定所述双变量合取正则化损失函数的超参数;
[0042本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法,其特征在于,所述方法包括:获取经过训练的逻辑规则网络模型;当所述目标因变量未确定时,通过所述逻辑规则网络模型,对目标自变量进行逻辑判断处理,确定所述目标自变量的关联关系,其中,目标事件包括目标因变量和目标自变量,所述目标事件可以为医疗数据中的变量分析,或者广告投放中的收益与投放途径的变量分析;当所述目标因变量确定,且所述目标因变量和目标自变量的关联关系未确定时,根据所述目标自变量建立搜索树结构;根据所述搜索树结构,对所述目标自变量进行逻辑组合优化搜索,得到所述目标自变量和目标自变量组合的收益值;根据所述目标自变量和目标自变量组合的收益值,确定所述目标自变量的逻辑规则;根据所述目标自变量的逻辑规则,确定所述目标自变量的关联关系,其中,所述关联关系用于表征所述目标自变量的关联性强弱。2.根据权利要求1所述的方法,其特征在于,所述方法还包括:根据所述目标自变量和目标自变量组合的收益值,筛选所述目标自变量的逻辑规则作为补充训练样本;将所述补充训练样本加入所述训练样本集合中,得到目标训练样本集合,其中,所述目标训练样本集合用于对所述逻辑规则网络模型进行训练。3.根据权利要求1所述的方法,其特征在于,所述方法还包括:当所述目标因变量未确定时,根据原始数据构造训练样本集合,其中,所述原始数据为不同分类任务中的原始信息,所述不同分类任务包括:疾病预测、科室预测、情感分类;根据所述逻辑规则网络模型的预测概率,确定所述逻辑规则网络模型的分类损失函数;根据所述逻辑规则网络模型的合取逻辑层参数,确定所述逻辑规则网络模型的双变量合取正则化损失函数;根据所述分类损失函数和所述双变量合取正则化损失函数,确定所述逻辑规则网络模型的融合损失函数;根据所述训练样本和所述融合损失函数,对所述逻辑规则网络模型进行训练,确定所述逻辑规则网络模型的模型参数。4.根据权利要求3所述的方法,其特征在于,所述当所述目标因变量未确定时,根据原始数据构造训练样本集合,包括:对所述原始数据进行特征化处理,得到至少两个训练样本;在每一个训练样本中提取特征子集;对不同训练样本的特征子集进行互换,得到伪训练样本;将所述训练样本和所述伪训练样本进行组合,得到所述训练样本集合。5.根据权利要求3所述的方法,其特征在于,所述根据所述逻辑规则网络模型的预测概率,确定所述逻辑规则网络模型的分类损失函数,包括:对所述训练样本的特征向量进行切分,得到离散型训练特征向量和连续型训练特征向量;
通过所述逻辑规则网络模型的二值化层对所述连续型训练特征向量进行二值化处理,并与所述离散型训练特征向量进行拼接,得到二值化训练特征向量,其中,所述逻辑规则网络模型包括:二值化层、合取逻辑层以及线性转换层;通过所述合取逻辑层,利用与连接符对所述二值化训练特征向量进行连接处理,得到与连接训练特征向量;通...

【专利技术属性】
技术研发人员:黄予
申请(专利权)人:腾讯科技深圳有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1