适航案例推荐评估方法，系统，装置及存储介质制造方法及图纸

本发明专利技术提供一种适航相关性案例推荐评估方法，系统、装置及存储介质，通过评价符合性对象、符合性活动和符合性目标三个维度下的符合性案例推荐结果，评价符合性对象、符合性活动两个维度下的符合性案例推荐结果及评价三个维度在推荐算法中的权重合理取值范围，获得适航相关性案例符合性向量推荐算法的评估结果，确保了适航相关性案例推荐的准确性。

【技术实现步骤摘要】
适航案例推荐评估方法，系统，装置及存储介质
本专利技术涉及知识图谱在适航审查领域里的应用，具体涉及一种适航案例推荐评估方法，系统，装置及存储介质。
技术介绍
适航案例的推荐问题是一种特定背景领域任务，需要解决知识的存储和推需要解决知识的存储和推荐两方面的问题。由于适航标准的抽象性以及符合方法灵活，使得在审查案例为核心的知识复用方面难以使传统的规则推理式。适航审知识复用方面难以使用传统的规则推理方式。其中关键问题之一在于如何在被推荐对象或者案例之中进行相似度的度量。适航审查的任何一个符合性审查及其产生的符合性案例，均包含了符合性对象、符合性目标及符合性活动三个维度的属性，因此根据上述三个维度建立关联关系即可实现本体中对符合性案例的有效组织，构建一种基于符合性向量的符合性案例推荐方法，需要在各个维度下评估其案例推荐的准确性。
技术实现思路
本专利技术的目的是提供一种适航案例推荐评估方法，系统，装置及存储介质，以提供对适航案例推荐结果进行评估。为了达到上述目的，本专利技术一方面提供适航案例推荐评估方法，其特征在于，包括以下步骤：获取基于符合性向量的案例推荐算法对符合性案例数据集的案例推荐结果，提取每条案例的推荐结果中相似度最高的符合性活动记录；基于上述推荐结果与其他推荐结果进行比较，判断推荐的准确性。进一步的，还包括以下步骤：获取符合性对象、符合性活动和符合性目标的相似性度量；基于三种维度的相似性度量，采用top-k推荐算法进行符合性案例的推荐；<br>将推荐结果与编辑距离推荐方法和CP-CPI推荐方法的推荐结果进行比较，分别计算其精确率、召回率和F1值。进一步的，还包括以下步骤：所述精确率的计算公式为：其中，P为精确率，TP为准确命中的案例个数，FP为错误命中的案例个数；所述召回率的计算公式为：其中，R为召回率，FN为未命中的案例；所述F1值的计算公式为：进一步的，还包括以下下步骤：获取符合性对象和符合性活动的相似性度量；基于采用top-k推荐算法进行符合性案例的推荐；将所推荐的符合性案例中的条款信息与样本条款进行比较，通过错误条款与样本条款的信息距离，判断其案例推荐的准确度。进一步的，还包括：获取符合性对象和符合性活动的相似性度量；采用top-k推荐算法，通过修改符合性对象的权重wo、符合性活动的权重权重wa获取不同的符合性案例的推荐结果；比较不同权重下的符合性案例推荐结果中的符合性目标的相似度，通过分析取值和符合性目标平均相似度的关系确定权重wo和权重wa的合理取值；获取符合性活动和符合性目标的相似性度量；采用top-k推荐算法，通过修改符合性活动的权重wa、符合性目标的权重wt获取不同的符合性案例的推荐结果；比较不同权重下的符合性案例推荐结果中的符合性目标的相似度，通过分析取值和符合性目标平均相似度的关系确定权重wa和权重wt的合理取值；获取符合性对象和符合性目标的相似性度量；采用top-k推荐算法，通过修改符合性对象的权重wo、符合性目标的权重wt获取不同的符合性案例的推荐结果；比较不同权重下的符合性案例推荐结果中的符合性目标的相似度，通过分析取值和符合性目标平均相似度的关系确定权重wo和权重wt的合理取值；结合权重wo、wa和wt两两组合的合理取值，综合确定三个权重的合理取值范围。另一方面，本专利技术还提供一种适航相关性案例推荐评估系统，包括：推荐模块，获取基于符合性向量的案例推荐算法对符合性案例数据集的案例推荐结果，提取每条案例的推荐结果中相似度最高的符合性活动记录；比较模块，基于上述推荐结果与其他推荐结果进行比较，判断推荐的准确性。进一步的，所述推荐模块包括：第一推荐模块，所述第一推荐模块获取符合性对象、符合性活动和符合性目标的相似性度量，基于top-k推荐算法获取符合性向量的推荐结果；第二推荐模块，所述第二推荐模块获取符合性对象和符合性目标的相似性度量，基于top-k推荐算法获取符合性向量的推荐结果；权重推荐模块，在top-k推荐算法的计算过程中，计算符合性对象、符合性活动和符合性目标任意两个组合中各自权重的合理取值。进一步的，所述比较模块还包括：第一比较模块，基于第一推荐模块的推荐结果与编辑距离推荐方法和CP-CPI推荐方法的推荐结果进行比较，分别计算其精确率、召回率和F1值。第二比较模块，基于第二推荐模块的推荐结果，将所推荐的符合性案例中的条款信息与样本条款进行比较，通过错误条款与样本条款的信息距离，判断其案例推荐的准确度；权重比较模块，根据符合性对象、符合性活动和符合性目标任意两个组合中权重的合理取值，综合比较计算符合性对象、符合性活动和符合性目标的合理取值范围。另一方面，本专利技术还提供一种适航相关性案例推荐评估系统，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述方法的步骤。另一方面，本专利技术还提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述方法的步骤。本专利技术提供一种适航相关性案例推荐评估方法，系统、装置及存储介质，通过评价符合性对象、符合性活动和符合性目标三个维度下的符合性案例推荐结果，评价符合性对象、符合性活动两个维度下的符合性案例推荐结果及评价三个维度在推荐算法中的权重合理取值范围，获得适航相关性案例推荐评估结果，确保了适航相关性案例推荐的准确性。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术一个实施例的适航相关性案例推荐评估方法的流程图。图2是本专利技术一个实施例的基于三个维度进行符合性向量的案例推荐的方法流程图。图3是本专利技术一个实施例的基于两个维度进行符合性向量的案例推荐的方法流程图。图4是本专利技术一个实施例的三个维度权重进行评估的方法流程图。图5和图6本专利技术一个实施例的权重组合对比效果示意图。图7本专利技术一个实施例的适航相关性案例推荐评估系统的系统框架图。图8是本专利技术一个实施例的一种电子设备的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。在本文档来自技高网...

【技术保护点】
1.适航案例推荐评估方法，其特征在于，包括以下步骤：/n获取基于符合性向量的案例推荐算法对符合性案例数据集的案例推荐结果，提取每条案例的推荐结果中相似度最高的符合性活动记录；/n基于上述推荐结果与其他推荐结果进行比较，判断推荐的准确性。/n

【技术特征摘要】
1.适航案例推荐评估方法，其特征在于，包括以下步骤：
获取基于符合性向量的案例推荐算法对符合性案例数据集的案例推荐结果，提取每条案例的推荐结果中相似度最高的符合性活动记录；
基于上述推荐结果与其他推荐结果进行比较，判断推荐的准确性。


2.如权利要求1所述的适航案例推荐评估方法，其特征在于，还包括以下步骤：
获取符合性对象、符合性活动和符合性目标的相似性度量；
基于三种维度的相似性度量，采用top-k推荐算法进行符合性案例的推荐；
将推荐结果与编辑距离推荐方法和CP-CPI推荐方法的推荐结果进行比较，分别计算其精确率、召回率和F1值。


3.如权利要求2所述的适航案例推荐评估方法，其特征在于，还包括以下步骤：
所述精确率的计算公式为：



其中，P为精确率，TP为准确命中的案例个数，FP为错误命中的案例个数；
所述召回率的计算公式为：



其中，R为召回率，FN为未命中的案例；
所述F1值的计算公式为：





4.如权利要求2所述的适航案例推荐评估方法，其特征在于，还包括以下下步骤：
获取符合性对象和符合性活动的相似性度量；
基于采用top-k推荐算法进行符合性案例的推荐；
将所推荐的符合性案例中的条款信息与样本条款进行比较，通过错误条款与样本条款的信息距离，判断其案例推荐的准确度。


5.如权利要求2所述的任一种适航案例推荐评估方法，其特征在于，还包括：
获取符合性对象和符合性活动的相似性度量；
采用top-k推荐算法，通过修改符合性对象的权重wo、符合性活动的权重权重wa获取不同的符合性案例的推荐结果；
比较不同权重下的符合性案例推荐结果中的符合性目标的相似度，通过分析取值和符合性目标平均相似度的关系确定权重wo和权重wa的合理取值；
获取符合性活动和符合性目标的相似性度量；
采用top-k推荐算法，通过修改符合性活动的权重wa、符合性目标的权重wt获取不同的符合性案例的推荐结果；
比较不同权重下的符合性案例推荐结果中的符合性目标的相似度，通过分析取值和符合性目标平均相似度的关系确定权重wa和权重wt的合理取值；
获取符合性对象和符合性目标的相似性度量；
采用top-k推荐算法，通过修...

【专利技术属性】
技术研发人员：朱玉屏，蔡喁，申岳，郝秀兰，
申请(专利权)人：中国民用航空上海航空器适航审定中心，
类型：发明
国别省市：上海;31