一种基于认知诊断理论的自适应网络安全知识测评方法技术

本发明专利技术公开了一种基于认知诊断理论的自适应网络安全知识测评方法，该基于认知诊断理论的自适应网络安全知识测评方法包括如下步骤:S1：测评系统根据用户的身份背景生成网络安全知识图谱，并根据知识结构按照预定顺序对用户进行测试；S2：所述测试系统根据用户上传的个人身份背景信息按照特定格式生成个人基本信息数据库；S3：测试系统按照知识图谱结构顺序遍历进行逐项测试，基于相应难度标准的试题抽取实现了对用户知识水平的精确定位。本发明专利技术通过用户在测试上的实时反馈获得潜在知识状态，利用新型认知诊断模型PH‑DINA高效推理用户的真实知识、技能水平以及相应短板，实现了高效、准确的教育评估，更好地反映用户的学习状况。

An Adaptive Network Security Knowledge Assessment Method Based on Cognitive Diagnosis Theory

The invention discloses an adaptive network security knowledge evaluation method based on cognitive diagnosis theory, which includes the following steps: S1: the evaluation system generates a network security knowledge map according to the user's identity background, and tests the user in a predetermined order according to the knowledge structure; S2: the root of the test system. According to the personal identity background information uploaded by users, the basic personal information database is generated according to the specific format; S3: The test system traverses item by item according to the structure order of the knowledge map, and the exam questions extraction based on the corresponding difficulty criteria achieves the accurate positioning of the user's knowledge level. The invention obtains potential knowledge state by real-time feedback of users on testing, and uses the new cognitive diagnostic model PH DINA to reasoning user's true knowledge, skill level and corresponding short board efficiently, realizes efficient and accurate education evaluation, and better reflects user's learning situation.

【技术实现步骤摘要】
一种基于认知诊断理论的自适应网络安全知识测评方法
本专利技术涉及网络安全领域，具体而言，涉及一种基于认知诊断理论的自适应网络安全知识测评方法。
技术介绍
近年来网络攻击事件频发，人员作为网络空间安全链条的薄弱环节，所遭受的风险远远大于技术，因而造成的损失也越来越大。当前网络安全意识测评方式仅有知识考核和模拟测评两类较为独立的方案，尤其是知识考核问题，主要是采用集体试卷等传统考试方式，这种方式很难有效判别被试的知识掌握程度，水平低的人员根本无法作答难度大的题目，水平高的人员作答简单题目又测不出真实水平。另外，测试结果对于人员提升网络安全意识、网络安全知识的指导意义极低，无法准确测量人员网络安全意识和知识的短板，也无法体现人员网络安全意识的真实强度。
技术实现思路
本专利技术的目的在于提供一种基于认知诊断理论的自适应网络安全知识测评方法，该基于认知诊断理论的自适应网络安全知识测评方法包括如下步骤:S1：测评系统根据用户的身份背景生成网络安全知识图谱，并根据知识结构按照预定顺序对用户进行测试；S2：所述测试系统根据用户上传的个人身份背景信息按照特定格式生成个人基本信息数据库，基于个人基本信息数据库，系统可综合检索所在领域的网络安全标准和《网络安全法》配套法律法规，校验通过后生成定制化知识图谱；S3：测试系统按照知识图谱结构顺序遍历进行逐项测试，基于相应难度标准的试题抽取实现了对用户知识水平的精确定位。优选的，S2中个人基本信息数据库包括用户名、邮箱、工作领域、所在单位名称、工作岗位、网络安全从业经历，系统通过对“工作领域、所在单位、工作岗位”进行逐级检索相关网络安全标准及规范，并抽取相适应的标准条款作为测试评估指标；所述测评系统采用自然语言处理系统挖掘相关标准规范的潜在联系特征和模拟量化标准，形成定制化的评估标准体系架构；所述特征还包括自然语言处理系统对相关标准和规范性文件根据固定格式搭配“内容+标准”抽取评估标准信息，并利用关键词检索匹配网络安全知识体系及网络安全知识库模型中存在的知识点，将知识点按照模型结构重新组合成用户的定制化网络安全知识网。优选的，测评系统对定制化网络安全知识网进行基于逻辑的知识推理，将复杂知识网进行融合和加工，构建个性化的网络安全知识图谱；所述知识推理，即计算相似知识点对于所在知识族群的信息熵，选取最大熵值的知识点作为输出结果，其余相似知识点舍去，从而生成结构稠密的网络安全知识图谱，再通过计算与网络安全知识库模型的相似度，选取相似度最高的知识图谱作为最终结果，并根据知识点具体内容索引试题库。优选的，所述测试系统根据用户的作答情况对用户的知识属性进行预测和校正并实时调整下一道测试题目的类型及难度等，循环测试直至估计误差小于定值，最终输出用户的知识属性模式值；所述测试系统根据用户上传的个人信息评估用户的初始知识属性值，并根据所在领域的网络安全规范要求校正所选试题库的试题属性参数；所述测试系统根据选题策略，按照网络安全知识图谱的顺序对用户进行试题抽取，并根据试题作答结果反馈估计用户的知识属性模式，进而抽取相应的测试题校正用户的知识属性值；所述测试系统循环执行用户的知识属性参数估计，直至知识属性误差值小于定值，将最后一次估计值输出，为用户的网络安全知识属性模型。优选的，所述测试系统根据用户上传的个人信息确定用户应具备的网络安全知识，并采用边际贝叶斯估计或极大似然估计法对被试的知识属性进行初始参数估计，知识属性参数值为每一具体考察属性的值的集合，通过最大后验估计和期望后验估计两个过程估计知识属性参数；在假定已知知识属性参数的条件下，从试题库中选取具有考察知识属性功能的试题，并采用MCMC算法估算出相应的试题属性参数，试题参数包括该项目所考察的全部知识属性及对应难度指标，可再将两个参数中一个条件估计的结果作为另一个条件估计的参数，如此反复执行EM迭代算法形成训练模型，使得全部参数收敛并逼近真值，形成较为成熟的试题项目属性Q矩阵。优选的，所述测试系统的选题策略采用基于PMF协同过滤和认知诊断模型的试题抽取策略；测试系统根据试题当前作答结果，采用基于多级属性评分的认知诊断模型的似然函数估计法对用户的知识属性模式进行校准和再估计，并将估计的知识属性参数作为试题选题策略的输入条件，系统根据得分概率模型计算该知识属性模式在备选试题中的得分概率，同时将该知识属性对试题的先验概率和后验概率作为输入条件，计算PH_HKL信息量值，将能够使PH_HKL信息量值最大的试题参数及编号作为抽取试题。优选的，基于PMF协同过滤和认知诊断模型的试题抽取策略，以及PH_HKL信息量函数推荐试题指标；所述测试系统根据试题当前作答结果，采用基于多级属性评分的认知诊断模型的似然函数估计法对用户的知识属性模式进行校准和再估计，将被试的知识属性估计参数和待测试题库的考察属性参数通过PMF模型分解为知识属性模式潜在因子和试题参数潜在因子的先验概率，据此预测用户在测试题目上的得分，最后通过信息量函数实现在自适应测试过程中动态推荐试题，进而精准评估被试的知识水平；所述PH_HKL信息量函数，将不同属性状态的用户在待测试题上得分的反应概率、用户知识属性在测试题目上的后验概率和先验概率以及不同被试的知识状态间的相似性作为函数输入条件，计算信息量函数值并进行排序，输出能够使函数值最大的试题项目作为最优试题推荐。优选的，所述测试系统循环执行用户的知识属性参数估计，直至满足终止条件，将最后一次估计值输出，作为用户的网络安全知识属性模型；所述终止条件包括测试的终止条件，包括：假使用户的知识属性估计值持续(≥3)高于某一定值，且自适应调整的下一试题项目出现作答错误，则可以终止测试，并最终输出用户的知识属性模式及其值域；所述终止条件包括：参数估计精度的指标小于定值，通过计算估计值与真值的平均绝对偏差以及计算偏移均方根的平均值，当小于测试设置的定值，即可终止测试，并输出最后一次用户知识属性参数的估计值。优选的，系统根据用户的全部测试作答结果生成用户的知识水平评估报告并针对知识短板提供定制化的培训教育方案；所述测试系统根据用户的知识属性掌握模式同用户所在工作领域、工作单位、工作岗位的网络安全知识掌握要求进行对比，评估用户对于工作岗位的风险即威胁，将不满足工作要求的知识点作为该用户的知识短板，从试题库中将相应的补缺内容详解抽取推送，输出该用户的评估报告；所述测试系统根据待测人员所在单位的全部测试人员的知识属性数据综合分析，统计分析整体人员共同缺失的网络安全知识作为集中培训要点内容，个别独立的知识点内容将单独推送给不同人员，以便于管理者及时知悉所在单位的人员的具体网络安全意识、知识掌握程度及风险，输出所在单位报告；所述测试系统将用户的测试数据及网络安全知识属性模式进行加密，并设置权限，仅由本人及单位相关责任人有权浏览；并将该用户的数据作为分析统计源，作为用户下一次自适应网络安全知识测试的试题参数和用户知识属性参数。与现有技术相比，本专利技术的有益效果是：本专利技术通过用户在测试上的实时反馈获得潜在知识状态，利用新型认知诊断模型PH-DINA高效推理用户的真实知识、技能水平以及相应短板，实现了高效、准确的教育评估，更好地反映用户的学习状况，为教学提供反馈信息。附图说明图本文档来自技高网...

【技术保护点】
1.一种基于认知诊断理论的自适应网络安全知识测评方法，其特征在于，该基于认知诊断理论的自适应网络安全知识测评方法包括如下步骤:S1：测评系统根据用户的身份背景生成网络安全知识图谱，并根据知识结构按照预定顺序对用户进行测试；S2：所述测试系统根据用户上传的个人身份背景信息按照特定格式生成个人基本信息数据库，基于个人基本信息数据库，系统可综合检索所在领域的网络安全标准和《网络安全法》配套法律法规，校验通过后生成定制化知识图谱；S3：测试系统按照知识图谱结构顺序遍历进行逐项测试，基于相应难度标准的试题抽取实现了对用户知识水平的精确定位。

【技术特征摘要】
1.一种基于认知诊断理论的自适应网络安全知识测评方法，其特征在于，该基于认知诊断理论的自适应网络安全知识测评方法包括如下步骤:S1：测评系统根据用户的身份背景生成网络安全知识图谱，并根据知识结构按照预定顺序对用户进行测试；S2：所述测试系统根据用户上传的个人身份背景信息按照特定格式生成个人基本信息数据库，基于个人基本信息数据库，系统可综合检索所在领域的网络安全标准和《网络安全法》配套法律法规，校验通过后生成定制化知识图谱；S3：测试系统按照知识图谱结构顺序遍历进行逐项测试，基于相应难度标准的试题抽取实现了对用户知识水平的精确定位。2.根据权利要求1所述的一种基于认知诊断理论的自适应网络安全知识测评方法，其特征在于，S2中个人基本信息数据库包括用户名、邮箱、工作领域、所在单位名称、工作岗位、网络安全从业经历，系统通过对“工作领域、所在单位、工作岗位”进行逐级检索相关网络安全标准及规范，并抽取相适应的标准条款作为测试评估指标；所述测评系统采用自然语言处理系统挖掘相关标准规范的潜在联系特征和模拟量化标准，形成定制化的评估标准体系架构；所述特征还包括自然语言处理系统对相关标准和规范性文件根据固定格式搭配“内容+标准”抽取评估标准信息，并利用关键词检索匹配网络安全知识体系及网络安全知识库模型中存在的知识点，将知识点按照模型结构重新组合成用户的定制化网络安全知识网。3.根据权利要求1所述的一种基于认知诊断理论的自适应网络安全知识测评方法，其特征在于，测评系统对定制化网络安全知识网进行基于逻辑的知识推理，将复杂知识网进行融合和加工，构建个性化的网络安全知识图谱；所述知识推理，即计算相似知识点对于所在知识族群的信息熵，选取最大熵值的知识点作为输出结果，其余相似知识点舍去，从而生成结构稠密的网络安全知识图谱，再通过计算与网络安全知识库模型的相似度，选取相似度最高的知识图谱作为最终结果，并根据知识点具体内容索引试题库。4.根据权利要求1所述的一种基于认知诊断理论的自适应网络安全知识测评方法，其特征在于，所述测试系统根据用户的作答情况对用户的知识属性进行预测和校正并实时调整下一道测试题目的类型及难度等，循环测试直至估计误差小于定值，最终输出用户的知识属性模式值；所述测试系统根据用户上传的个人信息评估用户的初始知识属性值，并根据所在领域的网络安全规范要求校正所选试题库的试题属性参数；所述测试系统根据选题策略，按照网络安全知识图谱的顺序对用户进行试题抽取，并根据试题作答结果反馈估计用户的知识属性模式，进而抽取相应的测试题校正用户的知识属性值；所述测试系统循环执行用户的知识属性参数估计，直至知识属性误差值小于定值，将最后一次估计值输出，为用户的网络安全知识属性模型。5.根据权利要求4所述的一种基于认知诊断理论的自适应网络安全知识测评方法，其特征在于，所述测试系统根据用户上传的个人信息确定用户应具备的网络安全知识，并采用边际贝叶斯估计或极大似然估计法对被试的知识属性进行初始参数估计，知识属性参数值为每一具体考察属性的值的集合，通过最大后验估计和期望后验估计两个过程估计知识属性参数；在假定已知知识属性参数的条件下，从试题库中选取具有考察知识属性功能的试题，并采用MCMC算法估算出相应的试题属性参数，试题参数包括该项目所考察的全部知识属性及对应难度指标，可再将两个参数中一个条件估计的结果作为另一个条件估计的参数，如此反复执行EM迭代算法...

【专利技术属性】
技术研发人员：齐斌，王宇，李冀兴，
申请(专利权)人：北京红山瑞达科技有限公司，国家计算机网络与信息安全管理中心，
类型：发明
国别省市：北京,11