基于教学评价数据可信度的教学质量综合评价方法技术

本发明专利技术公开了基于教学评价数据可信度的教学质量综合评价方法，本发明专利技术从多源评教数据，历史评教数据和评价主体行为数据中提取特征，采用机器学习的方法对单条评教数据进行可信度分析，同时进行基于课程类型和评价主体关注度的教学质量评价指标权重自适应调整，然后基于以上两个结果，进行多指标融合课程教学质量综合评价。通过这种方法提高评教的真实性，有效性，为教学质量提升提供支持。

Comprehensive Evaluation Method of Teaching Quality Based on Reliability of Teaching Evaluation Data

The invention discloses a comprehensive evaluation method of teaching quality based on the reliability of teaching evaluation data. The method extracts features from multi-source evaluation data, historical evaluation data and evaluation subject behavior data, uses machine learning method to analyze the reliability of single evaluation data, and carries out self-adaptive weight of evaluation index of teaching quality based on curriculum type and evaluation subject's attention. It should be adjusted, and then based on the above two results, the teaching quality of multi-index fusion course should be evaluated comprehensively. This method can improve the authenticity and effectiveness of teaching evaluation and provide support for the improvement of teaching quality.

【技术实现步骤摘要】
基于教学评价数据可信度的教学质量综合评价方法
本专利技术属于教学质量综合评价领域，具体涉及基于教学评价数据可信度的教学质量综合评价方法。
技术介绍
教学评价为高等院校教学质量提高、师资队伍建设、人才培养等工作发挥着重要的作用，是高校教师教学质量保证体系不可或缺的组成部分。高等院校的课程质量评价主体一般分为学生、督导和同行。目前高校一般采用多级(二级)指标打分和文本评论两个部分结合的方法对一门课程进行评价。但是当前主要依赖指标得分加权组合计算课程的评分，文本评论内容只进行了简单的统计展示，并未充分挖掘文本评论内容。当前教学质量评价是建立在评价内容真实可靠的假设基础上，但是现实评教主体在评教过程中存在各种行为偏差，导致评教信息失真，产生评教信息不能真实反映教师教学水平与效果的问题。学生在评教时多处于被动、态度敷衍，存在消极随意评价、自利性评价、妥协高分评价等不良评教行为，并未真正主动积极参与到评教活动中，使评教逐渐形式化。同行、督导的评教行为中也存在因人际因素导致的评价信度降低的问题。由此可见，以所有评价真实可靠为前提的评教方式难以适应当下复杂的评教环境。同时，传统的评教认为不同主体在所有评价指标维度上的权重相同，然而实际中由于评价主体职能、专业水平不同，导致不同主体在课程评价时的关注点不同。例如：督导或同行对抬头率的关注度是高于学生的，而学生对作业量的关注度是高于督导的。现有方法并未考虑不同评价主体关注度不同对评教结果的影响。
技术实现思路
本专利技术的目的在于克服上述不足，提供一种基于教学评价数据可信度的教学质量综合评价方法，从多源评教数据，历史评教数据和评价主体行为数据中提取特征，采用机器学习的方法对单条评教数据进行可信度分析，同时进行基于课程类型和评价主体关注度的教学质量评价指标权重自适应调整，然后基于以上两个结果，进行多指标融合课程教学质量综合评价。通过这种方法提高评教的真实性，有效性，为教学质量提升提供支持。为了达到上述目的，本专利技术包括以下步骤：步骤一，对单条教学评价数据进行可信度等级分类，首先提取新获得教学评价数据的相应特征，将其作为输入；然后根据评价主体调用已构建的可信度等级分类模型，得到该条评价数据的可信度等级Cinstances；步骤二，基于多级教学评价指标体系结构，针对每一类型的课程，根据不同评价主体各自的关注度，对原有的不同主体的评价指标权重进行自适应调整；步骤三，针对每门课程，根据评价可信得分、自适应调整的基于课程类型和评价主体关注度的指标权重计算该门课程最终的课堂教学质量得分，并降序排列所有课程得分，选出前L％为优秀课程。步骤一中，构建单条教学评价可信度等级分类模型的具体方法如下：第一步，单条教学评价包括指标评分和文字内容，是针对一节课或一门课程的评价记录，评价来源包括学生评价、督导评价和同行评价，分别对单条教学评价中的评论文本、指标评分提取特征，同时对评论者的评论行为提取特征；第二步，首先，构建训练数据集并对训练数据进行可信度等级标注，将可信度分为可信、比较可信、比较不可信、不可信四个等级，采用基于规则和人工结合的方法标注训练数据的可信度等级；然后，根据第一步中提取的特征，分别在已标注可信度等级的多源评价数据上采用随机森林的方法训练评价可信度分类模型，得到学生评价可信度分类模型和督导同行评价可信度分类模型。第一步中，对评论者的评论行为提取特征的具体方法如下：1)提取评论文本特征Ftext＝(len，num_sub，same_text，correlation，repetition_rate，emo_intensity，emo_polarity)：对每条评论文本提取特征，用于描述评论文本中的统计规律与主要内容，具体提取的特征包括：评论文本长度特征len：计算每条评论文本出现的总字符数；评论文本出现的主题个数num_sub：从评价文本中提取出评论主题词，并统计不同主题词的个数；相同评论文本个数same_text：在所有评论文本中出现的与本条评论内容完全相同的评论个数；评论文本自身重复率repetition_rate：评论文本自身文字重复数与其所有字数的比；评论文本与评价指标相关性correlation：评论文本中出现的词语与评价指标词语的一致程度，即为评论文本与评价指标的相关性；评论情感强度emo_intensity：评论文本的正面情感极性、负面情感极性或中性情感极性的情感强烈程度计算；评论情感极性emo_polarity：评论文本的情感倾向性：包括正面情感极性、负面情感极性或中性情感极性；2)提取评价打分特征Findex＝(attitude，content，standard，method，effect)：对多源评价数据集中的每次评价打分提取特征，根据课程评价指标量表抽取所有一级指标作为特征项，在每个指标下的评价等级转化该特征项的值；3)提取评论者行为特征：对单条教学评价对应的评价者的行为提取特征，包括评论者在本学期进行评教活动时的个人状态描述，行为模式描述和评论者在本学期之前的所有历史评教行为描述，评价行为特征包括Faction＝(hist_word，hist_polarity，hist_intensity，hist_score，hist_variance，hist_consistency，duplicate_rate，relationship)：历史评论平均字数hist_word：单个评价人历史课程评论文本的总字数与其评论条数的比值，即为历史平均评论字数；历史评论情感极性均值hist_polarity：用于体现历史评论情感极性的倾向性；历史评论情感强度均值hist_intensity：用于体现历史评论情感强度的倾向性；历史评分均值hist_score：用于体现历史评分倾向性；历史评分方差hist_variance：用于体现历史评分的波动情况；历史评价一致度hist_consistency：用于体现评价人评分与所有人评分均值的差异度；所有课程评论内容重复比率duplicate_rate：单人在本学期内所有的课程评价中，内容完全相同的评价除以总评价次数的值；评价人与被评人历史熟悉程度relationship：从评价人与被评人的历史接触记录中获得二人的关系熟悉程度，体现评价的客观性；对学生提取额外评价行为特征，辅助判断学生评价可信度，提取的特征包括Fstudent＝(max_num，all_num，avg_num，attendance_rate，grade，score，major，span)：单门课程最多评价次数max_num：评价人在本学期开课时间段内对一门课程评价次数的最大值；总评论次数all_num：评价人在本学期开课时间段内对所有已选课程的评论次数总数；课程平均评价次数avg_num：本学期单人总评论次数除以所选课程总数；学生到课率attendance_rate：评价人在所评价课程开课时间段内的到课率；学生年级grade：评价人所处年级；学生成绩段score：对评价人在所评课程上的学业能力描述；学生专业与课程信息一致性major：评价人所处专业所在学院与评价课程的开课学院是否一致；学生选课跨度span：评价人本学期所选所有课程中开课单位不是本专业所在学院的课程数除以选课总数本文档来自技高网...

【技术保护点】
1.基于教学评价数据可信度的教学质量综合评价方法，其特征在于，包括以下步骤：步骤一，对单条教学评价数据进行可信度等级分类，首先提取新获得教学评价数据的相应特征，将其作为输入；然后根据评价主体调用已构建的可信度等级分类模型，得到该条评价数据的可信度等级Cinstances；步骤二，基于多级教学评价指标体系结构，针对每一类型的课程，根据不同评价主体各自的关注度，对原有的不同主体的评价指标权重进行自适应调整；步骤三，针对每门课程，根据评价可信度得分、自适应调整的基于课程类型和评价主体关注度的指标权重计算该门课程最终的课堂教学质量得分，并降序排列所有课程得分，选出前L％为优秀课程。

【技术特征摘要】
1.基于教学评价数据可信度的教学质量综合评价方法，其特征在于，包括以下步骤：步骤一，对单条教学评价数据进行可信度等级分类，首先提取新获得教学评价数据的相应特征，将其作为输入；然后根据评价主体调用已构建的可信度等级分类模型，得到该条评价数据的可信度等级Cinstances；步骤二，基于多级教学评价指标体系结构，针对每一类型的课程，根据不同评价主体各自的关注度，对原有的不同主体的评价指标权重进行自适应调整；步骤三，针对每门课程，根据评价可信度得分、自适应调整的基于课程类型和评价主体关注度的指标权重计算该门课程最终的课堂教学质量得分，并降序排列所有课程得分，选出前L％为优秀课程。2.根据权利要求1所述的基于教学评价数据可信度的教学质量综合评价方法，其特征在于，步骤一中，构建单条教学评价可信度等级分类模型的具体方法如下：第一步，单条教学评价包括指标评分和文字内容，是针对一节课或一门课程的评价记录，评价来源包括学生评价、督导评价和同行评价，分别对单条教学评价中的评论文本、指标评分提取特征，同时对评论者的评论行为提取特征；第二步，首先，构建训练数据集并对训练数据进行可信度等级标注，将可信度分为可信、比较可信、比较不可信、不可信四个等级，采用基于规则和人工结合的方法标注训练数据的可信度等级；然后，根据第一步中提取的特征，分别在已标注可信度等级的多源评价数据上采用随机森林的方法训练评价可信度分类模型，得到学生评价可信度分类模型和督导同行评价可信度分类模型。3.根据权利要求2所述的基于教学评价数据可信度的教学质量综合评价方法，其特征在于，第一步中，对评论者的评论行为提取特征的具体方法如下：1)提取评论文本特征Ftext＝(len，num_sub，same_text，correlation，repetition_rate，emo_intensity，emo_polarity)：对每条评论文本提取特征，用于描述评论文本中的统计规律与主要内容，具体提取的特征包括：评论文本长度特征len：计算每条评论文本出现的总字符数；评论文本出现的主题个数num_sub：从评价文本中提取出评论主题词，并统计不同主题词的个数；相同评论文本个数same_text：在所有评论文本中出现的与本条评论内容完全相同的评论个数；评论文本自身重复率repetition_rate：评论文本自身文字重复数与其所有字数的比；评论文本与评价指标相关性correlation：评论文本中出现的词语与评价指标词语的一致程度，即为评论文本与评价指标的相关性；评论情感强度emo_intensity：评论文本的正面情感极性、负面情感极性或中性情感极性的情感强烈程度计算；评论情感极性emo_polarity：评论文本的情感倾向性：包括正面情感极性、负面情感极性或中性情感极性；2)提取评价打分特征Findex＝(attitude，content，standard，method，effect)：对多源评价数据集中的每次评价打分提取特征，根据课程评价指标量表抽取所有一级指标作为特征项，在每个指标下的评价等级转化该特征项的值；3)提取评论者行为特征：对单条教学评价对应的评价者的行为提取特征，包括评论者在本学期进行评教活动时的个人状态描述，行为模式描述和评论者在本学期之前的所有历史评教行为描述，评价行为特征包括Faction＝(hist_word，hist_polarity，hist_intensity，hist_score，hist_variance，hist_consistency，duplicate_rate，relationship)：历史评论平均字数hist_word：单个评价人历史课程评论文本的总字数与其评论条数的比值，即为历史平均评论字数；历史评论情感极性均值hist_polarity：用于体现历史评论情感极性的倾向性；历史评论情感强度均值hist_intensity：用于体现历史评论情感强度的倾向性；历史评分均值hist_score：用于体现历史评分倾向性；历史评分方差hist_variance：用于体现历史评分的波动情况；历史评价一致度hist_consistency：用于体现评价人评分与所有人评分均值的差异度；所有课程评论内容重复比率duplicate_rate：单人在本学期内所有的课程评价中，内容完全相同的评价除以总评价次数的值；评价人与被评人历史熟悉程度relationship：从评价人与被评人的历史接触记录中获得二人的关系熟悉程度，体现评价的客观性；对学生提取额外评价行为特征，辅助判断学生评价可信度，提取的特征包括Fstudent＝(max_num，all_num，avg_num，attendance_rate，grade，score，m...

【专利技术属性】
技术研发人员：田锋，王媛媛，吴凡，陈妍，杨子晨，籍伟华，郑庆华，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西,61