【技术实现步骤摘要】
一种基于过程行为数据的指标体系优度综合评价方法
本专利技术属于多目标综合评价科学与
，具体为一种基于过程行为数据的指标体系优度综合评价方法。
技术介绍
在评估工作广泛开展的今天，指标体系优度评价的意义异常重要。针对各类对象建立的指标体系五花八门，各具特点，构成了庞大的“评估指标库”。对这些指标体系进行优度评价，去其糟粕，取其精华，在现实需求的牵引下消化融合，便能形成一套领域内覆盖全面，内涵丰富的高质量指标体系积累，为后续开展基于大数据发掘和自主学习的智能化评价奠定坚实基础。指标体系优度评价提供了一个可以对原指标体系系统全面分析的思路，是开展指标体系标准化分析的第一步，是“评估工作开展情况的再评估”，意义非常重大。借鉴数学统计中“优度”的概念，“指标体系优度”是指已有指标体系对评价目的的可实现程度。指标体系优度综合评价作为一种综合评估活动,以指标体系为对象，以信度(Reliability)和效度(Validity)为评价内容，通过对评估结构、评估过程的再考查，发现已有指标体系在设计和数据统计方面偏差，进而实现指标体系优化(指标体系信度和效度的提升)。评估指标体...
【技术保护点】
1.一种基于过程行为数据的指标体系优度综合评价方法，其特征在于，具体建立步骤及相关内容如下：步骤一：构建优度评价指标体系的指标充要集优度评价指标体系的指标充要集是指用于构建优度评价指标体系的基础指标集，具有全面、精简与彼此相对独立的特性；指标充要集的构建，按照操作流程分为可能全集初建、指标筛选和充要集提取三个步骤；可能全集构建是指根据评价对象和评价目的，采用系统分析的方法，按照“自下而上”或者“自顶向下”的顺序对相关指标“广撒网”，形成关于评价对象和评价目的的“指标可能全集”；指标筛选则是在“指标可能全集”的基础上，根据指标可获取性、计算方法及内容的科学性内容对集合进行筛选...
【技术特征摘要】
1.一种基于过程行为数据的指标体系优度综合评价方法，其特征在于，具体建立步骤及相关内容如下：步骤一：构建优度评价指标体系的指标充要集优度评价指标体系的指标充要集是指用于构建优度评价指标体系的基础指标集，具有全面、精简与彼此相对独立的特性；指标充要集的构建，按照操作流程分为可能全集初建、指标筛选和充要集提取三个步骤；可能全集构建是指根据评价对象和评价目的，采用系统分析的方法，按照“自下而上”或者“自顶向下”的顺序对相关指标“广撒网”，形成关于评价对象和评价目的的“指标可能全集”；指标筛选则是在“指标可能全集”的基础上，根据指标可获取性、计算方法及内容的科学性内容对集合进行筛选，降低指标集的冗余度；最后对评价目标的分解是否完备进行检查，分析指标体系内部各层元素的重叠性与独立性；若出现子目标之间的相互包含，则对重叠的子目标进行合并或剥离，进而提取出指标充要集；建立的指标体系优度评价指标集是衡量指标体系优度的充要集，该集合是在对评价目标层次划分的基础上按照交叉法构建的；所用的交叉法，是指优度评价的原则维和内容维的交叉；原则维分为目的性、全面性、可行性、协调性及准确性5项，内容维则按信度和效度分为2项；步骤二：构建优度指标体系的评价框架(1)指标体系目标贴合度，即按照建立的指标体系达到评价预期目的和评价要求的程度；一方面，利用主观经验，通过专家评议结果的平均值及聚合度来刻画贴合度，另一方面则利用客观数据，根据与评估目标贴合的指标分值百分比进行评价，如果专家对指标体系贴合度的评价结果相对集中，偏差小，相关分值百分比占比高，则认为指标体系与评估目标贴合；(2)评价要素覆盖度，即所选取的评价指标占所有评价要素的比例；根据评估目的和要求，评估对象会被分解为评价要素全集，而原指标体系对应的要素集，则是从可评价角度，从要素全集中选取的要素子集，以要素子集同要素全集的占比衡量指标体系的覆盖度；(3)指标内涵清晰度，强调指标内涵是明确的，具体的，不易让参评者产生误解的；该项指标采用在自评报告中，或评估过程中关键数据统计出错率进行评价，超过错误门槛值，则认为指标内涵清晰度差；(4)指标数据可测度，即指标体系中底层定量指标占比；该指标的设置强调指标的设置不能是定性，抽象的，应设置为可量化评价；尽管定性指标对指标体系整体评价的作用不可忽视，但合理权威的评价体系应保证高的指标可测度；(5)指标间独立度，刻画指标间信息重叠的程度，反映了指标间的相对独立性；评价要素重复越多，指标体系的重复率越高，独立度越低；(6)指标体系稳定性，是指具备专业领域知识的不同专家，在使用指标体系进行评价时，所得数据与评价真实值的接近程度；接近程度越高，该指标体系的稳定性越高；(7)指标赋权合理度，即指标体系中被赋予合理权重的指标个数占比；该指标的设置强调指标体系内部结构的协调，不同主功能指标之间、主功能性指标和指导性指标之间的协调搭配；(8)指标数据可靠度，即体系底层数据来源可证实的指标个数占同级指标总数的百分比；该指标强调指标数据有说明材料支撑，可被证明和观察，保证指标体系有可靠的基础；(9)指标使用满意度，该指标是对指标体系用户的满意度调查，具体包括评估产生的结果是否合理，时效是否过时，特殊情况是否被限定，结果是否可直接被采信；此项指标具有典型的事后评价特点，依照专家评议和事后数据统计情况进行综合评估；步骤三：构建优度评价指标体系模型(1)指标体系目标贴合度A1针对给定评估目标或重点关注的评价对象，指标体系目标贴合度包括相关指标的权重贴合度和评价贴合度两个子指标；权重贴合度的计算基于原指标体系相关指标的权重设置，评价贴合度则基于专家意见的统计意见均值和离散度；1)权重贴合度的计算公式如下：根据评估目的和要求，若评估对象被分解为m个评价要素，则用下式对原指标体系对第i个评价要素的贴合度bi进行计算：bi＝qiEi(公式1)其中，Ei为原指标体系中与该评价要素相关的指标权重之和，qi为原指标体系对第i个评价要素的贴合度自适应权重，表达式为k为与第i项评价要素相关的指标个数；引入贴合度自适应权重基于两点考虑：若某一评价要素同某项单个指标一一对应，与其他指标完全无关，则其自适应权重为1，贴合度即为对应的单项指标权重；若多项评估指标均涉及同一评价要素，且指标间不完全独立，则需利用自适应权重求解；指标体系的权重贴合度计算公式为2)评价贴合度则利用评价意见均值、聚合度对指标体系的目标贴合度从效度维度进行刻画；若原指标体系中有n个指标，请p个专家对指标体系目标贴合度进行评议，并将评价意见分为r档，即“高”，“一般”，“低”三档，评分分别为1，0.6，0.2，则：则可求得专家对第j个指标的贴合度评价意见均值cj为：式中，cj是p个专家对第j个指标贴合度评价的期望值；sjr是第j个指标第r级贴合度的评分值；njr表示将第j个指标评为第r级贴合度的专家人数；评价意见的聚合度能够反映出专家对贴合程度意见是否统一；聚合度越高，说明专家评价的意见越统一，评价期望越可信；基于专家意见数据，借鉴标准差的形式来刻画聚合度的大小，则专家对第j个指标重要程度评价的聚合程度dj表示为：若dj>0.63，则表明意见聚合度高；指标体系的评价贴合度表示为其中，Wj为第j项指标在原指标体系内权重；对权重贴合度、评价贴合度分别在赋权且可得指标体系贴合度的计算模型为：(2)评价要素覆盖度A2指标体系的评价要素覆盖度是衡量指标体系全面性的重要指标；结合评价目标分解出由m个评价要素集形成的集合G＝{G1，G2，…，Gm}，现有指标体系反映的要素集为t个评价要素形成的集合I＝{I1，I2，…，It}；若m＝t，且指标不重复，则表明指标体系对评价要素实现全覆盖；若各评价要素的重要性相同，则评价要素的覆盖率的计算公式为：A2＝t/m(公式7)若各评价要素的重要性不同，则为各评价要素设定相应的权重，按照指标集反映的要素权重之和占比求解；(3)指标内涵清晰度A3指标内涵清晰度同样采用客观数据和主观经验相结合的方式进行评价；一方面以各项指标的统计数据错误率为依据数据，对指标内涵的清晰度进行界定；若第j项指标统计数据错误率超过门槛值，则认为该指标内涵清晰度存在问题，其计算模型为bj＝1-ej/Nj(公式8)其中ej为第j项指标统计出错的次数，Nj为该指标的样本数；进而得到指标内涵清晰度的信度评价为其中Wj为第j项指标的权重；另一方面，对单个指标的内涵清晰度划分为“清晰”、“一般”、“模糊”三个等级，并分别赋值1，0.6，0.2；借鉴公式(3)～(5)得到整个指标体系清晰度的效度评价对清晰度的信度和效度分别在指标内赋权且得到指标体系贴合度的计算模型为：(4)指标数据可测度A4指标可测度，即指标体系中底层定量指标占比；该指标的设置强调指标的设置不能是定性，抽象的，设置为可量化评价；对于主观性强的指标也应尽可能通过清晰的阶梯化评价进行评估；尽管定性指标对指标体系...
【专利技术属性】
技术研发人员：刘彬，薛奇，刘同，张宪，
申请(专利权)人：中国人民解放军军事科学院评估论证研究中心，
类型：发明
国别省市：北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。