评估控制制造技术

本发明专利技术提供了用于评估控制的系统和方法。可使用评估控制系统来评估一个或几个工件。所述评估控制系统可用于验证评估和/或提供评估培训。所述评估系统可包括处理器和用户设备。所述评估系统可向评估者提供一个或几个工件和评估标准。所述评估系统可接收与所述一个或几个工件和/或所述评估标准关联的一个或几个标签。所述一个或几个标签可包括与所述评估标准结合支持所述一个或几个工件的评估和/或得分的信息。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术一般涉及学习，并且可包括传统的课堂学习或在线或计算机化学习，包括 但不限于，采用学习管理系统（LMS)和/或在线作业系统（OHS)进行的学习或教学。
技术介绍
在学习过程中经常会生成工作产品。评估工作产品对于促进学习并且向工作产品 的创建者提供反馈非常重要。尽管评估工作产品对于学习过程很重要，但进行评估也需要 大量资源。因此，需要更好的系统、方法和设备来促进工作产品的评估。
技术实现思路
在一些方面，本专利技术涉及用于验证主题评估的系统。该系统包括处理器，该处理器 接收包括工件（即被评估者的工作产品）汇编的产品集，将这些工件之一提供给评估者，并 且接收评估标准的多个第一指示，所述评估标准可包括多个子标准。在一些实施例中，评估 标准的第一指示识别工件的第一部分和评估标准的第一部分。处理器还可为评估标准的多 个指示分配值，所述值识别评估标准的指示的来源。在一些实施例中，评估标准的指示的来 源是评估者。处理器可接收工件的第一评估，所述评估可基于评估标准和评估标准的第一 指示；接收工件的第二评估、评估标准的第二指示和工件的第二关联部分；比较工件的第 一评估和第二评估、比较评估标准的第一指示和第二指示、以及比较工件的第一关联部分 和第二关联部分。处理器可提供工件的第一评估和第二评估之间差异、评估标准的第一指 示和第二指示之间差异、以及工件的第一关联部分和第二关联部分之间差异的指示。该系 统可包括可储存与以下方面相关的信息的存储器：所接收的产品集、工件的第一评估、工件 的第二评估、评估标准的第二指示、工件的第二关联部分，以及工件的第一评估与第二评估 的比较结果。 在该系统的一些实施例中，处理器可选择评估者，所述评估者根据评估者和/或 所评估的工件的一个或几个特点从一个或几个潜在评估者清单中来选出。在该系统的一些 实施例中，评估标准的所识别的部分可为子标准。 在一些实施例中，该系统可包括可显示工件的第一评估、显示评估标准的第一指 示以及显示工件的第一关联部分的用户设备。在一些实施例中，比较工件的第一评估与第 二评估可包括生成表征第一评估和第二评估之间差异程度的差值、检索作为区别第一评估 和第二评估之间可接受的差异水平和不可接受的差异水平的值的接受阈值，以及比较所述 差值与接受阈值。在一些实施例中，该系统可包括在差值与接受阈值的比较表明第一评估 和第二评估之间的差异水平不可接受的情况下，将评估标准的第一指示与评估标准的第二 指示进行比较，以及将工件的第一关联部分与工件的第二关联部分进行比较。在一些实施 例中，处理器可基于所接收的评估标准的所述多个第一指示生成最终得分。 本专利技术的一些方面涉及验证主题评估的方法。该方法包括接收包括工件（即被评 估者的工作产品）汇编的产品集，将这些工件之一提供给评估者，以及接收评估标准的多 个第一指示。在一些实施例中，评估标准可为多个子标准，并且评估标准的第一指示可识别 工件的第一部分和评估标准的第一部分。在一些实施例中，该方法可包括为评估标准的多 个指示分配值，所述值可识别评估标准的指示的来源；接收工件的第一评估，所述评估基于 评估标准和评估标准的第一指示；以及提供工件的第一评估、评估标准的第一指示和工件 的第一关联部分。在一些实施例中，该方法可包括接收工件的第二评估、评估标准的第二指 示和工件的第二关联部分；比较工件的第一评估和第二评估、比较评估标准的第一指示和 第二指示、以及比较工件的第一关联部分和第二关联部分；以及提供工件的第一评估和第 二评估之间差异、评估标准的第一指示和第二指示之间差异、以及工件的第一关联部分和 第二关联部分之间差异的指示。 在一些实施例中，该方法可包括选择评估者。在该方法的一些实施例中，评估标 准的所识别的部分可为子标准。在该方法的一些实施例中，比较工件的第一评估和第二评 估可包括生成表征第一评估和第二评估之间差异程度的差值、检索区别第一评估和第二评 估之间可接受的差异水平和不可接受的差异水平的接受阈值，以及比较所述差值与接受阈 值。在一些实施例中，该方法包括在差值与接受阈值的比较表明第一评估和第二评估之间 的差异水平不可接受的情况下，将评估标准的第一指示与评估标准的第二指示进行比较， 以及将工件的第一关联部分与工件的第二关联部分进行比较。在一些实施例中，该方法包 括基于所接收的评估标准的所述多个第一指示生成最终得分。 本专利技术的一些方面涉及培训评估者的方法。该方法包括生成包括工件（即被评估 者的工作产品）汇编的产品集；接收与所述产品集关联的评估标准，所述评估标准可包括 多个子标准；以及接收密钥，所述密钥包括评估标准的多个指示。在一些实施例中，密钥中 的指示是用于产品集的评估标准的正确指示。在一些实施例中，密钥中的评估标准的指示 识别工件之一的一部分和评估标准的子标准。该方法的一些实施例包括将产品集提供给受 训者并且接收包括评估标准的多个指示的产品集评估。在一些实施例中，产品集评估中的 指示接收自受训者，并且产品集评估中的评估标准的指示识别工件之一的一部分和评估标 准的子标准。该方法的一些实施例包括根据布尔函数比较密钥和产品集评估，以确定产品 集评估的准确度，并提供产品集评估的准确度的指标。 在该方法的一些实施例中，比较密钥和产品集评估包括将产品集评估中工件的得 分与密钥中工件的得分进行比较。在一些实施例中，比较产品集评估和密钥包括生成表征 产品集评估和密钥之间差异程度的差值、检索区别产品集评估和密钥之间可接受的差异水 平和不可接受的差异水平的接受阈值，以及比较所述差值与接受阈值。在一些实施例中，比 较密钥和产品集评估包括将产品集评估中评估标准的指示与密钥中评估标准的指示进行 比较。在一些实施例中，该方法包括提供额外的培训材料。 根据下文提供的详细说明，本专利技术可应用的其他领域将显而易见。应当理解，在示 出各种实施例的同时给出的详细说明和具体实例旨在仅仅用于说明目的，而不意在必然地 限制本专利技术的范围。【附图说明】 本专利技术是结合附图进行描述的：图1为示出评估控制系统的一个实施例的框图。 图2为示出与评估控制系统一起使用的用户设备的一个实施例的框图。 图3为示出用于评估一个或几个产品集和/或工件的过程的一个实施例的流程 图。 图4为示出评估控制过程的一个实施例的流程图。 图5为示出生成评估数据的过程的一个实施例的流程图。 图6为示出显示评估数据的过程的一个实施例的流程图。 图7为示出培训评估者的过程的一个实施例的流程图。 图8为示出计算机系统的一个实施例的框图。 图9为示出专用计算机的一个实施例的框图。 在附图中，类似的部件和/或特征可以具有相同的附图标记。在附图标记被用于 说明描述的地方，该说明描述适用于具有相同附图标记的任一类似部件。另外，可通过在附 图标记后加上连接号和用于区分类似部件的第二标记来对相同类型的各种部件加以区分。 只要在说明书中使用了第一附图标记，其描述即适用于具有相同第一附图标记的任一类似 部件，而不考虑第二附图标记。【具体实施方式】 下文的描述仅提供优选的示例性实施例，而非意图限制本专利技术的范围、适用性或 架构。相反，下文对优选示例性实施例的描述将为本领域中的技术人员提供实施优选示例 性实施例的操作性描述。应当理解本文档来自技高网...

【技术保护点】
一种用于验证主题评估的系统，所述系统包括：处理器，所述处理器被配置为：接收产品集，其中所述产品集包括工件的汇编，其中所述工件包括被评估者的工作产品；将所述工件之一提供给评估者；接收评估标准的多个第一指示，其中所述评估标准包括多个子标准，其中所述评估标准的所述第一指示识别所述工件的第一部分和所述评估标准的第一部分；为所述评估标准的多个所述指示分配值，其中所述值识别所述评估标准的所述指示的来源，其中所述评估标准的所述指示的所述来源为所述评估者；接收所述工件的第一评估，其中所述评估基于所述评估标准和所述评估标准的所述第一指示；接收所述工件的第二评估、所述评估标准的第二指示以及所述工件的第二关联部分；比较所述工件的所述第一评估和所述第二评估、比较所述评估标准的所述第一指示和所述第二指示、以及比较所述工件的第一关联部分和所述第二关联部分；以及提供所述工件的所述第一评估和所述第二评估之间差异、所述评估标准的所述第一指示和所述第二指示之间差异、以及所述工件的所述第一关联部分和所述第二关联部分之间差异的指示；以及存储器，所述存储器被配置为存储：接收到的所述产品集；所述工件的所述第一评估；所述工件的所述第二评估；所述评估标准的所述第二指示和所述工件的所述第二关联部分；以及所述工件的所述第一评估和所述第二评估的所述比较的结果。...

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：迈尔斯·T·劳瑞，保罗·C·格鲁德尼茨基，维沙尔·卡普尔，
申请(专利权)人：培生教育公司，
类型：发明
国别省市：美国;US