关键词标注审核系统及审核方法技术方案

本发明专利技术提供关键词标注审核系统及审核方法，属于自然语言处理技术领域，应用于关键词标注后的审核过程中，解决了现有技术中缺少专用标注审核系统及方法的问题；系统包括数据生成模块和审核交互模块；数据生成模块用于获取关键词的标注数据，并将关键词的标注数据输出至审核交互模块；审核交互模块用于接收并展示关键词的标注数据，同时为关键词的标注审核提供交互操作；审核方法中，首先审核焦点关键词是否符合要求，再依照上下文优先和标签优先两种方式，完成对焦点关键词的上下文审核和标签审核过程，最终完成审核工作中所有关键词的审核；本发明专利技术针对关键词标注的审核任务定制，在审核过程中易于使用，可以高质高效的完成关键词标注审核工作。词标注审核工作。词标注审核工作。

【技术实现步骤摘要】
关键词标注审核系统及审核方法


[0001]本专利技术属于自然语言处理
，应用于关键词标注后的审核过程中，具体为关键词标注审核系统及审核方法。

技术介绍

[0002]在自然语言处理的分词、命名实体识别和关键词抽取等过程中，标注高质量的关键词能极大提升系统算法性能。对关键词标注结果的审核，则是保障优质标注的重要手段。而标注审核的质量，依赖于专业知识和关键词上下文等信息，在对特定领域内的语料库标注的审核尤其如此。
[0003]关键词标注审核的效率，取决于审核工具、审核方法和标注工具等因素。现有技术中，往往只注重于如何对关键词进行标注的过程，却忽视了在特定领域需要对已标注关键词进行严格审核的过程。当前能实现关键词标注的系统有很多，比如Doccano、SUTDAnnotator等，但能够高质高效审核标注结果的系统却几乎没有研究或提及。当面临审核任务时，通常直接将关键词标注系统用于审核工作，或是基于关键词标注系统，定制一些审核功能。所以，审核在自然语言处理
，尤其是各类标注工作中，往往是被忽视的部分；但是此部分内容在特定领域，尤为重要，不能忽视。
[0004]在运输航空飞行员训练这一领域，飞行训练评价是对飞行学员们的技术和能力进行严格评定，其评定过程及结果均包括大量的文本语料。其中，“九大核心胜任能力”的评价是运输航空飞行员技能生命周期管理体系中的重要一环，包括“知识的应用、程序执行和遵守规章、飞行航迹管理
‑
自动飞行、飞行航迹管理
‑
手动飞行、沟通、领导力与团队合作、情景意识和信息管理、工作负荷管理、问题解决和决策”；该评定工作需要大量高质量标注的关键词，审核过程属于自然语言处理技术。飞行教员作为审核“九大核心胜任能力”中各类关键词标注的领域专家，现有的关键词标注工具及基于标注工具简易增添的审核方式，对他们不太友好。因此，针对各类特定领域中，涉及到关键词标注审核的工作，有必要设计专用的且易于使用的审核系统，才能提升领域专家参与审核的意愿，同时按需定制或搭配高效的审核方法，最终提升审核工作的质量和效率。

技术实现思路

[0005]为了通过关键词标注审核的方式，来保障标注质量，同时在审核过程中依据专业知识和关键词上下文等信息，本专利技术公开了关键词标注审核系统及审核方法。本专利技术专门针对关键词标注的审核任务定制，可以高质高效的审核关键词标注。
[0006]本专利技术采用了以下技术方案来实现目的：
[0007]关键词标注审核系统，包括数据生成模块和审核交互模块；所述数据生成模块用于获取关键词的标注数据，并将关键词的标注数据输出至审核交互模块；所述审核交互模块用于接收并展示关键词的标注数据，同时为关键词的标注审核提供交互操作。
[0008]其中，关键词的标注数据，指的是标注人员的关键词标注结果。
[0009]具体的，数据生成模块获取的关键词的标注数据，包括：关键词、关键词的上下文、关键词的选定标签和关键词的候选标签。
[0010]其中，关键词的上下文指：包含关键词在内的一段文本；关键词的选定标签指：标注过程中已经分配给关键词的标签；关键词的候选标签指：标注过程中尚未分配给关键词的标签；关键词的标注数据中，每一个关键词均有与之对应的上下文、选定标签和候选标签，且上下文、选定标签和候选标签均可为任意数量。
[0011]进一步的，所述审核交互模块，包括关键词交互模块、上下文交互模块和标签交互模块；所述数据生成模块，用于将关键词的标注数据中，由多个关键词构成的序列，输出至所述关键词交互模块中，并根据关键词交互模块设置的焦点关键词，将焦点关键词的上下文信息输出至所述上下文交互模块中，将焦点关键词的选定标签和候选标签输出至所述标签交互模块中。
[0012]其中，焦点关键词指：在关键词序列中，经过关键词交互操作，被选中的关键词。
[0013]具体的，所述关键词交互模块，用于展示关键词序列，提供关键词交互操作；所述关键词交互操作包括：从关键词序列中删除关键词；设置关键词序列中的某一个关键词为焦点关键词。
[0014]具体的，所述上下文交互模块，用于展示焦点关键词的上下文，提供上下文交互操作；所述上下文交互操作包括：删除焦点关键词的上下文。
[0015]具体的，所述标签交互模块，用于展示焦点关键词的选定标签和候选标签，提供标签交互操作；所述标签交互操作包括：将焦点关键词的选定标签更改为候选标签；将焦点关键词的候选标签更改为选定标签。
[0016]本专利技术同时公开关键词标注审核方法，包括：
[0017]通过关键词标注审核系统，获取并展示关键词的标注数据，选定审核方式；所述审核方式包括上下文优先审核方式和标签优先审核方式；
[0018]通过关键词交互模块，设置关键词序列中的焦点关键词；
[0019]通过上下文交互模块，展示焦点关键词的上下文；
[0020]通过标签交互模块，展示焦点关键词的选定标签和候选标签；
[0021]审核焦点关键词是否为符合要求的关键词，若符合要求，则按选定的审核方式，完成焦点关键词的上下文审核和/或焦点关键词的选定标签和候选标签审核；
[0022]依照选定的审核方式，对一个焦点关键词的审核完成后，设置关键词序列中未审核的另一个关键词作为焦点关键词，重复审核过程，直至完成关键词序列中所有关键词的审核。
[0023]具体的，审核焦点关键词是否为符合要求的关键词，若不符合要求，表示此时的焦点关键词经审核为非关键词，则从关键词序列中删除所述焦点关键词，并设置另一个关键词作为焦点关键词。
[0024]进一步的，所述上下文优先审核方式，具体为：依据焦点关键词及焦点关键词的选定标签，审核焦点关键词的上下文是否正确；若正确，则不进行交互操作，保留标注结果；若不正确，则删除与此时的焦点关键词及焦点关键词选定标签无关的上下文。
[0025]进一步的，所述标签优先审核方式，具体为：依据焦点关键词及焦点关键词的上下文，审核焦点关键词的选定标签和候选标签是否正确，若正确，则不进行交互操作，保留标
注结果；若不正确，则将焦点关键词的选定标签更改为候选标签，将焦点关键词的候选标签中正确的标签更改为选定标签。
[0026]综上所述，由于采用了本技术方案，本专利技术的有益效果如下：
[0027]1、本专利技术的系统专门针对关键词标注的审核任务定制，以关键词驱动审核进程，重塑了关键词审核的业务流程，提高了审核效率。
[0028]2、在审核过程中，本专利技术仅提供关键词以及关键词的标签和上下文供审核，屏蔽了大部分与关键词标注审核无关的冗余信息，因此提高了审核效率。
[0029]3、本专利技术的审核交互主要依靠删除或点选操作，降低了审核复杂度，提高了审核系统的易用性，在实施审核时，仅用鼠标点击就能完成主要工作，这在提高审核效率的同时，能进一步提升领域专家们对关键词标注进行审核的意愿。
附图说明
[0030]图1为本专利技术的系统的结构示意图；...

【技术保护点】

【技术特征摘要】
1.关键词标注审核系统，其特征在于：包括数据生成模块和审核交互模块；所述数据生成模块用于获取关键词的标注数据，并将关键词的标注数据输出至审核交互模块；所述审核交互模块用于接收并展示关键词的标注数据，同时为关键词的标注审核提供交互操作。2.根据权利要求1所述的关键词标注审核系统，其特征在于，数据生成模块获取的关键词的标注数据，包括：关键词、关键词的上下文、关键词的选定标签和关键词的候选标签。3.根据权利要求1所述的关键词标注审核系统，其特征在于：所述审核交互模块，包括关键词交互模块、上下文交互模块和标签交互模块；所述数据生成模块，用于将关键词的标注数据中，由多个关键词构成的序列，输出至所述关键词交互模块中，并根据关键词交互模块设置的焦点关键词，将焦点关键词的上下文信息输出至所述上下文交互模块中，将焦点关键词的选定标签和候选标签输出至所述标签交互模块中。4.根据权利要求3所述的关键词标注审核系统，其特征在于：所述关键词交互模块，用于展示关键词序列，提供关键词交互操作；所述关键词交互操作包括：从关键词序列中删除关键词；设置关键词序列中的某一个关键词为焦点关键词。5.根据权利要求3所述的关键词标注审核系统，其特征在于：所述上下文交互模块，用于展示焦点关键词的上下文，提供上下文交互操作；所述上下文交互操作包括：删除焦点关键词的上下文。6.根据权利要求3所述的关键词标注审核系统，其特征在于：所述标签交互模块，用于展示焦点关键词的选定标签和候选标签，提供标签交互操作；所述标签交互操作包括：将焦点关键词的选定标签更改为候选标签；将焦点关键词的候选标签更改为选定标签。7....

【专利技术属性】
技术研发人员：钱基德，钮益峰，陈亚青，孙宏，徐海文，高浩然，秦小林，曾昶畅，梁琰，钱基业，
申请(专利权)人：中国民用航空飞行学院，
类型：发明
国别省市：