基于众包的交通违法行为标注质量评估系统及评估方法技术方案

本发明专利技术公开了一种基于众包的交通违法行为标注质量评估系统及评估方法，包括违法证据材料处理模块，用于对证据进行数据预处理，形成证据单元；任务管理模块用于生成和管理众包任务；用户管理模板用于用户、角色和权限的管理和控制；证据标注模块用于给用户提供交互友好的可视化界面，供用户进行证据材料标注操作；质量控制模块是本发明专利技术的核心模块，包含用户信誉分评估、审核员贡献度计算、证据最终结果锚定等，是整个众包任务质量控制的关键。本发明专利技术设计的目的在于提供一种基于众包的交通违法行为标注质量评估体系，通过质量控制模块提供的算法提高证据标注众包的质量，提高违法行为判罚的处理效率和准确率。行为判罚的处理效率和准确率。行为判罚的处理效率和准确率。

【技术实现步骤摘要】
基于众包的交通违法行为标注质量评估系统及评估方法


[0001]本专利技术公开了一种基于众包的交通违法行为标注质量评估系统及评估方法，涉及计算机视觉图像处理、知识众包算法，属于计算机视觉、众包和互联网应用领域。

技术介绍

[0002]众包是一种特定的获取资源的模式。在该模式下，个人或组织可以利用大量的网络用户来获取需要的服务和想法。众包的对象可以是一群没有被特别定义的群体(而非被指派的，特定的群体)并且众包包括了混合的自底向上和自顶向下的过程。众包的优势包括：优化的价格，速度，质量，灵活性和多样性。众包开始在许多领域发挥了越来越大的作用，例如机器翻译，图片识别，语音识别等，如果采用纯手工去识别和评估需要付出较大的代价。而众包的核心在于群体智慧，通过分发任务使解决问题变得容易。
[0003]在理想情况下，使用众包可以大大加快解决问题的速度。但是，由于参与众包人员的质量参差不齐，用户提交的问题解答，可能并不一定准确，甚至可能出现恶意提交、重复提交的情况，可能大大降低了众包工作完成的质量。因此我们系统的核心模块是质量控制模块，加强过程管理提高众包的质量。
[0004]在众包平台(收集违法证据材料并打包作为任务分发的平台)数据库的搭建过程中，需要对大量用户上传的图片/视频证据材料进行数据预处理和机器学习。而计算机视觉模型的基础在于图像数据质量的好坏，通过众包的方式让大众参与图像数据的标注，提高违法行为识别的准确率。而众包的质量评估算法对众包任务的质量尤其重要，因此，本专利技术提出来一种基于众包的交通违法行为标注质量评估系统。

技术实现思路

[0005]本专利技术的目的在于引入了众包的思想，设计了一种基于众包的交通违法行为标注质量评估系统及评估方法，主要针对计算机视觉处理的图像及视频数据任务进行众包，将证据单元的标注工作分解出来，形成一个一个具体的任务批次，以自由自愿的形式交给审核团队共同完成，锚定证据最终违法结果。
[0006]本专利技术通过以下技术方案实现，主要包括违法证据材料处理模块、任务管理模块、用户管理模板、证据标注模块和质量控制模块，通过针对群众拍摄的交通违法行为图片或视频等证据材料进行众包，将违法标注的工作分解，并形成具体的任务，以自由自愿的形式交给经过资格认证的审核员完成；根据质量控制模块算法锚定结果；
[0007]所述违法证据材料处理模块，主要用于对不同来源的违法证据，进行一些初步的数据预处理，将数据转换成后续模块容易使用和处理的形式，提高了标注任务的准确性和效率；
[0008]所述任务管理模块的功能主要包括任务的生成、分发、状态变更，保障了过程化和规范化；任务管理模块与违法证据材料处理模块相连接，主要依据违法证据材料处理模块生成的证据单元，将证据单元包装成需要大众参与的众包任务，任务类别具体包括审核认
证任务、众包发布任务；
[0009]所述用户管理模块，主要用于对使用用户进行身份验证和权限控制管理，包含用户的注册和登陆、审核员认证、用户任务领取；根据设置的权限，用户只能参与被授权的任务，防止恶意用户和非专业用户的操作导致众包任务的质量出现问题，确保系统的稳定性；
[0010]所述证据标注模块，主要用于为用户提供一种在线的证据违法行为标注操作界面，具有良好的交互性，用户可以进行主观的标注行为，并将各自的标注结果上传；
[0011]所述质量控制模块为核心模块，包含审核成员贡献度计算和证据最终结果锚定；质量控制模块与任务管理模块、用户管理模块、证据标注模块连接；质量控制模块通过对众包任务结果和用户贡献度的实时、高效、准确的评估，实现对整个系统的质量控制和保障。
[0012]所述的质量控制模块包括用户信誉分评估，用户贡献度计算和证据最终结果锚定，对整个众包任务的质量进行整体把关和控制，保障本系统的完整性和准确性；具体步骤如下：
[0013]步骤1，审核员认证，普通用户可以通过测试任务成为审核员；参与众包任务当用户完成测试任务时，需要对用户的标注准确率进行计算，来判断该用户是否有资格参加众包任务，具体计算公式(1)为
[0014][0015]其中precison表示用户在当前测试中的准确率，N
correct
为测试中用户正确标注的任务数量；N
test
为测试中含有的任务总数；当准确率超过设定的阈值之后则给予用户审核员身份和对应的权限；
[0016]步骤2，众包任务初始化，
[0017]众包平台通过违法证据材料处理模块之后，收集得到标注单元集，进行众包任务的配置工作如设定标注任务批次batch进行打包发布、批次大小batchSize、完成该批次中的一个任务之后用户得到的奖励值reward或惩罚值penalty、此批次需要分发到的审核员人数num；V代表用户完成此批次后获得的奖励值(惩罚值)；r是人数系数，与num成负相关，公式如(2)所示：
[0018][0019]完成此批次标注任务后，得到总的奖励值V
batch
(3)；
[0020]V
batch
＝∑V
ꢀꢀꢀ
(3)
[0021]步骤3，证据最终结果锚定，设有N(N＞＝3)个用户共同参与此batch的标注任务，每个违法种类都有预设的值(本系统中皆相等)，对于每个证据单元获取N个用户的标注结果，
[0022][0023]按公式(4)依次计算每个违法种类的选择分。将最大选择分的违法行为作为该证据单元的最终结果，对该批次的所有证据单元依次进行该操作，得到该批次所有证据的标
注结果；
[0024]步骤4，审核员评价，当用户完成一个批次batch后，需要更新当前贡献度和用户信誉分；
[0025]P
s
代表该批次用户完成的正确率；correctSize代表该批次用户完成正确的任务数量；batchSize代表批次大小(5)；
[0026][0027]用户的信誉分Credit代表了其是否可以继续拥有审核员的权限：对于拥有破坏标注正确性行为等行为进行一定信誉分的扣除，当信誉分低于一定阈值后失去审核员身份，需要重新经过认证；审核员的信誉分也会随着参与众包过程而不断增长，具体公式如(6)：
[0028][0029]我们将审核员对于一个证据单元的标注定义为贡献度Contrib，贡献度取决于审核员的信誉分Credit、批次大小batchSize、本批次参与审核员人数num、人数系数r(同(2))，具体计算公式如(7)：
[0030][0031]在每batch开始标注之前，每个审核员都会进行一次(7)计算来确定当前的贡献度Contrib。
[0032]所述的违法证据材料处理模块负责对输入的证据(图片或视频)材料进行数据预处理，主要包含证据材料采集、数据清洗、图像增强、证据单元生成打包四个步骤：
[0033]步骤1，证据材料采集：通过多终端设备对证据材料进行采集，作为整个系统的数据源；数据源大概分为两大类：一种是图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于众包的交通违法行为标注质量评估系统，其特征是：包括违法证据材料处理模块、任务管理模块、用户管理模板、证据标注模块和质量控制模块；所述违法证据材料处理模块用于对不同来源的违法证据，进行初步的数据预处理，将数据转换成后续模块容易使用和处理的形式，并打包成证据单元发布到众包平台；所述任务管理模块的功能包括任务的生成、分发及状态变更；任务管理模块与违法证据材料处理模块相连接，用于依据违法证据材料处理模块的生成的证据单元，将证据单元包装成需要大众参与的众包任务，众包任务类别包括审核认证任务、众包发布任务；所述用户管理模块，包括系统用户的注册、登陆以及权限管理；所述证据标注模块，用于为用户提供在线的证据违法行为标注操作界面，用户可进行主观的标注行为，并将各自的标注结果上传；所述质量控制模块的任务包含用户信誉分评估，用户贡献度计算和证据最终结果锚定；质量控制模块与任务管理模块、用户管理模块、证据标注模块连接，将用户贡献度数据贯穿各个模块，并确保各模块之间数据传递的一致性即证据最终结果的准确性。2.如权利要求1所述的一种基于众包的交通违法行为标注质量评估系统，其特征是：所述的质量控制模块的任务包括用户信誉分评估，用户贡献度计算和证据最终结果锚定，对整个众包任务的质量进行整体把关和控制，具体步骤如下：步骤1，审核员认证，普通用户可通过测试任务成为审核员；参与众包任务当用户完成测试任务时，需要对用户的标注准确率进行计算，来判断该用户是否有资格参加众包任务，具体计算公式(1)为其中precison表示用户在当前测试中的准确率，N
correct
为测试中用户正确标注的任务数量；N
test
为测试中含有的任务总数；当准确率超过设定的阈值之后则给予用户审核员身份和对应的权限；步骤2，众包任务初始化，众包平台通过违法证据材料处理模块之后，收集得到证据单元集，进行众包任务的配置工作：设定标注任务批次batch进行打包发布、批次大小batchSize、完成该批次中的一个任务之后用户得到的奖励值reward或惩罚值penalty、此批次需要分发到的审核员人数num；V代表用户完成此批次后获得的奖励值或惩罚值；r是人数系数，与num成负相关，公式如(2)所示：完成此批次标注任务后，得到总的奖励值V
batch
(3)；V
batch
＝∑V
ꢀꢀꢀꢀ
(3)步骤3，证据最终结果锚定，设有N个用户共同参与此batch的标注任务，每个违法种类都有预设的值，对于每个证据单元获取N个用户的标注结果，
按公式(4)依次计算每个违法种类的选择分，将最大选择分的违法行为作为该证据单元的最终结果，对该批次的所有证据单元依次进行该操作，得到该批次所有证据的标注结果；步骤4，审核员评价，当用户完成一个批次batch后，需要更新当前贡献度和用户信誉分；P
s
代表该批次用户完成的正确率；correctSize代表该批次用户完成正确的任务数量；batchSize代表批次大小(5)；用户的信誉分Credit代表了其是否可以继续拥有审核员的权限：对于拥有破坏标注正确性行为等行为进行一定信誉分的扣除，当信誉分低于一定阈值后失去审核员身份，需要重新经过认证；审核员的信誉分也会随着参与众包过程而不断增长，具体公式如(6)：将审核员对于一个证据单元的标注定义为贡献度Contrib，贡献度取决于审核员的信誉分Credit、批次大小batchSize、本批次参与审核员人数num、人数系数r，具体计算公式如(7)：在每batch开始标注之前，每个审核员都会进行一次(7)计算来确定当前的贡献度Contrib。3.如权利要求1所述的一种基于众包的交通违法行为标注质量评估系统，其特征是：所述的违法证据材料处理模块负责对输入的证据材料进行数据预处理，包含证据材料采集、数据清洗、图像增强、证据单元生成打包四个步骤：步骤1，证据材料采集：通过多终端设备对证据材料进行采集，作为整个系统的数据源；数据源分为两大类：一种是图像数据；另一种是视频数据；步骤2，数据清洗：(1)对上传的图片和视频进行大小、分辨率、编码格式检查，过滤掉不满足要求的数据；(2)利用拉普拉斯算子对图像或视频的每帧进行是否模糊的判断，清理掉模糊的部分，保留不模糊的图片和视频；步骤3，图像增强：针对用户上传的具有强语义的图像局部模糊的情况，...

【专利技术属性】
技术研发人员：杨健，吴建博，乔玉琳，黄婷婷，欧阳志友，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：