一种集成的加权多数软投票的众包数据真值推理方法技术

本发明专利技术公开了一种集成的加权多数软投票的众包数据真值推理方法。本发明专利技术包括：步骤1、通过计算实例属于每一个类别的概率，复制K‑1个实例副本，从而转换为新的众包数据集用以训练弱分类器；步骤2、采用基于极大似然估计的方法聚合弱分类器；步骤3、引入工人在不同的实例上的不同的标注能力，采用基于相似度比较的方法计算工人权重；步骤4、采用加权软投票的方法聚合生成推理的标签。本发明专利技术不仅引入了实例的特征，还综合考虑了不同工人对于不同实例的标注能力，通过基于相似度比较预测标签和工人标签得到的权重来量化标注能力。提出基于工人权重的加权软投票的方法预测最后的标签。本发明专利技术提出的方法具有较强的可实施性。

【技术实现步骤摘要】
一种集成的加权多数软投票的众包数据真值推理方法
本专利技术属于数据挖掘领域，尤其涉及一种集成的加权多数软投票的众包数据真值推理方法。
技术介绍
数据挖掘领域需要大量高质量的标注数据来训练模型，而众包标注是一种相对有效且经济的获取标注数据的方式。众包平台通过将任务划分为较小的任务单元，分配线上大众来进行标注，从而获得大量的标注数据。由于平台标注人员综合素质的不确定性，导致众包标注数据相对于专家标注整体质量较低，为解决众包标注数据的质量问题，一般通过真值推理的方法推测出真实标签。众包系统中的数据标注由于标注人员的标注水平不一导致产生的标注结果存在和标签真值不一致的标签，称为“噪声标签”。传统真值推理利用多噪声标签作为输入，通过聚合策略推断出真实标签，这个过程只考虑了实例的标签而忽略了实例的特征，同时也忽略了不同工人对于不同实例的标注质量。近些年众包质量控制方向出现了很多先进的研究，研究人员提出了基于不可知论的真值推理方法，其中最经典的就是DS(Dawid&Skene)算法，它将标签属于某个类别的概率作为隐藏变量，利用极大似然估计迭代本文档来自技高网...

【技术保护点】
1.一种集成的加权多数软投票的众包数据真值推理方法，其特征在于具体实现如下：/n将众包数据集定义为

【技术特征摘要】
1.一种集成的加权多数软投票的众包数据真值推理方法，其特征在于具体实现如下：
将众包数据集定义为每一个实例为ei＝<xi,yi,li>,其中xi是众包数据中第i个实例的特征向量；yi是众包数据中第i个实例的真实标签；li是第i个实例的噪声标签集，包含J个工人对第i个实例的所有噪声标签:li＝{li1,li2,li3,...,lij}，i∈{1,2,3,...,I},j∈{1,2,3,...,J}；
步骤1、通过计算实例属于每一个类别的概率，复制K-1个实例副本，从而转换为新的众包数据集D′用以训练弱分类器；
步骤2、采用基于极大似然估计的方法聚合弱分类器；
步骤3、引入工人在不同的实例上的不同的标注能力，采用基于相似度比较的方法计算工人权重；
步骤4、采用加权软投票的方法聚合生成推理的标签。


2.根据权利要求1所述的一种集成的加权多数软投票的众包数据真值推理方法，其特征在于步骤1所述的计算实例属于每一个类别的概率，具体如下：

表示第i个实例的预测标签的类别是ck，Pr(ck|li)表示第i个实例工人标记为ck的标签对该实例所有标签的占比，计算实例所属类别公式如下：






其中，Pr(+|li)表示第i个实例工人标记为正类的标签对该实例所有标签的占比，相应地Pr(-|li)表示第i个实例工人标记为负类的标签对该实例所有标签的占比；δ(·)为指示函数，括号内两个值相等时函数值为1，否则为0；K为类别总数。


3.根据权利要求2所述的一种集成的加权多数软投票的众包数据真值推理方法，其特征在于步骤2包括以下分步骤：
步骤2.1根据步骤1统计得到所有弱分类器的混淆矩阵集合表示第m个分类器将真实ck预测成cl的概率；
步骤2.2假设M个弱分类器预测T个未标注的实例，所有分类器对T个未标记的实例的预测结果生成了一个矩阵A，根据极大似然估计全概率公式得到新的分类器，公式如下：



其中，表示每个类标签的先验概率的集合，表示第m个分类器是否将第t个实例预测为cl类；
步骤2.3使用期望最大化算法迭代更新先验概率；在E步中未标记的第t个实例属于ck的概率，计算公式如下:

【专利技术属性】
技术研发人员：张桦，徐宏，沈菲，蒋世豪，张灵均，吴以凡，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江;33