图像自动标注和标注质量自动评价方法及系统技术方案

本发明专利技术公开了一种图像自动标注和标注质量自动评价方法及系统，其中方法包括：从拿取商品的视频帧图像中提取有效帧，并在有效帧中裁剪出商品拿取区域图像；将有效帧的原始图像和裁剪图像输入到目标检测模型中，得到对两张图像的目标检测结果；根据目标检测结果计算原始图像和裁剪图像中的两个标注框框选的内容为物体的概率均值以及两个框选区域的交并比；根据交并比修正原始图像中的标注框；模糊检测和分类识别模型对修正后的标注框框选的区域进行模糊检测和物体分类识别，得到模糊检测和物体分类识别结果；标注质量评价模型以概率均值、交并比和模糊检测和分类识别结果为输入，对图像标注质量进行评价。本发明专利技术实现了对商品图像的自动化标注。图像的自动化标注。图像的自动化标注。

【技术实现步骤摘要】
图像自动标注和标注质量自动评价方法及系统


[0001]本专利技术涉及图像识别
，具体涉及一种图像自动标注和标注质量自动评价方法及 系统。

技术介绍

[0002]无人售货柜的无人售货方法为：拍摄消费者拿取商品的图像，预先训练好的商品识别模 型从所拍摄的商品图像中识别出消费者拿取的商品种类及数量，然后根据识别到的商品种类、 数量进行计费结算。但商品识别模型的训练需要大量的标注图像作为训练样本。目前，对于 商品图像的商品类别标注主要采用以下两种方法：
[0003]一、全人工标注
[0004]人工对历史采集的商品图像进行商品类别标注。但人工标注的准确性很大程度上依赖于 标注人员的标注经验，不同的标注人员对于图像内容的理解往往存在差异，标注准确性不高。 最为关键的是，为保证商品识别模型的识别准确度，需要大量的训练样本做支撑，作为训练 样本的商品图像数据量可能达到几个TB，如此庞大的数据量若全部需要进行人工标注，相当 费时费力，也很容易出错，标注结果的准确性也难以得到有效保证。
[0005]二、半监督自动标注
[0006]使用半监督标注方法对商品图像进行自动标注后，再通过人工检验方式对机器标注后的 商品图像进行准确性核验，人为过滤掉机器标注不准确的商品图像。这种半监督标注方法虽 一定程度上缓解了人工标注压力，但现有的半监督标注方法的标注精度不高，后续还是需要 人工逐帧对机器标注的质量进行核验，并未根本性解决人工标注效率低下，准确性不高的问 题。

技术实现思路

[0007]本专利技术以提高无人售货柜商品图像的图像标注质量，并提高图像标注效率为目的，提供 了一种图像自动标注和标注质量自动评价方法和系统。
[0008]为达此目的，本专利技术采用以下技术方案：
[0009]提供一种图像自动标注和标注质量自动评价方法，包括：
[0010]步骤S1，从采集的消费者从无人售货柜拿取商品的连续视频帧图像中提取出待进行图像 标注的有效帧，并在所述有效帧中裁剪出指定大小的商品拿取区域图像，得到裁剪图像；
[0011]步骤S2，将所述有效帧的原始图像以及所述裁剪图像分别输入到预先训练的第一目标检 测模型和第二目标检测模型中，所述第一目标检测模型输出关联所述原始图像的第一目标检 测结果，所述第二目标检测模型输出关联所述裁剪图像的第二目标检测结果；
[0012]步骤S3，根据所述第一目标检测结果和所述第二目标检测结果计算所述第一目标检测模 型和所述第二目标检测模型分别在所述原始图像中和所述裁剪图像中框选出的标注框中的内 容为物体的概率的概率均值P
mean
，以及计算所述第一目标检测模型和所述第
二目标检测模型 分别在所述原始图像和所述裁剪图像中框选出的区域面积的交并比P
IOU
；
[0013]步骤S4，根据所述交并比P
IOU
对所述原始图像的标注框进行修正，并以修正后的所述标 注框所框选的区域为裁切对象，从所述有效帧的所述原始图像中裁切出待进行图像标注的商 品区域图像；
[0014]步骤S5，将所述商品区域图像输入到预先训练的模糊检测和分类识别模型中，模型输出 所述商品区域图像中的物体为对应所属商品类别的类别概率P
class
、为图像背景的概率P
bg
以 及图像模糊的概率P
blur
；
[0015]步骤S6，将所述步骤S3计算的所述交并比P
IOU
、所述概率均值P
mean
、以及所述步骤S5 计算的关联所述商品区域图像的所述类别概率P
class
、背景概率P
bg
、图像模糊概率P
blur
输入 到预先训练好的标注质量评价模型中，模型输出对所述有效帧的图像标注的质量评价结果。
[0016]作为本专利技术的一种优选方案，所述步骤S1中，从连续视频帧图像中提取出所述有效帧的 方法包括：
[0017]步骤S11a，将连续两帧的所述视频帧图像从RGB图像转换为灰度图像，并利用帧间差分 法得到当前帧和当前帧的上一帧所述视频帧图像之间的差分图像，记为D(x，y)；
[0018]步骤S12a，对图像D(x，y)进行腐蚀和膨胀处理，去除所述图像D(x，y)中的噪声，得到图 像D(x，y)
′
；
[0019]步骤S13a，在所述图像D(x，y)
′
中以外接矩形方式框选出运动变化区域；
[0020]步骤S14a，计算每个所述运动变化区域的区域面积，并过滤掉区域面积异常的所述运动 变化区域；
[0021]步骤S15a，判断经过滤保留的所述图像D(x，y)
′
中的所述运动变化区域的数量是否大于预 设的数量阈值，
[0022]若是，则判定所述当前帧为所述有效帧；
[0023]若否，则判定所述当前帧为非所述有效帧。
[0024]作为本专利技术的一种优选方案，所述数量阈值为4。
[0025]作为本专利技术的一种优选方案，从所述有效帧中裁剪出所述裁剪图像的方法包括：
[0026]步骤S11b，计算经过滤保留的每个所述运动变化区域的外接矩形的中心位点坐标，记为 (x
i
，y
i
)，x
i
、y
i
分别表示第i个所述运动变化区域的所述中心位点的横轴坐标和纵轴坐标；
[0027]步骤S12b，对框选每个所述运动变化区域的所有所述外接矩形的中心位点坐标进行求和 平均计算，得到裁剪区域的中心位点坐标，记为(x
center
，y
center
)；
[0028]步骤S13b，在所述有效帧中以坐标(x
center
，y
center
)为所述裁剪图像的中心位置，裁剪出 指定大小的所述裁剪图像。
[0029]作为本专利技术的一种优选方案，所述步骤S2中，采取多分辨率的目标检测结果融合，将所 述有效帧从原始1280*720分辨率调整为746*448分辨率大小后输入到所述第一目标检测模型 中；
[0030]将所述裁剪图像的分辨率调整为704*704输入到所述第二目标检测模型中。
[0031]作为本专利技术的一种优选方案，所述均值概率P
mean
通过以下公式(1)计算而得：
[0032][0033]公式(1)中，P
join0
表示所述第一目标检测模型判定在所述原始图像中框选出的内容为 物体的概率；
[0034]P
join1
表示所述第一目标检测模型判定在所述裁剪图像中框选出的内容为物体的概率；
[0035]P
join0
通过以下公式(2)计算而得：
[0036]P
join0
＝P
class0
×
...

【技术保护点】

【技术特征摘要】
1.一种图像自动标注和标注质量自动评价方法，其特征在于，包括：步骤S1，从采集的消费者从无人售货柜拿取商品的连续视频帧图像中提取出待进行图像标注的有效帧，并在所述有效帧中裁剪出指定大小的商品拿取区域图像，得到裁剪图像；步骤S2，将所述有效帧的原始图像以及所述裁剪图像分别输入到预先训练的第一目标检测模型和第二目标检测模型中，所述第一目标检测模型输出关联所述原始图像的第一目标检测结果，所述第二目标检测模型输出关联所述裁剪图像的第二目标检测结果；步骤S3，根据所述第一目标检测结果和所述第二目标检测结果计算所述第一目标检测模型和所述第二目标检测模型分别在所述原始图像中和所述裁剪图像中框选出的标注框中的内容为物体的概率的概率均值P
mean
，以及计算所述第一目标检测模型和所述第二目标检测模型分别在所述原始图像和所述裁剪图像中框选出的区域面积的交并比P
IOU
；步骤S4，根据所述交并比P
IOU
对所述原始图像的标注框进行修正，并以修正后的所述标注框所框选的区域为裁切对象，从所述有效帧的所述原始图像中裁切出待进行图像标注的商品区域图像；步骤S5，将所述商品区域图像输入到预先训练的模糊检测和分类识别模型中，模型输出所述商品区域图像中的物体为对应所属商品类别的类别概率P
class
、为图像背景的概率P
bg
以及图像模糊的概率P
blur
；步骤S6，将所述步骤S3计算的所述交并比P
IOU
、所述概率均值P
mean
、以及所述步骤S5计算的关联所述商品区域图像的所述类别概率P
class
、背景概率P
bg
、图像模糊概率P
blur
输入到预先训练好的标注质量评价模型中，模型输出对所述有效帧的图像标注的质量评价结果。2.根据权利要求1所述的图像自动标注和标注质量自动评价方法，其特征在于，所述步骤S1中，从连续视频帧图像中提取出所述有效帧的方法包括：步骤S11a，将连续两帧的所述视频帧图像从RGB图像转换为灰度图像，并利用帧间差分法得到当前帧和当前帧的上一帧所述视频帧图像之间的差分图像，记为D(x，y)；步骤S12a，对图像D(x，y)进行腐蚀和膨胀处理，去除所述图像D(x，y)中的噪声，得到图像D(x，y)
′
；步骤S13a，在所述图像D(x，y)
′
中以外接矩形方式框选出运动变化区域；步骤S14a，计算每个所述运动变化区域的区域面积，并过滤掉区域面积异常的所述运动变化区域；步骤S15a，判断经过滤保留的所述图像D(x，y)
′
中的所述运动变化区域的数量是否大于预设的数量阈值，若是，则判定所述当前帧为所述有效帧；若否，则判定所述当前帧为非所述有效帧。3.根据权利要求2所述的图像自动标注和标注质量自动评价方法，其特征在于，所述数量阈值为4。4.根据权利要求1所述的图像自动标注和标注质量自动评价方法，其特征在于，从所述有效帧中裁剪出所述裁剪图像的方法包括：步骤S11b，计算经过滤保留的每个所述运动变化区域的外接矩形的中心位点坐标，记为(x
i
，y
i
)，x
i
、y
i
分别表示第i个所述运动变化区域的所述中心位点的横轴坐标和纵轴坐标；
步骤S12b，对框选每个所述运动变化区域的所有所述外接矩形的中心位点坐标进行求和平均计算，得到裁剪区域的中心位点坐标，记为(x
center
，y
center
)；步骤S13b，在所述有效帧中以坐标(x
center
，y
center
)为所述裁剪图像的中心位置，裁剪出指定大小的所述裁剪图像。5.根据权利要求1所述的图像自动标注和标注质量自动评价方法，其特征在于，所述步骤S2中，采取多分辨率的目标检测结果融合，将所述有效帧从原始1280*720分辨率调整为746*448分辨率大小后输入到所述第一目标检测模型中；将所述裁剪图像的分辨率调整为704*704输入到所述第二目标检测模型中。6.根据权利要求1所述的图像自动标注和标注质量自动评价方法，其特征在于，所述均值概率P
mean
通过以下公式(1)计算而得：公式(1)中，P
join0
表示所述第一目标检测模型判定在所述原始图像中框选出的内容为物体的概率；P
join1
表示所述第二目标检测模型判定在所述裁剪图像中框选出的内容为物体的概率；P
join0
通过以下公式(2)计算而得：P
join0
＝P
class0
×
P
obj0
公式(2)公式(2)中，P
class0
表示所述第一目标检测模型在所述原始图像中框选出的内容为对应物体类别的概率；P
obj0
表示所述第一目标检测模型对所述原始图像的目标检测结果的第一置信度；P
join1
通过以下公式(3)计算而得：P
join1
＝P
class1
×
P
obj1
公式(3)公式(3)中，P
class1
表示所述目标检测模型在所述裁剪图像中框选出的内容为对应物体类别的概率；P
obj1
表示所述第二目标检测模型对所述裁剪图像的目标检测结果的第二置信度。7.根据权利要求6所述的图像自动标注和标注质量自动评价方法，其特征在于，所述步骤S4中，根据所述交并比P
IOU
对所述原始图像的标注框进行修正的方法为：判断所述交并比P
IOU
是否小于0.7，若是，则以所述概率P
join0
、所述概率P
join1
中概率大者对应的标注框为修正后的标注框；若否，则通过以下公式(4)重新计算标注框以对所述原始图像的标注框进行修正：公式(4)中，x表示重新计算的标注框的中心位点在所述原始图像中的横轴坐标；x0表示未修正前的所述原始图像中的第一标注框的中心位点的横轴坐标；x1表示所述裁剪图像中的第二标...

【专利技术属性】
技术研发人员：庞明锋，李攀星，庞楼阳，
申请(专利权)人：杭州福柜科技有限公司，
类型：发明
国别省市：