标注数据集扩充方法、装置、介质和计算设备制造方法及图纸

本发明专利技术的实施方式提供了一种标注数据集扩充方法、装置、介质和计算设备，标注数据集扩充方法包括：获取原始视频，根据原始视频生成已标注数据集，已标注数据集中包括已标注图像和与已标注图像对应的标注文件；将已标注图像与原始视频中的每帧图像进行比对，获取已标注图像在原始视频中的对应帧图像；从原始视频中截取对应帧图像前后预设时间段内的帧图像序列；根据已标注图像对应的标注文件为帧图像序列中每张帧图像生成标注文件，将帧图像序列中每张帧图像及其对应的标注文件添加至已标注数据集。本申请实现了数据集快速扩充，提升数据的标注效率，降低数据集开发成本。降低数据集开发成本。降低数据集开发成本。

【技术实现步骤摘要】
标注数据集扩充方法、装置、介质和计算设备


[0001]本专利技术的实施方式涉及图像数据扩充领域，更具体地，本专利技术的实施方式涉及标注数据集扩充方法、装置、介质和计算设备。

技术介绍

[0002]本部分旨在为权利要求书中陈述的本专利技术的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
[0003]超声仪器已成为近代医学行业中快速、安全且成本较低的医学诊断工具之一，超声内镜图像不同于白光或电子染色视频图像，它需要医生具备相应的解剖学结构知识，同时需要积累大量的经验，才能看得懂超声内镜图像，因此，掌握超声扫描技能的医生数量非常有限。近年来，由于人工智能的不断发展，人工智能与医学相结合促进了医学行业快速发展。而训练人工智能图像识别模型的数据集通常需要数万张或数十万张的图像，通常这些图像的获取是由专门的数据标注公司或实习医生对视频或图像进行截取标注，由于标注人员需要具备相应的业务知识，因此存在标注人员数量不足的问题，且人工效率低、易出错，存在标图精度低、速度慢、研发成本高等问题。
[0004]目前，已经出现一些标注数据扩充方法，但这些方法的原理是以一种标签保持不变的方式转换图像，或者对图像和标签都定义了转换，但转换方式得到的扩充数据未能显著提升医学图像的分割性能，导致扩充出的标注数据对基于人工智能医学研究意义不大。

技术实现思路

[0005]鉴于现有技术存在上述问题，本公开的目的之一在于提供一种标注数据集扩充方法、装置、介质和计算设备，以至少解决当前现有技术存在的问题。
[0006]在本专利技术实施方式的第一方面中，提供了一种标注数据集扩充方法，包括：获取原始视频，根据原始视频生成已标注数据集，所述已标注数据集中包括已标注图像和与所述已标注图像对应的标注文件；将所述已标注图像与所述原始视频中的每帧图像进行比对，获取已标注图像在所述原始视频中的对应帧图像；从所述原始视频中截取所述对应帧图像前后预设时间段内的帧图像序列；根据已标注图像对应的标注文件为所述帧图像序列中每张帧图像生成标注文件，将所述帧图像序列中每张帧图像及其对应的标注文件扩充至所述已标注数据集。
[0007]在本专利技术的一个实施例中，该标注数据集扩充方法包括：所述根据已标注图像对应的标注文件为所述帧图像序列中每张帧图像生成标注文件，包括：根据已标注图像对应的标注文件获取已标注图像在所述原始视频中的对应帧图像的标注文件；根据对应帧图像的标注文件确定所述对应帧图像中多个标注区域；
计算各个标注区域的特征值；根据各个标注区域的特征值为所述帧图像序列中每张帧图像生成标注文件。
[0008]进一步的，所述计算各个标注区域的特征值，包括：将所述多个标注区域范围内图像转成灰度图；将每个标注区域范围内灰度图利用尺度不变特征变换算法得到每个标注区域范围内的所有特征点；根据每个标注区域范围内的所有特征点生成每个标注区域的特征值数组。
[0009]进一步的，所述根据各个标注区域的特征值为所述帧图像序列中每张帧图像生成标注文件，包括：在所述帧图像序列的每张帧图像中根据所述每个标注区域的特征值数组生成每张帧图像对应的新标注区域；根据所述每张帧图像对应的新标注区域生成标注文件。
[0010]进一步的，所述在所述帧图像序列的每张帧图像中根据所述每个标注区域的特征值数组生成每张帧图像对应的新标注区域，包括：获取所述每个标注区域的特征值数组中各个特征点坐标；拆分所述各个特征点坐标，将拆分出的横坐标与纵坐标进行重新组合得到新横坐标数组和新纵坐标数组；分别获取新横坐标数组中最大值、最小值和新纵坐标数组中最大值、最小值：根据新横坐标数组中最大值、最小值和新纵坐标数组中最大值、最小值生成每张帧图像对应的新标注区域。
[0011]进一步的，所述根据新横坐标数组中最大值、最小值和新纵坐标数组中最大值、最小值生成每张帧图像对应的新标注区域，包括：根据所述新横坐标数组中最大值、最小值和新纵坐标数组中最大值、最小值获取新标注区域的包围框；计算所述新标注区域的包围框与标注区域包围框的坐标顶点距离；判断所述坐标顶点距离是否小于预设变换阈值；若是，保留新标注区域，将所述新标注区域存入标注文件。
[0012]在本专利技术的另一个实施例中，该标注数据集扩充方法包括：所述将所述已标注图像与所述原始视频中的每帧图像进行比对，获取已标注图像在所述原始视频中的对应帧图像，包括：获取已标注图像的时间戳和原始视频中每张帧图像的时间戳；将已标注图像的时间戳与原始视频中每张帧图像的时间戳进行比较；将原始视频中与已标注图像具有相同时间戳的帧图像作为已标注图像在所述原始视频中的对应帧图像。
[0013]进一步的，所述获取已标注图像的时间戳，包括：遍历所述已标注数据集中每张图像，截取所述每张图像的第一时间戳感兴趣区域；识别出所述第一时间戳感兴趣区域中的第一时间戳字符串；将所述第一时间戳字符串按预设时间戳格式进行转换得到已标注图像的时间戳。
[0014]进一步的，所述截取所述每张图像的第一时间戳感兴趣区域，包括：通过OCR算法截取所述每张图像的第一时间戳感兴趣区域。
[0015]进一步的，所述识别出所述第一时间戳感兴趣区域中的第一时间戳字符串，包括：使用数字和符号OCR识别算法识别出所述第一时间戳感兴趣区域中的第一时间戳字符串。
[0016]进一步的，获取原始视频中每张帧图像的时间戳，包括：读取原始视频，获取原始视频中每帧图像；截取每帧图像的第二时间戳感兴趣区域；识别出所述第二时间戳感兴趣区域中的第二时间戳字符串；将所述第二时间戳字符串按预设时间戳格式进行转换得到原始视频中每张帧图像的时间戳。
[0017]进一步的，所述将原始视频与已标注图像的时间戳相同的帧图像作为已标注图像在所述原始视频中的对应帧图像，包括：按照帧序号顺序播放原始视频中每帧图像；在播放过程中，将原始视频中每帧图像的时间戳与已标注图像的时间戳进行比较；若原始视频中每帧图像的时间戳与已标注图像的时间戳相同，则将与已标注图像具有相同时间戳的帧图像作为已标注图像在所述原始视频中的对应帧图像。
[0018]在本专利技术的又一个实施例中，该标注数据集扩充方法包括：对所述帧图像序列中的多张帧图像进行筛选以获取有效帧图像。
[0019]进一步的，所述对所述帧图像序列中的多张帧图像进行筛选以获取有效帧图像，包括：计算所述帧图像序列中每张帧图像的信息熵矩阵；根据所述每张帧图像的信息熵矩阵计算邻接帧图像的信息熵矩阵变化率；根据所述信息熵矩阵变化率筛选出有效帧图像。
[0020]进一步的，所述根据所述信息熵矩阵变化率筛选出有效帧图像，包括：计算变化率拟合函数导数；根据所述变化率拟合函数导数对所述信息熵矩阵变化率进行从大到小排序；将排序靠前的预设数量帧图像作为有效帧图像。
[0021]进一步的，所述计算所述帧图像序列中每张帧图像的信息熵矩阵，包括：对每张帧图像按照预设缩小比例进行等比例缩小处理得到缩小图像；获取所述缩小图像的坐标范围；根据所述缩小图像的坐标范围计算邻接矩阵本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种标注数据集扩充方法，其特征在于，包括：获取原始视频，根据原始视频生成已标注数据集，所述已标注数据集中包括已标注图像和与所述已标注图像对应的标注文件；将所述已标注图像与所述原始视频中的每帧图像进行比对，获取已标注图像在所述原始视频中的对应帧图像；从所述原始视频中截取所述对应帧图像临近的预设时间段内的帧图像序列；根据已标注图像对应的标注文件为所述帧图像序列中每张帧图像生成标注文件，将所述帧图像序列中每张帧图像及其对应的标注文件扩充至所述已标注数据集。2.根据权利要求1所述的标注数据集扩充方法，其特征在于，所述根据已标注图像对应的标注文件为所述帧图像序列中每张帧图像生成标注文件，包括：根据已标注图像对应的标注文件获取已标注图像在所述原始视频中的对应帧图像的标注文件；根据对应帧图像的标注文件确定所述对应帧图像中多个标注区域；计算各个标注区域的特征值；根据各个标注区域的特征值为所述帧图像序列中每张帧图像生成标注文件。3.根据权利要求2所述的标注数据集扩充方法，其特征在于，所述计算各个标注区域的特征值，包括：将所述多个标注区域范围内图像转成灰度图；将每个标注区域范围内灰度图利用尺度不变特征变换算法得到每个标注区域范围内的所有特征点；根据每个标注区域范围内的所有特征点生成每个标注区域的特征值数组。4.根据权利要求3所述的标注数据集扩充方法，其特征在于，所述根据各个标注区域的特征值为所述帧图像序列中每张帧图像生成标注文件，包括：在所述帧图像序列的每张帧图像中根据所述每个标注区域的特征值数组生成每张帧图像对应的新标注区域；根据所述每张帧图像对应的新标注区域生成标注文件。5.根据权利要求4所述的标注数据集扩充方法，其特征在于，所述在所述帧图像序列的每张帧图像中根据所述每个标注区域的特征值数组生成每张帧图像对应的新标注区域，包括：获取所述每个标注区域的特征值数组中各个特征点坐标；拆分所述各个特征点坐标，将拆分出的横坐标与纵坐标进行重新组合得到新横坐标数组和新纵坐标数组；分别获取新横坐标数组中最大值、最小值和新纵坐标数组中最大值、最小值：根据新横坐标数组中最大值、最小值和新纵坐标数组中最大值、最小值生成每张帧图像对应的新标注区域。6.根据权利要求5所述的标注数据集扩充方法，其特征在于，所述根据新横坐标数组中最大值、最小值和新纵坐标数组中最大值、最小值生成每张帧图像对应的新标注区域，包括：根据所述新横坐标数组中最大值、最小值和新纵坐标数组中最大值、最小值获取新标
注区域的包围框；计算所述新标注区域的包围框与标注区域包围框的坐标顶点距离；判断所述坐标顶点距离是否小于预设变换阈值；若是，保留新标注区域，将所述新标注区域存入标注文件。7.根据权利要求1所述的标注数据集扩充方法，其特征在于，所述将所述已标注图像与所述原始视频中的每帧图像进行比对，获取已标注图像在所述原始视频中的对应帧图像，包括：获取已标注图像的时间戳和原始视频中每张帧图像的时间戳；将已标注图像的时间戳与原始视频中每张帧图像的时间戳进行比较；将原始视频中与已标注图像具有相同时间戳的帧图像作为已标注图像在所述原始视频中的对应帧图像。8.根据权利要求7所述的标注数据集扩充方法，其特征在于，所述获取已标注图像的时间戳，包括：遍历所述已标注数据集中每张图像，截取所述每张图像的第一时间戳感兴趣区域；识别出所述第一时间戳感兴趣区域中的第一时间戳字符串；将所述第一时间戳字符串按预设时间戳格式进行转换得到已标注图像的时间戳。9.根据权利要求8所述的标注数据集扩充方法，其特征在于，所述截取所述每张图像的第一时间戳感兴趣区域，包括：通过OCR算法截取所述每张图像的第一时间戳感兴趣区域。10.根据权利要求8所述的标注数据集扩充方法，其特征在于，所述识别出所述第一时间戳感兴趣区域中的第一时间戳字符串，包括：使用数字和符号OCR识别算法识别出所述第一时间戳感兴趣区域中的第一时间戳字符串。11.根据权利要求7所述的标注数据集扩充方法，其特征在于，获取原始视频中每张帧图像的时间戳，包括：读取原始视频，获取原始视频中每帧图像；截取每帧图像的第二时间戳感兴趣区域；识别出...

【专利技术属性】
技术研发人员：赵秋，曾凡，
申请(专利权)人：萱闱北京生物科技有限公司，
类型：发明
国别省市：