一种数据集生成方法、装置制造方法及图纸

本发明专利技术的一个技术方案是提供了一种数据集生成方法。本发明专利技术的另一个技术方案是提供了一种数据集生成装置，其特征在于，包括：图像数据采集模块；时间间隔获取模块；关联模块；训练数据生成模块。根据本发明专利技术的方法及装置训练得到的数据集主要用于训练图像识别模型，所述图像识别模型的用途包括对目标对象的运动方向进行识别，从而所述图像识别模型能够采用本方法生成的数据集进行训练，得到更加准确的目标对象运动方向的识别结果。对象运动方向的识别结果。对象运动方向的识别结果。

【技术实现步骤摘要】
一种数据集生成方法、装置


[0001]本专利技术涉及一种数据集生成方法及数据集生成装置，尤其适用于训练图像识 别。

技术介绍

[0002]当前，为了探测逼仄、狭窄、肉眼难以直接观察的空间(例如隧道，涵洞， 食道、消化道、胃肠道等)，往往采用可控制的探头(内窥镜)进行观察，为了 不伤及探头或待探测的空间，往往需要对探头的运动方向和速度进行精确地控制， 这对操作人员有着非常高的要求，需要拥有大量经验积累的操作人员操刀，这无 疑会耗费很高人力资源成本。得益于机器视觉技术的发展，申请人发现可以采用 机器视觉预测探头的运动方向和速度进而辅助操作人员进行遥控或直接由设备 基于机器视觉控制探头运动。但是采用机器视觉对运动方向和速度进行预测需要 大量的数据训练相应的模型，训练数据的质量往往对模型最终的识别效果影响重 大，如何低成本的获取高质量的训练数据集是当前亟待解决的问题。

技术实现思路

[0003]本专利技术的目的是：通过基于预设方式获取到更加准确的标准时间间隔，并根 据所述标准时间间隔将图像数据和正确的操作关联，使得生成的数据集中图像数 据与操作更加准确地对应了起来，从而显著提高图像识别模型的识别精度。
[0004]为了达到上述目的，本专利技术的一个技术方案是提供了一种数据集生成方法， 其特征在于，包括以下步骤：
[0005]获取图像采集设备采集到的图像数据；
[0006]根据预设方式获取标准操作反应时间间隔；
[0007]基于标准操作反应时间间隔将图像数据与对应的操作关联；r/>[0008]基于与对应的操作关联后的图像数据生成训练数据集。
[0009]优选地，所述图像采集设备包括带有摄像模块的可移动设备，其中，所述带 有摄像模块的可移动设备包括飞机、汽车、水下机器人和内窥镜中的一种。
[0010]优选地，根据所述预设方式获取所述标准操作反应时间间隔，包括以下步骤：
[0011]通过显示设备显示包括多个特定图像的图像数据并实时记录与特定图像相 关联的操作反应的时间点；
[0012]根据操作反应的时间点和与操作反应相关联的特定图像的时间点确定所述 标准反应时间间隔。
[0013]优选地，包括多个所述特定图像的图像数据为固定时间长度的视频数据，视 频数据中包括多个所述特定图像，每一所述特定图像与相邻的所述特定图像的间 隔不小于预设的时间长度。
[0014]优选地，所述特定图像在所述视频数据的固定时间点显示。
[0015]优选地，根据所述操作反应的时间点和与所述操作反应相关联的所述特定图 像的所述时间点确定所述标准反应时间间隔，包括以下步骤：
[0016]根据所述视频数据中包括的多个所述特定图像的显示时间构建第一矩阵；
[0017]根据实时记录的与所述视频数据中的多个所述特定图像相关联的操作反应 的时间点构建第二矩阵；
[0018]基于第一矩阵和第二矩阵计算得到时间差矩阵；
[0019]基于时间差矩阵计算得到所述标准反应时间间隔。
[0020]优选地，确定所述标准反应时间间隔之前，所述数据集生成方法还包括：
[0021]获取与所述特定图像相关联的操作反应中的有效操作反应；
[0022]根据有效操作反应的时间点和与所述有效操作反应相关联的所述特定图像 的时间点确定所述标准反应时间间隔。
[0023]优选地，根据所述操作反应的时间点和与所述操作反应相关联的所述特定图 像的时间点确定所述标准反应时间间隔，包括以下步骤：
[0024]计算与所述视频数据中出现所述特定图像的时间点距离最近的所述操作反 应的时间点的索引；
[0025]根据索引构建所述特定图像与所述操作反应一一匹配的对照矩阵；
[0026]基于对照矩阵中确定索引有效且所述特定图像与所述操作反应一一匹配的 时间差矩阵；
[0027]基于时间差矩阵计算得到所述标准反应时间间隔。
[0028]优选地，计算与所述视频数据中出现所述特定图像的时间点距离最近的所述 操作反应的时间点的所述索引，包括以下步骤：
[0029]构建元素为所述视频数据中出现多个所述特定图像的各个时间点的第三列 矩阵；
[0030]构建元素为实时记录的各个所述操作反应的时间点的第四列矩阵；
[0031]根据第三列矩阵和第四列矩阵计算得到所述索引。
[0032]优选地，所述索引是否有效由以下方式确定：
[0033]若所述第四列矩阵与所述第三列矩阵中对应行的元素之差在第一阈值范围 内，则确定所述索引为有效；
[0034]若所述第四列矩阵与所述第三列矩阵中对应行的元素之差不在第一阈值范 围内，则确定所述索引为无效。
[0035]优选地，基于所述标准操作反应时间间隔将所述图像数据与对应的操作关联， 包括以下步骤：
[0036]通过显示设备显示所述图像采集设备采集到的图像数据；
[0037]实时采集针对于图像数据的操作反应并记录所述操作反应的时间点；
[0038]针对于所述图像数据中的每一帧图像进行分析得到其中的运动数据，并记录 当前帧的时间；
[0039]基于所述标准时间间隔叠加当前帧的时间作为当前帧的参考时间；
[0040]若实时记录的操作反应时间点在前一帧图像的参考时间和后一帧图像的参 考时间之间，则将所述实时采集的操作反应与包括运动数据的所述图像数据关联 存储。
[0041]本专利技术的另一个技术方案是提供了一种数据集生成装置，其特征在于，包括：
[0042]图像数据采集模块，用于获取图像采集设备采集到的图像数据；
[0043]时间间隔获取模块，用于根据预设方式获取标准操作反应时间间隔；
[0044]关联模块，用于根据时间间隔获取模块获取的标准操作反应的时间间隔将图 像数据采集模块获得的图像数据与对应的操作相关联；
[0045]训练数据生成模块，用于基于关联模块获得的图像数据与对应操作之间的关 联生成训练数据集。
[0046]优选地，所述图像采集设备包括带有摄像模块的可移动设备，其中，所述带 有摄像模块的可移动设备包括飞机、汽车、水下机器人和内窥镜中的一种。
[0047]优选地，所述时间间隔获取模块还用于：
[0048]通过显示设备显示包括多个特定图像的图像数据并实时记录与特定图像相 关联的操作反应的时间点；
[0049]根据操作反应的时间点和与所述操作反应相关联的特定图像的时间点确定 标准反应时间间隔。
[0050]优选地，包括多个所述特定图像的所述图像数据为固定时间长度的视频数据， 视频数据中包括多个所述特定图像，每一所述特定图像与相邻的所述特定图像的 间隔不小于预设的时间长度。
[0051]优选地，所述特定图像在所述视频数据的固定时间点显示。
[0052]优选地，所述时间间隔获取模块包括：
[0053]第一矩阵构建单元，用于根据所述视频数据中包括的多个所述特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据集生成方法，其特征在于，包括以下步骤：获取图像采集设备采集到的图像数据；根据预设方式获取标准操作反应时间间隔；基于标准操作反应时间间隔将图像数据与对应的操作关联；基于与对应的操作关联后的图像数据生成训练数据集。2.如权利要求1所述的数据集生成方法，其特征在于，所述图像采集设备包括带有摄像模块的可移动设备，其中，所述带有摄像模块的可移动设备包括飞机、汽车、水下机器人和内窥镜中的一种。3.如权利要求1所述的数据集生成方法，其特征在于，根据所述预设方式获取所述标准操作反应时间间隔，包括以下步骤：通过显示设备显示包括多个特定图像的图像数据并实时记录与特定图像相关联的操作反应的时间点；根据操作反应的时间点和与操作反应相关联的特定图像的时间点确定所述标准反应时间间隔。4.如权利要求3所述的数据集生成方法，其特征在于，包括多个所述特定图像的图像数据为固定时间长度的视频数据，视频数据中包括多个所述特定图像，每一所述特定图像与相邻的所述特定图像的间隔不小于预设的时间长度。5.如权利要求4所述的数据集生成方法，其特征在于，所述特定图像在所述视频数据的固定时间点显示。6.如权利要求4或5所述的数据集生成方法，其特征在于，根据所述操作反应的时间点和与所述操作反应相关联的所述特定图像的所述时间点确定所述标准反应时间间隔，包括以下步骤：根据所述视频数据中包括的多个所述特定图像的显示时间构建第一矩阵；根据实时记录的与所述视频数据中的多个所述特定图像相关联的操作反应的时间点构建第二矩阵；基于第一矩阵和第二矩阵计算得到时间差矩阵；基于时间差矩阵计算得到所述标准反应时间间隔。7.如权利要求4或5所述的数据集生成方法，其特征在于，确定所述标准反应时间间隔之前，所述数据集生成方法还包括：获取与所述特定图像相关联的操作反应中的有效操作反应；根据有效操作反应的时间点和与所述有效操作反应相关联的所述特定图像的时间点确定所述标准反应时间间隔。8.如权利要求4或5所述的数据集生成方法，其特征在于，根据所述操作反应的时间点和与所述操作反应相关联的所述特定图像的时间点确定所述标准反应时间间隔，包括以下步骤：计算与所述视频数据中出现所述特定图像的时间点距离最近的所述操作反应的时间点的索引；根据索引构建所述特定图像与所述操作反应一一匹配的对照矩阵；基于对照矩阵中确定索引有效且所述特定图像与所述操作反应一一匹配的时间差矩
阵；基于时间差矩阵计算得到所述标准反应时间间隔。9.如权利要求8所述的数据集生成方法，其特征在于，计算与所述视频数据中出现所述特定图像的时间点距离最近的所述操作反应的时间点的所述索引，包括以下步骤：构建元素为所述视频数据中出现多个所述特定图像的各个时间点的第三列矩阵；构建元素为实时记录的各个所述操作反应的时间点的第四列矩阵；根据第三列矩阵和第四列矩阵计算得到所述索引。10.如权利要求9所述的数据集生成方法，其特征在于，所述索引是否有效由以下方式确定：若所述第四列矩阵与所述第三列矩阵中对应行的元素之差在第一阈值范围内，则确定所述索引为有效；若所述第四列矩阵与所述第三列矩阵中对应行的元素之差不在第一阈值范围内，则确定所述索引为无效。11.如权利要求9或10所述的数据集生成方法，其特征在于，基于所述标准操作反应时间间隔将所述图像数据与对应的操作关联，包括以下步骤：通过显示设备显示所述图像采集设备采集到的图像数据；实时采集针对于图像数据的操作反应并记录所述操作反应的时间点；针对于所述图像数据中的每一帧图像进行分析得到其中的运动数据，并记录当前帧的时间；基于所述标准时间间隔叠加当前帧的时间作为当前帧的参考时间；若实时记录的操作反应时间点在前一帧图像的参考时间和后一帧图像的参考时间之间，则将所述实时采集的操作反应与包括运动数据的所述图像数据关联存储。12.一种数据集生成装置，其特征在于，包括：图像数据采集模块，用于获取图像采集设备采集到的图像数据；时间间隔获取模块，...

【专利技术属性】
技术研发人员：周平红，李全林，诸炎，
申请(专利权)人：复旦大学附属中山医院，
类型：发明
国别省市：