一种基于视频的草莓表型数据集生成方法、系统技术方案

本发明专利技术公开了基于视频的草莓表型数据集生成方法、系统，包括采集草莓视频数据；所述草莓视频数据包括草莓编号信息；对所述视频数据执行逐帧拆帧处理，获取第一图像集；对所述第一图像集的图像进行检测是否存在草莓编号信息，若存在，则确定所述草莓编号信息是否处于图像帧的第一预设范围内，若是，则将该图像确定为候选图像；识别所述候选图像的编号，建立并存储所述编号与所述候选图像的映射关系；根据所述处理后的图像集、所述映射关系生成草莓表型数据集。本发明专利技术，通过逐帧拆分视频帧并采用目标识别进行筛选得到图片内容布局统一且名称和编号统一的图片数据，进一步通过建立预设的映射关系执行数据存储，保证了数据的完整性以及可靠性。性以及可靠性。性以及可靠性。

【技术实现步骤摘要】
一种基于视频的草莓表型数据集生成方法、系统


[0001]本专利技术属于数据采集与生成领域，涉及一种基于视频的草莓表型数据集生成方法、系统。

技术介绍

[0002]通过草莓表型观察草莓生长情况尤为重要。通过人工智能中的计算机视觉手段获取草莓表型相关数据，从而了解草莓的生长过程，进一步对草莓生长过程进行相关干预，已经成为一种很成熟的技术手段。目前常见的是利用计算机视觉手段获取草莓植株相关数据进而干预草莓的生长。草莓是一种生长周期很短的作物，叶面积、花朵数目等相关表型数据变化较快，需要这些信息尽快的做出相应决策。想要通过计算机视觉的手段干预整个生长过程，就需要较密集的采集草莓的每阶段的生长情况图片数据，并以此制作让计算机视觉系统工作的数据集，所以所以照片的采集和数据集的制作是一项很基础但是也很重要的工作。
[0003]草莓表型数据集的制作主要分为表型数据的采集和数据集的制作两个步骤，目前这两个步骤主要是靠人工。一般出于研究需要，计算机视觉算法的工作数据集基于盆栽的且带有编号的草莓植株制作—带有编号是为了准确的识别到每一盆，采集和制作过程中要保证图片数据的特殊角度要求、草莓编号和图片命名的对应关系。下面以这种情境下的草莓表型数据集的采集和制作前提，阐述目前常用的方法：手持相机拍摄是一种数据采集最基础的方法，此方法要求人手持相机保持和草莓植株的角度和距离拍摄，这种方式要求人尽可能地保持同一个姿势和角度，通过人地不断移动来采集照片。但是人很难像机器一样稳定，得到地图片质量很难统一，进一步制作的数据集堪用性不佳。当需要采集的数据量很大时，对人也是巨大的消耗。从效率和性能来看，人工手持相机采集图片的方式最不应该被采取。移动式平台相机固定平台方式，为保持角度和距离的固定、保证画幅统一，提出了此方法。此方法是将手机固定在可移动的支架上，通过无线的方式——一般是蓝牙——控制相机的拍摄，拍摄不同的植株只需要移动支架即可。这种方法相对于手持相机采集数据，给了人力一定的解放，而且在成像稳定性和统一性也有很大的提高。但是，该过程也需要人一直参与，需要人为的逐点调整移动和调整支架，没有做到对人力的真正的解放，拍摄的统一性和稳定性也会受到影响。自主移动相机平台方式，这种方式是在草莓大架设一个可自动移动的平台，通过遥控或相关指令控制相机移动，通过设定程序可以实现的完全自动的草莓表表型数据的采集，而且在设备运行稳定的情况下不需要的人的参与，图像质量也很有保证。这看起来很完美，但是又很大局限。
[0004]目前，在数据集制作方面，最大的问题在于图片的命名要和草莓植株的编号有对应关系，特定图片还要放入特定的文件夹中，同时也要根据后续处理程序的要求做一些图像处理工作，如对不合格的图片进行剔除，统一图像的曝光和亮度，统一图像的尺寸、内存大小和格式。这一过程目前也主要是人工参控制整个数据集的制作过程，由于该步骤工作量很大且很重要，仅仅这一个工作就需要一个数人的团队负责，这对人力的消耗是巨大的。
而且，由于人为因素的影响，总有些编号的植株遗漏、命名错误或放入错的文件夹。这些情况会对后续的数据处理造成影响，数据集的在完备性和可用性上表现欠佳。更进一步，在照片采集完毕，制作数据集的时候又将是一个极其耗费时间和精力的工作，首先要保证特定编号的盆栽草莓放入指定的文件夹，特定编号的盆栽草莓照片要用相应的编号命名作为文件名。使用人工制作时，只能逐个照片人工观察出编号然后再重命名再复制到指定文件夹，将会对人的耐心和精力造成极大的考验和挑战，而且要保证盆栽编号，照片名称和文件夹一一对应，出错的概率会很大，会对后续数据的分析工作的开展造成很大的影响。而且随着时间的增长，数据集中的照片会与来越多，很难扩充，而且一旦丢失，前面的工作会功亏一篑。
[0005]为此，本专利技术提出一种基于视频的草莓表型数据集生成方法、系统，旨在解决上述技术缺陷。

技术实现思路

[0006]本专利技术的主要目的在于提出一种基于视频的草莓表型数据集生成方法、系统，旨在解决现有技术中的数据集的在完备性和可用性上表现欠佳的技术问题。
[0007]为了实现上述目的，提出一种基于视频的草莓表型数据集生成方法，包括如下步骤：
[0008]采集草莓视频数据；所述草莓视频数据包括草莓编号信息；
[0009]对所述视频数据执行逐帧拆帧处理，获取第一图像集；
[0010]对所述第一图像集的图像进行第一目标检测，其中，所述第一目标检测包括确定图像中是否存在草莓编号信息，若存在，则确定所述草莓编号信息是否处于图像帧的第一预设范围内，若是，则将该图像确定为候选图像；
[0011]识别所述候选图像的编号，建立并存储所述编号与所述候选图像的映射关系；
[0012]对所述候选图像进行图像后处理，并根据所述处理后的图像集、所述映射关系生成草莓表型数据集。
[0013]优选的，所述确定所述草莓编号区域是否处于图像帧的第一预设范围内，包括：
[0014]预先确定图像面积大小，规定所述图像帧四个顶角部分的矩形区域占据整个图像一定比例的区域，作为第一预设范围。
[0015]优选的，所述识别所述候选图像的编号，包括：
[0016]获取所述草莓编号区域，检测所述草莓编号区域的曝光是否统一，若趋于统一，则基于Tesseract OCR执行文字识别；否则，基于CTPN算法执行文字识别；
[0017]获取编号识别结果；
[0018]对所述编号识别结果执行正则检测，确定是否满足格式要求，若不满足则丢弃。
[0019]优选的，所述检测所述草莓编号区域的曝光是否统一，包括：
[0020]计算所述草莓编号区域的像素点亮度分量方差，若所述亮度分量方差小于一定阈值，则确定所述草莓编号区域的曝光趋于统一。
[0021]优选的，所述对所述候选图像进行图像后处理，包括：调整大小和/或调整储存格式。
[0022]此外，还提出一种基于视频的草莓表型数据集生成系统，包括如下步骤：
[0023]采集模块，采集草莓视频数据；所述草莓视频数据包括草莓编号信息；
[0024]拆分模块，对所述视频数据执行逐帧拆帧处理，获取第一图像集；
[0025]检测模块，对所述第一图像集的图像进行第一目标检测，其中，所述第一目标检测包括确定图像中是否存在草莓编号信息，若存在，则确定所述草莓编号信息是否处于图像帧的第一预设范围内，若是，则将该图像确定为候选图像；
[0026]识别模块，识别所述候选图像的编号，建立并存储所述编号与所述候选图像的映射关系；
[0027]生成模块，对所述候选图像进行图像后处理，并根据所述处理后的图像集、所述映射关系生成草莓表型数据集。
[0028]优选的，所述确定所述草莓编号区域是否处于图像帧的第一预设范围内，包括：
[0029]预先确定图像面积大小，规定所述图像帧四个顶角部分的矩形区域占据整个图像一定比例的区域，作为第一预设范围。
[0030]优选的，所述识别所述候选图像的编号，包括：<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视频的草莓表型数据集生成方法，其特征在于，包括如下步骤：采集草莓视频数据；所述草莓视频数据包括草莓编号信息；对所述视频数据执行逐帧拆帧处理，获取第一图像集；对所述第一图像集的图像进行第一目标检测，其中，所述第一目标检测包括确定图像中是否存在草莓编号信息，若存在，则确定所述草莓编号信息是否处于图像帧的第一预设范围内，若是，则将该图像确定为候选图像；识别所述候选图像的编号，建立并存储所述编号与所述候选图像的映射关系；对所述候选图像进行图像后处理，并根据所述处理后的图像集、所述映射关系生成草莓表型数据集。2.根据权利要求1所述的基于视频的草莓表型数据集生成方法，其特征在于，所述确定所述草莓编号区域是否处于图像帧的第一预设范围内，包括：预先确定图像面积大小，规定所述图像帧四个顶角部分的矩形区域占据整个图像一定比例的区域，作为第一预设范围。3.根据权利要求1或2所述的基于视频的草莓表型数据集生成方法，其特征在于，所述识别所述候选图像的编号，包括：获取所述草莓编号区域，检测所述草莓编号区域的曝光是否统一，若趋于统一，则基于Tesseract OCR执行文字识别；否则，基于CTPN算法执行文字识别；获取编号识别结果；对所述编号识别结果执行正则检测，确定是否满足格式要求，若不满足则丢弃。4.根据权利要求3所述的基于视频的草莓表型数据集生成方法，其特征在于，所述检测所述草莓编号区域的曝光是否统一，包括：计算所述草莓编号区域的像素点亮度分量方差，若所述亮度分量方差小于一定阈值，则确定所述草莓编号区域的曝光趋于统一。5.根据权利要求1所述的基于视频的草莓表型数据集生成方法，其特征在于，所述对所述候选图像进行图像后处理，包括：调整大小和/或调整储存格式。6.一种基于视频的草莓表型数据集生成系统...

【专利技术属性】
技术研发人员：陈鹏，王刘向，章军，夏懿，王儒敬，路宝榕，黄琼娇，陈建峰，胡涛，许浪，牛子寒，
申请(专利权)人：中科合肥智慧农业协同创新研究院，
类型：发明
国别省市：