一种基于视频级标签的蘑菇自动化采摘状态检测方法技术

本发明专利技术公开了一种基于视频级标签的蘑菇自动化采摘状态检测方法，包括：S1采集蘑菇自动采摘的N个视频，并对其中的每个视频进行标签标注；S2利用已经训练好的Kinetics I3D模型和Denseflow工具分别从标注好的视频中提取三维RGB特征与光流特征；S3将提取的RGB特征与光流特征按维度拼接，并重组成一维的时间金字塔特征；S4通过时间区域生成模块从一维时间金字塔特征中生成粗糙的蘑菇采集动作区域；S5提取出每个蘑菇采集动作阶段中共有的阶段性特征，估计出每个蘑菇采集大概的完成状态；S6计算每个蘑菇采集动作的差异比去调整采集动作状态的估算误差。与现有技术相比，本发明专利技术通过对蘑菇采摘完成进度的判断，决定是否进行下一次采摘，从而达到加快采摘蘑菇的效果。从而达到加快采摘蘑菇的效果。从而达到加快采摘蘑菇的效果。

【技术实现步骤摘要】
一种基于视频级标签的蘑菇自动化采摘状态检测方法


[0001]本专利技术涉及计算机视觉领域，尤其涉及一种基于视频级标签的蘑菇自动化采摘状态检测方法。

技术介绍

[0002]目前，蘑菇的生产方式从传统的人工生产变成了现在的工厂化生产，在工厂化生产中，蘑菇的培育过程除了采摘，其他过程都已经实现了自动化、机械化。由于蘑菇生长差异性大、采摘易损伤，使得自动化采摘很难判别蘑菇采摘是否完成，故而影响了蘑菇的下一次采摘，使得整个采摘过程非常的困难。对此，本文提出了一种基于视频级标签的蘑菇自动化采摘状态检测方法，其可以根据蘑菇采摘的状态来判断当前的蘑菇采摘完成的进度，进而决定是否进行下一次采摘，极大限度的加快了整个采摘过程。

技术实现思路

[0003]专利技术目的：本专利技术提出了一种基于视频级标签的蘑菇自动化采摘状态检测方法，通过对蘑菇采摘完成进度的判断，决定是否进行下一次采摘，从而达到加快采摘蘑菇的效果。
[0004]技术方案：本专利技术提供一种基于视频级标签的蘑菇自动化采摘状态检测方法，包括以下步骤：
[0005]S1、采集本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视频级标签的蘑菇自动化采摘状态检测方法，其特征在于，包括以下步骤：S1、采集蘑菇自动采摘的N个视频，并对其中的每个视频进行标签标注；S2、利用已经训练好的Kinetics I3D模型和Denseflow工具分别从步骤S1中标注好的视频中提取三维RGB特征与光流特征；S3、将步骤S2中提取的RGB特征与光流特征按维度拼接，并重组成一维的时间金字塔(FPN)特征；S4、通过时间区域生成模块从步骤S3中的一维时间金字塔特征中生成粗糙的蘑菇采集动作区域；S5、提取出步骤S4中每个蘑菇采集动作阶段中共有的阶段性特征，估计出每个蘑菇采集大概的完成状态；S6、计算每个蘑菇采集动作的差异比去调整采集动作状态的估算误差。2.根据权利要求1所述的一种基于视频级标签的蘑菇自动化采摘状态检测方法，其特征在于，所述步骤S4中时间区域生成模块包括如下步骤：S4.1、对于步骤S3中FPN的每个层级的特征将其投影到嵌入在两个潜在空间的特征和中，这两个潜在空间分别对应于两个具有两个时间卷积的分支的定位和分类，两个时间卷积如下：定位和分类，两个时间卷积如下：其中，这里的ω和NOR表示ReLU和标准化组，随着这个映射，模型能够学习到时间区域中所有实例的阶段性特征；S4.2、使用一个时间卷积将特征和分享到所用的FPN层，对每个位置a计算一个粗糙的开始与结束的时间距离和类别分数s
i
；T
k
提议是在第k个FPN层生成的提议集合，粗糙的计算在第k个FPN层的时间边界第i个开始与结束的时间区域为计算公式为：计算公式为：其中，a，b，c是超参数，a，b用于...

【专利技术属性】
技术研发人员：胡荣林，何旭琴，蔡进恒，刘宬邑，朱诗雯，魏福，董甜甜，张海燕，邵鹤帅，严立兵，
申请(专利权)人：淮阴工学院，
类型：发明
国别省市：