一种基于X3D的农业行为识别方法技术

本发明专利技术涉及一种基于X3D的农业行为识别方法，包括下列顺序的步骤：构建农业行为数据集；构建基于X3D的农业行为识别模型；采用农业行为数据集对农业行为识别模型进行训练；将待识别农业行为输入训练好的农业行为识别模型进行识别，输出识别结果。本发明专利技术实现了大规模、多地域、真实客观地记录农民的劳作行为，为农场管理和农产品追溯提供真实的客观数据成为当前的一大需求；对比采集的数据采用视频格式存储的方式记录数据，集采集和分析于一体大大减少了存储资源的消耗，有效地降低存储空间，大幅度提高效率，减少人工成本；检测准确率和检测速度综合性能较优，农业行为识别模型的参数量远小于现有模型，农业行为识别模型的运行速度优于现有模型。度优于现有模型。度优于现有模型。

【技术实现步骤摘要】
一种基于X3D的农业行为识别方法


[0001]本专利技术涉及深度学习和行为识别
，尤其是一种基于X3D的农业行为识别方法。

技术介绍

[0002]在智慧农业不断发展的今天，农业行为成为影响制品安全的重要因素。在农业生产过程中，对农业行为进行客观真实的记录，能够有效的保证食品安全的源头可溯性。在实际的生产过程中，大多数的农业行为都是有人参与的，而现有的记录方法是通过人工去记录，由于我国耕地分布较为零散，因此，这种人工记录的方式效率非常低，这远远不能满足当前的需求。真实客观地记录农民的劳作行为，为农场管理和农产品追溯提供真实的客观数据成为当前的一大需求；对于采集的数据大多数采用视频格式存储，这样的数据存储方式会占用大量的存贮空间，且后续工作中再对视频数据进行分析，这样既费时又费力。
[0003]现有解决方案较少，且基本的处理方式是从单帧图像或多帧图像入手，这样的解决方案受环境影响较大，模型的鲁棒性无法得到保证。为了保证模型的运行速度，大多数解决方法是使用小规模的模型。然而，这样的模型在较小规模的数据集上训练得到的模型，在实验条件下的效果很好，而实际应用场景中效果较差，识别准确率与运行速度较低。为了使模型的精度越来越高，模型的参数量会越来越大，这样必然会导致模型的运行速率变低，模型的使用场景和实用价值也就随之降低。在识别精度、鲁棒性与运行速度三者之间寻找到一个平衡点是解决该问题的关键。

技术实现思路

[0004]为解决农业行为记录工作量大且资源占用多、识别准确率与运行速度较低的缺陷，本专利技术的目的在于提供一种基于X3D的农业行为识别方法。
[0005]为实现上述目的，本专利技术采用了以下技术方案：一种基于X3D的农业行为识别方法，该方法包括下列顺序的步骤：
[0006](1)构建农业行为数据集；
[0007](2)构建基于X3D的农业行为识别模型；
[0008](3)采用农业行为数据集对农业行为识别模型进行训练；
[0009](4)将待识别农业行为输入训练好的农业行为识别模型进行识别，输出识别结果。
[0010]所述步骤(1)具体包括以下步骤：
[0011](1a)获取视频：在网站上查找相关视频，过滤掉广告视频和教学类视频，筛选出真实劳作场景下拍摄的视频，所挑选的视频包括单人、多人参与农业行为的视频，同时也包括近距离、远距离、不同角度拍摄的视频；
[0012](1b)进行视频预处理：对视频中农业劳作部分进行剪切，对无关片段进行删除，将每个视频按照5s至15s的长度进行剪切，得到1266个样本；对得到的视频片段进行预处理，首先固定帧率为30帧，同时对视频帧进行等比例缩放，使得短边长度即高或宽为256；
[0013](1c)进行农业行为数据集标注：对得到的视频进行类别标注，建立文件地址与类别的映射表；
[0014](1d)数据集划分：对于标注后的数据按照8：2的比例划分训练集和测试集，之后对训练集再按照8：2的比例划分为训练集和验证集。
[0015]所述步骤(2)具体是指：基于X3D的农业行为识别模型包括用于实现视频帧采样的数据层、用于实现多帧图像特征提取的特征提取层、残差模块和多层感知机，所述数据层包含一个卷积层，所述特征提取层包括一个卷积层，所述残差模块包含四个残差子模块，每个残差子模块各包含不同数量的卷积层；多层感知机部分包含一个卷积层、一个池化层和两个全连接层；
[0016]农业行为识别模型的参数包括持续时间γ
t
、帧速率γ
τ
、空间分辨率γ
S
、网络宽度γ
w
、瓶颈宽度γ
b
和深度γ
d
，根据农业行为识别模型的规模不同，将其分为小规模模型X3D
‑
S、中规模模型X3D
‑
M、大规模模型X3D
‑
L，小规模模型X3D
‑
S的参数为：γ
t
＝13，γ
τ
＝6，γ
S
＝1.43，γ
w
＝1，γ
b
＝2.25，γ
d
＝3；X中规模模型X3D
‑
M的参数为：γ
t
＝16，γ
τ
＝5，γ
S
＝2，γ
w
＝1，γ
b
＝2.25，γ
d
＝3；大规模模型X3D
‑
L的参数为：γ
t
＝16，γ
τ
＝5，γ
S
＝2.75，γ
w
＝1.3，γ
b
＝2.25，γ
d
＝5。
[0017]由上述技术方案可知，本专利技术的有益效果为：第一，本专利技术效率高，资源占用少，采用视觉传感器对待识别农业行为进行收集，当有人参与田间活动时，视觉传感器采集视频数据，产地到后台，将分析结果进行反馈，信息的录入，将大大提高这一工作环节的效率，实现大规模、多地域、真实客观地记录农民的劳作行为，为农场管理和农产品追溯提供真实的客观数据成为当前的一大需求；同时对比采集的数据采用视频格式存储的方式记录数据，本专利技术集采集和分析于一体大大减少了存储资源的消耗，因此，本专利技术可以有效地降低存储空间，大幅度提高效率，减少人工成本；第二，本专利技术检测准确率和检测速度综合性能较优，基于X3D的农业行为识别模型的参数量远小于现有模型，由此可见模型的运行速度优于现有模型。
附图说明
[0018]图1为本专利技术的方法流程图；
[0019]图2、3均为本专利技术中基于X3D的农业行为识别模型的网络结构图；
[0020]图4为本专利技术测试集的混淆矩阵；
[0021]图5为插秧农业行为的预测结果示意图；
[0022]图6为除草农业行为的预测结果示意图；
[0023]图7为耕地农业行为的预测结果示意图；
[0024]图8为喷洒农药农业行为的预测结果示意图；
[0025]图9为训练过程中loss变化示意图；
[0026]图10为训练过程错误率变化示意图；
[0027]图11为训练过程学习率变化示意图；
[0028]图12为识别效果图。
具体实施方式
[0029]如图1所示，一种基于X3D的农业行为识别方法，该方法包括下列顺序的步骤：
[0030](1)构建农业行为数据集；
[0031](2)构建基于X3D的农业行为识别模型；
[0032](3)采用农业行为数据集对农业行为识别模型进行训练；
[0033](4)将待识别农业行为输入训练好的农业行为识别模型进行识别，输出识别结果。
[0034]所述步骤(1)具体包括以下步骤：
[0035](1a)获取视频：为了模拟更真实的农业行为场景，在youtube网站上查找相关视频，过滤掉广告视频和教学类视频本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于X3D的农业行为识别方法，其特征在于：该方法包括下列顺序的步骤：(1)构建农业行为数据集；(2)构建基于X3D的农业行为识别模型；(3)采用农业行为数据集对农业行为识别模型进行训练；(4)将待识别农业行为输入训练好的农业行为识别模型进行识别，输出识别结果。2.根据权利要求1所述的基于X3D的农业行为识别方法，其特征在于：所述步骤(1)具体包括以下步骤：(1a)获取视频：在网站上查找相关视频，过滤掉广告视频和教学类视频，筛选出真实劳作场景下拍摄的视频，所挑选的视频包括单人、多人参与农业行为的视频，同时也包括近距离、远距离、不同角度拍摄的视频；(1b)进行视频预处理：对视频中农业劳作部分进行剪切，对无关片段进行删除，将每个视频按照5s至15s的长度进行剪切，得到1266个样本；对得到的视频片段进行预处理，首先固定帧率为30帧，同时对视频帧进行等比例缩放，使得短边长度即高或宽为256；(1c)进行农业行为数据集标注：对得到的视频进行类别标注，建立文件地址与类别的映射表；(1d)数据集划分：对于标注后的数据按照8：2的比例划分训练集和测试集，之后对训练集再按照8：2的比例划分为训练集和验证集。3.根据权利要求1所述的基于X3D的农业行为识别方法，其特征在于：所述步骤(2)具体是指：基于X3D的农业行为识别模型包括用于实现视频帧采样的数据层、用于实现多帧图像特征提取的特征提取层、残差模块和多层感知机，所述数据层包含一个卷积层，所述特征提取层包括一个卷积层，所述残差模块包含四个残差子模块，每个残差子模块各包含不同数量的卷积层；多层感知机部分包含一个卷积层、一个池化层和...

【专利技术属性】
技术研发人员：陈鹏，孟维庆，章军，夏懿，焦林，李高强，张明年，张波，庞春晖，王俊峰，杜健铭，王儒敬，
申请(专利权)人：中科合肥智慧农业协同创新研究院，
类型：发明
国别省市：