【技术实现步骤摘要】
基于Spark和深度学习的荔枝品种鉴别与分类方法
[0001]本专利技术涉及荔枝品种自动化识别与分类
，尤其涉及基于Spark和深度学习的荔枝品种鉴别与分类方法。
技术介绍
[0002]据不完全统计，荔枝的品种约有200多种，而达到商品化销售的荔枝品种有30多种，品种之间相似性极大。不仅如此，荔枝的生产和研究过程中会出现一个问题，就是对荔枝栽培品种的命名存在着混乱，很多时候这些混乱是由于误认或者不同的方言以及中文到英文的翻译造成的，所以不少零售商、出口商、进口商和消费者都会对某些荔枝辨别错误，实际上，对于专业人士来说，荔枝栽培品种是可以依赖果实外观和特征来辨认的。尽管市面上已有植物识别软件，但是目前的植物识别软件还不能识别出具体荔枝的品种。荔枝品种间价格悬殊，这给了某些别用有心的商家乘虚而入的机会，拿廉价荔枝品种冒充或者掺入高端荔枝品种的行为时有发生。
[0003]当前，针对荔枝品种识别大多以人为专家推断或DNA检测居多，但多数情况下这些方法效率低下且成本高企，以及受到方法模型的局限性影响，这些方法误差相对较大...
【技术保护点】
【技术特征摘要】
1.一种基于Spark和深度学习的荔枝品种鉴别与分类方法，其特征在于，包括以下步骤：S1.获取各个品种荔枝RGB图像数据，对其进行数据分类标注与数据增强处理，划分为训练集和测试集；S2.引入Attention模块，基于Resnet34神经网络结构框架构建Resnet34_CBAM识别模型，利用ImageNet进行迁移学习；S3.采用迁移学习技术，基于所述训练集训练所述Resnet34_CBAM识别模型，随后利用所述测试集评估所述Resnet34_CBAM识别模型准确度，保留表现最优识别模型；S4.搭建Spark集群和Hadoop集群，其中Spark集群采用Yarn模式，同时配备Analytics Zoo，将所述最优识别模型通过AnalyticsZoo部署于所述Spark集群和Hadoop集群中；S5.通过Spark管道读入海量荔枝图像并存放于Hadoop集群的分布式文件系统HDFS中，完成识别分类任务后，并且按类别写回HDFS，实现海量荔枝图像分布式一键分类。2.根据权利要求1所述的一种基于Spark和深度学习的荔枝品种鉴别与分类方法，其特征在于，步骤S1中，所述获取各个品种荔枝RGB图像数据的步骤包括：通过网络爬虫技术或手动下载来获取各个网站的荔枝图像数据，或基于采集设备获取荔枝图像数据，将获取的荔枝图像数据整合为数据集；所述对其进行数据分类标注与数据增强处理，划分为训练集和测试集的步骤包括：对所述数据集进行筛选和去重，人工对数据集中的荔枝品种进行标注和分类，得到标注图像数据集，对所述标注图像数据集进行增强处理，所述增强处理包括对所述标注图像进行翻转、高斯模糊、镜像、变换亮度和随机裁剪，得到增强图像数据集，将所述增强图像数据集按设定比例划分为训练集和测试集。3.根据权利要求1所述的一种基于Spark和深度学习的荔枝品种鉴别与分类方法，其特征在于，步骤S2中，所述采用Attention模块，基于Resnet34神经网络结构框架构建Resnet34_CBAM识别模型的步骤包括：选择所述Attention模块为CBAM模块，将所述CBAM模块分别添加到Resnet34神经网络结构框架中的maxpool层的后面、stage3的后面和Avgpool层的前面，得到识别模型，所述Resnet34_CBAM识别模型包括输入模块、残差模块、混合注意力机制模块和输出模块。4.根据权利要求1所述的一种基于Spark和深度学习的荔枝品种鉴别与分类方法，其特征在于，步骤S3中，所述采用迁移学习技术，基于所述训练集训练所述识别模型，随后利用所述测试集评估所述识别模型准确度，保留表现最优识别模型的步骤包括：将使用Resnet34网络模型在ImageNet数据集训练获得的权重迁移到Resnet34_CBAM识别模型中作为预训练权重，通过微调输出类别来训练Resnet34_CBAM识别模型的全连接层，以训练集中的带标注图像数据为输入，真实标签为输出，训练识别模型；使测试集对识别模型...
【专利技术属性】
技术研发人员：王建华，肖艺铭，熊弘依，肖方军，吴波飞，黄仁欢，洪利聪，周锦锋，龙拥兵，兰玉彬，
申请(专利权)人：华南农业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。