基于无人机的漂浮垃圾种类识别方法、系统及云平台技术方案

本发明专利技术涉及图像处理与无人机技术领域，特别涉及一种基于无人机的漂浮垃圾种类识别方法、系统及云平台。本发明专利技术实施例提供的基于无人机的漂浮垃圾种类识别方法、系统及云平台，能够在考虑漂浮垃圾航测图像之间相关的图像细节的前提下，侧重于分析漂浮垃圾类别与漂浮垃圾航测图像的特征联系，从而保障相关的图像描述子和类别表征信息的特征识别度，这样可以确保图像描述子和类别表征信息的细节丰富程度，进而实现对漂浮垃圾航测图像中的漂浮垃圾类别的准确识别。类别的准确识别。类别的准确识别。

【技术实现步骤摘要】
基于无人机的漂浮垃圾种类识别方法、系统及云平台


[0001]本专利技术涉及图像处理与无人机
，特别涉及一种基于无人机的漂浮垃圾种类识别方法、系统及云平台。

技术介绍

[0002]在全球范围内，漂浮垃圾都是一个严重的问题。漂浮垃圾在被微生物降解时会释放大量的有毒有害物质，被吞食的垃圾在鱼类体内也会释放出部分的有毒物质，有害物质会随着食物链富集，对人类和生态系统产生持久的负面影响。不仅如此，漂浮垃圾还会间接影响旅游业、渔业等民生行业。可见，针对漂浮垃圾的治理刻不容缓。当下，通过利用无人机技术能够实现漂浮垃圾的远程拾取和清理，但是不同类型的漂浮垃圾的拾取/清理方式存在差异，而如何对这些漂浮垃圾进行准确可靠的类别区分成为了一项重要任务。

技术实现思路

[0003]为改善相关技术中存在的技术问题，本专利技术提供了一种基于无人机的漂浮垃圾种类识别方法、系统及云平台。
[0004]第一方面，本专利技术实施例提供了一种基于无人机的漂浮垃圾种类识别方法，应用于无人机航测图像处理系统，所述方法包括：获取漂浮垃圾航测图像以及待关联漂浮垃圾类别，其中，所述漂浮垃圾航测图像包括不少于两个视角航测图片，所述待关联漂浮垃圾类别包括至少一个漂浮物污染种类；结合所述漂浮垃圾航测图像以及所述待关联漂浮垃圾类别，获取所述漂浮垃圾航测图像的图像描述子序列以及所述待关联漂浮垃圾类别的类别表征信息序列；结合所述漂浮垃圾航测图像的图像描述子序列以及所述待关联漂浮垃圾类别的类别表征信息序列，获取图像识别评价向量序列，其中，所述图像识别评价向量序列包括视角航测图片之间的图像识别评价向量以及所述视角航测图片与所述漂浮物污染种类之间的图像识别评价向量；结合所述图像识别评价向量序列获取所述漂浮垃圾航测图像分别属于每个漂浮物污染种类的可能性；结合所述漂浮垃圾航测图像分别属于每个漂浮物污染种类的可能性，确定所述漂浮垃圾航测图像所对应的目标漂浮垃圾类别，其中，所述目标漂浮垃圾类别包括至少一个漂浮物污染种类。
[0005]在一些可选的实施例中，所述待关联漂浮垃圾类别包括不少于两个漂浮物污染种类；所述图像识别评价向量序列还包括所述漂浮物污染种类之间的图像识别评价向量。
[0006]在一些可选的实施例中，所述结合所述漂浮垃圾航测图像以及所述待关联漂浮垃圾类别，获取所述漂浮垃圾航测图像的图像描述子序列以及所述待关联漂浮垃圾类别的类别表征信息序列，包括：结合所述漂浮垃圾航测图像以及所述待关联漂浮垃圾类别生成多模态漂浮垃圾
航测图像集，其中，多模态漂浮垃圾航测图像集包括所述漂浮垃圾航测图像的图像队列以及所述待关联漂浮垃圾类别的类别队列；对多模态漂浮垃圾航测图像集进行特征提取，得到所述漂浮垃圾航测图像的图像描述子序列以及所述待关联漂浮垃圾类别的类别表征信息序列。
[0007]在一些可选的实施例中，所述结合所述漂浮垃圾航测图像以及所述待关联漂浮垃圾类别生成多模态漂浮垃圾航测图像集，包括：对所述漂浮垃圾航测图像进行拆解操作，得到所述漂浮垃圾航测图像的图像队列；对所述待关联漂浮垃圾类别进行拆解操作，得到所述待关联漂浮垃圾类别的类别队列；对所述漂浮垃圾航测图像的图像队列以及所述待关联漂浮垃圾类别的类别队列进行组合操作，得到所述多模态漂浮垃圾航测图像集。
[0008]在一些可选的实施例中，所述对多模态漂浮垃圾航测图像集进行特征提取，得到所述漂浮垃圾航测图像的图像描述子序列以及所述待关联漂浮垃圾类别的类别表征信息序列，包括：对所述漂浮垃圾航测图像的图像队列以及所述待关联漂浮垃圾类别的类别队列进行特征提取，得到每个视角航测图片所对应的图片描述子以及每个漂浮物污染种类所对应的类别表征项；利用每个视角航测图片所对应的图片描述子生成所述漂浮垃圾航测图像的图像描述子序列；利用每个漂浮物污染种类所对应的类别表征项生成所述待关联漂浮垃圾类别的类别表征信息序列。
[0009]在一些可选的实施例中，所述结合所述图像识别评价向量序列获取所述漂浮垃圾航测图像分别属于每个漂浮物污染种类的可能性，包括：结合所述图像识别评价向量序列获取聚焦置信特征序列，其中，所述聚焦置信特征序列包括不少于两个聚焦置信特征，所述聚焦置信特征与所述视角航测图片具有一对一配对关系，所述聚焦置信特征反映所述视角航测图片在所述漂浮垃圾航测图像中与所述漂浮物污染种类存在关联的置信度；结合所述漂浮垃圾航测图像以及所述聚焦置信特征序列，获取漂浮垃圾图像编码特征序列；结合所述漂浮垃圾图像编码特征序列与所述待关联漂浮垃圾类别，获取所述漂浮垃圾航测图像分别属于每个漂浮物污染种类的可能性。
[0010]在一些可选的实施例中，所述结合所述图像识别评价向量序列获取聚焦置信特征序列，包括：对所述图像识别评价向量序列进行滑动平均操作，获取所述聚焦置信特征序列；所述结合所述漂浮垃圾航测图像以及所述聚焦置信特征序列，获取漂浮垃圾图像编码特征序列，包括：对所述漂浮垃圾航测图像以及所述聚焦置信特征序列进行处理，获取所述漂浮垃圾图像编码特征序列。
[0011]在一些可选的实施例中，所述待关联漂浮垃圾类别包括不少于两个漂浮物污染种
类；所述结合所述漂浮垃圾航测图像分别属于每个漂浮物污染种类的可能性，确定所述漂浮垃圾航测图像所对应的目标漂浮垃圾类别，包括：将所述漂浮垃圾航测图像分别属于每个漂浮物污染种类的可能性大于第一决策评分的至少一个可能性确定为目标可能性；将所述目标可能性对应的漂浮物污染种类确定为所述漂浮垃圾航测图像所对应的目标漂浮垃圾类别。
[0012]在一些可选的实施例中，所述待关联漂浮垃圾类别为单一漂浮物污染种类；所述结合所述漂浮垃圾航测图像分别属于每个漂浮物污染种类的可能性，确定所述漂浮垃圾航测图像所对应的目标漂浮垃圾类别，包括：当所述漂浮垃圾航测图像属于漂浮物污染种类的可能性大于第二决策评分时，则将所述待关联漂浮垃圾类别确定为所述漂浮垃圾航测图像所对应的目标漂浮垃圾类别。
[0013]在一些可选的实施例中，所述结合所述漂浮垃圾航测图像以及所述待关联漂浮垃圾类别，获取所述漂浮垃圾航测图像的图像描述子序列以及所述待关联漂浮垃圾类别的类别表征信息序列，包括：结合所述漂浮垃圾航测图像以及所述待关联漂浮垃圾类别，通过图像识别网络的第一图像编码子网获取所述漂浮垃圾航测图像的图像描述子序列以及所述待关联漂浮垃圾类别的类别表征信息序列；所述结合所述漂浮垃圾航测图像的图像描述子序列以及所述待关联漂浮垃圾类别的类别表征信息序列，获取图像识别评价向量序列，包括：结合所述漂浮垃圾航测图像的图像描述子序列以及所述待关联漂浮垃圾类别的类别表征信息序列，通过图像识别网络的第二图像编码子网获取所述图像识别评价向量序列；所述结合所述图像识别评价向量序列获取所述漂浮垃圾航测图像分别属于每个漂浮物污染种类的可能性，包括：结合所述图像识别评价向量序列，通过图像识别网络的滑动平均子网获取所述漂浮垃圾航测图像分别属于每个漂浮物污染种类的可能性；所述结合所述漂浮垃圾航测图像分别属于每个漂浮物污染种类的可能性，确定所述漂浮垃圾航测图像所对应的目标漂浮垃本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于无人机的漂浮垃圾种类识别方法，其特征在于，应用于无人机航测图像处理系统，所述方法包括：获取漂浮垃圾航测图像以及待关联漂浮垃圾类别，其中，所述漂浮垃圾航测图像包括不少于两个视角航测图片，所述待关联漂浮垃圾类别包括至少一个漂浮物污染种类；结合所述漂浮垃圾航测图像以及所述待关联漂浮垃圾类别，获取所述漂浮垃圾航测图像的图像描述子序列以及所述待关联漂浮垃圾类别的类别表征信息序列；结合所述漂浮垃圾航测图像的图像描述子序列以及所述待关联漂浮垃圾类别的类别表征信息序列，获取图像识别评价向量序列，其中，所述图像识别评价向量序列包括视角航测图片之间的图像识别评价向量以及所述视角航测图片与所述漂浮物污染种类之间的图像识别评价向量；结合所述图像识别评价向量序列获取所述漂浮垃圾航测图像分别属于每个漂浮物污染种类的可能性；结合所述漂浮垃圾航测图像分别属于每个漂浮物污染种类的可能性，确定所述漂浮垃圾航测图像所对应的目标漂浮垃圾类别，其中，所述目标漂浮垃圾类别包括至少一个漂浮物污染种类。2.根据权利要求1所述的方法，其特征在于，所述待关联漂浮垃圾类别包括不少于两个漂浮物污染种类；所述图像识别评价向量序列还包括所述漂浮物污染种类之间的图像识别评价向量。3.根据权利要求1所述的方法，其特征在于，所述结合所述漂浮垃圾航测图像以及所述待关联漂浮垃圾类别，获取所述漂浮垃圾航测图像的图像描述子序列以及所述待关联漂浮垃圾类别的类别表征信息序列，包括：结合所述漂浮垃圾航测图像以及所述待关联漂浮垃圾类别生成多模态漂浮垃圾航测图像集，其中，多模态漂浮垃圾航测图像集包括所述漂浮垃圾航测图像的图像队列以及所述待关联漂浮垃圾类别的类别队列；对多模态漂浮垃圾航测图像集进行特征提取，得到所述漂浮垃圾航测图像的图像描述子序列以及所述待关联漂浮垃圾类别的类别表征信息序列；其中，所述结合所述漂浮垃圾航测图像以及所述待关联漂浮垃圾类别生成多模态漂浮垃圾航测图像集，包括：对所述漂浮垃圾航测图像进行拆解操作，得到所述漂浮垃圾航测图像的图像队列；对所述待关联漂浮垃圾类别进行拆解操作，得到所述待关联漂浮垃圾类别的类别队列；对所述漂浮垃圾航测图像的图像队列以及所述待关联漂浮垃圾类别的类别队列进行组合操作，得到所述多模态漂浮垃圾航测图像集；其中，所述对多模态漂浮垃圾航测图像集进行特征提取，得到所述漂浮垃圾航测图像的图像描述子序列以及所述待关联漂浮垃圾类别的类别表征信息序列，包括：对所述漂浮垃圾航测图像的图像队列以及所述待关联漂浮垃圾类别的类别队列进行特征提取，得到每个视角航测图片所对应的图片描述子以及每个漂浮物污染种类所对应的类别表征项；利用每个视角航测图片所对应的图片描述子生成所述漂浮垃圾航测图像的图像描述子序列；利用每个漂浮物污染种类所对应的类别表征项生成所述待关联漂浮垃圾类别的类别表征信息序列。4.根据权利要求1所述的方法，其特征在于，所述结合所述图像识别评价向量序列获取
所述漂浮垃圾航测图像分别属于每个漂浮物污染种类的可能性，包括：结合所述图像识别评价向量序列获取聚焦置信特征序列，其中，所述聚焦置信特征序列包括不少于两个聚焦置信特征，所述聚焦置信特征与所述视角航测图片具有一对一配对关系，所述聚焦置信特征反映所述视角航测图片在所述漂浮垃圾航测图像中与所述漂浮物污染种类存在关联的置信度；结合所述漂浮垃圾航测图像以及所述聚焦置信特征序列，获取漂浮垃圾图像编码特征序列；结合所述漂浮垃圾图像编码特征序列与所述待关联漂浮垃圾类别，获取所述漂浮垃圾航测图像分别属于每个漂浮物污染种类的可能性；其中，所述结合所述图像识别评价向量序列获取聚焦置信特征序列，包括：对所述图像识别评价向量序列进行滑动平均操作，获取所述聚焦置信特征序列；所述结合所述漂浮垃圾航测图像以及所述聚焦置信特征序列，获取漂浮垃圾图像编码特征序列，包括：对所述漂浮垃圾航测图像以及所述聚焦置信特征序列进行处理，获取所述漂浮垃圾图像编码特征序列。5.根据权利要求1所述的方法，其特征在于，所述待关联漂浮垃圾类别包括不少于两个漂浮物污染种类；所述结合所述漂浮垃圾航测图像分别属于每个漂浮物污染种类的可能性，确定所述漂浮垃圾航测图像所对应的目标漂浮垃圾类别，包括：将所述漂浮垃圾航测图像分别属于每个漂浮物污染种类的可能性大于第一决策评分的至少一个可能性确定为目标可能性；将所述目标可能性对应...

【专利技术属性】
技术研发人员：杨翰翔，肜卿，
申请(专利权)人：深圳联和智慧科技有限公司，
类型：发明
国别省市：