基于时空回溯的玉米穗期无人机图像对齐方法与系统技术方案

本发明专利技术公开了一种基于时空回溯的玉米穗期无人机图像对齐方法与系统，包括：获取若干幅抽穗时期玉米地的无人机遥感数据；基于时空回溯模型，对于每一幅玉米穗期的第一图像，获取其对应的玉米拔节时期的第二图像；基于第二图像的POS信息，将第二图像投影至WGS‑84坐标系，根据重叠区域像素差异最小化原则，调整第二图像间的相对位置；对于每一对相邻的第二图像，基于SIFT特征计算匹配的特征点对，使用RANSAC方法消除误匹配的特征点对，基于特征点对进一步调整第二图像间的相对位置；根据确定的图像对齐信息，将第二图像替换为对应的第一图像，继续后续的图像拼接操作。本发明专利技术可以在拔节时期纹理较为简单的情况下完成图像对齐，为后续的图像拼接操作垫定基础。

【技术实现步骤摘要】
基于时空回溯的玉米穗期无人机图像对齐方法与系统
本专利技术涉及无人机遥感的
，尤其是指一种基于时空回溯的玉米穗期无人机图像对齐方法与系统。
技术介绍
玉米穗期是产量形成的关键时期，基于无人机低空遥感能够快速有效监测玉米穗期的农情信息，为玉米田间管理提供决策依据。在无人机遥感监测中，通常先将同个田块的无人机图像拼接形成正摄影像图，再进行图像分析得到农情信息。图像对齐是图像拼接的第一个步骤，对于正摄影像图的生成效果具有重要影响。当前主流的图像对齐方法，是使用无人机图像的POS信息进行图像的粗略对齐，再基于相邻图像匹配的特征对进行精确对齐。然而，玉米从拔节时期进入穗期之后，由于顶部玉米穗的出现，冠层图像的纹理复杂程度急剧增加，使得特征点的匹配计算难以完成。图像对齐失败，将使得后续的图像拼接及图像分析都无法完成。
技术实现思路
本专利技术的目的在于克服现有技术的缺点与不足，提出了一种基于时空回溯的玉米穗期无人机图像对齐方法与系统，基于时空回溯方法将玉米穗期图像转化为玉米拔节时期图像，在拔节期图像上完成图像对齐，使得穗期图像能够完成后续本文档来自技高网...

【技术保护点】
1.基于时空回溯的玉米穗期无人机图像对齐方法，其特征在于，包括以下步骤：/nS1、获取若干幅抽穗时期玉米地的无人机遥感数据；其中，获取的遥感数据，既包括玉米穗期的第一图像，也包括第一图像对应的POS信息；/nS2、基于时空回溯模型，对于每一幅玉米穗期的第一图像，获取其对应的玉米拔节时期的第二图像；其中，所述第二图像的POS信息与对应的第一图像相同；/nS3、基于第二图像的POS信息，将第二图像投影至WGS-84坐标系，根据重叠区域像素差异最小化原则，调整第二图像间的相对位置，实现图像的粗略对齐；/nS4、对于每一对相邻的第二图像，基于SIFT特征计算匹配的特征点对，使用RANSAC方法消除误匹...

【技术特征摘要】
1.基于时空回溯的玉米穗期无人机图像对齐方法，其特征在于，包括以下步骤：
S1、获取若干幅抽穗时期玉米地的无人机遥感数据；其中，获取的遥感数据，既包括玉米穗期的第一图像，也包括第一图像对应的POS信息；
S2、基于时空回溯模型，对于每一幅玉米穗期的第一图像，获取其对应的玉米拔节时期的第二图像；其中，所述第二图像的POS信息与对应的第一图像相同；
S3、基于第二图像的POS信息，将第二图像投影至WGS-84坐标系，根据重叠区域像素差异最小化原则，调整第二图像间的相对位置，实现图像的粗略对齐；
S4、对于每一对相邻的第二图像，基于SIFT特征计算匹配的特征点对，使用RANSAC方法消除误匹配的特征点对，基于特征点对进一步调整第二图像间的相对位置，实现图像精确对齐；
S5、根据确定的图像对齐信息，将第二图像替换为对应的第一图像，继续后续的图像拼接操作。


2.根据权利要求1所述的基于时空回溯的玉米穗期无人机图像对齐方法，其特征在于，所述步骤S1包括以下步骤：
S101、在无人机地面站上，设定抽穗时期的玉米地作为航拍区域，设定航拍的航向重叠率和旁向重叠率，所述地面站根据作业信息自动生成航线；
S102、无人机根据规划的航线自主飞行，根据设定的航向重叠率和旁向重叠率自动采集第一图像，记录第一图像的POS信息；其中，所述第一图像的POS信息包括经度、纬度、高度、航向偏角、旁向偏角和旋转角；
S103、无人机基于5G通讯，将采集到的遥感数据实时上传至服务器；其中，实时上传的遥感数据既包括第一图像，也包括第一图像的POS信息；所述无人机与服务器基于IP地址和端口号，建立端对端的套接字连接，所述无人机通过机载嵌入式芯片，将遥感数据以字节流形式传送至服务器。


3.根据权利要求1所述的基于时空回溯的玉米穗期无人机图像对齐方法，其特征在于，所述步骤S2包括以下步骤：
S201、基于图像转换模型，获取时空回溯模型；其中，获取时空回溯模型的步骤，包括：
S2011、基于全卷积网络模式，设计时空回溯模型的网络结构；其中，所述时空回溯模型的输入是玉米穗期的第一图像，输出是对应的拔节时期的第二图像，所述第二图像与第一图像尺寸相同；所述时空回溯模型的结构包括编码器和解码器，所述编码器重复卷积和下采样操作，所述解码器重复卷积和上采样操作；
S2012、采集玉米地块的多时相无人机图像；其中，所述玉米地块的多时相数据至少应包含拔节时期与抽穗时期的无人机图像；扣取拔节时期与抽穗时期无人机图像中的对应区域，组成拔节-抽穗时期的图像对，建立时空回溯数据库；
S2013、对于所述时空回溯数据库的图像对，将抽穗时期图像作为输入图像，将拔节时期图像作为标签图像；将时空回溯数据库划分为训练集和验证集，所述训练集与验证集交集为空；在训练集上，将抽穗时期无人机图像输入时空回溯模型，得到输出图像，计算输出图像与标签图像差异，反向调整时空回溯模型的参数数值；在验证集上，将抽穗时期无人机图像输入时空回溯模型，得到输出图像，计算输出图像与标签图像差异，评估时空回溯模型的性能；
S202、服务器将无人机实时传输的玉米穗期第一图像输入时空回溯模型，获取拔节时期的第二图像；其中，第二图像的POS信息与第一图像相同。


4.根据权利要求1所述的基于时空回溯的玉米穗期无人机图像对齐方法，其特征在于，所述步骤S3包括以下步骤：
S301、在第一图像中选择5个点，根据坐标系转换关系计算图像点(xi,yi)在WGS-84坐标下的投影坐标(ai,bi)；其中，xi和yi是选取点在图像中的横坐标和纵坐标，ai和bi是选取点在WGS-84坐标下的经度和纬度；选取点在图像中的坐标(xi,yi)以及在WGS-84坐标下的投影坐标(ai,bi)构成了一个图像点对；
S302、根据所述的图像点对，建立多项式拟合方程，...

【专利技术属性】
技术研发人员：黄华盛，唐宇，骆少明，杨阿庆，郭琪伟，庄鑫财，朱兴，李嘉豪，杨捷鹏，符伊晴，赵晋飞，张晓迪，侯超钧，庄家俊，苗爱敏，褚璇，
申请(专利权)人：广东技术师范大学，
类型：发明
国别省市：广东;44