一种无人机机载吊舱人工智能边缘计算系统及其方法技术方案

本发明专利技术公开了一种无人机机载吊舱人工智能边缘计算系统及其方法，属于图像处理技术领域，包括在无人机载体内设有边缘计算模块、摄像机、摄像机云台、微波传输模块和电池组，通过YOLOv5模型框架建立YOLOv5网络结构模型，并通过训练集对YOLOv5网络结构模型进行训练，编写图像识别脚本，根据信号的覆盖范围传输检测结果和图像数据，解决了在无人机内部部署边缘计算系统，使视频流数据即使在网络受阻的情况下也可以得到正确处理的技术问题，本发明专利技术可以快速的对图片进行本地处理，不受网络影响，保证不漏掉一帧图谱，本发明专利技术为在无网络或网络条件不好的情况下及时传输结果数据提供了一种优选的方案。选的方案。选的方案。

【技术实现步骤摘要】
一种无人机机载吊舱人工智能边缘计算系统及其方法


[0001]本专利技术属于图像处理
，尤其涉及一种无人机机载吊舱人工智能边缘计算系统及其方法。

技术介绍

[0002]随着物联网、大数据、人工智能等技术的快速发展，各行业都在进行智慧化转型。无人机作为一种新型遥感监测平台，飞行操作智能化程度高，可按预定航线自主飞行、摄像，实时提供遥感监测数据和低空视频监控，具有机动性强、便捷等特点，是目前行业智慧化转型的一个重要信息收集手段。近期，由于AI（人工智能）技术的发展迅猛，对无人机所拍摄的视频流清晰度要求也越来越高，因此，数据处理所耗费的时间也随之上升，为了提高无人机的数据处理效率，很多工作者将边缘计算模块引入了无人机系统。边缘计算是一种靠近数据源头的融合网络、计算、存储、应用等核心能力的分布式开放平台，适用于数据量大，网络不稳定的应用场景，符合无人机系统的发展需求。
[0003]目前很多无人机边缘计算方案并不是机载边缘计算系统，而是将边缘计算模块部署在地面，如果在网络条件不好的情况下，视频流数据传输受阻，不能很好的实时获得数据。

技术实现思路

[0004]本专利技术的目的是提供一种无人机机载吊舱人工智能边缘计算系统及其方法，解决了在无人机内部部署边缘计算系统，使视频流数据即使在网络受阻的情况下也可以得到正确处理的技术问题。
[0005]为实现上述目的，本专利技术采用如下技术方案：一种无人机机载吊舱人工智能边缘计算系统，包括无人机载体、基站和通讯终端，在无人机载体内设有边缘计算模块、摄像机、摄像机云台、微波传输模块和电池组，摄像机、摄像机云台和微波传输模块均连接边缘计算模块，电池组为边缘计算模块、摄像机、摄像机云台、微波传输模块和无人机载体供电；微波传输模块通过无线微波信号分别于基站和通讯终端进行无线通信；基站与通讯终端通过无线微波信号进行通信；在边缘计算模块内建立用于图像处理的图像识别模块、用于控制摄像机云台并获取摄像机拍摄的视频流的摄像机及云台模块和用于控制微波传输模块进行无线通信的微波控制模块；在图像识别模块中构建YOLOv5模型框架，YOLOv5模型框架用于建立YOLOv5网络结构模型，并通过YOLOv5网络结构模型对视频流中的图像数据进行处理；YOLOv5模型框架包括输入端、Backbone骨干网络、Neck颈部和Head输出端，输入端用于获取图像数据，并采用Mosaic数据增强、自适应锚框计算和自适应图片缩放对图像数据进行预处理；Backbone骨干网络用于通过Foucs结构对预处理后的图像数据进行切片操作，生
成图像数据的切片数据；Neck颈部用于对切片数据进行卷积操作，生成卷积结果；Head输出端用于通过Bounding box损失函数和NMS非极大抑制算法对卷积结果进行计算，生成预测结果并进行输出。
[0006]优选的，所述边缘计算模块为NVIDIA Jetson Xavier NX模组，所述摄像机的型号为SONY FCB
‑
EV7520A&FCB
‑
CV7520A，所述微波传输模块采用传输频率范围为300
‑
1500MHz、发射功率为30dBm的微波通信模块。
[0007]优选的，所述YOLOv5网络结构模型采用CSP结构构建Backbone骨干网络和Neck颈部。
[0008]优选的，在所述图像识别模块中建立训练集，训练集中存储用于训练用的图像数据，所述YOLOv5网络结构模型通过训练集进行训练。
[0009]优选的，所述通讯终端包括手机、平板电脑和笔记本电脑。
[0010]优选的，所述无线微波信号为4G网联信号。
[0011]优选的，所述边缘计算模块还用于存储摄像机拍摄的图像数据以及对图像数据的预测结果。
[0012]一种无人机机载吊舱人工智能边缘计算方法，具体包括如下步骤：步骤1：在无人机载体内部署边缘计算模块、摄像机、摄像机云台和微波传输模块；摄像机、摄像机云台和微波传输模块均连接边缘计算模块；在边缘计算模块存储多个图像数据，并存储在训练集中，在边缘计算模块的图像识别模块中，通过YOLOv5模型框架建立YOLOv5网络结构模型，并通过训练集对YOLOv5网络结构模型进行训练，得到目标检测模型并生成预测结果，根据目标检测模型和预测结果编写图像识别脚本；步骤2：在无人机起飞后，边缘计算模块中的摄像机及云台模块控制摄像机和摄像头机云台进行工作，拍摄视频流，摄像机及云台模块采集视频流中的待识别图像数据；步骤3：图像识别模块获取待识别图像数据，利用图像识别脚本对待识别图像数据进行目标检测，生成检测结果；步骤4：图像识别模块将检测结果以结构化数据形式存储于边缘计算模块6中的待上传文件夹，将用于展示的视频流同样存储于边缘计算模块6中的待上传文件夹，并将飞行过程中产生的所有文件存储于边缘计算模块6中的本地文件夹；步骤5：边缘计算模块6中的4G通信模块实时检测4G网络的信号强度，边缘计算模块6中的微波控制模块获取信号强度，判断无人机所在区域内是否有稳定的4G网络，即是否存在基站1：是，则通过4G网络优先传输检测结果，随后传输用于展示的视频流到地面控制端，执行步骤8；否，则执行步骤6；步骤6：使用边缘计算模块6中的微波控制模块对微波传输模块8进行操作，判断区域内是否存在任意微波传输的覆盖范围，即是否存在通讯终端：是，则执行步骤7；否，则采用步骤4的方法对检测结果和视频流进行暂存，执行步骤8；步骤7：通过微波传输模块8优先传输待上传文件夹中的检测结果，随后传输待上传文件夹中用于展示的视频流到地面控制端，执行步骤8；步骤8：地面控制端接收检测结果和视频流并予以显示，无人机飞行结束，拍摄完
毕后，边缘计算模块6结束程序流程。
[0013]本专利技术所述的一种无人机机载吊舱人工智能边缘计算系统及其方法，解决了在无人机内部部署边缘计算系统，使视频流数据即使在网络受阻的情况下也可以得到正确处理的技术问题，本专利技术可以快速的对图片进行本地处理，不受网络影响，保证不漏掉一帧图谱，本专利技术为在无网络或网络条件不好的情况下及时传输结果数据提供了一种优选的方案。
附图说明
[0014]图1是本专利技术的系统架构图；图2是本专利技术的流程图；图3是本专利技术的处理后的图像数据示意图；图中：基站1、手机2、笔记本电脑3、平板电脑4、无人机载体5、边缘计算模块6、摄像机7、微波传输模块8、电池组9。
具体实施方式
[0015]实施例1：由图1
‑
图3所示的一种无人机机载吊舱人工智能边缘计算系统，包括无人机载体5、基站1和通讯终端，在无人机载体5内设有边缘计算模块6、摄像机7、摄像机云台、微波传输模块8和电池组9，摄像机7、摄像机云台和微波传输模块8均连接边缘计算模块6，电池组9为边缘计算模块6、摄像机7、摄像机云台、微波传输模块8和无人机载体5供电；微波传输模块8通过无线微波信号分别于基站1和通讯终端进行无线通信；基站1与通讯终端通过无线微波信号进行通信；在边缘计算模块6内建本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无人机机载吊舱人工智能边缘计算系统，包括无人机载体（5）、基站（1）和通讯终端，其特征在于：在无人机载体（5）内设有边缘计算模块（6）、摄像机（7）、摄像机云台、微波传输模块（8）和电池组（9），摄像机（7）、摄像机云台和微波传输模块（8）均连接边缘计算模块（6），电池组（9）为边缘计算模块（6）、摄像机（7）、摄像机云台、微波传输模块（8）和无人机载体（5）供电；微波传输模块（8）通过无线微波信号分别于基站（1）和通讯终端进行无线通信；基站（1）与通讯终端通过无线微波信号进行通信；在边缘计算模块（6）内建立用于图像处理的图像识别模块、用于控制摄像机云台并获取摄像机（7）拍摄的视频流的摄像机及云台模块和用于控制微波传输模块（8）进行无线通信的微波控制模块；在图像识别模块中构建YOLOv5模型框架，YOLOv5模型框架用于建立YOLOv5网络结构模型，并通过YOLOv5网络结构模型对视频流中的图像数据进行处理；YOLOv5模型框架包括输入端、Backbone骨干网络、Neck颈部和Head输出端，输入端用于获取图像数据，并采用Mosaic数据增强、自适应锚框计算和自适应图片缩放对图像数据进行预处理；Backbone骨干网络用于通过Foucs结构对预处理后的图像数据进行切片操作，生成图像数据的切片数据；Neck颈部用于对切片数据进行卷积操作，生成卷积结果；Head输出端用于通过Bounding box损失函数和NMS非极大抑制算法对卷积结果进行计算，生成预测结果并进行输出。2.如权利要求1所述的一种无人机机载吊舱人工智能边缘计算系统，其特征在于：所述边缘计算模块（6）为NVIDIA Jetson Xavier NX模组，所述摄像机（7）的型号为SONY FCB
‑
EV7520A&FCB
‑
CV7520A，所述微波传输模块（8）采用传输频率范围为300
‑
1500MHz、发射功率为30dBm的微波通信模块。3.如权利要求1所述的一种无人机机载吊舱人工智能边缘计算系统，其特征在于：所述YOLOv5网络结构模型采用CSP结构构建Backbone骨干网络和Neck颈部。4.如权利要求1所述的一种无人机机载吊舱人工智能边缘计算系统，其特征在于：在所述图像识别模块中建立训练集，训练集中存储用于训练用的图像数据，所述YOLOv5网络结构模型通过训练集进行训练。5.如权利要求1所述的一种无人机机载吊舱人工智能边缘计算系统，其特征...

【专利技术属性】
技术研发人员：左瑞亭，赵新来，张金柱，魏晨晨，王迎旭，
申请(专利权)人：江苏及象生态环境研究院有限公司，
类型：发明
国别省市：