无人机配送中基于人脸转正和人脸识别的收货人识别方法技术

本发明专利技术属于自动控制领域，具体涉及无人机配送中基于人脸转正和人脸识别的收货人识别方法、系统。系统中包括云服务器、边缘服务器和无人机。该配送方法包括如下过程：S1：边缘服务器向云服务器请求下载收货人的注册信息。S2：无人机运送货物达到收货地址，采集视频并提取人脸图像。S3：人脸图像发送给边缘服务器。边缘服务器进行人脸转正得到正向人脸图像。S4：将正向人脸图像与标准人脸图像进行特征匹配。S5：边缘服务器根据匹配结果确定收件人，然后计算出收件人的地理坐标。S6：无人机降落到收件人对应的地理坐标位置完成配送任务并起飞返程。本发明专利技术解决了现有无人机执行货物配送任务时无法实现精准交付，不能全自动无人配送的问题。问题。问题。

【技术实现步骤摘要】
无人机配送中基于人脸转正和人脸识别的收货人识别方法


[0001]本专利技术属于网络通信领域，具体涉及无人机配送中基于人脸转正和人脸识别的收货人识别方法，以及实现该方法的系统。

技术介绍

[0002]随着无人机技术的不断发展，无人机的应用也从最开始的航拍、远程监测向农业生产、消防救灾等领域不断拓展。目前无人机配送是无人机应用领域最热门的方向之一。无人机配送可以不受地面交通的影响，尤其在一些要求高时效性货物的配送方面具有广阔的应用前景。
[0003]目前大多数已经开始商业化应用的无人机都是配备操作人员的，由操作人员操纵无人机，并根据无人机回传的数据给出各项动作的指令。这种操控方式在无人机配送领域难以应用，货物配送时，目的地和配送点往往距离较远；这已经远远超出无人机与遥控器间的通信距离，因此无人机配送采用的无人机必须是能够自动决策无人机。在这一前提下，无人机配送过程中的一个技术难点是如何到到达收货地点时，准确找到收货人并定向交付货物。
[0004]人脸识别是解决货物准确交付问题的一个关键。如果可以准确对收货人进识别，就可以完成精准交付。但是，无人机在实际应用中对行人拍摄时，它的拍摄角度是随机的，这会导致拍摄到的行人的面部照片姿态各异，而正是由于面部姿态的干扰，使得目前的人脸识别算法在实际应用中的识别精度不高。如果想要采用其他技术来辅助提高人脸识别的精度，又会导致识别效率大幅降低。基于这些技术难题，无人机在货物配送配送领域还无法实现商业化的实际应用。

技术实现思路

[0005]为了解决现有无人机执行货物配送任务时无法实现精准交付的问题，本专利技术提供一种无人机配送中基于人脸转正和人脸识别的收货人识别方法、系统。
[0006]本专利技术采用以下技术方案实现：
[0007]一种无人机配送中基于人脸转正和人脸识别的收货人识别方法，该方法的实施过程基于无人机、边缘服务器和云服务器的数据处理，以及三者之间的信息传递；云服务器用于存储各个用户的注册信息，注册信息包括用户的地址信息和标准人脸图像。边缘服务器部署有人脸转正模型和人脸识别模型，并在配送过程中提供计算服务。无人机作为货物运输工具，并安装有视频监控装置和图像处理装置；图像处理装置中部署了人脸检测模型。
[0008]该配送方法包括如下过程：
[0009]S1：边缘服务器向云服务器发出下载收货人的注册信息的请求，云服务器响应该请求后，向边缘服务器下达特定的注册信息；特定的注册信息指配送地址属于边缘服务器服务范围的收货人的注册信息。
[0010]S2：无人机运送货物达到收货地址上空后，以周围行人为采集对象，利用无人机的
视频监控装置采集周围行人的视频流数据。然后利用图像处理装置将获取的视频流数据分帧处理及抽样处理，得到抽样图像，利用人脸检测模型检测出各帧图像中对应的人脸图像，并将检测出的人脸图像提取出来。
[0011]S3：无人机将提取出的人脸图像及其对应的人脸预测框坐标发送给边缘服务器。边缘服务器将人脸图像输入到人脸转正模型中，人脸转正模型对输入的人脸图像进行人脸转正操作，输出对应的正向人脸图像。
[0012]S4：边缘服务器将正向人脸图像输入到人脸识别模型中，人脸识别模型将输入的各个正向人脸图像分别与收货人的注册信息中包含的标准人脸图像进行特征匹配，进而输出匹配结果。
[0013]S5：边缘服务器根据人脸识别模型输出的匹配结果确定收件人，然后获取人脸检测模型提取出的人脸图像对应的人脸预测框坐标；并根据人脸预测框坐标的信息以及人脸预测框中人脸大小与距离比例之间的先验关系计算出收件人的地理坐标。
[0014]S6：边缘服务器向无人机发送包含收件人的地理坐标的确认指令；无人机接收到确认指令后，降落到收件人对应的地理坐标位置附近的地面后，释放运送的货物，完成配送任务并起飞返程。
[0015]作为本专利技术进一步地改进，每个收货人的收货地址均对应至少一个边缘服务器的服务范围。无人机到达收货地址上空后，与该收货地址对应的边缘服务器建立通讯连接，并向边缘服务器发送人脸图像及其对应的人脸预测框坐标；以及接收边缘服务器发送的确认指令。
[0016]作为本专利技术进一步地改进，步骤S2中，边缘服务器在请求下载收货人员的注册信息前需要和云服务器之间建立通讯连接；边缘服务器向云服务器发送自身的设备号作为匹配信息，云服务器检查该设备号是否属于预设的一个设备库中的设备号；是则匹配成功，响应边缘服务器的注册信息下载请求；否则不响应边缘服务器的下载请求。
[0017]作为本专利技术进一步地改进，步骤S3中，图像处理装置用于将视频监控装置获取的视频数据进行分帧处理，然后按照预设的抽样比从分帧图像选择样本图像。将样本图像依次输入人脸检测模型中，人脸检测模型采用LFFD模型；LFFD模型的网络由25个卷积层、多个残差模块以及ReLU激活函数构成，卷积层的卷积核大小为3x3或1x1。LEED模型的网络中具有8个分支，各个分支用于检测不同规模大小的人脸；每个分支分为两个子分支，分别用于执行人脸二分类任务和预测框回归任务。对于人脸二分类任务，使用具有交叉熵损失的softmax函数作为损失函数；对于预测框回归任务，使用L2函数作为损失函数。人脸检测模型的输入为样本图像，输出为样本图像中包含的人脸的人脸预测框。针对人脸检测模型输出的人脸预测框，再使用opencv函数进行截取，得到人脸图像。
[0018]作为本专利技术进一步地改进，人脸检测模型中，人脸预测框的定义如下：
[0019][0020]其中，RF
x
和RF
y
为感受野的中心坐标；RF
s
为感受野的大小；RF
s
/2则作为标准化常数使用；和是标签边框的左上角坐标，和是标签边框的右下角坐标。
[0021]作为本专利技术进一步地改进，人脸转正模型由DR
‑
GAN生成对抗网络经过训练得到；
DR
‑
GAN生成对抗网络由生成器和判别器构成，其中，生成器采用编码器
‑
解码器结构；判别器为一个多任务的CNN网络；人脸转正模型的训练过程如下：
[0022](1)获取包含多张真实人脸图像的人脸数据集，并为每张真实人脸图像人工添加标签；标签的信息包括身份信息和姿态信息。
[0023](2)将人脸数据集中的真实人脸图像依次输入到DR
‑
GAN网络中，定义输入的真实人脸图像为x，则每个真实人脸图像x经编码器处理产生对应的人脸特征f(x)，人脸特征f(x)与网络额外提供的噪声z、面部姿态编码c做结合，由解码器进一步处理得到生成人脸图像
[0024](3)依次将生成人脸图像与人脸数据集中对应的真实人脸图x共同输入到判别网络中进行判别，判别过程中分别计算生成器的损失函数和判别器的损失函数的损失值，直到两个损失函数的损失值降低并趋于稳定。
[0025](4)保留生成器的损失函数和判别器的损失函数的损失值均达到收敛时的网络参数；将本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无人机配送中基于人脸转正和人脸识别的收货人识别方法，其特征在于，所述方法的实施过程基于无人机、边缘服务器和云服务器的数据处理，以及三者之间的信息传递；所述云服务器用于存储各个用户的注册信息，所述注册信息包括用户的地址信息和标准人脸图像；所述边缘服务器部署有人脸转正模型和人脸识别模型，并在配送过程中提供计算服务；无人机作为货物运输工具，并安装有视频监控装置和图像处理装置；所述图像处理装置中部署了人脸检测模型；所述识别方法包括如下过程：S1：边缘服务器向云服务器发出下载收货人的注册信息的请求，云服务器响应该请求后，向边缘服务器下达特定的注册信息；所述特定的注册信息指配送地址属于所述边缘服务器服务范围的收货人的注册信息；S2：无人机运送货物达到收货地址上空后，以周围行人为采集对象，利用无人机的视频监控装置采集周围行人的视频流数据；然后利用图像处理装置将获取的视频流数据分帧处理，并利用人脸检测模型提取出各帧图像中对应的人脸图像；S3：无人机将提取出的人脸图像及其对应的人脸预测框坐标发送给边缘服务器；所述边缘服务器将所述人脸图像输入到所述人脸转正模型中，人脸转正模型对输入的所述人脸图像进行人脸转正操作，输出对应的正向人脸图像；S4：边缘服务器将所述正向人脸图像输入到所述人脸识别模型中，人脸识别模型将输入的各个正向人脸图像分别与所述收货人的注册信息中包含的标准人脸图像进行特征匹配，进而输出匹配结果；S5：所述边缘服务器根据人脸识别模型输出的匹配结果确定收件人，然后获取所述人脸检测模型提取出的人脸图像对应的人脸预测框坐标；并根据人脸预测框坐标的信息以及所述人脸预测框中人脸大小与距离比例之间的先验关系计算出收件人的地理坐标；S6：边缘服务器向无人机发送包含收件人的地理坐标的确认指令；无人机接收到确认指令后，降落到收件人对应的地理坐标位置附近的地面后，释放运送的货物，完成配送任务并起飞返程。2.如权利要求1所述的无人机配送中基于人脸转正和人脸识别的收货人识别方法，其特征在于：每个收货人的收货地址均对应至少一个边缘服务器的服务范围；无人机到达收货地址上空后，与该收货地址对应的边缘服务器建立通讯连接，并向所述边缘服务器发送人脸图像及其对应的人脸预测框坐标；以及接收所述边缘服务器发送的确认指令。3.如权利要求1所述的无人机配送中基于人脸转正和人脸识别的收货人识别方法，其特征在于：步骤S2中，所述边缘服务器在请求下载收货人员的注册信息前需要和云服务器之间建立通讯连接；边缘服务器向云服务器发送自身的设备号作为匹配信息，云服务器检查该设备号是否属于预设的一个设备库中的设备号；是则匹配成功，响应边缘服务器的注册信息下载请求；否则不响应边缘服务器的下载请求。4.如权利要求1所述的无人机配送中基于人脸转正和人脸识别的收货人识别方法，其特征在于：步骤S3中，所述图像处理装置用于将视频监控装置获取的视频数据进行分帧处理，然后按照预设的抽样比从分帧图像选择样本图像，将样本图像依次输入所述人脸检测模型中，所述人脸检测模型采用LFFD模型；所述LFFD模型的网络由25个卷积层、多个残差模块以及ReLU激活函数构成，卷积层的卷积核大小为3x3或1x1；所述LEED模型的网络中具有8个分支，各个分支用于检测不同规模大小的人脸；每个分支分为两个子分支，分别用于执行
人脸二分类任务和预测框回归任务；对于人脸二分类任务，使用具有交叉熵损失的softmax函数作为损失函数；对于预测框回归任务，使用L2函数作为损失函数；所述人脸检测模型的输入为样本图像，输出为样本图像中包含的人脸的人脸预测框；针对人脸检测模型输出的人脸预测框，再使用opencv函数进行截取，得到所述的人脸图像。5.如权利要求4所述的无人机配送中基于人脸转正和人脸识别的收货人识别方法，其特征在于，所述人脸检测模型中，人脸预测框的定义如下：其中，RF
x
和RF
y
为感受野的中心坐标；RF
s
为感受野的大小；RF
s
/2则作为标准化常数使用；和是标签边框的左上角坐标，和是标签边框的右下角坐标。6.如权利要求1所述的无人机配送中基于人脸转正和人脸识别的收货人识别方法，其特征在于：所述人脸转正模型由DR
‑
GAN生成对抗网络训练得到；所述DR
‑
GAN生成对抗网络由生成器和判别器构成，其中，生成器采用编码器
‑
解码器结构；判别器为一个多任务的CNN网络，由两部分构成，表示为D＝{D
d
，D
p
}，其中，D
d
表示身份类别的集合，D
p
表示姿态类别的集合；所述人脸转正模型的训练过程如下：(1)获取包含多张真实人脸图像(真实样本)的人脸数据集，并为每张真实人脸图像人工添加标签；所述标签的信息包括身份信息和姿态信息；(2)将所述人脸数据集中的真实人脸图像依次输入到DR
‑
GAN网络中，定义输入的真实人脸图像为x，则每个真实人脸图像x经编码器处理产生对应的人脸特征f(x)，应当指出的是该人脸特征并未没有携带任何姿态信息，人脸特征f(x)与网络额外提供的噪声z、面部姿态编码c结合，由解码器经过反卷积处理得到生成人脸图像(3)依次将所述生成人脸图像与人脸数据集中对应的真实人脸图像x共同输入到判别网络中进行判别，判别过程中分别计算生成器的损失函数和判别器的损失函数的损失值，直到两个损失函数的损失值降低并趋于稳定；(4)保留生成器的损失函数和判别器的损失函数的损失值均达到收敛时...

【专利技术属性】
技术研发人员：徐怡，栾风光，
申请(专利权)人：安徽大学，
类型：发明
国别省市：