一种无人机物流送货方法及系统技术方案

本发明专利技术公开了一种无人机物流送货方法及系统，该方法的步骤为：无人机将图像及声音数据传输到无人机交互式控制系统；人体姿态识别模块识别出图像中的人体位置、关节节点和人脸数据，语音识别模块识别出语音声纹数据；人脸数据与语音声纹数据分别与数据库中的数据进行对比，验证用户的身份信息；当身份信息验证为正确时，无人机权限递交模块将无人机控制权限递交至用户，否则无人机悬停一段时间后返回；当货物完成交付后，无人机避障提升到设定的高度后，接收无人机飞控系统的控制信号，无人机导航返回。本发明专利技术实现无人机与用户之间的人机交互，使得物流运输中用户在接收时，能自主选择时间地点使得交付物品更加便利并节省物流公司的人力成本。

A method and system of UAV logistics delivery

The invention discloses a UAV logistics delivery method and system, the steps of which are: the UAV transmits the image and sound data to the UAV interactive control system; the human body attitude recognition module recognizes the human body position, joint node and face data in the image, the voice recognition module recognizes the voice voiceprint data; the face data and voice voiceprint data are respectively compared with the data The data in the database are compared to verify the user's identity information; when the identity information is verified to be correct, the UAV authority submission module will submit the UAV control authority to the user, otherwise the UAV will return after hovering for a period of time; when the goods are delivered, the UAV will rise to the set height to receive the control signal of the UAV flight control system, and the UAV navigation will return \u3002 The invention realizes the human-computer interaction between the UAV and the user, so that the user can choose the time and place independently during the receiving of the logistics transportation, which makes the delivery of the goods more convenient and saves the labor cost of the logistics company.

【技术实现步骤摘要】
一种无人机物流送货方法及系统
本专利技术涉及无人机控制
，具体涉及一种无人机物流送货方法及系统。
技术介绍
在现代物流派送领域中的最后派送服务中，物流“最后一公里”，即“门到门”，按时按需送货上门的环节存在诸多不足，目前“最后一公里”仍然要依靠快递员的电动三轮车或双脚才能走完，没有物流车辆通道保证物流通畅，大部分物流的货运车辆在城内受交通限制，还存在物流车辆无处停靠的难题；完全使用人力徒步运送则会导致效率极端低下，人力成本急剧上升。以通常快递为例，末端集散中心在完成快递整理后，需要派遣专门的快递员携带快件出发，依次将其运送至每个相关的物流的自提柜或直接与收件人交接。为了解决劳动力的问题，现有的派送开始使用物流无人机，但是目前无人机的操作上还需要人工进行操作或自主飞行到特定地点降落，这样的派送服务在一定程度上还是无法脱离人为的操作，需要耗费人力来控制或只能在指定地点工作，无法实现人机互动，存在一定的局限性，所以需要一套方案来解决目前派送上最后路程的全自动化运转。
技术实现思路
为了克服现有技术存在的缺陷与不足，本专利技术提供一种无人机物流送货方法及系统，实现无人机与用户之间的人机交互，使得物流运输中用户在接收时，能自主选择时间地点使得交付物品更加便利并节省物流公司的人力成本。为了达到上述目的，本专利技术采用以下技术方案：本专利技术提供一种无人机物流送货方法，包括下述步骤：S1：无人机在收货点上空采集图像及声音数据，并将数据传输到无人机交互式控制系统；S2：无人机交互式控制系统通过人体姿态识别模块识别出图像中的人体位置及人体关节节点后，识别人脸特征点数据，通过语音识别模块读取用户的语音数据，识别声纹特征点数据；S3：采集的人脸特征点与数据库中的人脸数据进行对比，采集的声纹特征点数据与数据库中的语音数据进行对比，用户识别模块验证用户的身份信息；S4：当身份信息验证为错误时，无人机权限递交模块控制无人机悬停，超过设定时间后无人机返回；当身份信息验证为正确时，无人机权限递交模块将无人机控制权限递交至用户，通过人体姿态识别模块或语音识别模块与无人机进行数据交互；S5：通过对比数据库中的节点运作方式判断出人体姿态所对应的控制信号，或者通过对比数据库中的语音数据判断出用户语义并转换成控制信号，并回传至无人机飞控系统；S6：当货物完成交付，无人机避障提升到设定的高度后，接收无人机飞控系统的控制信号，无人机返回。作为优选的技术方案，步骤S2中所述识别人脸特征点数据，具体步骤包括：构建回归函数F，图像I作为输入，输出θ为人脸特征点的位置，构建多个回归子函数逼近回归函数F，计算公式为：θ＝F(I)＝fn(fn-1(…f1(θ0,I),I),I)；θi＝fi(θi-1,I),i＝1,…,n；其中，θ0为人脸特征点的初始形状。作为优选的技术方案，步骤S2中所述人体姿态识别模块识别出图像中的人体位置及人体关节节点，具体包括：采用初级神经网络计算图像中的人体关节像素坐标，将图像的人体关节坐标映射到深度图坐标，计算关节热点图像，将深度图像和关节热点图像输入次级神经网络，估算人体3D关节位置，根据人体3D关节点位置，采用图像分割方法计算腋下点。作为优选的技术方案，所述初级神经网络采用CPN网络，包括GlobalNet和RefineNet，所述GlobalNet用于定位可见关键点，所述RefineNet用于定位隐藏关键点，所述RefineNet在不同层之间传输信息。作为优选的技术方案，所述将深度图像和关节热点图像输入次级神经网络，估算人体3D关节位置，具体步骤包括：进行选择性搜索，搜索出候选框，在卷积神经网络中进行特征提取得到特征图，然后在特征图中选取各个候选框的区域，对各个候选框采用金字塔进行空间池化，提取出固定长度的特征向量，采用SVM算法对特征向量进行分类识别，然后计算关节点之间的距离。作为优选的技术方案，步骤S3中所述采集的人脸特征点与数据库中的人脸数据进行对比，具体步骤包括：构建并训练深度卷积神经网络，设置欧式距离阈值，所述欧式距离阈值用于判断采集的人脸特征点与数据库中的人脸数据是否属于同一个用户，计算公式为：其中，xi、yi分别表示各特征点的采集值和数据库中的值。作为优选的技术方案，步骤S3中所述采集的声纹特征点数据与数据库中的语音数据进行对比，具体步骤包括：收集用户语音进行特征提取，对声纹模型进行训练，与数据库中预设生成的模型进行对比，并对相似度进行打分，当分值超过设定阈值时，用户的身份信息验证通过。本专利技术还提供一种无人机物流送货系统，包括：无人机、无人机交互式控制系统和无人机飞控系统；所述无人机上搭载图像采集模块、声音采集模块、避障传感器、GPS导航模块和测距传感器；所述无人机交互式控制系统包括人体姿态识别模块、语音识别模块、用户身份识别模块和无人机权限递交模块；所述人体姿态识别模块用于识别人体位置和关节节点数据，提取人脸数据和人体姿态数据，所述语音识别模块用于识别用户的语音声纹数据，所述用户身份识别模块用于将人脸数据、语音声纹数据与数据库进行对比，验证用户身份信息，所述无人机权限递交模块用于将无人机控制权限递交至用户端；所述无人机飞控系统用于接收人体姿态或语音数据对应的控制信号，控制无人机飞行状态。作为优选的技术方案，所述无人机上还设置有无人机5G通信模块，所述无人机交互式控制系统上还设置有数据处理5G通信模块。本专利技术与现有技术相比，具有如下优点和有益效果：(1)本专利技术通过用户人脸特征及声纹特征实现收货方的身份确认以及无人机操作权限的交替，通过识别人体姿态生成对应的控制信号，实现无人机与用户间的人机交互，物流运输中用户在接收时，能自主选择收货时间、地点和方式，使得交付物品更加便利，并节省物流公司的人力成本。附图说明图1为本实施例无人机物流送货系统的无人机交互式控制系统内部模块连接示意图；图2为本实施例无人机物流送货系统的无人机飞控系统的功能示意图；图3为本实施例无人机物流送货系统的语音识别模块功能示意图；图4为本实施例无人机物流送货系统的用户身份识别模块功能示意图；图5为本实施例无人机物流送货系统的无人机权限递交模块功能示意图；图6为本实施例无人机物流送货系统的人体姿态识别模块功能示意图；图7为本实施例无人机物流送货方法的流程示意图；图8为本实施例无人机物流送货方法的声纹识别模型训练和识别流程示意图；图9为本实施例无人机物流送货方法的BottleNeck特征训练iVector模型的流程示意图；图10为本实施例的人体关节节点示意图；图11为本实施例CPN网络结构示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明本文档来自技高网...

【技术保护点】
1.一种无人机物流送货方法，其特征在于，包括下述步骤：/nS1：无人机在收货点上空采集图像及声音数据，并将数据传输到无人机交互式控制系统；/nS2：无人机交互式控制系统通过人体姿态识别模块识别出图像中的人体位置及人体关节节点后，识别人脸特征点数据，通过语音识别模块读取用户的语音数据，识别声纹特征点数据；/nS3：采集的人脸特征点与数据库中的人脸数据进行对比，采集的声纹特征点数据与数据库中的语音数据进行对比，用户识别模块验证用户的身份信息；/nS4：当身份信息验证为错误时，无人机权限递交模块控制无人机悬停，超过设定时间后无人机返回；当身份信息验证为正确时，无人机权限递交模块将无人机控制权限递交至用户，通过人体姿态识别模块或语音识别模块与无人机进行数据交互；/nS5：通过对比数据库中的节点运作方式判断出人体姿态所对应的控制信号，或者通过对比数据库中的语音数据判断出用户语义并转换成控制信号，并回传至无人机飞控系统；/nS6：当货物完成交付，无人机避障提升到设定的高度后，接收无人机飞控系统的控制信号，无人机返回。/n

【技术特征摘要】
1.一种无人机物流送货方法，其特征在于，包括下述步骤：
S1：无人机在收货点上空采集图像及声音数据，并将数据传输到无人机交互式控制系统；
S2：无人机交互式控制系统通过人体姿态识别模块识别出图像中的人体位置及人体关节节点后，识别人脸特征点数据，通过语音识别模块读取用户的语音数据，识别声纹特征点数据；
S3：采集的人脸特征点与数据库中的人脸数据进行对比，采集的声纹特征点数据与数据库中的语音数据进行对比，用户识别模块验证用户的身份信息；
S4：当身份信息验证为错误时，无人机权限递交模块控制无人机悬停，超过设定时间后无人机返回；当身份信息验证为正确时，无人机权限递交模块将无人机控制权限递交至用户，通过人体姿态识别模块或语音识别模块与无人机进行数据交互；
S5：通过对比数据库中的节点运作方式判断出人体姿态所对应的控制信号，或者通过对比数据库中的语音数据判断出用户语义并转换成控制信号，并回传至无人机飞控系统；
S6：当货物完成交付，无人机避障提升到设定的高度后，接收无人机飞控系统的控制信号，无人机返回。


2.根据权利要求1所述的无人机物流送货方法，其特征在于，步骤S2中所述识别人脸特征点数据，具体步骤包括：
构建回归函数F，图像I作为输入，输出θ为人脸特征点的位置，构建多个回归子函数逼近回归函数F，计算公式为：
θ＝F(I)＝fn(fn-1(…f1(θ0,I),I),I)；
θi＝fi(θi-1,I),i＝1,…,n；
其中，θ0为人脸特征点的初始形状。


3.根据权利要求1所述的无人机物流送货方法，其特征在于，步骤S2中所述人体姿态识别模块识别出图像中的人体位置及人体关节节点，具体包括：
采用初级神经网络计算图像中的人体关节像素坐标，将图像的人体关节坐标映射到深度图坐标，计算关节热点图像，将深度图像和关节热点图像输入次级神经网络，估算人体3D关节位置，根据人体3D关节点位置，采用图像分割方法计算腋下点。


4.根据权利要求3所述的无人机物流送货方法，其特征在于，所述初级神经网络采用CPN网络，包括GlobalNet和RefineNet，所述GlobalNet用于定位可见关键点，所述RefineNet用于定位隐藏关键点，所述Refin...

【专利技术属性】
技术研发人员：李伟华，杨皓然，佘佳俊，张敏，梁祖懿，雷英佳，张泽恒，谭铭濠，
申请(专利权)人：暨南大学，
类型：发明
国别省市：广东;44