救助物资投放方法、系统、装置及存储介质制造方法及图纸

本申请公开了一种救助物资投放方法、系统、装置及存储介质。该方法包括：救助端向云端系统发送救助目标的第一位置及识别文本，云端系统基于第一位置确定目标救助点；目标救助点启动无人机；无人机装载救助物资并飞行至第一位置的上空；无人机利用采集的图像和救助目标的识别文本进行视觉语义多模态融合制导得到救助目标的第二位置，并飞行至第二位置的上空；无人机向救助目标投放救助物资。通过上述方式，本申请能够缩短救助物资的投放时间。

Delivery method, system, device and storage medium of relief materials

【技术实现步骤摘要】
救助物资投放方法、系统、装置及存储介质
本申请涉及网络救助领域，特别是涉及一种救助物资投放方法、系统、装置及存储介质。
技术介绍
日常生活中可能出现紧急情况，例如在郊外或者高速公路上发生车祸或遭遇自然灾害等，此种情况下，可能出现有人需要救助，即需要救助提供方将救助物资送到被救助人员身边。当前的救助模式通常是被救助人员使用手机或车载设备向救助平台描述所在位置或发送车辆GPS坐标以定位被救助人员/车辆所在位置，然后由救援车辆携带救援物资进行查找派送。实际应用中不仅经常受到山路崎岖等客观因素影响而延误最佳救援时机，此外更多情况下很难根据被救助人描述准确定位出被救助位置并进行物资递送，延长救助物资的派送时间。
技术实现思路
本申请提供一种救助物资投放方法、系统、装置及存储介质，能够解决现有技术中救助物资派送时间长的问题。为解决上述技术问题，本申请采用的一个技术方案是：提供一种救助物资投放方法，该方法包括：救助端向云端系统发送救助目标的第一位置及识别文本，救助端为救助目标使用的客户端，第一位置为救助目标在卫星定位系统中的坐标；云端系统基于第一位置确定目标救助点；目标救助点启动无人机；无人机装载救助物资并飞行至第一位置的上空；无人机利用采集的图像和救助目标的识别文本进行视觉语义多模态融合制导得到救助目标的第二位置，并飞行至第二位置的上空，第二位置的精度高于第一位置的精度；无人机向救助目标投放救助物资。为解决上述技术问题，本申请采用的又一个技术方案是：提供一种救助物资投放方法，该方法包括：无人机飞行至救助目标的第一位置的上空，第一位置为救助目标在卫星定位系统中的坐标，无人机装载有救助物资；无人机利用采集的图像和救助目标的识别文本进行视觉语义多模态融合制导得到救助目标的第二位置，并飞行至第二位置的上空，第二位置的精度高于第一位置的精度；无人机向救助目标投放救助物资。为解决上述技术问题，本申请采用的另一个技术方案是：提供一种救助物资投放方法，该方法包括：云端系统接收来自救助端的救助目标的第一位置及识别文本，救助端为救助目标使用的客户端，第一位置为救助目标在卫星定位系统中的坐标；云端系统基于第一位置确定目标救助点；云端系统向目标救助点发送救助指令，救助指令用于通知目标救助点启动无人机并装载救助物资；云端系统向无人机发送识别文本及最新的第一位置，识别文本用于在无人机飞行至第一位置的上空后与无人机采集的图像进行视觉语义多模态融合制导。为解决上述技术问题，本申请采用的另一个技术方案是：提供一种救助物资投放系统，该系统包括救助端、云端系统、目标救助点和无人机；救助端用于向云端系统发送救助目标的第一位置及识别文本，救助端为救助目标使用的客户端，第一位置为救助目标在卫星定位系统中的坐标；云端系统用于基于第一位置确定目标救助点；目标救助点用于启动无人机；无人机用于装载救助物资并飞行至第一位置的上空；无人机用于利用采集的图像和救助目标的识别文本进行视觉语义多模态融合制导得到救助目标的第二位置，并飞行至第二位置的上空，第二位置的精度高于第一位置的精度；无人机用于向救助目标投放救助物资。为解决上述技术问题，本申请采用的另一个技术方案是：提供一种救助物资投放装置，该装置包括处理器，处理器用于执行指令以实现前述的方法。为解决上述技术问题，本申请采用的再一个技术方案是：提供一种存储介质，存储有指令，指令被执行时实现前述的方法。本申请的有益效果是：云端系统从救助端获取救助目标的第一位置及识别文本之后，基于第一位置确定目标救助点，目标救助点启动无人机；无人机装载救助物资并飞行至第一位置的上空后再利用采集的图像和救助目标的识别文本进行视觉语义多模态制导得到救助目标的第二位置，第二位置的精度高于第一位置精度，然后飞行至第二位置并向救助目标投放救助物资。采用无人机来运输救助物资，在很多不适合车辆通行的场合无人机仍可以正常飞行，受地面上的环境因素影响大大降低；同时无人机飞到精度高于第一位置的第二位置后再投放救助物资，提高了定位的准确性，从而缩短了救助物资的投放时间。附图说明图1是本申请救助物资投放方法第一实施例的流程示意图；图2是本申请救助物资投放方法第二实施例的流程示意图；图3是本申请救助物资投放方法第三实施例的流程示意图；图4是图3中S302的具体流程示意图；图5是图4中S442的具体流程示意图；图6是本申请视觉-语义域配准模型一实施例的示意图；图7是图4中S452的具体流程示意图；图8是图7中S7523的具体流程示意图；图9是本申请救助物资投放方法第四实施例的流程示意图；图10是本申请救助物资投放系统一实施例的结构示意图；图11是本申请救助物资投放装置一实施例的结构示意图；图12是本专利技术存储介质一实施例的结构示意图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。本申请实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，在不冲突的情况下，本文所描述的实施例可以与其它实施例相结合。图1是本申请救助物资投放方法第一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图1所示的流程顺序为限。如图1所示，本实施例可以包括：S101：救助端向云端系统发送救助目标的第一位置及识别文本。救助端为救助目标使用的客户端。救助目标可以为求救人员(被救助人员或其同伴，以下简称用户)，此时救助端可以为用户所使用的移动终端(例如手机)；或者，救助目标为用户所乘坐的交通工具(以下以车辆为例进行说明)，此时救助端可以本文档来自技高网...

【技术保护点】
1.一种救助物资投放方法，其特征在于，包括：/n救助端向云端系统发送救助目标的第一位置及识别文本，所述救助端为所述救助目标使用的客户端，所述第一位置为所述救助目标在卫星定位系统中的坐标；/n所述云端系统基于所述第一位置确定目标救助点；/n所述目标救助点启动无人机；/n所述无人机装载救助物资并飞行至所述第一位置的上空；/n所述无人机利用采集的图像和所述救助目标的识别文本进行视觉语义多模态融合制导得到所述救助目标的第二位置，并飞行至所述第二位置的上空，所述第二位置的精度高于所述第一位置的精度；/n所述无人机向所述救助目标投放所述救助物资。/n

【技术特征摘要】
20191231 CN 20191141731211.一种救助物资投放方法，其特征在于，包括：
救助端向云端系统发送救助目标的第一位置及识别文本，所述救助端为所述救助目标使用的客户端，所述第一位置为所述救助目标在卫星定位系统中的坐标；
所述云端系统基于所述第一位置确定目标救助点；
所述目标救助点启动无人机；
所述无人机装载救助物资并飞行至所述第一位置的上空；
所述无人机利用采集的图像和所述救助目标的识别文本进行视觉语义多模态融合制导得到所述救助目标的第二位置，并飞行至所述第二位置的上空，所述第二位置的精度高于所述第一位置的精度；
所述无人机向所述救助目标投放所述救助物资。


2.根据权利要求1所述的方法，其特征在于，
所述救助端向云端系统发送救助目标的第一位置及识别文本之前进一步包括：
所述救助端利用语音识别获取所述救助目标的识别文本；
所述救助端判断所述识别文本是否存在求救意图；
若存在，则执行所述救助端向云端系统发送救助目标的第一位置及识别文本的步骤，否则不执行。


3.一种救助物资投放方法，其特征在于，包括：
无人机飞行至救助目标的第一位置的上空，所述第一位置为所述救助目标在卫星定位系统中的坐标，所述无人机装载有所述救助物资；
所述无人机利用采集的图像和所述救助目标的识别文本进行视觉语义多模态融合制导得到所述救助目标的第二位置，并飞行至所述第二位置的上空，所述第二位置的精度高于所述第一位置的精度；
所述无人机向所述救助目标投放所述救助物资。


4.根据权利要求3所述的方法，其特征在于，
所述无人机利用采集的图像和所述救助目标的识别文本进行视觉语义多模态融合制导得到所述救助目标的第二位置，并飞行至所述第二位置的上空包括：
所述无人机采集多张所述图像；
所述无人机利用所述救助目标的识别文本对所述图像进行视觉-语义域配准；
所述无人机利用导航图像进行视觉焦点制导，以飞行至所述救助目标的第二位置的上空，所述导航图像为配准分数最高的图像。


5.根据权利要求4所述的方法，其特征在于，
所述无人机利用所述救助目标的识别文本对所述图像进行视觉-语义域配准包括：
所述无人机利用所述图像得到图像语义描述；
所述无人机将所述图像语义描述及文本语义描述输入域配准模型得到语义路径的隐层表示，其中所述文本语义描述是对所述识别文本进行向量化处理得到的；
所述无人机利用所述语义路径的隐层表示进行预测得到所述配准分数。


6.根据权利要求5所述的方法，其特征在于，
所述域配准模型包括一维卷积滤波器和长短期记忆子网络，所述无人机将所述图像语义描述及文本语义描述输入域配准模型得到语义路径的隐层表示包括：
所述无人机将所述文本语义描述输入所述一维卷积滤波器得到文本语义特征，并将所述图像语义描述输入所述一维卷积滤波器得到图像语义特征；
所述无人机将所述文本语义特征输入所述长短期记忆子网络提取特征后池化得到文本句子向量，并将所述图像语义特征输入所述长短期记忆子网络提取特征后池化得到图像句子向量；
所述无人机将所述文本句子向量和所述图像句子向量拼接形成所述语义路径的隐层表示。


7.根据权利要求4所述的方法，其特征在于，
所述无人机利用导航图像进行视觉焦点制导，以飞行至所述...

【专利技术属性】
技术研发人员：张岩辉，章承伟，陈琛，雷琴辉，王兴宝，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：安徽;34