基于肢体动作指令的无人驾驶车辆引导方法、系统及装置制造方法及图纸

本发明专利技术提供了一种基于肢体动作指令的无人驾驶车辆引导装置，其中：在待引导的无人驾驶车辆附近，引导人员对所述无人驾驶车辆发出代表预设指令的肢体动作；实时采集包含所述肢体动作的图像，提取出其中所述肢体动作指令；通过动作指令匹配系统分析匹配出所述肢体动作代表的实际指令，该指令作为所述无人驾驶车辆的控制指令；所述无人驾驶车辆根据所述实际指令进行相应的自动驾驶动作。本发明专利技术还提供一种基于肢体动作指令的无人驾驶车辆引导系统和装置，可以允许无驾驶能力人员仅通过简单的肢体动作指令实现对无人驾驶车辆的引导，大大提高了无人驾驶车辆的编队效率，同时也降低了人力成本。

【技术实现步骤摘要】
基于肢体动作指令的无人驾驶车辆引导方法、系统及装置
本专利技术涉及无人驾驶
，具体地，涉及一种基于肢体动作指令的无人驾驶车辆引导方法、系统及装置。
技术介绍
无人驾驶技术快速发展，车队驾驶是降低完全无人驾驶的一种解决方案。而传统车队驾驶通过驾驶员驾驶跟车进入编队，该方式导致人力成本高、编队效率低。针对传统需要编队人员手动驾驶每一辆车进入编队后才能由头车牵引的多车编队方法，不依赖驾驶员而通过其他方式实现无人驾驶车辆引导的方法被提出。经过检索发现，申请号为201711240940.8，申请日为2017-11-30的中国专利申请《基于无人机的引导系统及车辆》，包括控制软件系统、引导系统、车辆上的无人机搭载结构等。所述无人机搭载结构安装于车辆尾部，包括本体和盖体；所述盖体通过活动连接件安装于本体上，使得所述盖体可相对于本体展开，所述展开的盖体作为无人机的搭载平台；所述无人机，作为引导执行结构，能够从无人机搭载结构上飞出，勘察路线信息并传输至前述车辆，以引导车辆行进。通过无人机解决车辆停车和/或驾车时的路线引导问题。该申请核心思想在于通过使用无人机来进行车辆的引导，一方面需要无人机作为引导的载体，有一定实施难度，且无人机易受到诸如雨天等环境的较大影响，一定程度上会降低车辆引导的可靠程度；另一方面车辆本身的控制并不能完全依靠无人机所采集的数据信息，仍需要驾驶员人工介入，并不能实际解决无人驾驶车辆的引导和编队问题。申请号为201910181713.5，申请日为2019-03-11的中国专利申请《一种基于深度学习的交警手势识别方法及无人车》，包括摄像头、车载工作站及无人驾驶车辆；通过制作训练数据集、利用训练数据集中的数据离线训练深度学习网络模型、采集现场的交警手势、利用训练后的深度学习网络模型识别出交警手势、根据识别结果控制无人车遵循交警手势行驶。该方案仅依靠一个普通RGB摄像头和车载工作站即可自动识别出交警手势，无需复杂的外部设备，且对于不同环境下的交警手势识别都具有较高的准确率和识别效率。将该技术应用于无人驾驶车辆，可以使无人驾驶车辆具备自动识别交警手势并适应复杂多变的道路环境的能力，提升了无人驾驶车辆的智能性。该申请虽然能够有效识别交警手势，但由于其使用深度学习网络模型进行训练，因此手势指令的可更换性较低，更换成本较大，在方向的控制上需要多次进行手势指令的交互，整体引导效率较低。此外车载工作站不易拆卸，可更换性较差，也不便进行装置的转移，在价格上也不具备一定的竞争力。上述专利方案在可实施环境上都有所局限，虽然都能够通过人/无人机与车辆的交互达到车辆的引导目的，但是无论在无人驾驶车辆的引导效率上还是在系统及硬件成本上都不具备足够的竞争力，不具有普适性。目前没有发现同本专利技术类似技术的说明或报道，也尚未收集到国内外类似的资料。
技术实现思路
针对现有技术中存在的上述不足，本专利技术的目的是提供一种基于肢体动作指令的无人驾驶车辆引导方法、系统及装置，使得不会驾驶的人员也能实现无人驾驶车辆引导，引导效率更高，人力成本更低。为实现上述目的，本专利技术是通过以下技术方案实现的。根据本专利技术的第一方面，提供一种基于肢体动作指令的无人驾驶车辆引导方法，包括：在待引导的无人驾驶车辆附近，引导人员对所述无人驾驶车辆发出代表预设指令的肢体动作；实时采集包含引导人员所述肢体动作的图像，提取出其中代表预设指令的所述肢体动作；通过动作指令匹配系统分析匹配出所述肢体动作代表的实际指令，该指令作为所述无人驾驶车辆的控制指令；所述无人驾驶车辆根据所述实际指令进行相应的自动驾驶动作。可选地，所述通过动作指令匹配系统分析出所述肢体动作代表的实际指令，其中：存储代表预设指令的肢体动作模版样本；对提取得到的引导人员发出的所述肢体动作与所述肢体动作模版样本进行匹配计算，判断出所述肢体动作代表的实际指令，用于控制所述无人驾驶车辆的自动驾驶引导动作。可选地，所述实时采集包含肢体动作的图像，提取出其中所述肢体动作指令，包括：实时采集所述无人驾驶车辆附近彩色图像信息，该彩色图像中包含引导人员图像数据信息；实时采集所述无人驾驶车辆附近深度图像信息，该深度图像中包含引导人员的深度数据信息；将所述彩色图像信息和所述深度图像信息，通过深度学习训练模型获取图像内引导人员人体骨骼节点数据信息，所述引导人员人体骨骼节点数据信息包括引导人员人体骨骼节点名称、引导人员人体骨骼节点当前状态以及引导人员人体骨骼节点的三维位置信息；通过所述引导人员人体骨骼节点数据信息在同一个肢体动作时间内三维位置信息的变化轨迹和趋势，合并拟合出肢体动作，从而提取出其中所述肢体动作。可选地，在获取图像内引导人员人体骨骼节点数据信息之前，还包括图像数据预处理，包括：将实时采集的无人驾驶车辆附近实时彩色图像信息和深度图像信息，通过深度学习训练模型，确定图像视野内人的位置信息；通过滤波的方法对图像视野内多个人进行筛选，从而在复杂多人情况下确认引导人员的实际位置，实现稳定跟随引导。可选地，还包括：对所述无人驾驶车辆的速度进行限制；对所述无人驾驶车辆设置防过转向限制；对所述无人驾驶车辆视野丢失时急停；通过上述安全措施的一种或多种，以保证引导过程的安全。根据本专利技术的第二方面，提供一种基于肢体动作指令的无人驾驶车辆引导系统，包括：图像采集系统，实时采集所述无人驾驶车辆附近图像，该图像中包含引导人员及引导人员做出的代表预设指令的肢体动作，为人体骨骼节点数据的获取提供彩色图像数据信息和深度图像数据信息，同时实时确定引导人员的实际位置；人体姿态提取系统，根据所述图像采集系统采集的图像中人体骨骼节点及彩色图像下引导人员的具体位置提取出其中所述肢体动作；动作指令匹配系统，根据所述人体姿态提取系统得到的所述肢体动作，分析匹配出所述肢体动作代表的实际指令，该指令用于控制所述无人驾驶车辆进行相应的动作。可选地，所述动作指令匹配系统，包括：样本数据库，存储代表预设指令的肢体动作模版样本；图像处理系统，调取所述人体姿态提取系统提取的引导人员发出的肢体动作；序列匹配系统，对引导人员实际发出的肢体动作与所述肢体动作模版样本进行匹配计算，判断出所述肢体动作代表的实际指令，用于控制所述无人驾驶车辆的引导动作。可选地，所述图像采集系统，包括：RGB彩色摄像头，实时采集所述无人驾驶车辆附近彩色图像信息，该彩色图像中包含引导人员图像；红外线发射器，实时发射近红外线；红外线CMOS摄像头，实时接收近红外线；所述红外线发射器与所述红外线CMOS摄像头配合获取深度图像，所述深度图像与所述RGB彩色摄像头所采集的彩色图像通过深度学习训练模型获取人体骨骼节点数据。可选地，所述人体姿态提取系统，包括：根据所述图像采集系统采集的图像，获取所述图像内引导人员人体骨骼节点数据信息，所本文档来自技高网...

【技术保护点】
1.一种基于肢体动作的无人驾驶车辆引导方法，其特征在于，包括：/n在待引导的无人驾驶车辆附近，引导人员对所述无人驾驶车辆发出代表预设指令的肢体动作；/n实时采集包含引导人员所述肢体动作的图像，提取出其中代表预设指令的所述肢体动作；/n通过动作指令匹配系统分析匹配出所述肢体动作代表的实际指令，该指令作为所述无人驾驶车辆的控制指令；/n所述无人驾驶车辆根据所述实际指令进行相应的自动驾驶动作。/n

【技术特征摘要】
1.一种基于肢体动作的无人驾驶车辆引导方法，其特征在于，包括：
在待引导的无人驾驶车辆附近，引导人员对所述无人驾驶车辆发出代表预设指令的肢体动作；
实时采集包含引导人员所述肢体动作的图像，提取出其中代表预设指令的所述肢体动作；
通过动作指令匹配系统分析匹配出所述肢体动作代表的实际指令，该指令作为所述无人驾驶车辆的控制指令；
所述无人驾驶车辆根据所述实际指令进行相应的自动驾驶动作。


2.根据权利要求1所述的基于肢体动作的无人驾驶车辆引导方法，其特征在于，所述通过动作指令匹配系统分析出所述肢体动作代表的实际指令，其中：
存储代表预设指令的肢体动作模版样本；
对提取得到的引导人员发出的所述肢体动作与所述肢体动作模版样本进行匹配计算，判断出所述肢体动作代表的实际指令，用于控制所述无人驾驶车辆的自动驾驶引导动作。


3.根据权利要求1所述的基于肢体动作的无人驾驶车辆引导方法，其特征在于，所述实时采集包含肢体动作的图像，提取出其中所述肢体动作，包括：
实时采集所述无人驾驶车辆附近彩色图像信息，该彩色图像中包含引导人员图像数据信息；
实时采集所述无人驾驶车辆附近深度图像信息，该深度图像中包含引导人员的深度数据信息；
将所述彩色图像信息和所述深度图像信息，通过深度学习训练模型获取图像内引导人员人体骨骼节点数据信息，所述引导人员人体骨骼节点数据信息包括引导人员人体骨骼节点名称、引导人员人体骨骼节点当前状态以及引导人员人体骨骼节点的三维位置信息；
通过所述引导人员人体骨骼节点数据信息在同一个肢体动作时间内三维位置信息的变化轨迹和趋势，合并拟合出肢体动作，从而提取出其中所述肢体动作。


4.根据权利要求3所述的基于肢体动作指令的无人驾驶车辆引导方法，其特征在于，在获取图像内引导人员人体骨骼节点数据信息之前，还包括图像数据预处理，包括：
将实时采集的无人驾驶车辆附近实时彩色图像信息和深度图像信息，通过深度学习训练模型，确定图像视野内人的位置信息；
通过滤波的方法对图像视野内多个人进行筛选，从而在复杂多人情况下确认引导人员的实际位置，实现稳定跟随引导。


5.一种基于肢体动作指令的无人驾驶车辆引导系统，其特征在于，包括：
图像采集系统，实时采集所述无人驾驶车辆附近图像，该图像中包含引导人员做出的代表预设指令的肢体动作；
人体姿态提取系统，在所述图像采集系统采集的图像中提取出其中...

【专利技术属性】
技术研发人员：杨明，张北，袁伟，王春香，王冰，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海;31