一种面向人机协作场景的三体协同智能避障方法和系统技术方案

本发明专利技术公开了一种面向人机协作场景的三体协同智能避障方法和系统，该方法包括：虚拟人实时采集多源环境感知数据进行融合处理，构建点云地图，并根据实时更新的点云地图进行路径规划，由此执行人机协作任务；每次更新点云地图后，虚拟人判断原规划路径上是否存在动静态障碍物，由此选择相应的避障策略。本发明专利技术依靠虚拟人的全局视角，来为两者制定最优路径规划方案，以达到协同避障的目的。因为有了虚拟人的参与，所以整个避障过程具有全局性和和谐性，在传统的人机协作避障中，一般是以真人为主导，机器人起辅助作用，但本发明专利技术使得两者拥有同等的地位，由第三者

【技术实现步骤摘要】
一种面向人机协作场景的三体协同智能避障方法和系统


[0001]本专利技术属于人机协作
，具体涉及一种面向人机协作场景的三体协同智能避障方法和系统。

技术介绍

[0002]目前，人机协作的场景越来越丰富，而两者协作避障是永久的新课题，因为避障过程具有一定的风险性和不可协调性，如果可以加入第三方—虚拟人作为全局的视角进行调控，那么其安全系数会得到进一步的保障。随着虚拟人技术越来越成熟，其智能性和可预测性变得越来越高，它可以让协同过程更加安全和迅速。
[0003]因为障碍物的种类多种多样，所以避障的策略也分多种情况，虚拟人需考虑多种因素来规划路径。在避障过程中，如果仅由真人自主意图决定路径，那么机器人处于一个无关紧要的因素，如果仅由机器人作主导，那么在真人任务舒适度问题上会有很大影响，所以要虚拟人在全局的角度，分析出最优避障方式，使真人和机器人作出协调一致的避障行为。
[0004]综上所述，本专利技术提出了基于虚拟人
‑
真人
‑
机器人的三体协同智能避障方法，为人机协作避障提供了新思路。

技术实现思路

[0005]专利技术目的：为了解决上述技术问题，本专利技术提出一种面向人机协作场景的三体协同智能避障方法和系统，具有全局操控和智能避障的能力，能够在虚拟人的全局调控下使真人与机器人和谐避障，解决现有的人机协作避障问题。
[0006]技术方案：为实现上述目的，本专利技术提供一种面向人机协作场景的三体协同智能避障方法，包括以下步骤：
[0007]虚拟人实时采集多源环境感知数据进行融合处理，构建点云地图，并根据实时更新的点云地图进行路径规划，由此执行人机协作任务；
[0008]每次更新点云地图后，虚拟人判断原规划路径上是否存在动静态障碍物，由此选择相应的避障策略：
[0009]①
如果是静态障碍物，则获取真人和机器人的行为意图，并基于行为一致性判别网络判断两者意图是否存在偏差，此时根据意图判别结果Re更新路径规划方案；
[0010]②
如果是动态障碍物，则进一步判断动态障碍物的运动路线，若动态障碍物即将远离原规划路径，则按原规划路径执行；若动态障碍物停留在搬运路径上，则按照静态障碍物的避障策略执行；
[0011]③
如果没有障碍物，则按原规划路径执行。
[0012]进一步的，所述动静态障碍物的检测包括障碍物的识别和障碍物类型的判断两个过程，其中障碍物识别过程包括：
[0013]1）数据预处理阶段：利用深度相机采集深度图像并将其转化为三维点云，然后在点云上创建体素栅格，对于每个体素，使用最小二乘估计方法估计一个适合体素中所有点
的平面方程，并从平面方程的系数中获得平面的法线；
[0014]2）平面分割阶段：初始采用面积增长算法提取候选平面，然后逐个检查剩余的点以实现精确的分割，在设定半径内的三维空间中搜索每个点，以确定它是否属于平面，再将平面片段融合在一起；
[0015]3）障碍物检测阶段：从点云中移除所有平面，使用面积增长算法来提取点簇，并且每个点簇确认为一个障碍物，从而获取障碍物位置。
[0016]进一步的，所述障碍物类型的判断过程是在障碍物识别的基础上根据障碍物位置是否发生变化来实现的。
[0017]进一步的，所述虚拟人一方面基于意图识别网络获取真人的行为意图标签，另一方面根据机器人传递的指令信息，获取机器人的行为意图标签。
[0018]进一步的，所述意图识别网络以由骨骼关节序列创建的彩色骨骼图像作为输入，并在改进的3D卷积网络上进行训练，即在3
×1×
1时间和1
×3×
3空间的维度上分别进行卷积操作，最后输出真人的行为意图标签。
[0019]进一步的，所述彩色骨骼图像的生成过程是通过在一个骨骼关节中居中坐标空间来补偿骨骼的位置的方法完成关节归一化，再根据人体物理结构将人体骨骼分为六个部分：左臂、右臂、左腿、右腿、头部和躯干，并按像素位置分别填充着色，最后生成彩色骨骼图像。
[0020]进一步的，所述彩色骨骼图像的生成过程是通过将坐标空间集中在一个骨骼关节中来补偿骨骼位置的方法完成关节归一化，再根据人体物理结构将人体骨骼分为六个部分：左臂、右臂、左腿、右腿、头部和躯干，并按像素位置分别填充着色，最后生成彩色骨骼图像。
[0021]进一步的，所述行为一致性判别网络的输入为真人行为意图和机器人行为意图，输出是两者的一致性结果Re，根据以下公式进行判别，用于确定两者意图是否存在偏差：。
[0022]进一步的，路径规划方案的更新方法包括：如果行为一致性判别网络的判断结果为即，则虚拟人根据机器人的行为意图规划避障路径；如果行为一致性判别网络的判断结果为即，则虚拟人根据真人的行为意图规划避障路径。
[0023]此外，本专利技术还提供了一种面向人机协作场景的三体协同智能避障系统，包括虚拟人、机器人、真人三个参与主体和多模态感知设备，由此利用上述三体协同智能避障方法进行智能避障。
[0024]进一步的，所述多模态感知设备包括：
[0025]摄像头，部署在环境中，用于采集真人行为；
[0026]激光雷达，部署在机器人中，用于机器人自主避障；
[0027]深度相机，部署在环境中，用于采集地图信息。
[0028]有益效果：与现有技术相比，本专利技术具有如下技术效果：
[0029]本专利技术的人机协作智能避障中，因为有了虚拟人的参与，所以整个避障过程具有全局性和和谐性，在传统的人机协作避障中，一般是以真人为主导，机器人起辅助作用，但本专利技术使得两者拥有同等的地位，由第三者
‑
虚拟人在其中进行控制协调，使得整个交互过程更加协调。
附图说明
[0030]图1是本专利技术实施例的整体避障流程图；
[0031]图2是本专利技术实施例中障碍物的识别流程图；
[0032]图3是本专利技术实施例中彩色骨骼图像的生成流程图。
实施方式
[0033]以下结合附图和具体的实施例对本专利技术作进一步详细说明。根据下面的说明，本专利技术的优点和特征将更清楚。
[0034]本实施例所涉及的三体协同智能避障方法，面向需要人机协作执行物体搬运的任务场景，使人机协作共同完成任务时可以在虚拟人的调控下智能避障，其避障流程如图1所示。具体包括以下步骤：
[0035]步骤1：实时采集多源环境感知数据进行融合处理，构建点云地图，并提取真人和机器人的坐标信息，因为真人
‑
机器人在搬运过程中的路径都是相同的，所以可以将真人
‑
机器人视为一个整体，在本专利技术中将任务起点设为A，终点设为B。
[0036]步骤2：任务执行前，虚拟人已知搬运起始点和终点，由此根据点云地图进行路径预规划，设计搬运路线，真人
‑
机器人按预规划路径执行搬运任务。
[0037]具体路径预规划方法包括：将点云地图划分成一个个方格，目的是简本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向人机协作场景的三体协同智能避障方法，其特征在于，包括以下步骤：虚拟人实时采集多源环境感知数据进行融合处理，构建点云地图，并根据实时更新的点云地图进行路径规划，由此执行人机协作任务；每次更新点云地图后，虚拟人判断原规划路径上是否存在动静态障碍物，由此选择相应的避障策略：
①
如果是静态障碍物，则获取真人和机器人的行为意图，并基于行为一致性判别网络判断两者意图是否存在偏差，此时根据意图判别结果Re更新路径规划方案；
②
如果是动态障碍物，则进一步判断动态障碍物的运动路线，若动态障碍物即将远离原规划路径，则按原规划路径执行；若动态障碍物停留在搬运路径上，则按照静态障碍物的避障策略执行；
③
如果没有障碍物，则按原规划路径执行。2.根据权利要求1所述的三体协同智能避障方法，其特征在于，所述动静态障碍物的检测包括障碍物的识别和障碍物类型的判断两个过程，其中障碍物识别过程包括：1）数据预处理阶段：利用深度相机采集深度图像并将其转化为三维点云，然后在点云上创建体素栅格，对于每个体素，使用最小二乘估计方法估计一个适合体素中所有点的平面方程，并从平面方程的系数中获得平面的法线；2）平面分割阶段：初始采用面积增长算法提取候选平面，然后逐个检查剩余的点以实现精确的分割，在设定半径内的三维空间中搜索每个点，以确定它是否属于平面，再将平面片段融合在一起；3）障碍物检测阶段：从点云中移除所有平面，使用面积增长算法来提取点簇，并且每个点簇确认为一个障碍物，从而获取障碍物位置。3.根据权利要求2所述的三体协同智能避障方法，其特征在于，所述障碍物类型的判断过程是在障碍物识别的基础上根据障碍物位置是否发生变化来实现的。4.根据权利要求1所述的三体协同智能避障方法，其特征在于，所述虚拟人一方...

【专利技术属性】
技术研发人员：李新德，肖明静，吕志伟，
申请(专利权)人：南京泛美利机器人科技有限公司，
类型：发明
国别省市：