基于人机协作的机器人感知与理解方法技术

本发明专利技术提供了基于人机协作的机器人感知与理解方法，它允许操作者协助机器人感知和理解环境。所述方法包括步骤：(1)视听模态感知的自然交互；(2)目标描述和理解；(3)任务示教和学习。本发明专利技术利用人类的智能性，并通过人类最自然高效的交互方式进行人机交流与协助，以提高机器人感知和理解的灵活性、智能性和适应性。

Robot Perception and comprehension method based on human computer cooperation

The invention provides a robot perception and understanding method based on human-computer cooperation, which allows an operator to assist a robot in perceiving and understanding an environment. The method comprises the steps of: (1) audio-visual mode perception of natural interaction; (2) target description and understanding; (3) task demonstration and learning. The invention utilizes the intelligence of human beings and carries out the man-machine communication and assistance through the most natural and efficient interactive mode of human beings, so as to improve the flexibility, intelligence and adaptability of the perception and the understanding of the robot.

【技术实现步骤摘要】
基于人机协作的机器人感知与理解方法
本专利技术属于机器人运动领域，特别涉及一种基于人机协作的机器人感知与理解方法。
技术介绍
随着高端制造中生产多样化的发展，人机协作将成为下一代机器人发展的趋势。现有的机器人普遍存在示教周期长，难以理解抽象的命令以及缺乏在线感知能力，从而制约了机器人的发展。人机协作让机器人从“主仆”关系变成合作“伙伴”。因此，在机器人还没达到高度智能的局面下，最有效的方法是先感知和理解人类，再通过人类的协助感知和理解环境。这篇专利技术提出了一种基于人机协作的机器人感知与理解方法，一方面利用自然交互的信息感知与融合机制，通过“手把手”示教和“面对面”传授等多模态感知方式提高机器人在线感知能力；另一方面利用面向人机协作的机器人自主学习方法，进行目标理解和任务学习。该专利技术利用人类的智能性，并通过人类最自然高效的交互方式进行人机交流与协助，以提高机器人感知和理解的灵活性、智能性和适应性。
技术实现思路
这个专利技术提出了一种基于人机协作的机器人感知与理解方法，它允许操作者协助机器人感知和理解环境。本专利技术利用人类的智能性，并通过人类最自然高效的交互方式进行人机交流与协助，本文档来自技高网...

【技术保护点】
基于人机协作的机器人感知与理解方法，其特征在于，包括如下步骤：S1、视听模态感知的自然交互，包括三维手势数据获取和自然语言指令获取；S2、目标描述和目标理解：通过操作者向机器人讲解环境使得机器人快速地了解环境，采用深度学习方法进行目标识别；S3、任务示教和学习：在任务示教过程中，通过人机交互模块，机器人能通过操作者的手势和语言感知操作者的意图；在机器人作业过程中，操作者可以始终保持在线教导机器人，以不断地修正机器人的决策。

【技术特征摘要】
1.基于人机协作的机器人感知与理解方法，其特征在于，包括如下步骤：S1、视听模态感知的自然交互，包括三维手势数据获取和自然语言指令获取；S2、目标描述和目标理解：通过操作者向机器人讲解环境使得机器人快速地了解环境，采用深度学习方法进行目标识别；S3、任务示教和学习：在任务示教过程中，通过人机交互模块，机器人能通过操作者的手势和语言感知操作者的意图；在机器人作业过程中，操作者可以始终保持在线教导机器人，以不断地修正机器人的决策。2.根据权利要求1所述的基于人机协作的机器人感知与理解方法，其特征在于，步骤S1中所述三维手势数据获取具体包括：采用非接触测量系统，以立体视觉或红外成像方式对人体进行跟踪识别，并对人手的三维手势进行捕捉，从而可以识别操作者的交互意图并转换成交互指令；在非接触测量系统所获取的三维手势数据中，采用结合自适应区间卡尔曼滤波(AdaptiveIntervalKalmanFilter)与改进粒子滤波(ImprovedParticlefilter)进行手势位置数据和姿态数据的融合估计；通过信息融合算法对位置和姿态的时空相关性进行约束，从而尽可能地消除三维手势数据的非稳定性和歧义性；采用过阻尼方法对非意图输入数据进行过滤，并通过引入虚拟弹簧系数进一步提高交互精度；粒子滤波基于蒙特卡洛方法，利用粒子集表示目标，通过寻找一组在状态空间中传播的随机样本来近似地表示概率密度函数，用样本均值代替积分运算，进而获得系统状态的最小方差估计；在改进粒子滤波(IPF)算法中，采用马尔可夫链蒙特卡罗方法对重采样后的粒子进行处理，而粒子的权重计算需要通过结合卡尔曼滤波的位置估计结果得到；由于三维手势数据的位置和姿态在时空上存在一定的关联：手势的位置、速度和加速度具有方向性，而方向则需要姿态所确定的本体坐标系进行计算得到，手势的位置在三维方向上的叠加量需要姿态进行估计，故通过结合自适应区间卡尔曼滤波估计得到位置和姿态的时空约束性；结合自适应区间卡尔曼滤波和改进粒子滤波对人手位置和姿态数据进行融合，估计三维手势数据，提高数据的准确性和鲁棒性。3.根据权利要求1所述的基于人机协作的机器人感知与理解方法，其特征在于，步骤S1中所述自然语言指令获取包括设计控制指令语料库和提取控制指令：根据收集大量的控制指令语料库Dcontrol进行分析所得，对于机器人的控制指令能通过四个变量组成的一个控制向量形式进行描述(Cdir,Copt,Cval,Cunit),其中Cdir为对操作方位关键词，Copt和Cval为一对操作描述，分别为操作关键词和操作值，Cunit为操作单位；自然语言理解的关键在于对一连串的文本提取出所包含的控制向量，采用最大熵模型进行分类，采用向量空间模型对文本进行描述，对给定包含N个词的文本，可定义N维特征向量表示该文本，用词频-逆文档频率(TermFrequency-InverseDocumentFrequency)对特征向量进行加权分析；最大熵模型是对已知的进行建模，对未知的不做任何假设，即建模时尽量符合已知信息，对未知信息部分使模型的熵最大，即不确定性最大；最大熵的原则是承认已知事物；设文本特征向量为x，需要估计的操作者意图向量为y，则利用最大熵方法对条件概率p(y|x)进行建模，通过引入条件熵H(p(y|x))衡量条件概率p(y|x)分布的均匀性；通过最大熵模型，能对操作者语音提取的文本中所包含的交互指令识别，并转换成机器人控制指令控制机器人运动。4.根据权利要求1所述的基于人机协作的机器人感知与理解方法，其特征在于，所述步骤S2包括以下步骤：1)目标描述在目标描述中，操作者主要是辅助机器人对目标进行识别和理解；定义一个六元组Obj＝{种类,颜色,形状,纹理,尺寸,柔软性}对目标进行描述；机器人通过视觉对目标进行初步观察后对目标有一个大概的理解，包括目标的颜色、形状和纹理，机器人通过带有力觉反馈的末端接触目标，以了解其软硬程度；在机器人对目标的操作过程中，操作者在线地对机器人进行目标描述和讲解，以辅助机器人不断深入地了解目标，并做正确的决策；当机器人对目标做出模棱两可或错误的决策时，操作者辅助机器人或矫正机器人的错误决策；2)目标理解采取一个两阶段的方法来进行学习，首先，使用一个缩减的特征集来确定最佳候选集，...

【专利技术属性】
技术研发人员：杜广龙，张平，陈明轩，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东,44